Upload
giuseppe-malavolta
View
216
Download
0
Embed Size (px)
DESCRIPTION
Relazione di Roberto Ricci al seminario estivo ADi 2012 a Lecce
Citation preview
Seminario estivo residenziale ADi
Il fascino indiscreto dell'innovazione
L'uso delle rilevazioni del Servizio Nazionale di
Valutazione da parte delle scuole
Roberto Ricci INVALSI
Lecce, 1 settembre 2012
La presentazione
• Introduzione
• Il Servizio nazionale di valutazione 2012
• L’attendibilità dei dati
• La rappresentazione dei dati nel rapporto 2012
• I risultati nelle aree del Paese, nei livelli e nel tempo
• La variabilità dei risultati
• Gli effetti di composizione
• Le competenze dei nostri studenti
• Considerazioni conclusive
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Disegno della rilevazione
• Universale: tutte le classi dei livelli interessati delle scuole, statali e
paritarie
• Classi-campione:
• rappresentatività regionale e per macro-indirizzo (solo sec. II gr.)
• una o due classi per scuola campionata,
• osservatore esterno per ogni classe campionata,
• trasmissione elettronica dei risultati.
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
L’attendibilità dei dati (2/2)
• Il rispetto del protocollo di somministrazione
• Il cheating: applicazione di tecniche statistiche per l’individuazione di comportamenti anomali sul campione e sull’intera popolazione
• La restituzione dei risultati al netto del cheating: i dati sono forniti al sistema, ma anche alle singole scuole al netto dell’effetto del cheating
• Il cheating nelle classi campione del SNV e della PN
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Gli indici di propensione al cheating - 2012 R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
Gli indici di propensione al cheating - 2011 R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati medi: un esempio
- I secondaria di primo grado -
Prima sec. di primo grado: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Prima sec. di primo grado: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze di genere: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze di genere: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati all’interno della prova: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Il confronto interno alla scuola
• Confronto con la media nazionale
• Confronto con la media regionale
• Confronto per ambiti e processi
• Confronto al netto di eventuali comportamenti opportunistici
• Confronto con scuole che hanno le stesse caratteristiche
• Lo studio della variabilità interna dei risultati
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le finalità del confronto
• Governo del sistema scuola
• Promozione del miglioramento
• Verifica delle scelte operate
Il ruolo del Dirigente R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
1. Organizzativo
2. Conoscitivo
3. Facilitatore dell’uso per la didattica
La lettura dei dati
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I dati di scuola (1)
Istituto scolastico: XXIC803XXX
Denominazione: GIUSEPPE MAZZINI
Download dei grafici relativi a XXIC803XXX
Download guida alla lettura dei grafici
Restituzione dati livello II primaria:
Restituzione dati livello V primaria:
Restituzione dati livello I secondaria:
Livello V primaria - scegli codice classe: 412044720501
Livello V primaria - scegli codice classe: 412044720502
Livello V primaria - scegli codice classe: 412044720503
Ro
be
rto
Ric
ci –
1 s
ett
em
bre
2012
I dati di scuola (2)
Globale
per Nazionalità
per Regolarità (del percorso)
per Sesso
per Dettaglio Risposte
Ro
be
rto
Ric
ci –
1 s
ett
em
bre
2012
I dati di scuola (3)
Tabella dei dati - Visualizzazione GLOBALE
Ambiti e
argomenti Dom.
Media%
Classe
Media%
Scuola
Media%
Nazionale L1 L2 L3 L4 L5 L6
ITALIANO
Testo
narrativo A1 72,7 79,6 83,1 -
L2
- - - -
Ro
be
rto R
icci –
18
ge
nn
aio
20
12
1° decile
10° pc
1° quartile
25° pc
L 1
L 2
L 3 L 4
L 5
L 6
Mediana
50° pc
10%
15%
25% 25%
15%
10%
3° quartile
75° pc
9° decile
90° pc
I dati di scuola (4) R
ob
ert
o R
icci –
18
ge
nn
aio
20
12
Tabella dei dati - Visualizzazione per DETTAGLIO RISPOSTE - tabella 1
Ambiti e argomenti Dom. A B C D MANCATA
RISPOSTA
ITALIANO
Testo narrativo A1 9,09 72,7 13,6 4,54 0
I dati di scuola (5) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
I dati di scuola (6) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
I dati di scuola (7) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
I dati di scuola (8) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
I dati di scuola (9) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
La varianza tra classi e tra alunni (1) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
La varianza tra classi e tra alunni (2) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati complessivi
- Le differenze territoriali -
I risultati per livello e per aree geografiche: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati per livello e per aree geografiche: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze negli indirizzi di studio (Italiano) R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
Le differenze negli indirizzi di studio (Matematica) R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze negli indirizzi di studio (Italiano)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze negli indirizzi di studio (Matematica)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
L’evoluzione temporale dei risultati: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
L’evoluzione temporale dei risultati: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
La variabilità dei risultati
- Un esempio: la scuola primaria -
L’analisi della variabilità dei risultati R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
• Cosa si intende per variabilità
• Le componenti della variabilità:
• TRA scuola
• TRA classi
• DENTRO le classi (tra studenti)
• L’incidenza di ogni componente sulla variabilità totale
• Le differenza nel tempo e nello spazio
• Le implicazioni per i decisori
La scomposizione della variabilità: II primaria R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
La scomposizione della variabilità: II primaria R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
La scomposizione della variabilità: V primaria
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
La scomposizione della variabilità: V primaria
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Gli effetti di composizione
- Cosa cambia? -
Gli effetti di composizione R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
• Il peso delle variabili esplicative
• Il contesto “generale”
• Il background socio-economico-culturale (ESCS)
• I modelli statistici utilizzati
Gli effetti di composizione: un esempio (Italiano) R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
Ma alla fine, i nostri studenti cosa sanno e cosa sanno meno? R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
Tendenze generali
•Maggiore dimestichezza con testi narrativi e continui e meno con testi
“meno tradizionali” (discontinui, regolativi, ecc.)
•Alcune difficoltà quando vengono richieste interpretazioni e valutazioni
•Buoni risultati nell’ambito “Dati e previsioni” quando i quesiti
riguardano più aspetti d’interpretazione dei dati e non hanno forte
contenuto tecnico
•Difficoltà nell’argomentare le soluzioni proposte
Considerazioni conclusive
• Consolidamento del rapporto con le scuole e coinvolgimenti anche di
settori finora esclusi (esempio la formazione professionale)
• Restituzione dei dati: a) aiuti alla lettura, b) celerità nella
restituzione, c) strumenti per l’autovalutazione
• «Tempistica» adeguata
• Introduzione di più tecnologia (raccolta dei dati, uso del PC, ecc.)
• Rafforzamento della valenza per (e non su) la scuola della
misurazione (coinvolgimento di tutte le componenti)
• Azioni per il superamento del fenomeno del cheating
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2