Embed Size (px)
Citation preview
2Il Disegno della
ricerca valutativa
ww
w.v
alut
azio
ne.b
log
clau
dio.
bezz
i@m
e.co
m
versione 8 Febbraio 2018
Il disegno della ricerca valutativa Il percorso completo
Disegno operativo della
ricerca valutativa
Offerta tecnica o disegno
preliminare
Organizzazione r.u., budget e
tempi
Eventuale disegno definitivo
Definizioni op., raccolta e
analisi dei dati
Costruzione strumenti
Analisi
Rilevazione dati e informazioni
Eventuale condivisione e disseminazione
Rapportistica e sostegno all’uso della valutazione
Redazione rapporti
Sostegno all’uso della valutazione
Definizione del mandato valutativo
Delimitazione programma
valutato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione spazio
semantico Elementi operativi di potenziale
criticità
Identificazione del committenteAVVIO
Definizione del mandato valutativo
Delimitazione programma
valutato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione spazio
semantico Elementi operativi di potenziale
criticità
Identificazione del committente
Definizione del Mandato valutativo La fase più importante
È chiaro chi è il committente?
SÌ
NO
Si tratta di un’ autovalutazione?
Può parlare per conto dell’organiz-
zazione?
SÌ
NO
C’è altro interlocu-tore che possa
conferire autorità?
Ci sono conflitti interni o fazioni?
SÌ
NO
Non si può valutare
Si possono coinvolgere tutte le
parti?
NO
NO
Ci sono problemi economici o
organizzativi?
SÌ
Risulterebbe adeguata una val.
“in economia”?
NO
SÌ
VALUTA!
SÌ
Si può indagare e capire chi è il committente?
NO
SÌ
Ci sono problemi etici o
deontologici?
NO
SÌ
Decisione personale
Definizione mandato
Delimitazione programma
valutato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione
spazio semantico
Elementi operativi di potenziale criticità
Identificazione del
committenteIdentificazione del Committente
NO
Definizione mandato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione
spazio semantico
Elementi operativi di potenziale criticità
Identificazione del committente
Delimitazione programma
valutato
Cosa si valuta esattamente?
Un programma formale
Un programma non formale
Può essere messo in discussione? NO
SÌAttori sociali
disponibili a dare interpretazione?NO
SÌ
Non si può valutare
Interpretazione valutatore è accettabile?
NO
Interpretazione univoca?
Disponibilità esplorazione semantica?
SÌ VALUTA!
NO
SÌ Risultato accettato?
Delimitazione del programma da valutare
Possibile valutazione semantica
Possibile solo valutazione superficiale
Definizione mandato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione
spazio semantico
Elementi operativi di potenziale criticità
Identificazione del committente
Delimitazione programma
valutato
Esplorazione spazio
semantico
Qual è la natura del
Programma?
Partecipano tutti gli attori rilevanti?
SÌ
E’ accettabile una ricostruzione del
valutatore?NO NO
SÌ
Il committente accetta le
conseguenze val.? NO
SÌ
Non si può valutare
Possibile solo valutazione sintattica
Il disegno prevede consenso fra gli
attori? SÌ
NO
Possibile valutazione pragmatica
Il contesto è complesso? NO
SÌ
Esplorazione dello spazio semantico
Definizione mandato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione
spazio semantico
Elementi operativi di potenziale criticità
Identificazione del committente
Delimitazione programma
valutato
Accertamento delle risorse
Ci sono limiti gravi di budget?
NO Limiti gravi di tempo? NO
Limiti alla partecipazione attori rilevanti?
NOLimiti
all’accettazione e uso dei risultati?
NO
VALUTA!
SÌ
Decisione personale SÌ
Si possono ridimensionare
aspettative com.?
NO
Non si può valutare
SÌ
SÌ
Si possono attenuare col
budget? SÌ
NO
Si possono ridimensionare
aspettative com.?
NO
I limiti di tempo sono aggiuntivi a quelli di budget?
NO SÌ
I limiti di partecipazione
sono aggiuntivi?SÌ
SÌ
SÌShoestring evaluation
Accertamento delle risorse
Definizione mandato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione
spazio semantico
Elementi operativi di potenziale criticità
Identificazione del committente
Delimitazione programma
valutato
Formulazione domande valutative
Il committente sa formulare le domande val.?
SÌ
Il valutatore concorda?
SÌ VALUTA!
NO
Esplorazione semantica aiuta/ha
aiutato?
NO
Il valutatore può sostituirsi? (O: ci
sono norme?)
NO
Tornare a esplorazione spazio sem.
Non si può valutare
SÌValutazione formale o sintattica
SÌ NO
Formulazione delle domande valutative
Definizione mandato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione
spazio semantico
Elementi operativi di potenziale criticità
Identificazione del committente
Delimitazione programma
valutato Verifica approcci
partecipati
Sono possibili approcci
partecipati?
Con i decisori Con gli operatori
Con terzi
Non sono possibili appr.
partecipati
Almeno parzialmente (p.es. con 1 categoria)?
SÌ NO
SÌ
NO
E’ sufficiente? NOSÌ
Partecipa-zione! [email protected]
www.valutazione.blog
Verifica possibilità di approcci partecipati
Definizione mandato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione
spazio semantico
Elementi operativi di potenziale criticità
Identificazione del committente
Delimitazione programma
valutato
Elementi operativi
critici
Sussistono elementi di criticità?
Complessa partecipazione
Ampio partenariato
Impossibile definizione univoca di concetti-chiave
Ampia articolazione Programma
Programma internazionale
Lunga durata
temporale
Contesto conflittuale o competitivo
Grave emergenza
…
Il committente è consapevole?
NO
SÌ
NO
SÌ
Il valutatore ha libertà di intervento
operativo? SÌNO
Valutazione rischiosa
VALUTA!
Le risorse permettono
disegno articolato?
Non si può valutare SÌ
NO
Verifica elementi di potenziale criticità
Dal Mandato alle definizioni operative
Indispensabilitàdi nessi espliciti
Ciò che sarà UTILE per il committente
Ciò che sarà UTILIZZABILE per
il committente
Ciò che sarà REALIZZABILE
Formato informativo dei dati
Analisi rischi del Programma
Tenuta eventuale partenariato
Meccanismi che operano nel Programma
Fattori intervenienti non previsti
Efficacia netta
Rapportistica, condivisione e
governance
Sostenibilità del Programma
Trasferibilità del Programma
Campionamento
Partecipazione
Mixed Method
Rendicontazione (accountability)
Monitoraggio
Disponibilità dati
Disegno operativo della
ricerca valutativaOfferta tecnica o
disegno preliminare
Organizzazione r.u., budget e
tempi
Eventuale disegno definitivo
Definizione del mandato
Delimitazione programma
valutato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione spazio
semantico Elementi operativi di potenziale
criticità
Identificazione del committente
Disegno operativo
Offerta tecnica o disegno preliminare
Organizzazione r.u., budget e tempi
Eventuale disegno definitivo
Disegno preliminare (off. tecnica)
La definizione del mandato è
completa?
SÌ
NO
Tornare a definizione del
mandato
Per il disegno ipotizzato servono
nuove r.u.? NOSÌ
Per il disegno ipotizzato serve
maggior budget?SÌ NO
Il disegno potrà essere discusso col committente?NO SÌ
Disegno preliminare (offerta tecnica)
Sono chiari i ruoli di tutti i componenti?
Disegno operativo
Offerta tecnica o disegno preliminare
Organizzazione r.u., budget e tempi
Eventuale disegno definitivo
Organizzazione della ricerca valutativa
NO
SÌ
E’ chiara la tempistica del
reporting?NO SÌ
E’ prevista una specifica resp. organizzativa?NO SÌ
E’ prevista una supervisione
continua? SÌNO
VALUTA!
Provvedi!
Organizzazione della ricerca
Disegno operativo
Offerta tecnica o disegno preliminare
Organizzazione r.u., budget e tempi
Eventuale disegno definitivo
Eventuale disegno definitivo
C’è bisogno di un disegno definitivo?
NO
SÌ VALUTA!
Il disegno def. comporta una
modifica sostanz.?
SÌ
NO
Riapertura fase Mandato
Eventuale disegno definitivo
Necessita pre-test o una validazione
strumento?SÌ
SÌ
Il committente può provvedere con extra budget?
FORTE RISCHIO!
Costruzione strumenti AnalisiRilevazione
dati e informazioniDefinizioni op., raccolta dati
Relazione fra domande val. e strumenti?
NO
SÌStrumenti
disponibili sono sufficienti?
NOValutatore può
costruire strumento?
NO
Si può accedere a competenza
esterna?NO
SÌ
Nuovi strumenti compatibili con budget e tempi?
NO
SÌ
Sono chiare le conseguenze per
l’analisi?
NO
SÌ
PROVVEDERE!
NO
SÌ VALUTA!
Definizioni operative raccolta dati analisi
Rapportistica e sostegno all’uso Solo una check list
Correzione Rapporto
Eventuale condivisione e disseminazione
Redazione rapporti
Sostegno all’uso della valutazione
Rapportistica e sostegno all’uso
valutazione
Check list RAPPORTI
Rispetto dei tempi
Redazione adatta alla comprensione
Sintesi in evidenza
Tecnicalità in allegato
Check list DISSEMINA-
ZIONE
Consenso committente
Redazione ad hoc per disseminazione
Uso dei feedback
Check list SOSTEGNO
ALL’USO
Consenso all’epoca del
mandato
Disponibilità del committente
Eventuali attività di consulenza successive
Disegno valutativo in contesti complessi
Definizione mandato
Delimitazione programma
valutato
Formulazione domande valutative
Accertamento delle
risorse
Verifica possibilità approcci
partecipatiEsplorazione
spazio semantico
Elementi operativi di potenziale criticità
Identificazione del committente
NO
SÌ
NO
Esito non chiaro?
SÌSi risolve con approfondimento
semantico?
SÌRealizza e
torna al mandato
NODecisione
valutatore o con decisore
Ci sono le condizioni?
Vedi altre cause
Disponibilità attori
Competenze metodologiche
Disponibilità committente verso
il metodo
Tempi, risorse…
VALUTA!
E’ il caso di tornare al mandato per
verifiche?SÌ NO
Opportuno disegno situazionale? SÌ
Valutazione situazionale
