2001 - Triangolazione e processi valutativi

49 Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 2001

Triangolazione e processi valutativiQUALITÀ E QUANTITÀ NELLA VALUTAZIONE

Triangolazione e processi valutativi

Paolo Parra Saiani*

A comment from a French Philosopher to an American Engineer

“Of course it works in practice, but will it work in theory?”

1. Introduzione. Qualità e quantità, una falsa dicotomia

Affilarsi di spade, levarsi di scudi, olio bollente… non è la guerra dei Trent’an-ni, ma il confronto tra paladini dell’approccio standard e difensori di quel-lo non-standard. Oggetto del contendere, la demarcazione del territorio, omeglio la “corona” di scienziato.Gli approcci non-standard sono spesso accusati di pervenire a conclusioninon affidabili1, poiché gli strumenti e la gran parte delle tecniche impiegatesarebbero influenzate dalla soggettività del ricercatore. Ma se con il termine‘soggettivo’ s’intende evidenziare l’influenza del giudizio umano sulle attività

* Paolo Parra Saiani è dottorando di ricerca in Sociologia dei fenomeni internazionali,del territorio e del servizio sociale presso l’Università degli Studi di Trieste (XV ciclo) edocente di Metodologia della ricerca con elementi di statistica presso l’Università degliStudi di Urbino.Per i preziosi consigli e suggerimenti avuti in varie fasi della stesura del testo desideroringraziare Alberto Marradi, Daniele Nigris e Mauro Palumbo. Ringrazio David L. Morgan(Portland State University) per la segnalazione della citazione di apertura.1 Per ‘affidabilità’ s’intende la “proprietà del rapporto fra il concetto che ha suggerito ladefinizione operativa e gli esisti effettivi delle operazioni che tale definizione prevede” (cfr.Marradi 19843: 36).

PAOLO PARRA SAIANI

Rassegna Italiana di Valutazione • n. 24 • ottobre-dicembre 200150

QUALITÀ E QUANTITÀ NELLA VALUTAZIONE

di ricerca, tutte le tecniche, standard o meno, sarebbero soggettive2. Glaser eStrauss (1967: 17-18) affermano che non vi è contrasto tra gli scopi, gli obiettivie le potenzialità delle tecniche, e che ogni forma d’informazione è utile sia percontrollare sia per generare teorie. Il problema, inoltre, si può porre (sebbenenon venga quasi mai posto) “anche per le conclusioni cui si giunge con l’ana-lisi statistica dei dati” (Gasperoni e Marradi 1996: 639). La matrice dei daticostituisce solo qualche aspetto della realtà, grazie a un’impalcatura “di con-venzioni e a una miriade di decisioni ‘soggettive’ e scoordinate prese dai variesecutori”. Il tutto nascosto da una “cintura protettiva di concetti e termini”scelti e usati in modo da far dimenticare le differenze tra la matrice dei dati ela realtà, affinché il ricercatore possa “minimizzare i contatti con il suo ogget-to pur conservando la pretesa di parlarne in modo non speculativo ma ‘scien-tifico’” (Marradi 1990: 74). Altri concetti e termini della cintura assolvono lafunzione di coprire e legittimare il fatto che vengono ridotte a manipolazionimatematiche (“oggettive”, “scientifiche”) delle operazioni intellettuali che ri-chiedono giudizi e decisioni del ricercatore, come possessore di conoscenzatacita sia sull’oggetto e il contesto della sua ricerca, sia sui vari aspetti del suomestiere (Marradi 1990: 75)3.Alcune tecniche sono allora identificate con il metodo scientifico: ciòrispecchia il tratto umano dello scienziato sociale, definito da AbrahamKaplan la legge dello strumento: “Date un martello a un bambino ed eglitroverà che ogni cosa che incontra ha bisogno di una buona martellata”4.Visto che alcuni approcci sono più diffusi di altri, alcune tecniche sonoinsegnate più diffusamente di altre (ad esempio il questionario), innescan-do un circolo vizioso. Non si contesta la preferenza accordata ad alcunetecniche rispetto ad altre, ma che ad altre – conseguentemente – sia negatoil nome di ‘scienza’ (Kaplan 1964: 29). Notare che in biologia e in astrono-mia si ricorre a strumenti differenti quali il microscopio e il telescopio èdiverso dall’affermare che le due discipline hanno due diversi metodi (Kaplan1964: 31) e due diverse dignità scientifiche.

2 Sulle stesse posizioni Scriven (1972); cfr. inoltre Reichardt e Cook (1979: 12-13).3 Sulla cintura protettiva, composta da ipotesi ausiliarie, teorie osservative, condizioniiniziali, atta a sostenere gli “urti dei controlli” attraverso continui adattamenti e modificheche conducano all’assorbimento di anomalie e casi recalcitranti, e alla predizione di “fattinuovi” si veda Lakatos (1970, 1995).4 “Give a small boy a hammer, and he will find that everything he encounters needspounding” (Kaplan 1964: 28).



La contrapposizione qualità/quantità è il segno di un modo non-laico(Campelli 1996: 36) di affrontare l’argomento, espressione di un bisognocomune di sicurezza, talvolta di appartenenza e di identità5: da un lato siavanza l’indiscutibilità del numero e dei risultati oggettivi, dall’altro si op-pone la pienezza della comprensione e dell’empatia. Anziché considerare lediverse tecniche delle rivali incompatibili, ci si può giovare del loro usocongiunto, come d’altronde è stato auspicato più volte sia nel contesto del-la ricerca valutativa sia in quello delle discipline più tradizionali6.Lo stesso fenomeno può essere approfondito da più punti di osservazioneindipendenti, impiegando più approcci e tecniche, attraverso una sorta ditriangolazione (Campbell 1964: 331)7. Il termine ‘triangolazione’, mutuatodalla geodetica, è riferito alla procedura seguita per stabilire l’esatta posizio-ne di un dato oggetto, partendo da più punti di osservazione: usare più diun punto di riferimento permetterebbe una maggiore accuratezza nel pro-cesso di rilevazione8. Se si impiega un solo strumento – l’intervista porta-a-porta, il giudizio dei pari, l’analisi del contenuto, la somministrazione delquestionario ecc., limitandoci a quelli più in uso nelle scienze sociali – perrilevare gli stati su un ampio numero di proprietà teoricamente indipen-denti, è possibile che parte della loro relazione eventualmente osservata siadipendente dal “veicolo” condiviso. Se una proposizione è corroborata dapiù rilevazioni indipendenti l’incertezza della sua interpretazione si riduce9;

5 Sulle contrapposizioni tra spiegazione e comprensione, positivismo ed ermeneuticacome risposte al bisogno d’identità delle scienze sociali, si veda Ricolfi (1997).6 Sul punto si vedano Reichardt e Cook (1979: 20), Delli Zotti (1996). Come affermaTrow a proposito dei vantaggi dell’osservazione partecipante nei confronti delle interviste,“every cobbler thinks leather is the only thing. […] But we should at least try to be lessparochial than cobblers” (1957: 35).7 Cfr. inoltre Webb et al. (1966: 174 sgg.), Denzin (1970: 301 sgg.), Smith (1975: 272sgg.), Denzin (1989), (Clarke 1999: 86). Per un approccio simile cfr. Campbell e Fiske(1959).8 Alcune critiche sono state rivolte alla triangolazione, in quanto tecniche diverse sonde-rebbero aspetti diversi, rendendo difficile, in base alla loro combinazione, raggiungere unrisultato coerente. Cfr. Hammersley e Atkinson (1983: 199), Potter e Wetherell (1987),Silverman (1993: 156-158).9 “There must be a series of linked critical experiments, each testing a different outcropping ofthe hypothesis. It is through triangulation of data procured from different measurementclasses that the investigator can most effectively strip of plausibility rival explanations forhis comparison” (cfr. Webb et al. 1966: 174).

PAOLO PARRA SAIANI



naturalmente, l’attendibilità è aumentata se i vettori-colonna della matriceche intendono rilevare la stessa proprietà sono congruenti10. Anche qui, ilconcetto di fedeltà manifesta la sua utilità in quanto ricorda “agli scienziatisociali che i loro strumenti di raccolta di informazioni non hanno la virtùdi fotografare automaticamente la realtà, e che l’obiettivo di una registra-zione fedele deve essere perseguito controllando accuratamente il funziona-mento effettivo degli strumenti nei singoli atti di rilevazione” (Marradi 1990:79).

2. Triangolazione e ricerca valutativa

Per la sua contiguità con la ricerca sociale11, la ricerca valutativa rispecchiapressoché tutti i nodi epistemologici e metodologici propri delle scienzesociali; come nella ricerca sociale, gli approcci “quantitativi” sono stati con-trapposti a quelli “qualitativi”, originando una tensione ricorrente tra lavalutazione vista come quantificazione (trovare un’espressione numerica per)o come espressione di un giudizio di merito, politico o morale (statuire ilvalore di) (Lishman 1999: 2).Diversamente da alcuni autori che negano l’esistenza di procedure privile-giate che possano migliorare e favorire l’accettabilità dell’interpretazione diun ricercatore (Smith 1989, 160), molti valutatori auspicano una più accu-rata strutturazione procedurale12. Ciò – in parte – perché si chiedonorassicurazioni sulla correttezza delle procedure adottate nella raccolta delleinformazioni e sulla successiva analisi dei dati. Le valutazioni condotte conun approccio non-standard possono scarsamente contribuire alle politichee ai programmi sociali se non sono percepite come credibili (Green 2000:987).La valutazione tende a essere espressa in forma numerica, espressione rite-nuta più accettabile perché “scientifica”. Il fascino esercitato sui decisori

10 Webb et al. (1966: 3) introducono anche un assunto difficilmente condivisibile: “thisconfidence is increased […] by a reasonable belief in the different and divergent effects ofthe sources of error”. Perché la diversità delle origini degli errori dovrebbe implicare pro-prio una loro divergenza e – di conseguenza – una loro compensazione?11 Sulle relazioni tra ricerca sociale e ricerca valutativa, si vedano Rossi, Freeman e Lipsey(19936), Palumbo (2001c), Bezzi (2001), Parra Saiani (2002).12 Sulla necessità del rigore metodologico nell’ambito della ricerca valutativa si veda Bezzi(2001).



pubblici è da ricondurre alla possibilità di ottenere un semplice numero,riassuntivo di un processo, ma spesso se ne abusa: non è difficile trovarequalcosa da misurare che sia anche un possibile esito di un programma.Tutto ciò incoraggia una certa mistica della quantità, che si appoggia suinumeri considerandoli depositari di poteri occulti o dotati di valore scien-tifico intrinseco (Kaplan 1964: 172).Sempre più, tuttavia, la valutazione è avvicinata da una prospettivapluralistica13, ricorrendo – talvolta forse inconsciamente – a forme ditriangolazione. Sherman e Reid (1994: 3) riassumono le ragioni del cre-scente impiego delle tecniche non-standard nei processi valutativi: “Therewas the recognition that the controlled and reductive procedures ofquantitative research tended to selectively ignore much of the context ofany study and thereby miss significant factors in the situation that moreholistic qualitative observation and description might identify. There wasalso a recognition that the study and analysis of what goes on in the actualprocess of practice had been shortchanged in favour of measurable outcomes14.Further, a need existed for more knowledge about the interactive andsubjective experience of the client in the clinical change process”.Vi sono aspetti che non possono essere misurati, se non sulla base di pre-messe e postulati teorici scarsamente difendibili. Per contro, “la dimensio-ne qualitativa, e in linea generale gli ambiti di più impervia e incertarilevazione, possono generare informazioni decisive per una valutazionecorretta e completa delle politiche pubbliche” (Palumbo 1995: 334-335).Non si può cadere nel monismo gnoseologico se si ammette di avere fontidi informazioni sulla realtà al di fuori della matrice dei dati; in particolarese si riconosce che un patrimonio di esperienze e di conoscenze nonformalizzate è necessario in qualsiasi fase della ricerca, dalla scelta degliindicatori e delle definizioni operative alla valutazione della fedeltà dei dati,dalla scelta dei modelli e delle tecniche di analisi all’interpretazione deirisultati (Marradi 1990: 76).

13 “Our big evaluations should be split up into two or more parts and independentlyimplemented. When the results agree, the decision implications are clear. When theydisagree, we are properly warned about the limited generality of the findings. If qualitativeand quantitative evaluations were to be organised on the same programs, I would expectthem to agree. If they did not, I feel we should regard it possible that the quantitative wasthe one in error” (cfr. Campbell 1978: 372-373).14 Corsivo nostro.

PAOLO PARRA SAIANI



Il definitivo affrancamento da impostazioni neopositiviste invita a riconside-rare in termini circolari e non lineari le relazioni tra conoscenza e intervento,rendendo così legittime contaminazioni fruttuose anche sul pianometodologico (Palumbo 2001b: 11-12). “Quali che siano i rapporti recipro-ci, analisi quantitativa e analisi qualitativa non possono che denotare tipi diattività, modalità procedurali, strategie cognitive. La differenza, in altri ter-mini, non può essere relativa a oggetti di studio, come se esistessero ‘cose’ allequali dover riconoscere, realisticamente e in virtù di proprie specifiche carat-teristiche, la qualifica dell’essere qualitative oppure quantitative. Il dibattitonon può quindi che riguardare, per l’appunto, forme di analisi” (Campelli1996: 23).

3. I referenti della pratica valutativa

Max Weber affermava che nella discussione dei mezzi appare non solo “che ivari individui hanno inteso qualcosa di completamente diverso sotto [lo] sco-po che si supponeva preciso, ma […] che proprio lo stesso scopo è voluto subasi ultime differenti, e che ciò influenza la discussione sui mezzi […] Levalutazioni sono univoche soltanto quando lo scopo economico e le condi-zioni di struttura sociale appaiono date, e quando si tratta soltanto di sceglie-re tra diversi mezzi economici […] Solo allora un mezzo deve essere valutatorealmente, e senza eccezione, come quello tecnicamente più corretto, e que-sta valutazione è univoca. In ogni altro caso, che non sia puramente tecnico,la valutazione cessa di essere univoca” (Weber 1917: 358-359).Se nelle prime fasi di sviluppo della ricerca valutativa si sosteneva che iprogrammi fossero facilmente progettabili per produrre i risultati desidera-ti e scopo della valutazione fosse controllarne in anticipo gli effetti, piùtardi ci si accorse che ottenere dei miglioramenti non era così semplice eche i programmi avrebbero potuto dar luogo a un’ampia varietà di effetticollaterali imprevisti. L’attenzione degli studiosi di valutazione cominciò aspostarsi dalla “verifica”15 dei presunti effetti verso la scoperta di come unprogramma avrebbe potuto essere progettato per ottenere proprio gli effettidesiderati e quali effetti – previsti o meno – i programmi attuati avrebberopotuto provocare (Reichardt e Cook 1979: 17).

15 Uso volutamente il termine ‘verificare’, in quanto rispecchia il “clima” dell’epoca,marcatamente positivista.



L’impossibilità – talvolta l’inutilità – del confronto mezzi/fini può sorgere,almeno, in tre frangenti: i) i processi cognitivi basati sulla conoscenza tacitasono predominanti; ii) gli obiettivi sono nascosti, camuffati, non esplicita-mente rivelati; iii) l’incidenza degli effetti inattesi – positivi o negativi – èsuperiore a quella degli effetti previsti/attesi.i) Processi cognitivi basati sulla conoscenza tacita – Anche quando il pro-

fessionista agisce impiegando coscientemente teorie e tecniche basatesull’apprendimento, egli dipende da riconoscimenti, giudizi e abilitàtaciti (Schön 1983: 49-50). Non sempre i principi che realmente orien-tano il comportamento dei professionisti coincidono con i principiteorici dai quali essi affermano di essere guidati (Palumbo 2001c:75sgg.). Dreyfus e Dreyfus (1986) hanno chiarito che le prestazioni spe-cializzate attingono largamente alla conoscenza tacita; ancora prima,gli studi condotti da Benner (1984) avevano affermato che lo sviluppodella professionalità rispecchia lo sviluppo dei processi di inferenza in-consci, spontanei (cfr. anche Usher ed Edwards 1994). Solo i nuoviprofessionisti sono guidati da ruoli basati sulla conoscenza teorica for-male; con il progressivo consolidarsi dell’esperienza, l’applicazionemeccanica della teoria diventa più situata nel contesto16.

ii) Obiettivi nascosti, camuffati, impliciti – Se gli obiettivi fossero fissati echiari, allora la decisione di agire potrebbe presentarsi come un proble-ma strumentale; ma se i fini sono confusi o conflittuali, non vi è ancoraun problema da risolvere con l’uso delle tecniche derivate dalla ricercaapplicata. È piuttosto attraverso il processo con il quale si inquadra lasituazione problematica che si possono definire e chiarire gli obiettivi ei possibili mezzi per raggiungerli (Schön 1983: 41). Inoltre, le finalitàultime di un programma sociale sono spesso di ordine politico, buro-cratico o finanziario, mascherate da finalità sociali, rispondenti a indi-rizzi politico-sociali assai più ampi e astratti di quelli che governano lasua formulazione e la sua attuazione. L’esplicitazione della sferamotivazionale e dei criteri a essa riconducibili permetterebbe l’emerge-re di considerazioni solitamente in ombra nell’ambito dei processi de-cisionali – gli “obiettivi latenti” – riportando la discussione al confron-to tra sistemi differenti di valore.

16 Più recentemente, Fook, Ryan e Hawkins (1997) hanno condotto indagini simili sullavoro sociale trovando ulteriori riscontri. Cfr. inoltre Gould (1999: 68).

PAOLO PARRA SAIANI



iii) Effetti inattesi – Gli effetti inattesi sono stati spesso sovrapposti e con-fusi con i soli “effetti perversi”: molto è stato scritto sui possibili effettinegativi o sui non-effetti dell’intervento; ancora troppo poco si è di-scusso degli effetti positivi. Un intervento sul mercato del lavoro, adesempio, da un lato può aumentare i tassi di partecipazione al lavoro eridurre la dipendenza da sussidi pubblici, dall’altro diminuire compor-tamenti anti-sociali quali la propensione ad attività criminali17. La sti-ma dell’impatto, tuttavia, è condotta considerando pressoché esclusi-vamente le variazioni nei tassi di occupazione nei periodi successiviall’intervento, i costi relativi sostenuti, il personale impiegato, i serviziofferti. Con lo stesso strumento si possono perseguire obiettivi diffe-renti, non sempre in conflitto; ma occorre esplicitarne i presupposti. Ilricorso agli indicatori, comunque, non dovrebbe sostituire le sceltepolitiche fondate sull’analisi delle priorità, ma renderebbe più esplicitoe informato, oltre che democratico, il processo decisionale.

“La nostra scienza”, scriveva Weber, “è storicamente sorta in relazione apunti di vista pratici. Il suo scopo prossimo, e all’inizio anche esclusivo, eraquello di produrre giudizi di valore su determinati provvedimenti politico-economici dello Stato” (Weber 1904: 57). Ciò che si può offrire al decisorepolitico “è la conoscenza del significato di ciò che viene voluto. Noi possiamoinsegnargli a conoscere gli scopi che egli vuole, e tra cui sceglie, rendendoesplicite e sviluppando in maniera logicamente coerente le ‘idee’ che stan-no, o che possono stare a base dello scopo concreto”. E ciò pur consideran-do che “la trattazione scientifica dei giudizi di valore può inoltre non sol-tanto farci comprendere e rivivere gli scopi che vogliamo e gli ideali chestanno dietro alla loro base, ma soprattutto anche insegnare a ‘valutarli’criticamente” (Weber 1904: 60). Ciononostante, gli sviluppi anche recentidella ricerca valutativa si sono limitati all’ambito prevalentemente empirico– gli effetti prodotti dagli interventi – trascurando quello normativo, ilriferimento a princìpi e la riflessione sulle finalità da perseguire. Se nel pri-mo ci si deve limitare a valutare l’efficienza e l’efficacia di una data politica,nell’ambito normativo-valoriale sono in discussione i principi orientativistessi della politica.

17 È emblematico che la formazione professionale a favore dei disoccupati di lungo peri-odo rientri tanto nella sfera delle politiche attive del lavoro quanto in quella delle politicheattive contro la povertà: sul punto si vedano CEPR (1995: 158), Commissione di indaginesulla povertà e l’emarginazione (1997: 7), Parra Saiani (1999).



La sfida posta dalla ricerca degli indicatori non è solo la loro definizione –parallela al processo di progettazione e implementazione della politica – maanche l’opportuno bilanciamento tra indicatori “qualitativi” e “quantitativi”,per evitare di ridurre i programmi e le politiche ai loro obiettivi espliciti, equesti ai soli aspetti misurabili (Palumbo 2001a: 14).

4. La multidimensionalità nella costruzione degli indicatori

L’impiego di un indicatore implica la sostituzione dei vari aspetti di unconcetto ritenuto strategico con più concetti di livello di generalità inferio-re18. La storia dell’uso degli indicatori può essere letta come quella delleipotesi implicite sullo “stato di realtà degli oggetti così indicati” (Desrosières1997: 21): prima di tutto, l’indicatore è un enunciato sulla società. L’originedegli indicatori è quella di oggetti giudicati sociali, suscettibili di essere pen-sati, e rilevati19, in quanto tali. Non potendo “rilevare gli stati sulla proprie-tà A, il ricercatore pensa a una o più altre proprietà i cui stati siano rilevabili,e che lui giudica semanticamente collegata/e alla proprietà A. L’indicatore è

18 Etzioni e Lehman (1967) hanno elaborato un elenco pressoché completo delle insidienelle quali si può incorrere. Gli errori possono derivare da tre “fonti”: a) il carattere frazionaledella rilevazione (la riduzione del concetto); b) il suo carattere indiretto e c) le difficoltànella rilevazione di proprietà collettive. In merito alle proprietà collettive si possono in-contrare due ambiguità: la prima consiste nel trattare unità formali o amministrative (sta-ti, tratti censuali o classi scolastiche) come categorie teoricamente significative. La secondaquando si deve scegliere tra due modi di rilevare le caratteristiche di una collettività, unobasato sulle proprietà aggregate, l’altro sulle proprietà globali. Un attributo collettivo èaggregato se è basato sull’informazione concernente ciascun membro della collettività stu-diata; una caratteristica globale può essere un prodotto – materiale o simbolico – emanatodalla collettività senza poter sapere quale o quanti membri individuali vi hanno contribu-ito. Lazarsfeld ne propone un’illustrazione derivata da misure alternative del benessere diuna città: una misura aggregata potrebbe essere la media dei redditi; un attributo globalepotrebbe consistere nelle varie risorse (giardini, teatri, ecc.) usati a fini non economici (cfr.Lazarsfeld 1968; 234 e Cazes 1972: 17).19 L’indicatore deve concernere qualcosa di rilevabile. La “perdita di comunità” non puòessere un indicatore. Possiamo cercare molte vie per rilevarla considerando il tasso di sui-cidi, il tasso con il quale le persone cambiano casa, il livello col quale le persone che vivononella stessa area influenzano reciprocamente il comportamento elettorale, ecc., perché sonotutti aspetti rilevabili. Ma la “perdita di comunità” – come molte altri concetti – non è insé direttamente rilevabile e quindi, per quanto importante essa sia, non è un indicatore(cfr. Anderson 1991: 50).

PAOLO PARRA SAIANI



allora una proprietà che il ricercatore concettualizza sia come tale sia come(parziale e imperfetto) surrogato di un’altra che gli interessa di più”20. Gliindicatori sono necessari se le proprietà non sono definibili operativamente21

o se l’accuratezza della stessa definizione operativa non è soddisfacente, percui il rapporto di indicazione “è sottoponibile a controllo empirico solo informa indiretta e mediata dalle valutazioni del ricercatore e della comunitàscientifica” (Landucci e Marradi 1999: 155). I fenomeni sociali possonoperciò essere colti dall’indicatore “in modo “particolare” e/o secondo un’ot-tica prospettica privilegiata” (Cipolla 19884: 363).L’indicatore è un ibrido composito che riunisce in sé la misura – nel sensodelle scienze della natura – e il significato – nel senso della linguistica – la cuiefficacia è fondata sulla sua elasticità e malleabilità. Il giudizio sull’uso corret-to degli indicatori è riferito alla loro validità, cioè alla vicinanza22 con il con-cetto che s’intende operativizzare: a tal fine, l’indicatore deve rispettare lecondizioni di unidimensionalità e di pertinenza teorica. La pertinenza teoricaconcerne la capacità di rilevare la proprietà che effettivamente s’intende os-servare e non altre; capacità strettamente legata alla necessità di predisporreindicatori unidimensionali: se gli indicatori sono multidimensionali “nelmigliore dei casi soltanto una delle dimensioni rilevate è quella richiesta”(Bruschi 1999: 77). La scelta è semplificata se gli obiettivi o i fini del pro-gramma sono stati specificati. Comunque, anche in questo caso, è possibileche vi siano effetti non-desiderati o non previsti.Le due accezioni principali del termine ‘indicatore’ corrispondono a duediverse modalità di costruzione. La prima considera gli indicatori specifica-zioni e articolazioni di un concetto in dimensioni rilevabili, e privilegia ilprocesso di chiarimento concettuale e la successiva individuazione di indi-

20 “L’indicatore deve quindi avere natura vettoriale (nel senso strutturale, non nel sensomatematico; dev’essere cioè: 1) una proprietà 2) che presenti stati su (almeno potenzial-mente) tutti i casi rappresentati nelle righe della matrice dei dati” (cfr. Marradi 1994: 184-185). Su tali aspetti si veda inoltre Marradi (19843: § 3.3).21 “Un indicatore è un concetto, e non può essere equivalente a una definizione operati-va, che è un complesso di regole, di convenzioni, di stipulazioni (oltre che – se si vuoleadottare un’accezione estensiva del termine – di azioni che applicano regole e convenzio-ni)” (cfr. Landucci e Marradi 1999: 153, corsivo nostro).22 Vicinanza desumibile da quanto stretta è la rappresentanza semantica degli indicatorinei confronti delle dimensioni del concetto e dalle risultanze empiriche provenienti sia dalmondo dei referenti sia dal mondo della matrice (Marradi 1994: § 8).



catori in primo luogo validi, e solo in secondo luogo rilevabili agevolmenteo, al limite, ricavabili da dati già disponibili. Nella seconda accezione siconsidera l’indicatore un simbolo numerico a sfondo operativo che costitu-isce, anche se in modo parziale e mediato, un fenomeno sociale in base acriteri necessari e sufficienti a garantire che tale “misura” (relazione fra gran-dezze) apporti sul tema in questione un autonomo, potente, connettivo econtrollabile incremento conoscitivo (Cipolla 19884: 363). Si parte dalle in-formazioni disponibili per definire solo in seconda battuta quali loro elabo-razioni possano essere considerate validi indicatori del concetto da studiare(cfr. Palumbo 1995 e 2001: 10).Tuttavia, anche quando si privilegia il criterio semantico nella procedura dicostruzione degli indicatori, è facile constatare l’assenza di un coordina-mento nell’ambito di un sistema, di un modello complessivo di indicatoriorientato all’interpretazione dei fenomeni, o alla loro conoscenza e descri-zione (Zajczyk 1997: 25). Il ricorso agli indicatori sembra spesso casuale,privo di uno schema interpretativo, di un’adeguata elaborazione concettua-le, orientato pressoché esclusivamente dalla disponibilità dei dati.La scarsa chiarezza concettuale non ha aiutato e non aiuta il processo disviluppo degli indicatori: si pensi alle dimensioni dell’esclusione sociale piùcomunemente considerate caratteristiche essenziali, ad esempio l’essere di-namica e multistratificata. Spesso, dopo aver pagato un tributo pressochéformale alla differenza tra povertà ed esclusione sociale, alla naturamultidimensionale e alla dinamicità di quest’ultima, i dati aggregati sulreddito annuale e sugli strumenti di sostegno sono i principali – se non isoli – indicatori proposti (García e Saraceno s.d.: 10).La complessità e la multidimensionalità dei referenti del processo valutativohanno ancor più intense ripercussioni sulla valutazione dei servizirelazionali23. Nell’ambito delle politiche sociali si scontano molte confusio-ni concettuali, terminologiche e operative che certo non facilitano l’avviodi un ripensamento complessivo, di ampio respiro, sull’area nel suo com-

23 Riprendendo la definizione di ‘bene relazionale’ proposta da Donati (1993: 121-122,nota 14), con l’espressione ‘servizio relazionale’ intendiamo un servizio che può essereprodotto e fruito soltanto assieme dagli stessi produttori e fruitori, tramite le relazioni checonnettono i soggetti coinvolti: il servizio è relazionale per il fatto che è (“sta nella”) rela-zione.

PAOLO PARRA SAIANI



plesso24. Vi è una consistente carenza di informazione tanto che è arduoidentificare l’esito dei servizi alla persona ed esplicitarlo senza ridondanze oindebiti riduzionismi (Rossi 1999: 172). Senonché la necessità dioperativizzare concetti dai confini estremamente labili richiede un appro-fondimento delle loro varie dimensioni attraverso più tecniche e strumentidi ricerca, rendendo concreta sul piano empirico e operativo la triangolazionedelle tecniche di ricerca.

24 Sulle difficoltà incontrate nell’individuare le dimensioni sottostanti il concetto di qua-lità del servizio o di qualità in generale si vedano Frudà (1997), Allegri (2000), Robson(2000).



Riferimenti bibliografici

Allegri Elena (2000), Valutazione di qualità e supervisione. Connessioni teoriche e strategie operative nellavoro sociale, Trieste, Lint.

Anderson Victor (1991), Alternative Economic Indicators, London, Routledge.

Benner Patricia (1984), From Novice to Expert: Excellence and Power in Clinical Nursing Practice,Menlo Park, Addison-Wesley.

Bezzi Claudio (2001), Il disegno della ricerca valutativa, Milano, Franco Angeli.

Bruschi Alessandro (1999), Metodologia delle scienze sociali, Milano, Bruno Mondadori.

Campbell Donald T. (1964), Distinguishing Differences of Perception from Failures of Communication inCross-cultural Studies, in Cross-Cultural Understanding: Epistemology in Anthropology, a cura di FilmerStuart Cuckow Northrop e Helen H. Livingston, New York, Harper & Row, pp. 308-336.

Campbell Donald T. (1978), Qualitative Knowing in Action Research, in The Social Context of Method,a cura di Michael Brenner, P. Marsh e M. Brenner, London, Croom Helm, pp. 184-209 (ristam-pato in Donald T. Campbell, Methodology and Epistemology for Social Science. Selected papers, acura di E. Samuel Overman, Chicago, Chicago University Press, 1988, pp. 360-376).

Campbell Donald T. (1979), “Degrees of Freedom” and the Case Study, in Qualitative and QuantitativeMethods in Evaluation Research, a cura di Thomas D. Cook e Charles S. Reichardt, Beverly Hills,Sage, pp. 49-67.

Campbell Donald T. e Donald W. Fiske (1959), Convergent and Discriminant Validation by theMultitrait-Multimethod Matrix, in “Psychological Bulletin”, n. 2, March, pp. 81-105 (ristampa-to in Donald T. Campbell, Methodology and Epistemology for Social Science. Selected papers, acura di E. Samuel Overman, Chicago, Chicago University Press, 1988, pp. 37-61).

Campelli Enzo (1996), Metodi qualitativi e teoria sociale, in Il sociologo e le sirene. La sfida dei metodiqualitativi, a cura di Costantino Cipolla e Antonio De Lillo, Milano, Franco Angeli, pp. 17-36.

Cannavò Leonardo (1999), Teoria e pratica degli indicatori nella ricerca sociale. Vol. I Teorie e problemidella misurazione sociale, Milano, LED.

Cardano Mario (1991), Il sociologo e le sue muse. Qualità e quantità nella ricerca sociologica, in “Ras-segna Italiana di Sociologia”, XXXII, 2, pp. 181-223.

Cazes Bernard (1972), The Development of Social Indicators: a Survey, in Social Indicators and SocialPolicy, a cura di Andrew Shonfield e Stella Shaw, London, Heinemann, pp. 9-22.

CEPR (1995), La disoccupazione: scelte per l’Europa, Bologna, il Mulino.

Cipolla Costantino (19884), Teoria della metodologia sociologica. Una metodologia integrata per laricerca sociale, Milano, Angeli.

Commissione di Indagine sulla Povertà e l’Emarginazione (1997), Valutazione dell’efficacia di inter-

PAOLO PARRA SAIANI



venti pubblici contro la povertà: questioni di metodo e studi di casi, Roma, Presidenza del Consigliodei Ministri, Dipartimento per l’Informazione e l’Editoria.

Corrao Sabrina (2000), Il focus group, Milano, Franco Angeli.

Delli Zotti Giovanni (1996), Quale quantità e quanta qualità nella ricerca sociale: tra integrazione econvergenza, in Il sociologo e le sirene. La sfida dei metodi qualitativi, a cura di Costantino Cipollae Antonio De Lillo, Milano, Franco Angeli, pp. 136-166.

Denzin Norman K. (19703), The Research Act, Chicago, Aldine Publishing Co.

Denzin Norman K. (1989), Interpretative Interactionism, Newbury Park, Sage.

Desrosières Alain (1997), Refléter ou instituer: l’invention des indicateurs statistiques, in Les indicateurssocio-politiques aujourd’hui, a cura di Elisabeth Dupoirier e Jean-Luc Parodi, Paris, L’Harmattan,pp. 15-33.

Donati Pierpaolo (1993), La cittadinanza societaria, Roma-Bari, Laterza.

Dreyfus Hubert L. e Stuart E. Dreyfus (1986), Mind over Machine: The Power of Human Intuitionand Expertise in the Era of the Computer, Oxford, Basil Blackwell.

Etzioni Amitai e Edward W. Lehman (1967), Some Dangers in “Valid” Social Measurement, in “TheAnnals of the American Academy of Political and Social Science”, September.

Fook Jan, Martin Ryan e Linette Hawkins, Towards a Theory of Social Work Expertise, in “BritishJournal of Social Work”, 27(3), 1997, pp. 339-417.

Frudà Luigi (1997), Ricerca valutativa, controllo di qualità e innovazione nella pubblica amministra-zione e nella gestione dei servizi pubblici, in “Studi di Sociologia”, XXXV, aprile-giugno, pp. 127-167.

García Marisol e Chiara Saraceno (s.d.), Introduction, in The Evaluation of Social Policies againstSocial Exclusion at the Local Urban Level (ESOPO), a cura di Chiara Saraceno, mimeo.

Gasperoni Giancarlo e Alberto Marradi (1996), Metodo e tecniche nelle scienze sociali, in Enciclopediadelle Scienze Sociali, Roma, Istituto della Enciclopedia italiana, vol. V, pp. 624-643.

Glaser Barney G. e Anselm L. Strauss (1967), The Discovery of Grounded Theory, Chicago, Aldine.

Gobo Giampietro (2001), Descrivere il mondo. Teoria e pratica del metodo etnografico in sociologia,Roma, Carocci.

Gould Nick (1999), Qualitative Practice Evaluation, in Evaluation and Social Work Practice, a cura diIan Shaw e Joyce Lishman, London, Sage, pp. 63-80.

Guala Chito (1991), I sentieri della ricerca sociale, Roma, NIS.

Guala Chito (1996), Introduzione. L’intervista tra qualità e quantità, in Intervista e conversazione.Strategie di comunicazione e affidabilità dei dati, a cura di Chito Guala, Genova, Costa & Nolan.



Guala Chito (2000), Metodi della ricerca sociale. La storia, le tecniche, gli indicatori, Roma, Carocci.

Green Jennifer C. (20002), Understanding Social Programs Through Evaluation, in Handbook ofQualitative Research, a cura di Norman K. Denzin e Yvonna S. Lincoln, Thousand Oaks, Sage,pp. 981-999.

Hammersley Martyn e Paul Atkinson (1983), Ethnography: Principles in Practice, London, Tavistock.

Kaplan Abraham (1964), The Conduct of Inquiry. Methodology for Behavioral Science, New York,Harper & Row.

Lakatos Imre (1970), Falsificationism and the Methodology of Scientific Research Programmes, in Criticismand the Growth of Knowledge, a cura di Imre Lakatos e Alan Musgrave, Cambridge, CambridgeUniversity Press (trad. it. Critica e conoscenza della conoscenza, Milano, Feltrinelli, 1976).

Lakatos Imre (1995), Lezioni sul metodo, in Imre Lakatos e Paul K. Feyerabend, Sull’orlo della scien-za. Pro e contro il metodo, Milano, Cortina.

Landucci Sandro e Alberto Marradi (1999), Paul Felix Lazarsfeld: quel che direbbe l’avvocato deldiavolo, in Paul Felix Lazarsfeld: un “classico” marginale, a cura di Enzo Campelli, Antonio Fasanellae Carmelo Lombardo, in “Sociologia e ricerca sociale”, XX, nn. 58-59, pp. 150-164.

Lazarsfeld Paul Felix (1968), The Uses of Sociology, London, Weidenfeld and Nicholson.

Lishman Joyce (1999), Introduction, in Evaluation and Social Work Practice, a cura di Ian Shaw eJoyce Lishman, London, Sage, pp. 1-13.

Marradi Alberto (19843), Concetti e metodo per la ricerca sociale, Firenze, Giuntina.

Marradi Alberto (1990), Fedeltà di un dato, affidabilità di una definizione operativa, in “RassegnaItaliana di Sociologia”, XXXI, n. 1, gennaio-marzo, pp. 55-96.

Marradi Alberto (1994), Referenti, pensiero e linguaggio: una questione rilevante per gli indicatori, in“Sociologia e ricerca sociale”, XV, n. 43, pp. 137-207.

Marradi Alberto (1996), Due famiglie e un insieme, in Il sociologo e le sirene. La sfida dei metodi qualitativi,a cura di Costantino Cipolla e Antonio De Lillo, Milano, Franco Angeli, pp. 167-178.

Palumbo Mauro (1995), Indicatori e valutazione di efficacia delle policies, in “Sociologia e ricercasociale”, 47-48, pp. 317-342.

Palumbo Mauro (2001a), The Mechanisms of Processes’ Evaluation: Quantitative, Qualitative andDynamic Indicators, European Workshop, Montpellier, 16 giugno 2001, paper.

Palumbo Mauro (2001b), Qualità ed efficacia nei servizi: convergenza o coincidenza?, in “Politichesociali e servizi”, III, 1, pp. 65-87.

Palumbo Mauro (2001c), Il processo di valutazione. Decidere, programmare, valutare, Milano, FrancoAngeli.

PAOLO PARRA SAIANI



Parra Saiani Paolo (1999), Percorsi di formazione tra politiche attive del lavoro e politiche sociali, inSfide formative in uno scenario in transizione, a cura di Guido Lazzarini e Anna Cugno, Milano,Franco Angeli, pp. 221-242.

Parra Saiani Paolo (2000), Quale valutazione per le politiche attive del lavoro, in La valutazione dellepolitiche del lavoro e della formazione, a cura di Maura Franchi e Mauro Palumbo, “Sociologiadel lavoro”, 77, pp. 89-102.

Parra Saiani Paolo (2001), Précarité de l’emploi et risques émergents. Vers une approche multidimensionnelleà l’évaluation des politiques sociales, Actes des Huitièmes Journées de Sociologie du Travail Marchésdu travail et differenciations sociales. Approches comparatives, Aix-en-Provence, Laboratoire d’Eco-nomie et de Sociologie du Travail (LEST), pp. 143-151.

Parra Saiani Paolo (2002), La valutazione tra arte e scienza, in “Quaderni di Sociologia”, in corso distampa.

Potter Jonathan e Margaret Wetherell (1987), Discourse and Social Psychology. Beyond Attitudes andBehaviour, London, Sage.

Reichardt Charles S. e Thomas D. Cook (1979), Beyond Qualitative versus Quantitative Methods, inQualitative and Quantitative Methods in Evaluation Research, a cura di Thomas D. Cook e CharlesS. Reichardt, Beverly Hills, Sage, pp.7-32.

Ricolfi Luca (1997), La ricerca empirica nelle scienze sociali: una tassonomia, in La ricerca qualitativa,a cura di Luca Ricolfi, Roma, NIS, pp. 19-43.

Robson Colin (2000), Small-Scale Evaluation, London, Sage.

Rossi Giovanna (1999), I servizi alla persona in Italia: risorse, obiettivi, norme e cultura, in Lo stato socialein Italia. Bilanci e prospettive, a cura di Pierpaolo Donati, Milano, Mondadori, pp. 169-224.

Rossi Peter H., Howard E. Freeman e Mark W. Lipsey (19936), Evaluation. A Systematic Approach,Thousand Oaks, Sage.

Saraceno Chiara (1999), Per l’introduzione di un reddito minimo di inserimento, in “Tutela”, V, 4,aprile, pp. 2-4.

Scriven Michael (1972), Objectivity and Subjectivity in Educational Research, in Philosophical Redirectionof Educational Research: The Seventy-first Yearbook of the National Society for the Study of Education,a cura di Lawrence G. Thomas, Chicago, University of Chicago Press.

Schön Donald A. (1983), The Reflective Practitioner. How Professionals Think in Action, New York,Basic Books.

Sherman Edmund e William J. Reid, a cura di (1994), Qualitative Research in Social Work, NewYork, Columbia University Press.

Silverman David (1993), Interpreting Qualitative Data. Methods for Analysing Talk, Text and Interaction,London, Sage.



Smith John K. (1989), The Nature of Social and Educational Inquiry: Empiricism versus Interpretation,Norwood, Ablex.

Smith Herman W. (1975), Strategies of Social Research. The Methodological Imagination, EnglewoodCliffs, Prentice-Hall.

Trow Martin A. (1957), Comment on Participant Observation and Interviewing: a Comparison, in“Human Organization”, 16, pp. 33-35.

Usher Robin e Richard Edwards (1994), Postmodernism and Education, London, Routledge.

Webb Eugene J., Donald T. Campbell, Richard D. Schwartz e Lee Sechrest (1966), UnobtrusiveMeasures: Nonreactive Research in the Social Sciences, Chicago, Rand McNally.

Weber Max (1917), Der Sinn der „Wertfreiheit“ der soziologischen und ökonomischen Wissenschaften,in Max Weber, Gesammelte Aufsätze zur Wissenschaftslehre, Tübingen, Mohr, 1922, 2a ed. a curadi J. Winckelmann, 1951 (trad. it. Il significato della “avalutatività” delle scienze sociologiche eeconomiche, in Max Weber, Il metodo delle scienze storico-sociali, Torino, Einaudi, 1958, pp. 309-375).

Weber Max (1904), Die „Objektivität“ sozialwissenschaftlicher und sozialpolitischer Erkenntnis, in M.Weber, Gesammelte Aufsätze zur Wissenschaftslehre, Tübingen, Mohr, 1922, 2a ed. a cura di J.Winckelmann, 1951 (trad. it. L’“oggettività” conoscitiva della scienza sociale e della politica sociale,in Max Weber, Il metodo delle scienze storico-sociali, Torino, Einaudi, 1958, pp. 53-141).

Zajczyk Francesa (1997), Il mondo degli indicatori sociali. Una guida alla ricerca sulla qualità dellavita, Roma, NIS.

Documents

2001 - Triangolazione e processi valutativi