S. Macchia - Armonizzazione dei questionari delle indagini sulle imprese

SESSIONE IIPREVENZIONE, VALUTAZIONE E TRATTAMENTODEGLI ERRORI NON CAMPIONARI

Armonizzazione dei questionaridelle indagini sulle imprese

Stefania Macchia

GIORNATE DELLA RICERCA IN ISTAT | 10-11 NOVEMBRE 2014

Indice1. Il contesto n. 1

2. Il disegno del questionario n. 2

3. Il manuale di pratiche raccomandate n.3-4

4. Il disegno del questionario – Principi generali n. 5-7

5. Il disegno del questionario – Principi particolari i n. 8

6. Il modello per rappresentare il processo di risposta n. 9

7. Impatto del disegno del questionario sugli step del processo di risposta n. 10

7. Impatto sugli step di cornice n. 11

8. Le pratiche raccomandate n.12-16

9. Studio sui contenuti n.17-18

10. Conclusioni n.19

GIORNATE DELLA RICERCA IN ISTAT | 10-11 NOVEMBRE 2014Armonizzazione dei questionari delle indagini sulle imprese | Stefania Macchia

• Il Portale delle imprese, che si concretizza in un unico punto di acquisizione/scambio di dati e informazioni statistiche, rende necessario accelerare il processo di razionalizzazione ed armonizzazione dei questionari di indagine.

• I questionari devono essere resi uniformi non soltanto per quanto attiene ai concetti trattati, ma anche sotto l’aspetto del layout e di tutte le funzionalità implementate nei questionari stessi.

• Sono quindi state individuate le Pratiche Raccomandate per il disegno dei questionari di impresa da somministrarsi via Web e autocompilati

• Parallelamente, è in atto uno studio sui contenuti rilevati nei diversi questionari

Il contesto

1GIORNATE DELLA RICERCA IN ISTAT | 10-11 NOVEMBRE 2014Armonizzazione dei questionari delle indagini sulle imprese | Stefania Macchia

Le fasi di disegno del questionario di indagine e quella del disegno del questionario elettronico si sovrappongono per moltissime attività.Il GSBPM individua due sotto processi che non possono essere sequenziali: 2 - Design (2.2 Design variable descriptions) e 2.3 Design collection).‘The sub-process 2.2 may need to run in parallel with sub-process 2.3, as the definition of the variables to be collected, and the choice of collection instrument may be inter-dependent’.

Il disegno del questionario

2

Titolo grafico

Le Pratiche Raccomandate afferiscono a questa area di sovrapposizione


Obiettivo: garantire un approccio standard da adottare per i questionari delle indagini sulle imprese, tenendo conto degli aspetti peculiari delle diverse tipologie di indagine (SBS, STS), con la finalità di armonizzare i contenuti da rilevare, con particolare attenzione sia agli aspetti definitori delle variabili che alla strutturazione e formulazione dei relativi quesiti.

Rispetto al processo strutturato per la progettazione dei questionari riportato nei manuali metodologici, si è partiti dal presupposto che alcuni step sono consolidati. Es: Gli obiettivi di indagine e i concetti di base sono già noti La tecnica di rilevazione è individuata (Web autocompilati)

Il manuale di Pratiche Raccomandate


Il manuale di Pratiche RaccomandateCi si è concentrati su: Definizione degli schemi del questionario Tutti gli aspetti del disegno del questionario strettamente

correlati alla tecnica di acquisizione

• Si è proceduto tenendo conto di: manualistica sul tema (es. 2006 QDet Manual, 2014 Memobust

Handbook, ecc.) bibliografia disponibile esperienze già effettuate nel dipartimento delle statistiche

economiche, in quanto la gran parte delle indagini sulle imprese già somministrano questionari Web.

4

• Organizzativamente si è lavorato in un gruppo di lavoro composto da: Metodologi Ricercatori esperti delle diverse tipologie di indagini sulle

imprese Esperti IT


I principi generali

Progettazione del questionario = progettazione di uno strumento di comunicazione che si avvale di un canale specifico, il Web.

Sono individuati alcuni principi generali per: • invogliare a rispondere:

la presentazione dell’indagine deve essere efficace nel sottolineare l’importanza della stessa in termini di politiche sociali e/o economiche

devono essere garantiti la fluidità dell’intervista (ottenibile personalizzando la formulazione dei quesiti), così come il contenimento delle informazioni da rilevare ex novo (realizzabile chiedendo la conferma/aggiornamento di informazioni già disponibili)

Il disegno del questionario – principi generali


I principi generali

• minimizzare lo sforzo per fornire le risposte: è necessario curare non soltanto la formulazione dei quesiti in modo

che siano immediatamente comprensibili, chiari e non ambigui, ma anche la predisposizione delle note esplicative utilizzando una terminologia adatta a tutti i rispondenti

il questionario deve essere tale che il rispondente sia sempre guidato nell’individuazione dei percorsi di compilazione e non gli siano richiesti sforzi in termini mnemonici o di calcolo

qualora le informazioni richieste non siano immediatamente disponibili, è opportuno anticipare cosa sarà richiesto, così da dar modo di recuperare preventivamente le informazioni (strategia particolarmente adatta per le indagini sulle imprese).



I principi generali

• dare al rispondente un ritorno dall’aver fornito l’informazione: il questionario deve essere disegnato tenendo conto delle esigenze

informative degli utenti è opportuno programmare la diffusione dei dati nel più breve tempo

possibile e rendere edotto il rispondente sulla strategia di diffusione.



I principi particolari legati alla tecnica di rilevazione

Il disegno del questionario – principi particolari

Peculiarità dei questionari auto-compilati con la tecnica CAWI

Principi base nel disegno dei questionari elettronici

i) Non si ha mai certezza su come apparirà il questionario sul computer del rispondente

Il layout del questionario deve essere reso il più semplice e chiaro possibile

ii) Il rispondente è solo a compilare il questionario

La compilazione deve essere facile sia tecnicamente che contenutisticamente

Deve essere massimizzato l’aiuto fornito al rispondente

iii) A differenza di una pagina cartacea, il rispondente non legge sequenzialmente, ma scandisce la schermata alla ricerca delle informazioni che gli servono

Devono essere individuate modalità per orientarlo sui diversi tipi di informazione

I diversi tipi di informazione comunicata al rispondente devono essere rappresentati in modo uniforme

iv) Il rispondente è abituato all’interazione con la pagina (sarebbe controproducente avere tutta l’informazione disponibile in maniera statica sulla pagina)

E’ necessario stabilire cosa debba apparire sempre nella schermata e cosa debba invece essere mostrato a seguito di un’azione del rispondente


Il modello per rappresentare il processo di risposta

9

Si è ritenuto utile verificare come il disegno del questionario, nonché delle funzionalità da implementare nel questionario elettronico impattino sugli step del processo di risposta, rappresentati in un modello ‘ibrido’ basato su un approccio cognitivo; questo modello aggiunge ai quattro step core del processo di risposta quattro step ‘cornice’, particolarmente rilevanti nelle indagini sulle imprese.

Encoding in Memory / Record Formation Selection / Identification of Respondent(s) Assessment of Priorities (Motivation)

Release of the Data

ComprehensionRetrievalJudgementCommunication.

Ibrid response model (2000 Sudman, 2001 Wilimack, Nichols)


• Formulazione/wording del quesito, strutturazione di questo stesso, layout con cui è visualizzato, istruzioni ad esso correlate e modalità con cui queste vengono rese disponibili impattano su: processo di comprensione del quesito identificazione delle informazioni rilevanti per fornire la risposta

• Regole di percorso e di coerenza implementate nel questionario elettronico impattano su: step di judgement

• La struttura con cui si vuole che le informazioni da fornire siano organizzate, struttura che, implementata nel questionario elettronico, restringe ulteriormente la discrezionalità del rispondente (definendo le caratteristiche dei campi di risposta) impatta su: step di communication

Impatto del disegno del questionario sugli step del processo di risposta


• Il disegno del questionario ha un impatto sullo step Encoding in memory/Record formation, perché tanto più nel richiedere i dati ci si avvicina a come questi sono gestiti e archiviati nei sistemi informativi delle imprese, tanto più è limitato lo sforzo necessario a fornire l’informazione

• Sugli altri tre step, invece, hanno un impatto diretto le funzioni previste nell’architettura del Portale

Impatto sugli step di cornice


• Le raccomandazioni sono state organizzate per problematiche omogenee riconducibili ai diversi aspetti propri della fase di progettazione.

Le Pratiche Raccomandate

12

1) La strutturazione delle sezioni/pagine

E’ lo step del disegno in cui si definiscono gli Schemi di questionario – albero delle aree. Vengono fornite Indicazioni su come strutturare concettualmente il questionario in sezioni, tenendo conto di: Pagine del questionario elettronico Schermate Flusso Set di controlli da gestire nella pagina

E’ uno degli aspetti dello step di messa a punto del questionario– draft del questionario Accorgimenti su: Quesiti per rilevare variabili quantitative Quesiti precodificati (quando usare radio-buttons,

check-boxes, dropdown boxes ) Quesiti a testo libero Quesiti organizzati in tabelle/matrici

2) L’organizzazione dei quesiti



10

3) L’utilizzo delle classificazioni

4) La struttura per le definizioni delle variabili

2.3 L’utilizzo delle classificazioni Evidenziate le possibili finalità dell’accesso a classificazioni Suggerimenti su come accedere alle classificazioni per

individuare il codice (drop-down boxes o codifica assistita) Suggerimenti per garantire l’utilizzo di classificazioni aggiornate

2.4 La struttura per le definizione delle variabili Tutte le informazioni messe a disposizione del rispondente hanno un impatto sul processo di risposta, anche per quanto attiene strettamente a come questo contenuto viene espresso e comunicato. E’ stata disegnata

una struttura standard per recepire le definizioni Struttura organizzata in moduli Moduli associati a simboli standard richiamabili dal questionario

5) La gestione del flusso di compilazione

2.5 La gestione del flusso di compilazione E’ uno degli aspetti dello step di messa a punto – draft del questionario Indicazioni su: Regole e gestione del flusso nell’ambito di una pagina/sezione Regole e gestione del flusso tra una pagina/sezione e l’altra Impatto sul piano di controlli

13 GIORNATE DELLA RICERCA IN ISTAT | 10-11 NOVEMBRE 2014Armonizzazione dei questionari delle indagini sulle imprese | Stefania Macchia


14

6) Il piano di controllo e la gestione degli errori

7) La struttura e il disegno della schermata

2.6 Il piano di controllo e la gestione degli errori Indicazioni su come disegnare il set di controlli, tenendo conto di: regole che impattano su variabili nella stessa pagina web,

oppure a pagine diverse numerosità di controlli che afferiscono alla stessa pagina web relativamente ai controlli che afferiscono a pagine diverse, la

sequenza delle pagine nel flusso logico di compilazione gestione dei controlli lato client piuttosto che lato server caso particolare di controlli su variabili gestite nella stessa

tabella/matrice

2.7 La struttura e il disegno della schermata E’ uno degli aspetti dello step di messa a punto – draft del questionario Si è tenuto conto degli standard già impostati in GX Sono stati forniti ulteriori dettagli e simboli grafici da adottarsi nei

questionari elettronici



15

9) Quesiti di valutazione del respondent burden

2.8 La guida e le istruzioni a supporto del rispondente Tutte le informazioni messe a disposizione del rispondente hanno un impatto sul processo di risposta, anche per quanto attiene strettamente a come questo contenuto viene espresso e comunicato. Sono stati definiti gli standard di struttura e layout per un set standard di documenti: Breve descrizione dell’indagine Facsimile del questionario Segreto statistico e riferimenti normativi Guida alla compilazione Istruzioni per la procedura telematica Informativa a firma del presidente

8) La guida e le istruzioni a supporto del rispondente

2.9 Quesiti di valutazione del respondent burden E’ stato definito un set di quesiti per rilevare: difficoltà e/o gravosità del reperimento delle informazioni

necessarie a rispondere, eventuale difficoltà nel completare il questionarioQuanto rilevato con questi quesiti costituisce soltanto un ‘alert’ e può essere analizzato insieme agli indicatori rilevabili dai paradati



16

8) L’utilizzo dei paradati per il monitoraggio della rilevazione e l’ottimizzazione del questionario

2.10 L’utilizzo dei paradati per il monitoraggio della rilevazione e l’ottimizzazione del questionario Sono stati evidenziate le potenzialità dei paradati per: monitorare l’andamento della rilevazione individuare eventuali criticità nella progettazione del

questionario Oltre agli indicatori già prodotti automaticamente da GX ne vengono suggeriti altri utili all’analisi finalizzata all’ottimizzazione del disegno del questionario.


Studio sui contenuti • E’ stato avviato uno studio sui contenuti, concentrandosi su due variabili

rilevate da più indagini: Addetti e Fatturato

• Le fonti informative utilizzate per convergere su Definizioni armonizzate sono:

• E’ stato uniformato il linguaggio in modo che sia comprensibile per l’utente e corretto dal punto di vista statistico.

• Si è dovuta scartare la mera traduzione italiana dei Regolamenti perché spesso non chiara

• E’ stata adottata struttura modulare, identificata nelle Pratiche Raccomandate.


18

Conclusioni

19

• Le attività espletate sono il presupposto per partire da una base comune

• Il lavoro sugli standard dei questionari e la messa a regime del Portale rappresentano fattori che facilitano le ipotesi di integrazione di indagini su domini statistici diversi ma affini, riducendo per quanto possibile le ridondanze in fase di acquisizione.


Education

S. Macchia - Armonizzazione dei questionari delle indagini sulle imprese