Dr. Michèle Ernst StähliJSS - 30 octobre 2009

Test par entretiens cognitifs de questionnaires sur les inégalités et ses perceptions

2Agenda

1. Les entretiens cognitifs : une introduction générale

2. Les différentes techniques

3. Les stratégies d’utilisation

4. Exemples

5. Discussion

31. Les entretiens cognitifs : une introduction générale

● Objectifs- tester la qualité de questionnaires standardisés- détecter des problèmes de compréhension, de langage, de vocabulaire et de « souhaitabilité sociale » - comprendre comment les répondants construisent leurs réponses- améliorer la formulation des questions

● Méthode générale- entretiens approfondis, purement qualitatifs- petit nombre d’entretiens (5 à 10) et nombre limité de questions testées, pas de recherche de représentativité au niveau des répondants - réalisés par des chercheurs qui maîtrisent parfaitement la méthode et les objectifs de chaque question (souvent les concepteurs du questionnaire)

● Différences par rapport aux pré-tests standard- conditions du terrain (dont enquêteurs, questionnaire, etc.)- échantillon- objectifs

42. Les différentes techniques

● Technique générale de l’entretien cognitif- lecture de la question originale avec réponse du participant- détection du processus cognitif et des difficultés à l’aide de relances (probes)

● Types de relance1) Penser tout haut (Thinking Aloud)2) Paraphraser (Paraphrasing)3) Test de la fiabilité de la réponse (Confidence Rating)4) Test de compréhension (Probing): - test général (General Probing) - test spécifique (Special Comprehension Probing) - test sur les informations mobilisées (Information Retrieval Probing) - test sur la sélection de la catégorie de réponse (Category Selection Probing)

53. Stratégies d’utilisation

1) Combinaison des techniques- lorsque la faiblesse de la question est connue ou supposée (p.ex. termes difficiles), une relance ciblée peut suffire- lorsqu’il n’y a pas d’hypothèses de difficulté, on peut commencer par une approche générale (p.ex. faire paraphraser) et on poursuit avec relances ciblées selon la réponse donnée - une seule relance générale ne donne habituellement pas de résultats satisfaisants

2) Adaptation des techniques au cas par cas- Adaptation des techniques au profil de chaque répondant - Adaptation selon les réactions précédentes

Il est nécessaire que l’enquêteur maîtrise à la fois les différentes techniques de relances et le questionnaire lui-même dans ses moindres détails!

64. Exemples

1) Penser tout haut (Thinking Aloud)

But: Établir les éléments mobilisés pour la réponseExemple: « A quoi avez-vous pensé en répondant à cette question? »Avantage: Permet de faire surgir aussi des problèmes non anticipésInconvénient: Peu adapté aux personnes avec un niveau de formation faible

74. Exemples

2) Paraphraser (Paraphrasing)

But: Tester la compréhension de la questionExemple: « Avec vos propres mots, qu’est-ce qu’on veut savoir avec cette question? »Avantage: Idéal pour les questions difficiles et longues, pour voir si elle a été comprise et quels sont les éléments retenusInconvénient: Peu adapté aux personnes avec un niveau de formation faible

84. Exemples

3) Test de la fiabilité de la réponse (Confidence Rating)

But: Évaluer la fiabilité de la réponse et ainsi tester la compréhension de la questionExemple: « Êtes-vous sûr de votre réponse? (Très sûr, plutôt sûr, plutôt pas sûr, pas sûr du tout) »Avantage: Permet de détecter des absences d’avis dissimuléesInconvénient: L’incompréhension n’est saisie que de manière indirecte, cette relance ne suffit pas à elle-même

94. Exemples

4) Tests de compréhension (Probing):

4 A) Test général (General Probing)But: Vérifier la compréhension générale de la questionExemple: « Y a-t-il quelque chose que vous n’avez pas compris? »Avantage: Permet à la personne d’exprimer ses doutesInconvénient: Ne permet pas de détecter les « fausses » compréhensions

104. Exemples

4) Tests de compréhension (Probing):

4 B) Test spécifique (Special Comprehension Probing)But: Vérifier la compréhension d’un terme ou d’une expression dans la questionExemple: « Comprenez-vous le terme ‘X’, êtes-vous tout à fait sûr de son sens? »Avantage: Adapté lorsqu’un vocabulaire difficile est employé Inconvénient: Ne repère pas les termes polysémiques

114. Exemples

4) Tests de compréhension (Probing):

4 C) Test sur les informations mobilisées (Information Retrieval Probing)But: Vérifier que l’ensemble des éléments à mobiliser l’ont effectivement été Exemple: « Quelles sont les choses que vous avez considérées pour répondre à cette question? » Avantage: Particulièrement approprié pour les questions factuelles et rétrospectivesInconvénient: La question doit être posée de manière très directive, sinon les réponses risquent de partir dans tous les sens(surtout pour niveaux deformation faibles)

124. Exemples

4) Tests de compréhension (Probing):

4 D) Test sur la sélection de la catégorie de réponse (Category Selection Probing)But: Tester la compréhension et l’adéquation des modalités de réponse Exemple: « Pourquoi avez-vous répondu ‘a’ et pas ‘b’ ou ‘c’? »Avantage: Incite le répondant à bien expliciter les différences perçues entreles catégories

13

Discussion

Dr. Michèle Ernst StähliJSS - 30 octobre 2009

Test par entretiens cognitifs de questionnaires sur les inégalités et ses perceptions