Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
1
Sondage-2002, Autrans, 17-18 octobre 2002
Impact des nouvelles technologies sur la réalisation des enquêtes
Revue et bilan critique.
Ludovic Lebart (CNRS - ENST) . Hugues Chavenon (CESP)
e-mail : [email protected] [email protected]
2
Depuis le premier colloque Sondage 1997, se sont développés
de façon quasi-exponentielle :
1) l'équipement en téléphone mobile des individus(passé de 5% en 1997 à plus de 50 % actuellement),
2) l'équipement en ordinateur personnel des familles,
3) la fréquentation d’Internet et de la toile (Web),
L’impact de ces changements sur la réalisation des enquêtes sera important, mais un bilan, avant stabilisation, est hasardeux.
3
1. Les systèmes de recueil par interview
1.1 Les enquêtes par système CATI
" CATI : Computer Assisted Telephone Interviews
les systèmes CATI sont en fonctionnement depuis plus de dix ans,les seules améliorations concernent les fonctionnalités du logiciel :! tirage des numéros, ! gestion des appels et paramètres de qualité, ! gestion éventuelle des quotas, ! guidage et contrôle du questionnaire, ! minutage, etc.
4
1. Les systèmes de recueil par interview (suite)
1.1 Les enquêtes par système CATI (suite)
• L’interview téléphonique permet d’atteindre des personnes plus mobiles (le soir), plus difficiles à joindre (… digicode, etc.)
• L’enquête téléphonique pourrait être menacée par la baisse des abonnements filaires :! (de 95 % en 1998 à 93 % en 2001),
… au moins pour certaines catégories de répondants(jeunes, CSP - ).
5
1. Les systèmes de recueil par interview (suite)
L’EVOLUTION DU TELEPHONE DE MAISON ET DU MULTI-LIGNE (en pourcentage du total des foyers)
93,4%
1,9%
90,5%
1,6%
91,5%
2,9%
89,9%
1,9%
90,1%
1,7%
85,9%
2,4%
87,0%
2,0%
87,5%
2,7%
86,4%
1,9%
85,5%
2,0%
86,1%
1 ,9 %
Avril-Juin 99
Janv.-Mars 00
Avril-Juin 00
Juillet -Sep t . 00
Oct .-Déc. 00
Janv.-Mars 0 1
Avril -Juin 0 1
Juil-Sep t01
Oct-Dec0 1
Janv-Mars02
Avril-Juin02
A umo insunM ult i
Source ISL
6
1. Les systèmes de recueil par interview (suite)
1.2 Les enquêtes par système CAPI
" CAPI : Computer Assisted Personal Interviews
Les enquêtes face à face par CAPI commencent à être généralisées
Elles sont tributaires des progrès de la micro-informatique :
• Poids,
• Autonomie,
• Lisibilité,
• Puissance, … de l'ordinateur portable.
7
1. Les systèmes de recueil par interview (suite) CAPI double écran
8
1. Les systèmes de recueil par interview (suite) CAPI double écran
9
1. Les systèmes de recueil par interview (suite)
1.2 Les enquêtes par système CAPI (suite)
La méthode de CAPI-double écran[ utilisée en routine dans l'enquête de référence sur l'audience de la presse magazine en France (enquête AEPM) ] ...
• permet une meilleure passation du questionnaire,
• l'affichage partiellement aléatoire de logos,
• une meilleure gestion des interruptions ou des erreurs,
• le chronométrage de toutes les phases de l'interview.
10
1. Les systèmes de recueil par interview (suite)
1.2 Les enquêtes par système CAPI (suite)
La méthode de CAPI-double écran (suite)
• défilements préalables d’items
• instructions et rappels pour les enquêteurs
• un bloc-note électronique permet d’enregistrer remarqueset incidents.
• Le statut de l'enquêteur est valorisé, (incidence probable sur la qualité de l'information).
11
1. Les systèmes de recueil par interview (suite)
1.3 Les enquêtes par système CASI
" CASI : Computer Assisted Self Interviews
• Un ordinateur pré-programmé est utilisé en présence de l’enquêteur, ou [dans le cas d’éventuels panels, dans le futur] laissé au domicile de la ou des personnes interrogées.
• Rôle marginal de l'enquêteur (souhaité), ! Rôle fondamental de l'interface (sans clavier…).
• Le CASI résout certains problèmes de faisabilité dans le cas de sujets délicats à aborder en face à face ou de questionnaires particulièrement longs (enquêtes multi-thèmes du type single source).
12
2. Les enquêtes « on line »
2.1 Spécificité
• Les enquêtes « on line »(questionnaires en ligne par Internet en direct ou en différé)supposent des équipements et des accès particuliers de la part de la personne interrogée.
• Elles posent donc d'importants problèmes de représentativité, comme d'ailleurs les mesures d'audience de l’Internet et de latoile.
13
2. Les enquêtes « on line » (suite)
L’EVOLUTION DE L’ACCES A INTERNETen pourcentage du total des foyers (Base: trimestre)
4,3%
7,1%
9,6%11,1%
13,0%14,2%
16,2% 15,4%16,7%
19,0%20,3%
Avril- J uin99
J anv.-Mars00
Avril- J uin00
J uille t-Sept. 00
Oct.- Déc .00
J anv.- Mars01
Avril - J uin01
J uil-Sept01 Oct-Dec01 J anv-Mars 02
Avril-J uin02
Source: ISL
14
2. Les enquêtes « on line » (suite)
COMPARAISON ENTRE LA STRUCTURE DE L'ENSEMBLE DE LA POPULATION ET LA LA STRUCTURE DES INTERNAUTES 30 DERNIERS JOURS DANS L ’ENQUËTE AEPM (vague 2001-2002)
26,521,1 20,2
16,8
31,4
18,6 19,114,1
55,9
30,9
22,8
2,3
11,7
25,918,516,515,7
52,048,0
14,6
44,1
21,322,5
29,5
0
10
20
30
40
50
60
Hommes Femmes 15-24 ans 25-34 ans 35-49 ans 50-64 ans 65+ ans 1 pers. 2 pers. 3 pers. 4 pers. 5+ pers.
EnsembleInternautes
Sexe Age Taille foyer
Source AEPM
15
2. Les enquêtes « on line » (suite)
2.2 Problèmes de calage...
• 41 % des individus de plus de quinze ans ont déjà été connectés,! 23 % l'ayant été depuis leur domicile
(Ordres de grandeur convergents des enquêtes AEPM et 75000 Médiamétrie).
• On est amené à redresser de très grands échantillons (on line) à partir d'échantillons beaucoup plus petits (enquête téléphonique de calage, par exemple), d'où des problèmes de calcul de variances finales après redressement sur marges aléatoires.
16
2. Les enquêtes « on line » (suite)
2.3 Formes d’enquêtes
Les enquêtes par Internet ont fait leurs preuves dans le cas d'études de marché spécifiques ou dans le cas d'échantillons ciblés. Elles peuvent prendre des formes diverses :
• présence permanente sur un ou plusieurs sites,
• par enquêteur utilisant Internet au lieu du téléphone (webcam...).
• envoi par e-mail sur la base d'une sélection d'adresses(access panel)
• présentation aléatoire par pop up,
17
18
19
2. Les enquêtes « on line » (suite)
2.4 Avantages
• le coût, • la rapidité,
• l'ergonomie (images, éventuellement sons, aide en ligne, interactivité),
• certaines possibilités de contrôle et de nouveaux contacts. • Probable migration des panels fonctionnant sur minitel ou par
questionnaires postaux vers des formules on line (CAWI).
• Mais … Aspects déontologiques à préciser.
20
2. Les enquêtes « on line » (suite)
2.5 Quelques spécificités
• le « on line » se rapproche de l’auto-administré classique. (étude comparative du Club « Etudes et Internet », (Opinion Way, Novatris, SEMO - 2001)
! Absence d’interaction Enquêté - Enquêteur (désirabilité sociale, effet de façade)
! Moins d’effets du type «métaux non métalliques » ou « amendement Bourrier » [Questions de notoriété ou de connaissance]
• Mais avec 80 % de cadres et 3 % de retraités (ou de plus de 65 ans), ayant accès à Internet (en France), aucun redressement ne peut vraiment pallier la quasi-absence de certaines catégories.
21
3. Le cas des téléphones mobiles
3.1 Les problèmes
• Une innovation technologique qui pose, pour l’instant, plus de problèmes qu'elle n'en résout…
• Les mobiles exclusifs, personnes possédant un mobile mais pas de téléphone filaire, qui concerne à peu près 8 % des + de 15 ans.
! La proportion a tendance à s'accroître, surtout chez les jeunes.! Ces personnes ne sont plus joignables par les enquêtes
téléphoniques habituelles,
• Les interviews directement sur mobiles sont difficilement réalisables (faisabilité, coûts).
22
Evolution du taux de pénétration
du téléphone mobile en France
57,6
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
nov-
97
janv
-98
mar
s-98
mai
-98
juil-
98
sept
-98
nov-
98
janv
-99
mar
s-99
mai
-99
juil-
99
sept
-99
nov-
99
janv
-00
mar
s-00
mai
-00
juil-
00
sept
-00
nov-
00
janv
-01
mar
s-01
mai
-01
juil-
01
sept
-01
Source : ART
3. Le cas des téléphones mobiles (suite)
23
3. Le cas des téléphones mobiles (suite)
L’EVOLUTION DU TELEPHONE MOBILE DONT WAP
(en pourcentage du total des foyers) (Base: trimestre)
28,4%
42,6% 44,3% 47,5% 50,0%56,4%
17,1%
55,5%
17,7%
58,3%
20,7%
59,6%
19,8%
62,1%
22,0%
63,7%
23,2%
Avril-J uin 99
J anv.-Mars 00
Avril-J uin 00
J uille t-Sept. 00
Oct.-Déc . 00
J anv.-Mars 01
Avril -J uin 01
J uil-Sept01
Oct-Dec01
J anv-Mars 02
Avril-J uin02
A u mo insunM ult i
Source ISL
24
3. Le cas des téléphones mobiles (suite)
1812
8877
5544222211
5837
393336
3062
5539
3372
4139
3653
23
2032
4851
5058
3037
5361
2555
5558
4570
0 20 40 60 80 100
Finland
Portugal
Austria
Ireland
Spain
Belgium
Italy
Denmark
EU 15
France
Sweden
United Kingdom
Greece
Netherlands
Luxembourg
Germany
Only mobile phone Mobile and fixed line Only fixed line
Pénétration des téléphones mobiles en Europe (décembre 1999)
25
3. Le cas des téléphones mobiles (suite)
STRUCTURE DES FOYERS ÉQUIPÉS EXCLUSIVEMENT EN TÉLÉPHONE MOBILE
5,1
15,3
23,2 26,5
47,2
9,3 7,2
32,9
9,07,813,9
31,630,5
25,422,4
1,80
10
20
30
40
50
60
Ensemble des foyersExclusifs mobiles
AgeTaille foyer
Base foyers : 24 640 (milliers)
Exclusifs mobiles : 2 737 (11,1%)
Source ISL- MULTIMEDIA REFERENCE - 1er semestre 2002
26
3. Le cas des téléphones mobiles (suite)
3.1 Les problèmes (suite)
• Covariations entre possession exclusive de mobiles, mobilité et mode de vie.
• Mais la croissance des exclusifs est freinée par le développementd’Internet (postes fixes, câble, ADSL, large bande,….)( 66% d’Internet au foyer en Norvège)
27
3. Le cas des téléphones mobiles (suite)
Finlande : Pénétration des téléphones mobiles 1998 - 2000
Téléphones mobiles
# 1998: 52 %# 1999: 77 %# 2000: 80 %
Mobiles exclusifs
# 1998: 13 %# 1999: 19 %# 2000: 20 %
Source: Finnpanel TAM Establishment Survey
28
3. Le cas des téléphones mobiles (suite)
Audience TV moyenne par quart d’heure, (Mars 2001) (15-44 ans, familles de 1-2 personnes)
05
1015202530354045
02:00 - 02:14
03:00 - 03:14
04:00 - 04:14
05:00 - 05:14
06:00 - 06:14
07:00 - 07:14
08:00 - 08:14
09:00 - 09:14
10:00 - 10:14
11:00 - 11:14
12:00 - 12:14
13:00 - 13:14
14:00 - 14:14
15:00 - 15:14
16:00 - 16:14
17:00 - 17:14
18:00 - 18:14
19:00 - 19:14
20:00 - 20:14
21:00 - 21:14
22:00 - 22:14
23:00 - 23:14
24:00 - 24:14
25:00 - 25:14
RA
TIN
G,%
mobile only Others
29
3. Le cas des téléphones mobiles (suite)
Ecoute radio des 9- 44 ans, jours de semaine
0
5
10
15
20
25
30
35
40
0000
-001
5
0045
-010
0
0130
-014
5
0215
-023
0
0300
-031
5
0345
-040
0
0430
-044
5
0515
-053
0
0600
-061
5
0645
-070
0
0730
-074
5
0815
-083
0
0900
-091
5
0945
-100
0
1030
-104
5
1115
-113
0
1200
-121
5
1245
-130
0
1330
-134
5
1415
-143
0
1500
-151
5
1545
-160
0
1630
-164
5
1715
-173
0
1800
-181
5
1845
-190
0
1930
-194
5
2015
-203
0
2100
-211
5
2145
-220
0
2230
-224
5
2315
-233
0
klo
%
mobile onlyothersall
30
3. Le cas des téléphones mobiles (suite)
3.2 Les nouvelles possibilités
• Les mobiles n'interviennent pas uniquement en tant que perturbateurs des pratiques des enquêtes téléphoniques actuelles.
! Ils ouvrent de nouvelles possibilités de collecte.
! Ainsi un panel de 2000 personnes équipées de téléphonesmobiles pouvant recevoir des messages SMS (jusqu'à 160caractères affichés sur le petit écran du mobile) a été testé enSuède pour mesurer l'audience de la presse quotidienne.
31
4. Les nouveaux audimètres et audiomètres (PPM)
4.1 L’audimétrie
• Ces innovations technologiques concernent le domaine spécifique des mesures d'audience de la radio et de la télévision.
• Dans le domaine des mesures directes sur panel (cas de Médiamétrie en France), de nouvelles générations d'audimètres permettent de mesurer les audiences "câble" et "satellite".
32
4. Les nouveaux audimètres et audiomètres (PPM) (suite)
4.2 L’audiométrie (PPM = Portable People Meter)
• Deux nouveaux systèmes, sous forme de bracelets montres ou de petits appareils pouvant tenir dans une poche, ont été développés au cours des dernières années en Suisse (Société Radiocontrol) et aux Etats-Unis (Société Arbitron).
• Le système suisse reconnaît les stations radio ou télévision à partirde piges des programmes,
• Le système américain demande une participation des stations sous forme de signaux acoustiques (subliminaux).
• Les audiences recueillies sont parfois supérieures à celles obtenues par carnets d'écoute ou par interviews téléphoniques.
33
Arbitron PPM
20
34
Radiometer Watch
27
35
5. Autres innovations technologiques
5.1 Le GPS, la géolocalisation
Aides des systèmes GPSrecueil des itinéraires (enquêtes sur les déplacements individuels),
géolocalisation potentielle apportée par les normes des téléphones mobiles du présent (GPRS) et du futur (UMTS).
36
5. Autres innovations technologiques (suite)
5.2 La télédétection
Estimations à l’aide d’images satellites• estimations de superficies agricoles (Gallego, 1999),
• estimations démographiques, principalement pour les pays en développement (Dureau et Barbary, 1992).
! Les images satellites succèdent aux images aériennes très largement utilisées depuis 1956 ...
! Modélisation à partir de reconnaissance d’images, de clas -sification d’images, faisant largement appel aux techniques de prédiction (régression, discrimination, méthodes neuronales, etc.)
37
5. Autres innovations technologiques (suite)
5.3 Recueils automatique par codes- barres
• Ces méthodes réservées aux panels permettent de recueillir des informations inconnues de l’enquêté(e) lui (elle) - même.
Implantées sur Minitel au début des années 90. (Secodip)
Actuellement:8000 ménages
38
5. Autres innovations technologiques (suite)
5.3 Recueils automatique par codes- barres (suite)
• Exemple : Informations du code barre du YAOURT (Duranton et Cousin, Secodip, Ouvrage ASU- Qualité1992)
- Est-il blanc, aromatisé, aux fruits ?- S'il est blanc, est-il sucré ou non sucré ?- Est-il ordinaire ou brassé velouté ?- Est-il de type bifidus ou non ?- Est-il de type longue conservation ?- Est-il en pot verre, carton ou plastique ?- Quelle est la contenance du pot ?- Est-il vendu à l'unité ou en pack, combien par packs ?- Quelle est la marque ?
39
6. Bases de données, logiciels, traitements statistiques
6.1 Bases de données
• Les possibilités des bases de données actuelles favorisent le développement de mégabases de données qui ne doivent rien à la théorie des sondages.
• Elles concurrencent certaines enquêtes dans les domaines des études de marketing et de consommation, notamment en raison des possibilités de mining offertes par la taille même des bases.
• Accès privilégié à certaines populations rares.
• Des modélisations multi-sources [calages + fusions + modèles] sont réalisées ou envisagées.
40
6. Bases de données, logiciels, traitements statistiques (suite)
6.1 Bases de données : Données d'enquêtes versus données transactionnelles
Importantes différences entre données d'enquêtes et donnéestransactionnelles qui alimentent les systèmes d'informations d'entreprise. Pour les données d'enquêtes:
Phases de recueil et de saisie intensives, limitées dans le temps
Nécessité d'un important contrôle de "plages" et de cohérence(data cleaning) au moment même de la saisie. (Prise en charge possible par les systèmes CATI ou CAPI)
Durée de vie courte (contrairement à un fichier clients).
Traitement statistique de ces données = affaire d'un petit nombre d'experts ou de personnes averties.
41
6. Bases de données, logiciels, traitements statistiques (suite)
6.1 Bases de données : Données d'enquêtes versus données transactionnelles(suite)
Données d'enquêtes = homogénéité de contenu, de codage quiles différencie assez nettement des bases de données quelconques, et des recueils du data mining.
Malgré plusieurs niveaux d'individus statistiques (foyers, ménages, individus, trajectoires, maladies, etc.) et plusieurs thèmes, la notion de cohérence globale garde un sens :l'enquête représente une réalité et a une certaine pertinence.
Cohérence, interprétation, ⌦ existence de méta-informationconsidérable (connaissances démographiques, sociologiques, économiques, épidémiologiques).
42
6. Bases de données, logiciels, traitements statistiques (suite)
6.2 Logiciels, prétraitemements et traitements statistiques
Il s ’agit en fait d’avancées plus techniques que technologiques
! Progrès dans les méthodes de calage
! Progrès dans les méthodes de prédiction (ou de prise encompte) des données manquantes
! Progrès dans les méthodes de fusion de fichiers
! Progrès dans les méthodes de validation (cross-validation,Bootstrap)
43
6. Bases de données, logiciels, traitements statistiques ((suite)
6.3 Textes, voix, images
Logiciels d'aide au traitement des réponses aux questions ouvertes
Amélioration du contrôle de la qualité de l'information, • Evaluation du degré de compréhension des questions, • Critique des éventuelles lacunes ou biais des questionnaires.
Problèmes de saisie :• Questionnements on line : saisie directes de textes, • Les logiciels de reconnaissance vocale, (questionnements ouverts
en face à face ou téléphoniques), non opérationnels en mode multilocuteurs.
44
6. Bases de données, logiciels, traitements statistiques ((suite)
6.2 Textes, voix, images (suite) Questions ouvertes ?
• Pour réduire le temps d’interview:Les questions ouvertes sont moins coûteuses en matière de temps d’interview, et génèrent moins de fatigue et de tension
• Pour recueillir une information spontanée par natureExemples Marketing (souvenir d ’une publicité)
• Pour confirmer ou comprendre la réponse à une questionfermée: La question : « pourquoi ? »
• Pour obtenir des informations a priori non comparables( Environnement, habitudes alimentaires)
45
Unités Statistiques extraites des textes
Caractères
Mots (formes graphiques) ou lemmes
Segments ou quasi-segments
Phrases ou réponses
Textes
CORPUS
46
6. Bases de données, logiciels, traitements statistiques ((suite)
6.2 Textes, voix, images (suite)
• Exemples d’apport des questions ouvertes au contrôle de qualité:
• Pour toutes les questions : Mots et réponses caractéristiques [par enquêteur ou] par département / région.
• Appréciation sur l’enquête et son questionnaire par la personne interrogée : ventilation par catégories de répondants (sexe, âge,activité…) .
47
Impact des nouvelles technologies sur la réalisation des enquêtes
Conclusions
% Les enquêtes par CAPI apportent ergonomie, possibilités de contrôle, homogénéisation des pratiques, et donc du recueil. Le travail de l ’enquêteur est valorisé.
% Les outils électroniques (scanners, audi et audiométrie, GPS…) apportent, dans des domaines spécifiques, un supplément de précision et une permanence des mesures appréciables.
% La diffusion des mobiles est pour l’instant plus un problème qu’une opportunité.
% Les potentialités des enquêtes en lignes sont considérables, sans qu’elles puissent, pour l ’instant, se substituer aux systèmes existants.
48
Impact des nouvelles technologies sur la réalisation des enquêtes
Conclusions (suite)
% La fragilité de l’enquête, comme instrument d’observation, vient du maillon humain de la chaîne d’information.
% L’enquête demande (quel que soit le mode)! Bonne volonté et confiance de la part des personnes interrogées,! Patience, persévérance et talent de la part de enquêteurs.
% Le problème des refus et des non-réponses est crucial pour l ’avenir de l ’enquête par sondage en particulier, des sciences sociales en général.
% Les progrès technologiques qui améliorent l ’ergonomie et le confort de ce colloque singulier qu’est l’interview, ou qui diminuent les coûts sansattenter à ces qualités indispensables, sont donc positifs...
49
Merci de votre attention
C’était...
Impact des nouvelles technologies sur la réalisation des enquêtes
50
Choukrane
Thank YouGracias
Grazie
ObrigadoMerci
Domo Arigato