L’ échantillonnage Cadre des évaluations d'impact

  • View
    23

  • Download
    2

Embed Size (px)

DESCRIPTION

L’ échantillonnage Cadre des évaluations d'impact. Moussa P. Blimpo. Introduction. Evaluation d’une politique publique Objectif ultime: Même école avec et sans le traitement en même temps  Impossible D’ou l’usage de la théorie statistique - PowerPoint PPT Presentation

Text of L’ échantillonnage Cadre des évaluations d'impact

  • IntroductionEvaluation dune politique publiqueObjectif ultime: Mme cole avec et sans le traitement en mme temps ImpossibleDou lusage de la thorie statistiqueDfinir un groupe de traitement et un groupe de controlAssignement alatoire: Meilleur faon dassurer la comparabilitObject de cette prsentation: Comment construire un chantillon permettant de dtecter de manire crdible un effet significatif ? Quel doit tre la taille de lchantillon pour mon tude?Comment dois-je slectionner les participants?Comment les composantes de l'chantillonnage affectent-elles ce qu'il est possible d'apprendre d'une valuation d'impact ?

    *

  • Plan de prsentationBase de sondageQuels groupes ou quelles populations nous intressent ?Comment les trouve-t-on: ReprsentativitImportant pour la validit externe

    Taille de l'chantillonPourquoi est-ce si important : crdibilit des rsultatsDterminants de la taille adquate dun chantillonAutres questions relatives a lchantillonnageExemples*

  • Base de sondageQui est ce qui nous intresse ?Toutes les coles?Toutes les coles publiques?Toutes les coles primaires publiques?Toutes les coles publiques dans une rgion donne?

    La validit externe: de quoi sagit t-il?Les conclusions tires d'une population (c) peuvent-elles tre utiles pour des coles prives? Ecole publiques secondaire?Les conclusions tires d'une population (d) peuvent-elles tre utiles pour prparer des mesures porte nationale ?

    Faisabilit: Que voulons-nous apprendre?Il peut ne pas tre possible ou souhaitable de piloter un programme ou une politique dont le champ dapplication est extrmement large

    *

  • Base de sondage LUNIT OU LOBSERVATION DE BASEFonction de la taille et du type d'exprience

    Informations ncessaires avant de tirer un chantillonUne liste exhaustive de toutes les units d'observation disponibles pour l'chantillonnage dans chaque zone ou chaque groupeA dfaut, dautre mthodes peuvent tre utilises: Mais moins dsirable

    *

    Exprience RandomiseUnit ou observation de basePilote pour de nouveau livres Ecole ou classeIncitation pour les enseignant des rgions dfavorisesliste des coles dans les rgions dfavorises

  • Taille de l'chantillon CRDIBILIT DES RSULTATS

    Census vs. EchantillonsCensus: certitude totale, mais trop cher et non pratiqueEchantillons: Collecte plus rapide et efficace. Fondements scientifiques (statistique) solides.

    Si par exemple nous voulons savoir quel sont les dpenses annuel moyenne d'une cole primaire a Dakar. Option 1 : Nous interrogeons cinq directeurs dcoles de faon alatoire et nous utilisons la moyenne de leurs rponses.Option 2 : Nous interrogeons 300 directeurs dcoles de faon alatoire et nous utilisons la moyenne de leurs rponses.

    Quelle sera la moyenne la plus proche de la vraie moyenne ? Pourquoi?*

  • Taille de l'chantillon CRDIBILIT DES RSULTATS (2)De manire similaire, quand on dtermine l'impact du programmeIl faut beaucoup d'observations pour pouvoir dire avec certitude que la diffrence est attribuable au programme en place.Deux type derreur sont possible

    Que veut dire certitude?Il sagit de minimiser les erreurs du type I et II*

    Le program en ralit (Inconnu)Na pas dimpact a un ImpactLtude conclut que le programa un ImpactErreur ICorrectNa pas dimpactCorrectErreur 2

  • Calcul de la taille de l'chantillonPLUSIEURS FACTEURS EN JEULe choix de lchantillon a un fondement scientifique (statistique). Il y a des formules pour ca!

    L'essentiel de ce qu'il faut avoir l'esprit :Taille de l'effet dtectableProbabilit d'erreurs de type 1 et de type 2Variance du/des rsultat(s)Dautre facteurs entre an jeu dans des cas spciaux (On verra plus tard)

    *

  • Calcul de la taille de l'chantillon EFFET MINIMAL DETECTABLETaille de l'effet dtectableL'effet minimal recherch pour faire la distinction par rapport zroExemple: Une amlioration du score moyen de 10%? 25%?

    Les rsultats des lves sont t-ils meilleur dans les coles ou les enseignants ont reu une formation supplmentaire?Postulat 1 : En moyenne, le score dans les coles sans formation est de 50%, contre 55% dans les coles dont les enseignants ont reu la formation.Postulat 2 : En moyenne, le score dans les coles sans formation est de 50%, contre 85% dans les coles dont les enseignants ont reu la formation.Lequel des 2 postulat ncessite une chantillons plus large?chantillons plus larges des effets plus petits sont plus faciles dtecter

    *

  • Il es plus facile de dtecter de grandes diffrences*Calcul de la taille de l'chantillonEFFET MINIMAL DETECTABLE(2)

  • Calcul de la taille de l'chantillonCOMMENT CHOISIR LA TAILLE DE L'EFFET DTECTABLE

    L'effet minimal incitant la rponse dune intervention publiqueCe programme a fait progresser significativement le taux moyen de russite de 15%. Gnial - voyons comment nous pouvons rpliquer ceci plus grande chelle.

    L'effet minimal qui vous permettra de dire qu'un programme n'a pas t un chec Ce programme a fait rgresser significativement labsentisme de 0.5%Ah bon! Toutes ces dpenses pour pour un si pitre impact?

    *

  • Calcul de la taille de l'chantillon ERREURS DE TYPE 1 ET TYPE 2

    Type 1Niveau de significativit des estimations fix gnralement 1 % ou 5 %Probabilit de 1 % ou 5 % qu'il n'y ait pas d'effet, mais nous en trouvons unType 2Puissance gnralement fixe 80 % ou 90 %Probabilit de 20 % ou 10 % qu'il y ait un effet mais nous ne pouvons pas le dtecter chantillons plus larges puissance plus grande

    *

  • Calcul de la taille de l'chantillonVARIANCE DE LA VARIABLE DINTRT

    Moins de variabilit sous-jacente diffrences plus faciles dtecter possibilit davoir un plus petit chantillon

    *

  • Calcul de la taille de l'chantillonVARIANCE DE LA VARIABLE DINTRT (2)

    Comment la connatre avant de dcider de la taille de l'chantillon et avant de collecter nos donnes ?Idalement, donnes prexistantes. Souvent...inexistantesPossibilit d'utiliser des donnes prexistantes provenant d'une population similaire Exemples : Enqutes sur les coles, test nationaux

    Relve plus de la conjecture que des sciences exactes

    *

  • Autres questions a considrerGroupes de traitement multiplesEchantillonnage par groupRsultats dsagrgs par catgoriesStratification*

  • Autres questionsGROUPES DE TRAITEMENT MULTIPLES

    Simplicit de la comparaison de chaque traitement sparment au groupe de comparaison

    Il faut de trs grands chantillons pour comparer les groupes de traitementNotamment si les traitements sont trs similaires, les diffrences entre les groupes de traitement seront moindresEn fait, c'est comme si l'on fixe une taille d'effet dtectable trs petite

    *

  • Pourquoi?Pour viter la contaminationExemple: DparasitageFaisabilit et considrations politiquesExemple: Peut tre politiquement ou thiquement incorrect de traiter des voisins diffremmentChoix naturelExemple: Program dinfos par radio: rayon de couvertureExemple 2: Programmes qui affecte la classe entire (Formation de lenseignant par exemple)

    *Autres questionsCHANTILLONNAGE PAR GROUP

  • Implication:En tenir compte en estiment lerreur standard de leffetLes observations peuvent ne plus tre IndependenceLe performances des lves dune mme classe peut tre fortement corrleEn tenir compte au niveau de lanalyseEt la puissance statistique?Le nombre de group est plus important que le nombre dindividus par groupSi la performance par classe est fortement corrle, on a besoin de seulement quelque lves pour reprsenter chaque classe. Mais beaucoup de classes

    *Autres questionsECHANTILLONNAGE PAR GROUP(2)

  • Autres questionsRSULTATS DSAGRGS PAR GROUPE

    Les effets diffrent-ils pour les hommes et les femmes ? Pour les diffrents niveau dtude?

    Si les genres/secteurs ont tendance ragir de manire similaire, il faudra aussi des chantillons trs larges pour estimer les diffrences d'impact du traitement.

    Mais cela peut tre pris en compte a priori (Stratification)*

  • Quest ce que cest?Sous groupes dfini par des variables de control (exemple: Age)La randomisation est ensuite fait dans chaque sous groupe

    Pourquoi? Plus efficace quand: a) faible variance dans chaque strate b) Grande variance entre strates c) Variable de stratification corrle avec la variable dpendanteRduit la variance de lestimationPeut permettre de faire lanalyse par strate

    Autre questionsSTRATIFICATION

  • Pourquoi faut-il des strates ?Un exemple gographique = T = C

  • Pourquoi faut-il des strates ?Quel est l'impact dans une rgion particulire ?Parfois difficile dterminer avec certitude

  • Pourquoi faut-il des strates ?Assignation alatoire un traitement au sein d' units gographiquesDans chaque unit, une moiti sera du groupe de traitement, une moiti sera du groupe de comparaison. Mme logique pour genre, mtier, taille de l'entreprise, etc.

  • ConclusionLa taille de l'chantillon de votre valuation d'impact dterminera la qualit des conclusions que vous pourrez tirer de votre exprience

    Les calculs supposent une dose de jugement et de supposition mais il est important d'y consacrer du tempsSi la taille de l'chantillon est trop faible : perte de temps et d'argent car vous ne pourrez pas dtecter un impact non nul avec certitudeSi la conception de l'chantillon et la collecte des donnes ralises avec peu d'efforts : voir ci-dessus

    Questions ?*

  • Exercices & IllustrationsEchantillons vs. censusNous allons gnrer des donnes dune population Calculer la moyenne et lcart typeTirer des chantillons de diffrentes tailles et calculer la moyenne. Voir comment on sapproche des vraies valeurs dans la population.

    Voyez bien quil ny a pas besoin de census!

    *

    MoyenneEcart TypeIntervalle de confiance (95%)Population, 10

Search related