1/28

De la beauté, du sexe et du pouvoir :Les difficultés de l’estimation des petit effets

Andrew Gelman

Département de Statistique et Département de Science Politique,Columbia University, New York

En visite à Université Paris Dauphine, ENSAE,et Université de Technologie de Compiègne

26 juin 2014

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

2/28

Des millions d’articles scientifiques publiés chaque année . . .

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

3/28

Chaque article a sa propre histoire . . .

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

4/28

La pression . . .

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

5/28

La pression . . .

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

6/28

C’est aussi un problème avec les sujets sérieux . . .

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

7/28

Les parents plus beaux ont-ils plus de filles?

I S. Kanazawa (2007). Beautiful parents have more daughters:a further implication of the generalized Trivers-Willardhypothesis. Journal of Theoretical Biology.

I La beauté était mesurée sur une échelle de 1 à 5(“very unattractive” to “very attractive”)

I 56% des enfants de parents dans les catégorie 5 étaient desfilles

I 48% des enfants de parents dans les catégories 1–4 étaient desfilles

I Statistiquement significatif (2,44 écarts-types de zéro,p=1,5 %)

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

8/28

Les données et la régression

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

9/28

Les statistiques générales de la probabilité de filles et garçons

I Pr (garçon) ≈ 51,5 %I Les garçons meurent avec une fréquence plus élevée que les

fillesI À vingt ans, le nombre de garçons et de filles sont les mêmesI C’est en accord avec l’évolution

I Que peut affecter Pr (garçon)?I La race, l’âge des parents, l’ordre de naissance, poids maternel,

la saison de naissance: effets de 1 % ou moinsI L’extrême pauvreté et de la famine: les effets de 1–3 %

I L’effet de la beauté doit être moins de 0,3 %

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

10/28

Comprendre les resultats de Kanazawa

I Les données sont en accord avec les effets de −4 % à +13 %I Aussi en accord avec les effets entre −0,5 % et +0,5 %I L’argument évolutionniste va dans les deux sens :

I La beauté est plus utile pour les femmes, la pression desélection de l’évolution, . . .

I La « beauté » perçue est associée aux groupes ethniquesdominants, qui ont plus de puissance, un trait qui est plus utilepour les hommes . . .

I Ces resultats sont « plus vampiriquesqu’empiriques—incapable d’être tués simplement parl’évidence » (Freese, 2007)

I RésuméI Les parents plus beaux dans ce sondage ont plus de fillesI One ne peut pas dire beaucoup sur la population générale

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

11/28

Une autre essai : données de People magazine

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

12/28

Les enfants des « 50 personnes le plus belles » chaqueannée’

I Nous avons recueilli des données de 1995–2000I 1995 : 32 filles et 24 garçons : 57,1 % filles (écart-type 8,6 %)I 1996 : 45 filles et 35 garçons : 56,2 % ± 7,8 %I 1995 + 1996 : 56,6 % ± 4,3 % : presque statistiquement

significatif!I 1997 : 24 filles et 35 garçons, . . .I Combiner 1995–2000 : 47,7 % ± 2,8 %: pas une différence

statistiquement significative de 48,5 %

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

13/28

L’inférence pour les petits effets

I Effet estimé de 4,7 % (écart-type 4,3):I 95% intervalle de confiance [−4 %, 13 %]I L’effet réel est probablement beaucoup moins que 1 %, alors

l’enquête ne fournit essentiellement aucune informationI Analyse théorique

I Supposer que l’effet réel est 0,3 % et on recueille des donnéesde 3000 personnes

I 3 % probabilité d’un résultat statistiquement significatif etpositif

I 2 % probabilité d’un résultat statistiquement significatif etnégatif

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

14/28

Quel titre vend plus de journaux?

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

15/28

La communication

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

16/28

Comment évaluer?

I Du blog Freakonomics :I « A new study by Satoshi Kanazawa, an evolutionary

psychologist at the London School of Economics, suggests. . . there are more beautiful women in the world than there arehandsome men. Why? Kanazawa argues it’s becausegood-looking parents are 36 percent more likely to have a babydaughter as their first child than a baby son—which suggests,evolutionarily speaking, that beauty is a trait more valuable forwomen than for men. The study was conducted with datafrom 3 000 Americans, derived from the National LongitudinalStudy of Adolescent Health, and was published in the Journalof Theoretical Biology. »

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

17/28

Ma réaction

I L’estimation « 36 % » n’est pas plausibleI 10 à 100 fois plus grande, en comparaison de la littérature

I Une erreur évitable :I Un petit échantillon . . .I écart-type de 4,3 % . . .I Pour être « statistiquement significative », l’estimation doit

être au moins de 2 écart-types de 0 . . .I Tout resultat statistiquement significatif doit être une énorme

surestimation

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

18/28

Développez votre intuition statistique

I Supposer qu’on sait que l’effet de beauté sur Pr (fille), c’estmoins de 0,1 %

I Considerer une enquête avec n parents: n/2 beau, n/2 laidI Compter la fréquence des fillesI Pour chaque groupe, l’écart-type de la fréquence, c’est environ

de√

(0,5)(0,5)n/2 =

√0,5/n

I L’écart-type de la différence des fréquences de filles, entre lesdeux groupes, c’est

√0,5/n + 0,5/n =

√1/n

I Pour estimer cette différence d’une précision de 0,1 % :I

√1/n = 0,001

I n = 106

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

19/28

Pourquoi c’est pas évident?

I La théorie et l’education statistique sont concentrées surl’estimation d’un effet à la fois

I L’idee de « la signification statistique » ne marche pas bienavec les petits effets

I Les methodes existent pour inclure l’information a priori sur lataille d’un effet, mais ces methodes ne sont pas intégrés dansles pratiques statistiques

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

20/28

Tous les effets ne sont petits!

Le « Baby Name Wizard » de Laura et Martin Wattenberg :

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

21/28

Les dernières lettres des noms de garçons, 1900

Last letter of boys' names in 1900P

erce

ntag

e of

boy

s bo

rn

b d f h j l n p r t v x za c e g i k m o q s u w y

010

John, James, George, Charles, Edward, . . .

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

22/28

Les dernières lettres des noms de garçons, 1950

Last letter of boys' names in 1950P

erce

ntag

e of

boy

s bo

rn

b d f h j l n p r t v x za c e g i k m o q s u w y

010

Michael, David, Thomas, Larry, . . .

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

23/28

Les dernières lettres des noms de garçons, maintenant

Last letter of boys' names in 2010P

erce

ntag

e of

boy

s bo

rn

b d f h j l n p r t v x za c e g i k m o q s u w y

010

2030

Ethan (#2), Jayden (4), Aiden (9), Mason (12), Logan (17),Benjamin (22), Ryan (23), Jackson (25), John (26), Nathan (27),Jonathan (28), Christian (29), 31, 32, 36, 37, 40, . . .

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

24/28

La tendance des noms de garçons

1900 1950 2010Last letter of boys' names in 1900

Per

cent

age

of b

oys

born

b d f h j l n p r t v x za c e g i k m o q s u w y

010

Last letter of boys' names in 1950

Per

cent

age

of b

oys

born

b d f h j l n p r t v x za c e g i k m o q s u w y

010

Last letter of boys' names in 2010

Per

cent

age

of b

oys

born

b d f h j l n p r t v x za c e g i k m o q s u w y

010

2030

Le paradoxe de la liberté

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

25/28

La modélisation multi-niveaux

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

26/28

Un autre exemple

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

27/28

Quelle est la taille de l’effet?

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets

28/28

Résumé

I Petits effetsI Grandes erreurs de mesuresI Beaucoup de variationI Petits échantillonsI Problèmes avec les méthodes conventionnelles

I Le filtre de signification statistiqueI La publication, n’est pas la même chose que la vérité

I On devrait être sérieux sur les mesures et sur la modélisationde la variation

Andrew Gelman De la beauté, du sexe et du pouvoir : Les difficultés de l’estimation des petit effets