43
JSdS 2013 Olivier Schöni Introduction Régression hédonique Fonctions de perte Performance prédictive Remarques Tests d’hypothèses T-test permuté Test de Diebold-Mariano Analyse Empirique Résultats Conclusions Références Evaluation de la performance prédictive de modèles robustes Olivier Schöni 1 [email protected] 1 Département d’Informatique Université de Fribourg (Suisse)

Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Evaluation de la performance prédictive demodèles robustes

Olivier Schöni1

[email protected]

1Département d’InformatiqueUniversité de Fribourg (Suisse)

Page 2: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Table des matières

1 Introduction

2 Tests sur la performance prédictive

3 Analyse Empirique

4 Conclusions

5 Références

Page 3: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Régression hédonique

On note par P et X := (X1, ...,XK ) le prix et les Kcaractéristiques d’un bien. Pour un échantillon aléatoire de nobservations indépendantes (Pi ,Xi) := (Pi ,Xi1, ...,XiK ) onconsidère le modèle log-linéaire suivant :

log(Pi) = β0 + Xi1β1 + ... + XiKβK + εi , (1)

où εi représente un terme d’erreur stochastique avecE(εi |Xi) = 0 et V(εi |Xi) = σ2, ∀i.

L’expression (1) est un modèle de régression hédonique.

Page 4: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Régression hédonique

On note par P et X := (X1, ...,XK ) le prix et les Kcaractéristiques d’un bien. Pour un échantillon aléatoire de nobservations indépendantes (Pi ,Xi) := (Pi ,Xi1, ...,XiK ) onconsidère le modèle log-linéaire suivant :

log(Pi) = β0 + Xi1β1 + ... + XiKβK + εi , (1)

où εi représente un terme d’erreur stochastique avecE(εi |Xi) = 0 et V(εi |Xi) = σ2, ∀i.

L’expression (1) est un modèle de régression hédonique.

Page 5: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Régression hédonique

On note par P et X := (X1, ...,XK ) le prix et les Kcaractéristiques d’un bien. Pour un échantillon aléatoire de nobservations indépendantes (Pi ,Xi) := (Pi ,Xi1, ...,XiK ) onconsidère le modèle log-linéaire suivant :

log(Pi) = β0 + Xi1β1 + ... + XiKβK + εi , (1)

où εi représente un terme d’erreur stochastique avecE(εi |Xi) = 0 et V(εi |Xi) = σ2, ∀i.

L’expression (1) est un modèle de régression hédonique.

Page 6: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Prédiction et fonctions de perte

Soit P̂ r , r = 1, 2 le prix estimé dans l’échelle originaleobtenu grâce à une technique de régression r . Dans notrecas r représente la méthode des moindres carrés ordinairesou la technique de régression robuste proposée parMaronna et Yohai (2000).

Le but de l’analyse sera de comparer la distribution desvariables aléatoire L(P, P̂ r(X)), r = 1, 2, où L : R2 −→ R+

représente une fonction de perte liée à l’erreur de prédiction.

Les trois fonctions de perte suivantes ont été considérées :quadratique, valeur absolue, biquadratique.

Page 7: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Prédiction et fonctions de perte

Soit P̂ r , r = 1, 2 le prix estimé dans l’échelle originaleobtenu grâce à une technique de régression r . Dans notrecas r représente la méthode des moindres carrés ordinairesou la technique de régression robuste proposée parMaronna et Yohai (2000).

Le but de l’analyse sera de comparer la distribution desvariables aléatoire L(P, P̂ r(X)), r = 1, 2, où L : R2 −→ R+

représente une fonction de perte liée à l’erreur de prédiction.

Les trois fonctions de perte suivantes ont été considérées :quadratique, valeur absolue, biquadratique.

Page 8: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Prédiction et fonctions de perte

Soit P̂ r , r = 1, 2 le prix estimé dans l’échelle originaleobtenu grâce à une technique de régression r . Dans notrecas r représente la méthode des moindres carrés ordinairesou la technique de régression robuste proposée parMaronna et Yohai (2000).

Le but de l’analyse sera de comparer la distribution desvariables aléatoire L(P, P̂ r(X)), r = 1, 2, où L : R2 −→ R+

représente une fonction de perte liée à l’erreur de prédiction.

Les trois fonctions de perte suivantes ont été considérées :quadratique, valeur absolue, biquadratique.

Page 9: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Prédiction et fonctions de perte

Soit P̂ r , r = 1, 2 le prix estimé dans l’échelle originaleobtenu grâce à une technique de régression r . Dans notrecas r représente la méthode des moindres carrés ordinairesou la technique de régression robuste proposée parMaronna et Yohai (2000).

Le but de l’analyse sera de comparer la distribution desvariables aléatoire L(P, P̂ r(X)), r = 1, 2, où L : R2 −→ R+

représente une fonction de perte liée à l’erreur de prédiction.

Les trois fonctions de perte suivantes ont été considérées :quadratique, valeur absolue, biquadratique.

Page 10: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Fonctions de perte

0.0

0.5

1.0

1.5

2.0

Relative Residuals

Loss functions

−1.5 −1.0 −0.5 0.0 0.5 1.0 1.5

Square

Absolute

Bisquare

Page 11: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Performance prédictive

Afin de mesurer la performance prédictive, on considère lesvaleurs attendues µr := E(L(P, P̂ r(X))), r = 1, 2.

La performance prédictive dans et hors échantillon est doncestimée par :

µ̂inr =

1n

n∑i=1

L(Pi , P̂ r(Xi)), r = 1, 2

et

µ̂outr =

1n

n∑i=1

L(Pi , P̂ r ,−s(i)(Xi)), r = 1, 2.

Page 12: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Performance prédictive

Afin de mesurer la performance prédictive, on considère lesvaleurs attendues µr := E(L(P, P̂ r(X))), r = 1, 2.

La performance prédictive dans et hors échantillon est doncestimée par :

µ̂inr =

1n

n∑i=1

L(Pi , P̂ r(Xi)), r = 1, 2

et

µ̂outr =

1n

n∑i=1

L(Pi , P̂ r ,−s(i)(Xi)), r = 1, 2.

Page 13: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Performance prédictive

Afin de mesurer la performance prédictive, on considère lesvaleurs attendues µr := E(L(P, P̂ r(X))), r = 1, 2.

La performance prédictive dans et hors échantillon est doncestimée par :

µ̂inr =

1n

n∑i=1

L(Pi , P̂ r(Xi)), r = 1, 2

et

µ̂outr =

1n

n∑i=1

L(Pi , P̂ r ,−s(i)(Xi)), r = 1, 2.

Page 14: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Remarques

Hennig et Kutlukaya (2007) soulignent le fait que lechoix de l’indicateur de tendance centrale est arbitrairemais pourrait être lié à la fonction de perte utilisée (etvice-versa).

Le fait que l’estimation de µ1 soit plus petite que lavaleur estimée de µ2 n’implique pas forcément la mêmerelation pour les paramètres théoriques. La littératurehédonique, cependant, contient de nombreux exemplesoù la performance prédictive est évaluée sur la basedes estimations ponctuelles de µ1 et µ2 (voir parexemple Laurice et Bhattacharya (2005) et Hannonen(2008)).

Page 15: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Remarques

Hennig et Kutlukaya (2007) soulignent le fait que lechoix de l’indicateur de tendance centrale est arbitrairemais pourrait être lié à la fonction de perte utilisée (etvice-versa).

Le fait que l’estimation de µ1 soit plus petite que lavaleur estimée de µ2 n’implique pas forcément la mêmerelation pour les paramètres théoriques. La littératurehédonique, cependant, contient de nombreux exemplesoù la performance prédictive est évaluée sur la basedes estimations ponctuelles de µ1 et µ2 (voir parexemple Laurice et Bhattacharya (2005) et Hannonen(2008)).

Page 16: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Remarques

Hennig et Kutlukaya (2007) soulignent le fait que lechoix de l’indicateur de tendance centrale est arbitrairemais pourrait être lié à la fonction de perte utilisée (etvice-versa).

Le fait que l’estimation de µ1 soit plus petite que lavaleur estimée de µ2 n’implique pas forcément la mêmerelation pour les paramètres théoriques. La littératurehédonique, cependant, contient de nombreux exemplesoù la performance prédictive est évaluée sur la basedes estimations ponctuelles de µ1 et µ2 (voir parexemple Laurice et Bhattacharya (2005) et Hannonen(2008)).

Page 17: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Tests sur la performance prédictive

Pour voir si la performance prédictive des deux modèles eststatistiquement différente pour une fonction de pertedonnée, on considère les deux tests suivants :

H0 : µin1 = µin

2 contre H1 : µin1 , µ

in2

etH0 : µout

1 = µout2 contre H1 : µout

1 , µout2 .

Soient Di := L(Pi , P̂1(Xi)) − L(Pi , P̂2(Xi)) et D̄n := 1n∑n

i=1 Di

la i-ème différence de perte de prédiction et sa moyenne.Comme on travaille avec des observations indépendantes,on suppose que les Di sont aussi indépendants.

Page 18: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Tests sur la performance prédictive

Pour voir si la performance prédictive des deux modèles eststatistiquement différente pour une fonction de pertedonnée, on considère les deux tests suivants :

H0 : µin1 = µin

2 contre H1 : µin1 , µ

in2

etH0 : µout

1 = µout2 contre H1 : µout

1 , µout2 .

Soient Di := L(Pi , P̂1(Xi)) − L(Pi , P̂2(Xi)) et D̄n := 1n∑n

i=1 Di

la i-ème différence de perte de prédiction et sa moyenne.Comme on travaille avec des observations indépendantes,on suppose que les Di sont aussi indépendants.

Page 19: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Tests sur la performance prédictive

Pour voir si la performance prédictive des deux modèles eststatistiquement différente pour une fonction de pertedonnée, on considère les deux tests suivants :

H0 : µin1 = µin

2 contre H1 : µin1 , µ

in2

etH0 : µout

1 = µout2 contre H1 : µout

1 , µout2 .

Soient Di := L(Pi , P̂1(Xi)) − L(Pi , P̂2(Xi)) et D̄n := 1n∑n

i=1 Di

la i-ème différence de perte de prédiction et sa moyenne.Comme on travaille avec des observations indépendantes,on suppose que les Di sont aussi indépendants.

Page 20: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

T-test permuté

Soit L := (L11 , L

12 , ..., L

2n−1, L

2n ) le vecteur contenant les pertes

des deux méthodes de régression, où L ri := L(Pi , P̂ r(Xi)).

On définit L∗ = ((L1,∗1 , L2,∗

1 ), ..., (L1,∗n , L2,∗

n )) comme unepermutation aléatoire de L . Récemment Konietschke etPauly (2012) ont démontré à l’aide d’une simulation que lastatistique

tKP :=√

nD̄∗nV∗n−→ N(0, 1),

améliore la puissance du t-test et que le niveau du test estplus proche à celui nominal (D∗i représente les différencesdes pertes permutées, V∗2n la variance empirique).

Page 21: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

T-test permuté

Soit L := (L11 , L

12 , ..., L

2n−1, L

2n ) le vecteur contenant les pertes

des deux méthodes de régression, où L ri := L(Pi , P̂ r(Xi)).

On définit L∗ = ((L1,∗1 , L2,∗

1 ), ..., (L1,∗n , L2,∗

n )) comme unepermutation aléatoire de L . Récemment Konietschke etPauly (2012) ont démontré à l’aide d’une simulation que lastatistique

tKP :=√

nD̄∗nV∗n−→ N(0, 1),

améliore la puissance du t-test et que le niveau du test estplus proche à celui nominal (D∗i représente les différencesdes pertes permutées, V∗2n la variance empirique).

Page 22: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

T-test permuté

Soit L := (L11 , L

12 , ..., L

2n−1, L

2n ) le vecteur contenant les pertes

des deux méthodes de régression, où L ri := L(Pi , P̂ r(Xi)).

On définit L∗ = ((L1,∗1 , L2,∗

1 ), ..., (L1,∗n , L2,∗

n )) comme unepermutation aléatoire de L . Récemment Konietschke etPauly (2012) ont démontré à l’aide d’une simulation que lastatistique

tKP :=√

nD̄∗nV∗n−→ N(0, 1),

améliore la puissance du t-test et que le niveau du test estplus proche à celui nominal (D∗i représente les différencesdes pertes permutées, V∗2n la variance empirique).

Page 23: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Test de Diebold-Mariano

Le test suivant est une version modifiée du test proposé parDiebold et Mariano (1995). Dans ce cas, on ne suppose pasque les variables Di possèdent la même variance.L’hypothèse nulle d’une performance prédictive égale esttestée à l’aide de la statistique

tDM :=D̄n√

V̂( 1n∑n

i=1 Di)−→ N(0, 1).

La statistique tDM peut facilement être calculée enrégressant les différences Di sur une constante et encalculant la déviation standard du coefficient à l’aide d’unestimateur HC (Heteroskedastic-Consistent).

Page 24: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Test de Diebold-Mariano

Le test suivant est une version modifiée du test proposé parDiebold et Mariano (1995). Dans ce cas, on ne suppose pasque les variables Di possèdent la même variance.L’hypothèse nulle d’une performance prédictive égale esttestée à l’aide de la statistique

tDM :=D̄n√

V̂( 1n∑n

i=1 Di)−→ N(0, 1).

La statistique tDM peut facilement être calculée enrégressant les différences Di sur une constante et encalculant la déviation standard du coefficient à l’aide d’unestimateur HC (Heteroskedastic-Consistent).

Page 25: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Test de Diebold-Mariano

Le test suivant est une version modifiée du test proposé parDiebold et Mariano (1995). Dans ce cas, on ne suppose pasque les variables Di possèdent la même variance.L’hypothèse nulle d’une performance prédictive égale esttestée à l’aide de la statistique

tDM :=D̄n√

V̂( 1n∑n

i=1 Di)−→ N(0, 1).

La statistique tDM peut facilement être calculée enrégressant les différences Di sur une constante et encalculant la déviation standard du coefficient à l’aide d’unestimateur HC (Heteroskedastic-Consistent).

Page 26: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Données

Les données utilisées on été fournies par Wüest & Partner,une entreprise internationale d’expertise immobilière. Lesprix de transaction de maisons individuelles, ainsi que leurscaractéristiques, ont été collectés pour le canton de Zurich.

On a considéré, en particulier, 411 transactions qui ont eulieu le quatrième trimestre 2010 (pour ce trimestrel’hypothèse d’homoscédasticité n’a pas pu être rejetée auniveau de 5%).

Page 27: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Données

Les données utilisées on été fournies par Wüest & Partner,une entreprise internationale d’expertise immobilière. Lesprix de transaction de maisons individuelles, ainsi que leurscaractéristiques, ont été collectés pour le canton de Zurich.

On a considéré, en particulier, 411 transactions qui ont eulieu le quatrième trimestre 2010 (pour ce trimestrel’hypothèse d’homoscédasticité n’a pas pu être rejetée auniveau de 5%).

Page 28: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Données

Les données utilisées on été fournies par Wüest & Partner,une entreprise internationale d’expertise immobilière. Lesprix de transaction de maisons individuelles, ainsi que leurscaractéristiques, ont été collectés pour le canton de Zurich.

On a considéré, en particulier, 411 transactions qui ont eulieu le quatrième trimestre 2010 (pour ce trimestrel’hypothèse d’homoscédasticité n’a pas pu être rejetée auniveau de 5%).

Page 29: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Variables

kaufpr : prix de transaction

age : âge

vol : volume

land : surface du terrain

stand : standing

zust : condition

mikro : emplacement dans la commune

frei : maison individuelle

zimmer : nombre de chambres

ms : emplacement dans le canton

garage : nombre de places de parking

Page 30: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Variables

kaufpr : prix de transaction

age : âge

vol : volume

land : surface du terrain

stand : standing

zust : condition

mikro : emplacement dans la commune

frei : maison individuelle

zimmer : nombre de chambres

ms : emplacement dans le canton

garage : nombre de places de parking

Page 31: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Performance prédictive dans l’échantillon

Quadratique Absolue Biquadratique

OLS 0.233 0.279 0.882Robust 0.273 0.283 0.866

Table : Pertes moyennes.

Quadratique Absolue Biquadratique

D-M 0.201 0.446 0.042K-P 0.392 0.469 0.038

Table : Valeurs p d’égalité des moyennes.

Page 32: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Performance prédictive dans l’échantillon

Quadratique Absolue Biquadratique

OLS 0.233 0.279 0.882Robust 0.273 0.283 0.866

Table : Pertes moyennes.

Quadratique Absolue Biquadratique

D-M 0.201 0.446 0.042K-P 0.392 0.469 0.038

Table : Valeurs p d’égalité des moyennes.

Page 33: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Performance prédictive dans l’échantillon

Quadratique Absolue Biquadratique

OLS 0.233 0.279 0.882Robust 0.273 0.283 0.866

Table : Pertes moyennes.

Quadratique Absolue Biquadratique

D-M 0.201 0.446 0.042K-P 0.392 0.469 0.038

Table : Valeurs p d’égalité des moyennes.

Page 34: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Performance prédictive hors échantillon

Fold Quadratique Absolue Biquadratique

1 0.486 0.174 0.7872 0.369 0.375 0.8663 0.101 0.393 0.8684 0.960 0.359 0.8145 0.774 0.689 0.225

Tous 0.501 0.455 0.441

Table : Valeurs p d’égalité des moyennes du K-P test.

Page 35: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Performance prédictive hors échantillon

Fold Quadratique Absolue Biquadratique

1 0.486 0.174 0.7872 0.369 0.375 0.8663 0.101 0.393 0.8684 0.960 0.359 0.8145 0.774 0.689 0.225

Tous 0.501 0.455 0.441

Table : Valeurs p d’égalité des moyennes du K-P test.

Page 36: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Conclusions

En se basant que sur des estimations ponctuelles de laperformance prédictive on peut tirer de faussesconclusions.

La variance des pertes de prédiction doit aussi êtreconsidérée.

La fonction de perte joue un rôle important dans lechoix de la technique de régression.

Les tests de la performance prédictive peuvent donnerdes résultats différents dans et hors échantillon.

Page 37: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Conclusions

En se basant que sur des estimations ponctuelles de laperformance prédictive on peut tirer de faussesconclusions.

La variance des pertes de prédiction doit aussi êtreconsidérée.

La fonction de perte joue un rôle important dans lechoix de la technique de régression.

Les tests de la performance prédictive peuvent donnerdes résultats différents dans et hors échantillon.

Page 38: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Conclusions

En se basant que sur des estimations ponctuelles de laperformance prédictive on peut tirer de faussesconclusions.

La variance des pertes de prédiction doit aussi êtreconsidérée.

La fonction de perte joue un rôle important dans lechoix de la technique de régression.

Les tests de la performance prédictive peuvent donnerdes résultats différents dans et hors échantillon.

Page 39: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Conclusions

En se basant que sur des estimations ponctuelles de laperformance prédictive on peut tirer de faussesconclusions.

La variance des pertes de prédiction doit aussi êtreconsidérée.

La fonction de perte joue un rôle important dans lechoix de la technique de régression.

Les tests de la performance prédictive peuvent donnerdes résultats différents dans et hors échantillon.

Page 40: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Conclusions

En se basant que sur des estimations ponctuelles de laperformance prédictive on peut tirer de faussesconclusions.

La variance des pertes de prédiction doit aussi êtreconsidérée.

La fonction de perte joue un rôle important dans lechoix de la technique de régression.

Les tests de la performance prédictive peuvent donnerdes résultats différents dans et hors échantillon.

Page 41: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Merci pour votre attention !

Page 42: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Références I

Francis X. Diebold et Roberto S. Mariano : Comparingpredictive accuracy. Journal of Business & EconomicStatistics, 13(3):253–263, 1995.

Marko Hannonen : Predicting urban land prices : Acomparison of four approaches. International Journal ofStrategic Property Management, 12(4):217–236, 2008.

Christian Hennig et Mahmut Kutlukaya : Some thoughts aboutthe design of loss functions. REVSTAT-Statistical Journal,5(1):pp. 19–39, 2007.

Page 43: Evaluation de la performance prédictive de modèles robustes · cas r représente la méthode des moindres carrés ordinaires ou la technique de régression robuste proposée par

JSdS 2013

Olivier Schöni

IntroductionRégression hédonique

Fonctions de perte

Performance prédictive

Remarques

Tests d’hypothèsesT-test permuté

Test de Diebold-Mariano

Analyse EmpiriqueRésultats

Conclusions

Références

Références II

Frank Konietschke et Markus Pauly : Bootstrapping andpermuting paired t-test type statistics. Statistics andComputing, pages 1–14, 2012.

Jennifer Laurice et Radha Bhattacharya : Predictionperformance of a hedonic pricing model for housing. TheAppraisal Journal, 73(2):198–209, 2005.

Ricardo A. Maronna et Víctor J. Yohai : Robust regressionwith both continuous and categorical predictors. Journalof Statistical Planning and Inference, 89(1-2):197–214,2000.