Click here to load reader

Ch9 Maximum de Vraissemblance Et Moindres Carrés généralisés

  • View
    311

  • Download
    2

Embed Size (px)

Text of Ch9 Maximum de Vraissemblance Et Moindres Carrés généralisés

Chapitre 9Le Maximum de Vraisemblance etLes Moindres Carres Generalises9.1 IntroductionJusqu`apresent nous avons supposequeles erreurs relatives auxmod`elesde regression sont independamment distribuees avec une variance constante.Cest une hypoth`ese tr`es forte,qui est souvent mise `a mal dans la pratique.Dans ce chapitre, nous envisageons des techniques destimation qui permettentdelarelacher. Cesontdunepartlesmoindrescarresgeneralises,ouGLS,etles moindres carres generalises nonlineaires, ouGNLS, etdautrepartdes applications variees de la methode du maximum de vraisemblance. Noustraitons les GLS et le ML ensemble parce que quand le ML est applique auxmod`elesderegressiondontleserreurssontnormales,lesestimateursquienresultent entretiennent des liens etroits avec les estimateurs GLS.Leplandecechapitreest lesuivant. Tout dabord, dans laSection9.2, nous relachons lhypoth`ese selon laquelle les aleas sont independammentdistribues avec une variance constante. LestimationMLdes mod`eles deregression sans ces hypoth`eses se trouve etre conceptuellement simple et tr`esprochedelamethodedesGNLS.DanslaSection9.3, nousdiscutonsdelageometrie des GLS, et considerons un cas particulier important dans lequel lesestimations OLS et GLS sont identiques. Dans la Section 9.4, nous decrivonslamani`eredutiliseruneversiondelaregressiondeGauss-Newtonavecdesmod`eles estimes par GNLS. Dans la Section 9.5, nous etablissons un lien entreles GNLS et les GNLS faisables, et discutons dun certain nombre de resultatsfondamentaux concernant `a la fois les GNLS et les GNLS faisables. La rela-tion entre les GNLS et le ML est ensuite traitee dans la Section 9.6. Enn, dela Section 9.7 `a la Section 9.9, nous considerons les mod`eles de regression nonlineairemultivariee. Bien que de tels mod`eles puissent souvent paratre tr`esdiciles, et en premier lieu `a cause de la notation complexe qui doit permettrede prendre en compte de nombreuses variables dependantes entre elles, nousmontronsquilssontenfaitassezsimples`aestimer`alaidedesGNLSoudu ML. Pour terminer, dans la Section 9.10, nous discutons des mod`eles quitraitent des donnees de panel et dautres ensembles de donnees qui combinent3009.2 LesMoindresCarr esG en eralis es 301des observations chronologiques et des donnees en coupe transversale. Danscechapitre, nousnediscutonspasdecequi estprobablementlapplicationdes GLS la plus communement rencontree, `a savoir lestimation des mod`elesde regression avec correlation en serie. Lenorme litterature sur ce sujet serale th`eme du Chapitre 10.9.2 Les Moindres Carres GeneralisesNous nous proposons de considerer dans cette section la classe des mod`elesy = x() +u, u N(0, ), (9.01)o` u, unematricedeniepositivededimensionn n, est lamatricedecovariance du vecteur des aleasu. Lhypoth`ese de normalite peut naturelle-mentetrerelachee, maisnouslaconservonspourlemomentpuisquenousvoulonsutiliserlamethodedumaximumdevraisemblance. Danscertainesapplications, lamatricepeutetreconnue. Dansdautres, ellepeutetreconnue seulement `a une constante multiplicative pr`es, ce qui permet decrire =2, avec une matrice connue de dimensionn n et2un scalairepositif inconnu. Danslaplupartdesapplications, seulelastructuredesera connue; nous pourrions par exemple savoir quelle provient dun schemaparticulierdheteroscedasticiteoudecorrelationenserie, etparconsequentquelle depend dans un sens dun certain nombre de param`etres. Nous nousinteresserons `a ces trois cas.Lafonctiondedensiteduvecteuruestlafonctiondedensitenormalemultivarieef(u) = (2)n/2||1/2exp

12u

1u

. (9.02)Andepasserdelafonctiondedensiteduvecteurdesaleas u`acelleduvecteurdesvariablesdependantesy,nousremplaconsupary x()dans(9.02)etnousmultiplionsparlavaleurabsoluedudeterminantdelama-trice Jacobienne associee `a la transformation qui exprimeu en termes dey.Lusage de ce facteur Jacobien est lanalogue de ce que nous avons dej`a realisedanslaSection8.10aveclesvariablesaleatoiresscalaires. Pourlesdetails,consulter lAnnexe B. Dans ce cas, la matrice Jacobienne correspond `a la ma-trice identite, et son determinant est egal `a un. En consequence, la fonctionde vraisemblance estLn(y, , ) = (2)n/2||1/2exp

12

y x()

1

y x()

,et la fonction log-vraisemblance est

n(y, , ) = n2 log(2) 12 log || 12

yx()

1

yx()

. (9.03)302 LesMoindresCarr esG en eralis esSi la matrice est connue, il est clair que cette fonction peut etre maximiseepar la minimisation de lasommegeneraliseedesresidusaucarreSSR( | ) = y x()

1

y x()

. (9.04)Ceprobl`emedeminimisationestcelui resoluparles moindres carres nonlineairesgeneralises, ouGNLS. En derivant (9.04) par rapport `a et en an-nulant les derivees, nous obtenons k conditions du premier ordre comparables`a (2.04):2X

()1

y x()

= 0. (9.05)La resolution de ces equations donne,qui est le vecteur `a la fois des esti-mations ML et GNLS pour ce probl`eme. Il est simple de prolonger la theorieasymptotique du Chapitre 5, pour montrer quen1/2( 0)a N

0, plimn

n1X

(0)1X(0)

1

, (9.06)o` u0 est la valeur de sous le DGP. Ce resultat implique que nous pouvonsrealiser des inferences pour les estimations GNLS essentiellement de la mememani`ere que nous les realisons pour les estimations NLS.Dans le cas lineaire o` u x() = X, les conditions du premier ordre (9.05)deviennent2X

1y + 2X

1X = 0.Celles-cipeuvent etreresoluesanalytiquementpourdonnerlaformulestan-dard de lestimateur desmoindrescarresgeneralises, ouGLS,1 = X

1X

1X

1y. (9.07)Cependant, en pratique, on calcule rarement les estimations GLS en utilisantcette formule. Supposons que soit une matrice de dimension nn telle que

= 1. (9.08)Il existe dierentes mani`eres dobtenir une matrice qui satisfasse (9.08) (voirlAnnexe A); on la choisit habituellement, mais pas necessairement, triangu-laire. Etant donnee , il est possible de calculer les estimations GLS au moyende la regression OLSy = X +u. (9.09)Cetteregressionposs`ededeserreursqui sontindependantesetqui ontunevariance constante unitaire, puisqueE

uu

=

=

1

= 1

1

= In,1LestimateurGLSestoccasionnellementappeleestimateurAitken, parcequilfutproposeparAitken(1935).9.2 LesMoindresCarr esG en eralis es 303o` u Inest la matrice identite dordren. Lestimation OLS de provenant dela regression (9.09) est = X

X

1X

y = X

1X

1X

1y,qui est lestimation GLS de (9.07).Le cas dans lequel =2, o` u2est inconnue mais o` u est connueestpratiquementlememecasquecelui o` uestconnue. Lafonctiondelog-vraisemblance (9.03) devient

n(y, , , ) =n2 log(2) nlog() 12 log ||122

y x()

1

y x()

.Laconcentrationdecettefonctionparrapport`a2produitlafonctiondelog-vraisemblance concentree

c(y, , ) = C 12 log || n2 log

y x()

1

y x()

.Evidemment, cettequantitepeutetremaximiseeenminimisantlasommegeneralisee des residus au carreSSR( | ) = y x()

1

y x()

,qui ressembleexactement `a(9.04) sauf que jouemaintenant lerolede. Ainsi, lorsquelonsouhaiterealiseruneestimation, lefaitquesoitcompl`etementconnueouquellesoitconnue`auneconstantemultiplicativepr`es importe peu.Nousavonsvuquesilamatricedecovarianceestconnue,aumoins`a une constante multiplicative pr`es, il est simple conceptuellement de trouverles estimations GLS ou GNLS. Cependant, proceder ainsi peut ne pas etre siaise dans la pratique sin est important et si1ou doivent etre calculeesnumeriquement. Heureusement, lorsqueestconnue, oulorsquesastruc-ture lest,elledependhabituellement dun nombre relativement restreint deparam`etres, et une fois que ceux-ci ont ete species, il est souvent possible detrouveranalytiquement1et. Dansunnombreimportantdecassem-blables, la forme deest telle quil est extremement aise de premultiplieryetXparcettematrice. Nousrencontreronsplusieursexemplesdecetypelorsque nous discuterons de la correlation en serie dans le Chapitre 10.Considerons lexemple simple suivant,dans lequel les aleas sont hetero-scedastiques mais non correles les uns des autresE(u2t) = 2wt , E(utus) = 0 pourt = s, (9.10)304 LesMoindresCarr esG en eralis eso` u wtest une observationportant sur une variable exog`ene et est unparam`etre. Ce type de specication pourrait avoir du sens si wt etait une vari-able liee `a lechelle de la variable dependante, telle que la taille de lentreprisesi la variable dependante etait le benece. Dans ce cas la matriceest dia-gonale, avec un ti`emeelement diagonal egal `a 2wt . Ainsi, la matrice 1estegalement une matrice diagonale avec 2wtcomme ti`emeelement diagonal,et est une matrice diagonale avec 1w/2tcomme ti`emeelement diagonal.La fonction 2wtest ce que lon appelle parfois la fonction scedastique. De lameme mani`ere quune fonction de regression determine lesperance condition-nelle dune variable aleatoire, une fonction scedastique determine sa varianceconditionnelle.Dans ce cas, il est particuli`erement facile de voir quil nest pas necessairede connatrepour obtenir les estimations GLS, puisque le sous-espace en-gendre par les colonnes de Xne change pas si nous multiplions parnimportequelleconstante. Pourvuquenousconnaissions, nouspouvonsexecuter la regressionytw/2t=ki=1iXtiw/2t+ residu. (9.11)Elleproduiraexactement les memes estimations GLSquelaregression(9.09), qui est dans ce casytw/2t=ki=1iXtiw/2t+ residu.De (9.11) nous pouvons facilement estimer ; lestimation correspond simple-ment `a lestimation OLS de lecart type de la regression. Ce type de procedureGLS, dans laquelle la regressande et les regresseurs sont simplement multipliespar des ponderations qui varient au travers des observations est souvent ap-pele moindres carres ponderes. Ceci sapplique `a chaque fois que les aleas sontheteroscedastiques avec des variances connues `a une constante multi