Лекция № 3

множественная регрессия и корреляция.

• Уравнение множественной регрессии

pp xbxbxbay ...2211

Основная цель множественной регрессии

– построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

например• Современная потребительская функция

чаще всего рассматривается как модель вида

• С – потребление;• у – доход;• P – цена,• M – наличные деньги;• Z – ликвидные активы;

( , , , ) ,С f y P M Z

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели.

Условия включения факторов при построении множественной регрессии.

• 1. факторы должны быть количественно измеримы.

• 2. Факторы не должны быть интеркоррелированы.

• Если между факторами существует высокая корреляция, то параметры уравнения регрессии оказываются неинтерпретируемыми.

• Пусть в уравнении

2211 хbхbay

.021 xxr

Если же

то , нельзя интерпретировать как показатели раздельного влияния и на у .

121 xxr

2b1b

1x 2x

Пример.

• Рассмотрим регрессию себестоимости: единицы продукции (руб.,у) от заработной платы работника (руб., ) и производительности его труда (единиц в час, ):

• = 0,95

zxy 10522600

x

z

xzr

Отбор факторов при построении

множественной регрессии.

• 2 этапа отбора факторов:

– факторы подбираются исходя из сущности проблемы;– на основе корреляционной матрицы производится

исключение части факторов• 1) проверка парной корреляции, • 2) оценка мультиколлинеарности факторов:

– Проверка гипотезы H0: Det R=1

Пути преодоления сильной межфакторной корреляции

• Исключение одного или нескольких факторов• Преобразование факторов для уменьшения

корреляции между ними– Переход к первым разностям– Переход к линейным комбинациям (метод главных

компонент)

• Переход к совмещенным уравнениям регрессии

• Переход к уравнениям приведенной формы

• Предпочтение отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточной тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.

• Пусть, например, при изучении зависимости матрица парных коэффициентов корреляции оказалась следующей:

y

x

zv

y x z v     

    

  

 

1

     

   

0,8 1   

   

0,7 

0,8 

1 

  

 

0,6 

0,5 

0,2 

1

пример         

  

 

1

     

   

0,3 1   

   

0,7 

0,75 

1 

  

 

0,6 

0,5 

0,8 

1

y

x

zv

y x z v

• Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

• Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции была бы единичной матрицей т.е.

,1

100

010

001

333231

232221

131211

xxxxxx

xxxxxx

xxxxxx

rrr

rrr

rrr

RDet

• Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:

.0

111

111

111

RDet

• Таким образом,

• чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии.

• Через коэффициенты множественной детерминации можно найти переменные, ответственные за мультиколлинеарность факторов.

• Сравнивая между собой коэффициенты множественной детерминации факторов

• оставляем в уравнении факторы с

минимальной величиной коэффициента множественной детерминации.

;; 2...312

2...3,21 pxxxxpxxxx

RR

• При дополнительном включении в регрессию р+1 фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться;

и 221 pp RR .22

1 pp SS

• Пусть для регрессии, включающих пять факторов, коэффициент детерминации составил 0,857

включение шестого фактора дало коэффициент детерминации

0,855,

вряд ли целесообразно дополнительно включать в модель этот фактор.

Оценка параметров уравнения множественной регрессии

• Метод: – а) метод наименьших квадратов (МНК) – б) метод наименьших квадратов (МНК) для

стандартизованного уравнения

• В линейной множественной регрессии

параметры при переменной x называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизменном значении других факторов, закрепленном на среднем уровне.

ppx xbxbxbay

...2211

• уравнение регрессии в стандартизованном виде:

pxpxxy tbttt 2211

Где -стандартизованные переменные

Свойства:

-стандартизованные коэффициенты регрессии.

i

;1xy tt

pxxy tyt ,,,1

,i

i

x

iix

xxt

y

y

yyt

,0ixy tt

• Стандартизованные коэффициенты регрессии показывают, на сколько % изменится в среднем результат, если соответствующий фактор xi изменится на 1 % при неизменном среднем уровне других факторов.

• Стандартизованные коэффициенты регрессии i сравнимы между собой.

• Связь между «чистыми» и

«стандартизованными» коэффициентами регрессии

ix

yiib

• Пример. Пусть функция издержек производства y(тыс. руб.) характеризуется уравнением вида

• x1 - основные производственные фонды(тыс.руб.)

• х2 - численность занятых в производстве(чел.)

21 1,12,1200 xxy

• уравнение регрессии в стандартизованном виде выглядит так

• Вывод:

.8,05,021 xxy ttt

• Достоинство стандартизованных коэффициентов регрессии:

использовать при отсеве факторов – из модели исключаются факторы с наименьшим значением j