ЛЕКЦИЯ 19

МОДЕЛИ СТАЦИОНАРНЫХ ВРЕМЕННЫХ

РЯДОВ С КОНЕЧНЫМ ЧИСЛОМ

ПАРАМЕТРОВ

МЕТОДОЛОГИЯ БОКСА-ДЖЕНКИНСА

1. Тест Дики-Фуллера на наличие единичного корня

2. AR(1), AR(2), AR(p)

3. МА(q)

4. ARMA(p, q)

Тест Дики-Фуллера на наличие единичного корня

Пусть рассматривается процесс AR(1) без свободного члена

1,,...,1,,0~, 2

1 ntiidYY tttt

Если же 1 , то процесс будет нестационарным (мы

такой процесс назвали случайным блужданием)

Мы хотим проверить, что 1 . Кажется вполне логичным,

что для этого могла бы сгодиться t-статистика,

рассчитанная по оцененному МНК параметру ̂ , как мы и

поступали раньше: )ˆ.(.

1ˆˆ

es

Но проблема заключается в том, что при наличии

нестационарности, эта статистика даже асимптотичеки не

будет иметь t-распределения. Более того, для 1

дисперсия процесса 0 будет бесконечно большой.

Однако для любого объема выборки n может быть получена

конечная оценка дисперсии ряда ty

Тестируем гипотезу 1:0 H (единичный корень), против

гипотезы 1:1 H (стационарность, процесс AR(1) с

нулевым средним).

Дики и Фуллер (Dickey, Fuller) в нескольких своих работах

опубликовали выборочные процентили распределения

статистики. 1% и 5%-ные критические значения теста (DF

test) для некоторых объемов выборок представлены в

таблице:

Более подробно о тесте DF можно прочитать: М. Вербик,

Путеводитель по современной эконометрике, п.8.4.

Не все временные ряды, для которых мы не можем

отклонить нулевую гипотезу, являются интергрируемыми

первого порядка.

Модели авторегрессии AR(1), AR(2), AR(p)

Модель авторегрессии AR(1) – Марковский процесс

AR(1) или ARMA(1, 0)

Мы этот процесс уже рассматривали, поэтому только

коротко вспомним его основные свойства.

1,,0~, 2

1 iidYmY tttt (*)

Свойства:

,...2,1,

,1

,1

,1

2

22

2

22

0

y

y

m

Неравенство 1 является необходимым условием

стационарности процесса.

PACF (τ>1)=0

ACF(1)=PACF(1)

Автокорреляционная функция экспоненциально затухает, не

меняя знака, если оценка параметра авторегрессии

положительная, и – меняя знак, если отрицательна.

Частная автокорреляционная функция имеет выброс на лаге

1, для других задержек – корреляции нет.

Модель авторегрессии AR(2) –процесс Юла-Уокера

(Yule-Walker)

AR(2) или ARMA(2, 0)

2

2211 ,0~, iidYYY ttttt (**)

Вычислим ковариацию между уровнями ряда, отстоящими

на τ друг от друга:

tttttt YYYCovYYCov ;; 2211

Получим:

2211

Чтобы получить автокорреляционную функцию, разделим

обе части равенства на дисперсию 0

2211 (***)

Учтем, что 10 , а также симметричность

автокорреляционной функции 11 , и примем k=1, 2.

Тогда получим систему уравнения для нахождения первых

двух значений автокорреляционной функции (система

уравнений Юла-Уокера):

2112

1211

Отсюда:

2

2

2

12

2

11

1

1

Остальные значения АКФ можно вычислить, используя

первые два значения, по формуле (***)

Если теперь домножить уравнение (**) на ty , а затем взять

от обеих частей математическое ожидание, то можно

получить дисперсию процесса AR(2):

21212

2

20

111

1

Исходя из того, что дисперсия должна быть положительна,

получим условия стационарности процесса AR(2):

1,1,1 12212

Автокорреляционная функция процесса AR(2) может

экспоненциально затухать, или может иметь форму

затухающей синусоидальной волны.

Частная автокорреляционная функция имеет выброс на

лагах 1 и 2, для других задержек – корреляции нет (PACF=0

для k>2).

Модель авторегрессии AR(р) – общие замечания

2

2211 ,0~,... iidYYYY ttptpttt

Условие стационарности

1...21 p

Процессы скользящего среднего МА(q) (moving average)

ARMA(0, q)

2

11 ,0~,... iidY tqtqttt (****)

Рассмотрим в качестве примера процесс МА(1)

2

11 ,0~, iidY tttt

Условие обратимости процесса (т.е. возможность его

представления через AR процесс): 11

При выполнении этого условия процесс МА(1) можно

записать как процесс )(AR :

tttt YYY

...

12

2

111

1

Среднее и дисперсия процесса МА(1):

2

1

221, y

Автоковариационная функция 1,0,2

11 kk

Автокорреляционная функция:

1,0,

1 2

1

11

kk

ACF имеет выброс на лаге 1; PACF экспоненциально

затухает либо монотонно, либо меняя знак.

Для нахождения параметра 1 решается уравнение

011

1

1

2

1

Среди корней этого уравнения выбираются корни меньше

единицы, для обеспечения обратимости процесса.

Модель МА(q) – общие замечания

Характеристическое свойство процесса: ACF обрывается на

лаге q.

ACF определяется как

qk

qkq

qkqkk

k

,0

,,...,2,1,...1

...22

2

2

1

11

Понятие о смешанных процессах и процесс ARMA(1, 1)

ARMA(p, q):

2

1111

,0~

,......

iid

YYY

t

qtqttptptt

ARMA(1, 1):

2

1111 ,0~, iidYY ttttt

Процесс является стационарным и обратимым, если для

параметров выполнены неравенства: 1,1 11

Среднее, дисперсия, автоковариация и автокорреляция

процесса:

2

1011

2

1

11

2

12

0

1

,1

21,

1

Для автоковариации более высокого порядка получаем

рекуррентное соотношение:

1,11 kkk

Для автокорреляции имеем:

11

2

1

111111

1

121

1,1,

kk

k

Для ARMA (1, 1) ACF ведет себя так же, как для процесса

AR(1).

В целом, для процесса ARMA(p, q) первые q значений ACF

определяются взаимодействием компонент AR и МА,

дальнейшее поведение – как для процесса AR(p).

PACF для ARMA (p, q) убывает подобно PACF для процесса

МА(q).

Методолгия Бокса-Дженкинса. Модель ARIMA(p,d,q)

Box, Jenkins, 1976

Пусть к исходно нестационарному ряду d раз применили

процедуру последовательного взятия разности: t

dY

Пусть после этого получился стационарный ряд,

удовлетворяющий процессу ARMA(p, q)

Тогда такой процесс Yt называется интегрированным

процессом авторегрессии и скользящего среднего (integrated

autoregression and moving average)

Этапы подбора модели ARMA(p, d, q)

Идентификация модели:

Тестирование на стационарность, построение и анализ ACF

и PACF, тест на наличие единичного корня. Если ряд

нестационарный, берем последовательные разности (как

правило, не более двух раз).

После получения стационарного ряда строятся его

выборочные ACF и PACF и делаются предположения о

порядке авторегрессии и скользящего среднего (как

правило, стараются использовать модели низких порядков,

так, чтобы 3 qp при отсутствии сезонности)

Оценивание и проверка адекватности модели

Для каждой из выбранных моделей оцениваются значения

параметров и находятся остатки.

Проверяется, насколько модель соответствует данным.

Выбирается та модель, которая описывается меньшим

количеством параметров.

Для оценивания параметров используются обычный МНК,

нелинейный МНК, полный или условный ММП. Детально:

в МКП, раздел 11.4.

Оценки коэффициентов модели должны быть статистически

значимы.

Ошибки модели t должны являться белым шумом.

Следовательно, остатки регрессии te также должны быть

«похожи» на белый шум. Для проверки равенства нулю

сразу К первых значений АКФ остатков используем уже

известную нам статистику Бокса-Пирса:

K

rTQ1

2

Если нулевая гипотеза верна, то эта статистика имеет хи-

квадрат распределение с числом степеней свободы

qpK

В качестве модификации теста Бокса-Пирса можно

использовать тест Льюнга-Бокса (Ljung, Box, 1978):

K

LBn

rnnQ

1

2

)2(

Распределение этой статистики для конечных выборок

ближе к хи-квадрат.

Если тесты показывают наличие автокорреляции остатков,

то модель должна быть модифицирована.

Если же есть сразу несколько «достаточно хороших»,

адекватных моделей, то нужно выбрать одну из них, исходя

из принципа «экономии»: выбрать модель с наименьшим

числом параметров.

Здесь помогут два теста:

Информационный критерий Акаике AIC (Akaike information

criterion, Akaike, 1973)

n

e

n

qpAIC

n

t

t

1

2

ln2

Из двух моделей следует выбрать ту, у которой AIC

меньше.

Байесовский информационный критерий Шварца BIC

(Schwarz criterion, Schwarz, 1978)

n

e

n

nqpBIC

n

t

t

1

2

lnln

Критерий Шварца предпочтительнее, поскольку он имеет

свойство выбирать истинную модель «почти наверняка».

Прогнозирование по ARIMA модели