VI конференция "Леонтьевские Чтения", 29-30 сентября 2006 г.1 Современные методы оценивания эффектов от участия

VI конференция "Леонтьевские Чтения", 29-30 сентября 2006 г. 1

Современные методы оценивания эффектов от участия в программах:

приложение к российской

действительности

Центр Экономических и Финансовых Исследований и Разработок (Москва)


Мотивация

Академический интерес: Стремление выделить эффект воздействия какого-либо

события (службы в армии по призыву, кампании о вреде курения, занятости в бюджетном секторе экономики, переезда в другой населенный пункт, программ переобучения, и т.п.)

Интерес с точки зрения выработки политики: Публичная дискуссия об эффективности государственных

программ в России, особенно в контексте «бюджетирования по результатам»

Активные программы содействия занятости (АПЗ) как инструмент борьбы с безработицей

Дополнительный интерес к программам переобучения (ожидаемое усиление открытости экономики и оценка издержек приспособления; обеспечение устойчивого экономического роста)


Контекст Огромный поток литературы по оценке

эффективности государственных программ, в т.ч. АПЗ, в развитых странах Heckman, LaLonde, and Smith (1999)

Исследования эффективности АПЗ в Центральной и Восточной Европе LaLonde (1986) Kluve, Lehmann and Schmidt (1999, 2002)

Работы по АПЗ в России Ниворожкина и др. (2003) Ахмедов, Денисова, Карцева (2003) Бенус и др. (2004) Денисова и Карцева (2004)


Задача оцениванияD – индекс участия в программе, D=1;0Y – вектор исходов (Y0 ;Y1)/зарплата,

занятость, и т.п./Выигрыш от участия в программе: ∆ = Y1 – Y0

Фундаментальная проблема оценивания:

Y1 и Y0 невозможно наблюдать одновременно ни для кого!


Методология

Для оценки эффектов программ необходимо

Сравнивать сравнимые явления (Yi1 и Yi0)

ПРИМЕР (Y-трудоустройство) Доля трудоустроенных

Среди участников программ 80% Среди всех безработных 60% Среди контрольной группы 75%

Эффект участия в программе ?


Пути решения проблемы:

Оценить пропущенные данные E(Y0|X, D=1) или E(Y1|X, D=0)

Затем оценить условное среднее E(∆|X) по выборке, где ∆=Y1-Y0

X – вектор экзогенных переменных, X не зависит от реализации D f(X|D, Y)=f(X| Y)


Y=DY1 +(1-D)Y0 E(Y0|X)=μ0(X)=Xβ0; Y0=μ0(X)+u0

E(Y1|X)=μ1(X)=Xβ1; Y1=μ1(X)+u1

Y= Xβ0+D(X(β1-β0)+ u1 - u0)+ u0

E(u0|X)=0; E(u1|X)=0Влияние программы: E(Y1 -Y0|X)= E(∆|X)

В регрессии с переключениями: Y=Xβ0+DX(β1-β0)+ {u0+D(u1 - u0)}E[u0+D(u1 - u0)]≠0 !!!!!


На практике, оценивают не E(∆|X), а E(∆|X, D=1)

Y=Xβ0+D[X(β1-β0)+E(u1 - u0|X, D=1)]++{u0+D[(u1 - u0)-E(u1 - u0|X,D=1)]}Нестандартный параметр:

содержит средние ненаблюдаемых величин.Средний выигрыш оценивается в терминах наблюдаемых и НЕнаблюдаемых параметров!


А. u1 - u0 =0 (ненаблюдаемые факторы одинаковы в

состоянии 1 и 0)Y1 -Y0=X(β1-β0)Если Y1 -Y0= α, то Y=Xβ+Dα+u, E(u)=0

В. u1≠u0 , но E(u1 - u0|X,D=1)=0Y=Xβ0+D[X(β1-β0)]+{u0+D(u1 - u0)}E(u0+D(u1 - u0)|X,D)=E(u0|X,D)Коэффициент при D – переменная величина, но

не коррелирован с D Центральная проблема – ковариация u0 и D

С. u1≠u0 , и E(u1 - u0|X,D=1) ≠0Коэффициент при D – переменная величина, и

коррелирован с D


ПОДХОДЫ

Экспериментальный Не экспериментальный подбор пары

Оценка «До-после» Y1t -Y0t’

Идентификационное условие E(Y0t -Y0t’|D=1)=0 Оценка «разница разниц» (Y1t -Y0t’ )1 - (Y0t -Y0t’ )0

Идентификационное условие E(Y0t -Y0t’|D=1)=E(Y0t -Y0t’|D=0)

Кросс-секционная оценка (Y1t) 1-(Y0t)0

Идентификационное условие E(Y0t |D=1)=E(Y0t |D=0)


МетодологияДля каждой подгруппы участников программы

подбираются пары (контрольная подгруппа), характеризующиеся таким же набором до-программных характеристик

Эффект участия в программе = = m wm E(m, prk=1)

где m – индекс контрольной группы, wm – вес контрольной группы m в выборке, E(m, prk=1) – средний эффект участия в программе k в рамках

контрольной группы m =Yi1 – Yj0 , i, j m (для каждого i участника программы k

существует множество не-участников, j, составляющих пару с i).

Точное совпадение (exact matching) против вероятностной меры (propensity score)


Вопросы исследования Каково влияние политики СЗ,

пассивной и активной, На перспективы занятости ? На длительность эпизодов безработицы?

Какие программы относительно «лучше» и для каких групп безработных?

Есть ли региональная вариация и что ее объясняет, если есть


Данные

Последующие опросы (follow-up), весна 2004 г. В России:один регион в Центральной России и один

регион на Урале В Румынии: один регион

Анкета Демографические данные Информация о статусе на рынке труда до

регистрации в СЗ в 2001-02 В период регистрации (2001-02)

• Процедура подачи заявки на программу • Участие в программе (переобучение) • Снятие с учета

Статус на рынке труда в 2003 г. и текущая ситуация Контактная информация


Определение индикатора исхода Вероятность иметь работу на

момент проведения обследования Вероятность иметь работу хотя бы

один раз после выбытия из регистра

Вероятность высокой зарплаты Длительность текущего эпизода

безработицы, месяцев


Критерии подходящей пары

Пару для участника переобучения составляют не участники с примерно таким же значением вероятности участвовать в программе (propensity score). Вероятность зависит от • возраста (4 категории), • образования (4 категории), • состояния здоровья• местожительства (город/село) • истории до безработицы

занятость (высвобожденные, потеряли работу по иным причинам) вне р/с (никогда не работали, длительно не работали)


Демографический профиль участников и неучастников, Россия, регион 1

УЧАСТНИКИ

ПЕРЕОБУЧЕНИЯ НЕ УЧАСТНИКИ

ГРУППА СРАВНЕНИЯ

РОССИЯ, РЕГИОН 1 ВОЗРАСТ <30 29.7% 17.0% 15.7% 30<45 45.3% 44.4% 49.4% >45 25.0% 38.6% 34.9% СРЕДНИЙ ВОЗРАСТ 34.4 38.7 38.1 ПОЛ Мужчины 25.3% 42.6% 28.2% Женщины 74.7% 57.4% 71.8% ОБРАЗОВАНИЕ Общее среднее 9.8% 24.6% 11.5% Начальное профес-ое 21.6% 19.1% 19.5% Среднее профес-ое 23.7% 26.2% 28.8% Высшее профес-ое 44.9% 30.1% 40.2% МЕСТО ЖИТЕЛЬСТВА Город 82.4% 77.4% 88.0% СОСТОЯНИЕ ЗДОРОВЬЯ Инвалиды 9.8% 12.6% 9.1% ЧИСЛО НАБЛЮДЕНИЙ 296 554 500


Эффект переобучения

ПЕРЕОБУЧЕНИЕ СОПОСТАВИМАЯ

ГРУППА РАЗНОСТЬ ЭФФЕКТ

РОССИЯ, РЕГИОН 2 Вероятность иметь работу на момент проведения опроса

68.6% 69.7% -1.1% -0.2%

Вероятность иметь работу хотя бы раз после выбытия из регистра

84.1% 85.5% -1.4% -0.6%

Вероятность высокой зарплаты (>6 тыс.)

5.4% 4.8% 0.6% 0.6%

Длительность текущего эпизода безработицы, мес.

16.6 18.6 -1.8 -1.3

РОССИЯ, РЕГИОН 2 Вероятность иметь работу на момент проведения опроса

72.0% 72.0% 0% 2.0%


89.0% 87.3% 1.7% 3.0%


6.0% 3.7% 2.3% 1.8%


15.4 16.8 -1.4 -0.2

РУМЫНИЯ Вероятность иметь работу на момент проведения опроса

73.9% 61.4% 12.5% 13.9%***


85.3% 76.6% 8.7% 8.8%***

Логарифм зарплаты 14.92 14.93 0.01 0.04** Длительность текущего эпизода безработицы, мес.

9.4 9.6 -0.2 0.7


Эффект переобучения: подгруппыЭФФЕКТ ПОДГРУППА

Вероятность иметь работу в момент опроса




РОССИЯ, РЕГИОН 1 ВОЗРАСТ <30 -10.3** -1.7 -5.6*** -4.1 30<45 0.4 0.1 3.1** -2.5 >45 11.1** -0.7 3.1^ 5.3 ПОЛ Мужчины 1.9 -1.6 1.5 -5.1 Женщины 1.0 -0.3 0.4 -0.6 ОБРАЗОВАНИЕ Общее среднее 27.5*** 13.4*** -0.1 -12.2* Начальное профес-ое -7.1 0 3.1 1.5 Среднее профес-ое 4.1 -1.5 -3.5* 0.4 Высшее профес-ое -5.4^ -3.6 1.9 -2.3 СОСТОЯНИЕ ЗДОРОВЬЯ Инвалид 6.8 -17.7*** 0 4.5 Не инвалид -1.0 1.2 0.7 -2.4 МЕСТО ЖИТЕЛЬСТВА Город -1.6 -0.7 1.2 -3.1 Село 6.5 -0.5 -2.2 4.6


Эффект переобучения: подгруппы

РОССИЯ, РЕГИОН 2 ВОЗРАСТ <30 -4.1 5.2 2.4 -0.3 30<45 6.4 -1.6 0.2 4.1 >45 5.5 9.2^ 4.9 -8.2^ ПОЛ Мужчины -15.4* 0.9 3.8 -7.7^ Женщины 4.5 3.1 1.5 2.0 ОБРАЗОВАНИЕ Общее среднее -5.2 -3.8 -2.9 -8.9 Начальное профес-ое 1.0 5.6 1.2 10.1*** Среднее профес-ое 8.9 7.3^ 2.3 -2.4 Высшее профес-ое -0.4 2.6 2.9 -3.6 СОСТОЯНИЕ ЗДОРОВЬЯ Инвалид 29.2* 14.9 12.4* -26.6*** Не инвалид 0.8 2.4 1.4 1.0

ЭФФЕКТ ПОДГРУППА






Эффект переобучения: подгруппыЭФФЕКТ ПОДГРУППА





РУМЫНИЯ ВОЗРАСТ <30 7.2%^ 7.1%* -0.04^ 3.4*** 30<45 20.0%*** 9.9%*** -0.04 -2.3** >45 26.6% 26.6% -0.12 -8.9 ПОЛ Мужчины 1.5% 1.3% 0.06 2.6** Женщины 18.7%*** 11.8%*** -0.04* -0.3 ОБРАЗОВАНИЕ Общее среднее 23.0%** 19.7%*** -0.12* 5.0*** Начальное профес-ое 13.0%** 10.0%*** -0.03 -0.1 Среднее профес-ое 13.9%*** 3.5% -0.02 -1.7 Высшее профес-ое -22.4%^ 1.3% -0.11 8.4*** СОСТОЯНИЕ ЗДОРОВЬЯ Инвалид -43.2%*** -16.6 -- -- Не инвалид 13.6*** 8.9%*** -0.04** 0.7 МЕСТО ЖИТЕЛЬСТВА Город 12.0*** 4.6%^ -0.06*** -0.6 Село 27.6*** 39.6%*** 0.18** 8.5***


Помогло ли Вам участие в программе

найти работу?

0%

10%

20%

30%

40%

50%

60%

70%

80%

Russia, 1stregion

Russia, 2ndregion

Romania

Yes

No

Do Not Know


Результаты Программы переобучения в России в целом не

оказывают статистически значимого воздействия, ни положительного, ни отрицательного, на занятость и доходы их участников по сравнению с контрольной группой

Программы переобучения в Румынии в целом способствуют улучшению позиций их участников на рынке труда, как в терминах занятости, так и в терминах зарплаты

Общий эффект программ значительно варьируется среди подгрупп участников разного возраста, образования и состояния здоровья


Выводы Нет общих рецептов, необходимо

проводить анализ эффективности программ (в целом и для подгрупп)

В Румынии лучше: Содержание программ и их соответствие

запросам рынка труда? Пул безработных? Правила отбора из пула?

Роль перспектив вступления в ЕС как якорь в реформе институтов


Результаты: подгруппы Россия:

участие в программе людей старше 45 лет улучшает их шансы на рынке труда, тогда как участие молодых – до 25 лет – ухудшает их позиции

Гендерный эффект отсутствует Люди со средним общим образованием также

выигрывают от переобучения, тогда как участники с начальным профессиональным образованием теряют от участия в программе

переобучение оказалось чрезвычайно полезным для инвалидов во втором регионе


Результаты: подгруппы

Румыния: участие в программе улучшает

положение средней возрастной группы на рынке труда

Женщины также выигрывают от переобучения в Румынии

Участники их сельских регионов сильно выигрывают от переобучения

Documents

VI конференция "Леонтьевские Чтения", 29-30 сентября 2006 г.1 Современные методы оценивания эффектов от участия