Сергей Мартыщенко 23 января 2015 года

Как и для чего измерять эффективность НКО?

2

Стратегическая цель - Создание среды в России для развития социальных инноваций

Создание E&P (в Лондоне) – 12.2007 г. Регистрация Филиала E&P в Москве – 10.2011 г. * - персональное участие

Деятельность E&P в области оценки

Ключевые продукты и услуги E&P

Обзор международных трендов и лучших практик, участие в международных инициативах

• Ежемесячные дайджесты и тематические обзоры • Более 100 материалов в Базе знаний на Dropbox • Более 30 переводов лучших практик на русский язык • APS Network, GIIN, SROI*

Подготовка аналитических и методических материалов с учетом российского опыта

• Более 30 аналитических материалов • Более 10 методических продуктов (рекомендаций), в т.ч.

партнерских

Содействие внедрению разработанных методических продуктов

• Трансляция продуктов и лучших практик • Поддержка внедрения систем и инструментов

измерения • Создание экспертных площадок

Фокус внимания: - ИЗМЕРЕНИЕ СОЦИАЛЬНЫХ РЕЗУЛЬТАТОВ

Целевая аудитория: - НЕКОММЕРЧЕСКИЕ ОРГАНИЗАЦИИ, БИЗНЕС, ГОСУДАРСТВО

3

«Приоритетом должно стать создание культуры оценки и измерения результатов, а не формальные инструменты и системы показателей»

McKinsey&Company

«Нельзя управлять тем, что невозможно измерить, … но всего, что измеримо, можно достичь»

Билл Хьюлетт

Что дает измерение

Улучшение качества услуг для благополучателей;

Наглядность получаемых результатов, демонстрация вклада программы;

Увеличение объема пожертвований;

Экономия и/или более эффективное использование ресурсов;

Извлечения уроков и правильная интерпретация неудач;

Рост мотивации сотрудников (осознанность действий и пр.);

…

Но… возникает масса сложностей

Ресурсные ограничения (финансовые, временные, человеческие…);

Отсутствие апробированных методик, инструментов;

Сложность выбора адекватных социальных показателей;

Ограниченность публичной информации (преимущественно – успехи);

Целесообразность оценки (отсутствие четкой зависимости «доказанная эффективность»-«получение средств, господдержка»);

Выявление потребностей благополучателей; …

Эффективность организации = эффективность достижения миссии

4

Выводы из анализа отчетности о социальных результатах НКО РФ*

1. Большая часть отчетов - в парадигме «истории и кейсы» и проблематична репрезентативность.

2. О наличии системы МиО заявляет около 1/4 организаций (нередко – декларации). Методы измерения результативности не всегда очевидны.

3. Типично: разрыв между миссией и представленной результативностью. Все отчеты отражают непосредственные результаты, не более ½ - социальные изменения.

4. Не представлена четко прописанная логическая рамка.

5. Характерна избыточность информации вместо фокуса на наиболее важных и доказательных достижениях.

6. Нет полноценной информации об извлеченных уроках, на основе которых вносятся изменения в деятельность.

7. Практически все отчеты содержат отклики от стейкхолдеров, но чаще это эмоциональные суждения и не всегда ясны достигнутые изменения. Исключение - личные истории благополучателей, волонтеров.

* - исследование, проведенное E&P по публичным отчетам НКО РФ – участникам конкурса ТОЧКА ОТСЧЕТА 2012 г.

5

Единые принципы Оценки верхнего уровня

Единые принципы Оценки верхнего уровня

Развертывание Стандартов до уровня методических документов (иллюстративно)

Развертывание Стандартов до уровня методических документов (иллюстративно)

Анализ деятельности и результатов и корректировка

Планирование программ (целеполагание, результаты и показатели)

Реализация программ и мониторинг результатов

Программмный цикл (ключевые элементы)

2011 год 2012-2014 год

Развитие культуры измерения: опыт E&P и стратегических партнеров

6

Теория изменения описывает процесс запланированного социального изменения, начиная с исходных предположений и допущений и заканчивая долгосрочными целями

http://issuu.com/evolphil/docs/tcd_print_theory_of_changes_handboo

Уроки применения ТИ:

УРОК 1: Процесс разработки ТИ заставляет заинтересованные стороны всесторонне обдумать и обсудить планируемую программу, что обеспечивает высокое качество планирования.

УРОК 2: Качество всей ТИ напрямую зависит от качества формулировки конечного результата/цели программы.

УРОК 3: Сконцентрировать внимание заинтересованных сторон, участвующих в разработке ТИ, на определении необходимых и достаточных условий желаемых изменений намного сложнее, чем просто сформулировать все хорошие идеи, которые могут возникнуть у участников процесса разработки ТИ.

УРОК 4: Даже лучшие специалисты по планированию не смогут разработать хорошую ТИ при недостатке исходных данных.

УРОК 5: Чтобы выполнить разработку ТИ достаточно быстро и успешно, может потребоваться помощь консультантов для фасилитации группового процесса.

УРОК 6: Нужно отвести достаточно времени, чтобы качественно провести все этапы планирования.

УРОК 7: Если ТИ используется для планирования программы, когда на кону стоит вопрос получения финансирования, разработчики чувствуют свою ответственность, что становится для дополнительных фактором психологического напряжения.

Порядок разработки Теории изменений:

1. Анализ ситуации

2. Определение целей и допущений

3. Картирование ожидаемых результатов (в обратном порядке) и их соединение

4. Разработка индикаторов

5. Определение действий

6. Описание ТИ в повествовательной форме (пояснительная записка)

7

Теория изменения – пример программы БДФ «Виктория»

http://issuu.com/evolphil/docs/tcd_print_theory_of_changes_handboo

Участие НКО

поддерживается

властями

региона

Участие

общественности

поддерживается

властями региона

8

РЕСУРСЫ (INPUTS)

ДЕЯТЕЛЬНОСТЬ (ACTIVITIES)

НЕПОСРЕДСТВЕННЫЙ РЕЗУЛЬТАТ (OUTPUTS)

СОЦИАЛЬНЫЙ

РЕЗУЛЬТАТ (OUTCOMES)

СОЦИАЛЬНЫЙ ЭФФЕКТ (IMPACT)

Экономичность

Производительность

Социально-экономическая эффективность

$

Цепочка социальных результатов = логика создания общественных благ

Объем вложений (денеж. средства,

количество сотрудников)

Разработка и реализация программ,

создание новой инфраструктуры

Количество благополучателей, распространенных

экземпляров

Рост уровня знаний у прошедших обучение; изменение моделей

поведения

Изменения в жизни благополучателей и

общества

Эффективность получения социального результата

9

Цепочка социальных результатов - Пример из практики

E&P: Распространение лучших практик в области фандрайзинга и мобилизации ресурсов НКО

Уровень

результата

Промежуточный

Непосредственный

результат (продукт)

Конечный

Непосредственный

результат

(натуральный результат)

Промежуточный

социальный результат

(социальный результат)

Конечный социальный

результат (социальный

эффект)

Пример

результата

• Программа курсов

• Материалы и лучшие

практики

• Методические

материалы

• Исследования, издания,

публикации

• Продукты проектов

• Распространение

материалов и лучших

практик среди НКО

• Рецензирование и отзывы

• Новые подписчики и

пользователи

• Новые проекты (на основе

предоставленных

материалов)

• Внедрение лучших

практик в деятельность

• Повышение компетенций

• Повышение интереса

доноров и партнеров

• Повышение

эффективности

деятельности НКО,

эффективности

программ

Пример KPI • Количество материалов

• Сроки издания

• Количество слушателей

• Количество

преподавателей

• Количество НКО

• Количество выданных

сертификатов, результаты

тестирования

• Количество просмотров,

обратная связь

• Количество отзывов,

рецензий

• Количество информационно-

образовательных

мероприятий

• Количество НКО,

внедривших лучшие

практики в деятельность

• Сравнительные

результаты бенчмаркинга

(динамика развития

организационного

потенциал НКО)

• Уровень роста

компетенций

• Количество НКО,

повысивших

эффективность своей

деятельности,

эффективность

программ

* - Приложение № 1 – пример из практики БДФ «Виктория»

10

Методика выбора показателей - алгоритм

Важные предварительные шаги:

Уточнить миссию Компании Семейной филантропии и Семейной Филантропии, в целом, стратегические цели, ожидаемые социальные результаты

Определить ключевых пользователей (включая членов СД и доноров) и включить их в процесс разработки и верификации показателей

ШАГ 1. Выбрать ключевую область / перспективу для измерения значения показателя

Определить цель в рамках ключевой области / перспективы, которая соотносится с планом на год

ШАГ 2.

ШАГ 3.

Сформулировать вопросы о том, что необходимо узнать о результатах выполнения цели в рамках ключевой области

Выбрать показатели из представленной библиотеки показателей, опыта фонда либо с привлечением внешних экспертов (Библиотека показателей – (Приложение № 2)

Шаг 4.

Шаг 5.

Верифицировать показатели по отобранному перечню критериев (Приложение №3)

Описать выбранные показатели.

(Перечень характеристик показателя в Приложении №4)

11

Перспектива Примеры рекомендованных показателей (выборочно) по итогам

анализа опыта международных организаций* Пример из практики E&P (2013 год)

ВКЛАД В ОБЩЕСТВО

• Показатели статистического характера в области деятельности организации

• % опрошенных экспертов в сфере деятельности организации, признающих большой социальный эффект от деятельности организации, признающих большой вклад организации в создание нового знания

• 7,7 баллов из 10-ти оценка вклада E&P в общество

РЕЗУЛЬТАТ

• % участников, от общего числа, которые сообщили о повышении уровня знаний,

• % участников, от общего числа, которые переходят на новый уровень / меняют условия жизни, статус в результате оказанной услуги

• 7400 получателей уникальных продуктов (физические лица)

• 6,5 баллов из 10 – оценка уровня внедряемости продуктов

СТЕЙКХОЛДЕРЫ

• Доля охвата благополучателей программами фонда от установленной ЦГ

• Число участников прошедших полный курс обучения

• Количество человек, ознакомившихся с продуктом N фонда

• Уровень удовлетворенности стейкхолдеров

• 64 продукта (из них 14 – ключевых уникальных, в т.ч. 8 партнерских)

• 8 международных и 16 российских устойчивых партнерств (5 в КЭиФ)

• 2 новые площадки: АФР, ОСО – каналы

• 42 внешних поддержанных проекта

ПРОЦЕССЫ

• Кол-во подготовленных к публикации продуктов деятельности • Стоимость одной единицы услуги/продукта

• Кол-во благополучателей, опрошенных о существующих потребностях

• 8,5 баллов из 10-ти - соответствие потребностям стейкхолдеров

ПОТЕНЦИАЛ

• Доля АХР расходов по отношению к программным

• Доля привлеченных средств по отношению к средствам Учредителя

• Удовлетворенность сотрудников от работы в фонде

• % программ, прошедших расчет экономичности

• 8,8 баллов из 10-ти – оценка компетенций сотрудников

• 7 постоянных внешних экспертов

• > 2500 документов во внутренней Базе

• > 120 переведенных лучших практик • 5 социальных медиа

Методика выбора показателей – система и библиотека показателей

* - список организаций представлен в Приложение № 5

12

Рекомендации для развития культуры измерения

Планируйте социальный результат с учетом цепочки результатов

Планируйте систему измерения и оценки заранее

Используйте показатели из общих баз показателей

Наращивайте собственную экспертизу, потенциал и работайте с экспертами

Коммуницируйте социальный эффект

Продукты

Теория изменений, логическая цепочка

Руководство по планированию и измерению)

Матрица социальных результатов, База показателей

Анкеты в области развития потенциала

Кодекс - Inspiring Impact

13

СПАСИБО ЗА ВНИМАНИЕ !!!

Филиал в Москве, Ул. Ефремова 8,

Тел. +7-495-785-12-12

Сайт: http://ep.org.ru/

E-mail: info@ep.org.ru

Сайт дайджеста: http://ep-digest.ru/

14

ПРИЛОЖЕНИЯ

15

Приложение № 1. Цепочка социальных результатов - Пример БДФ «Виктория»

16

Приложение № 2. Набор показателей для перспективы «Результат» на основе международного опыта

Знания; возможности для обучения; изменение мнений и отношения к конкретной проблеме

а) Уровень подготовленности (квалификация): -% участников, которые чувствуют себя подготовленными к

выполнению конкретных задач / деятельности; -% участников, обладающих минимальной квалификацией для

перехода на новый уровень (изменения статуса) или выполнения новой деятельности.

b) Знания / обучение: -% участников, которые повысили уровень знаний (сравнение

показателей «до» и «после» программы); -% участников, которые уверены в том, что в ходе программы

они отработали навыки; -% участников, которые в результате программы повысили

индивидуальные показатели знаний. c) Отношение / восприятие: -% участников, которые сообщили о положительном изменении

своего отношения к конкретному вопросу или проблеме; -% родителей, учителей, коллег и иных лиц, сообщивших о

положительном изменении отношения участников к конкретному вопросу или проблеме.

Модели поведения а) Случаи желательного поведения: -% участников, которые достигли своих целей; -Показатель успешности участников; -Показатель положительных изменений. b) Поддержка новых моделей поведения: -% участников, которые не возвращаются в программу/ к прежней системе; -%участников, которые переходят на новый уровень / меняют условия жизни или статус; -Продолжительность (количество недель/месяцев/лет); -% участников, изменивших модели поведения по прошествии времени. с) Случаи нежелательного поведения: -Сокращение количества сообщений о нежелательном поведении. (в процентном

выражении).

Условия/статус а) Состояние здоровья участников: -% участников, которые через 90 дней положительно оценили состояние своего

здоровья; -% уменьшения случаев проблем со здоровьем; -% участников, которые сразу дали положительный ответ.

Социальный статус участников: -%участников, которые перешли на новый уровень/изменили условия или статус; - %участников, которые избегают нежелательного развития событий / поведения; -% участников, которые улучшили взаимоотношения с окружающими; -% выпускников / участников, завершивших программу; -% участников, оставшихся на прежнем уровне, в прежних условиях / статусе.

с) Экономический статус участников: -% участников, имеющих постоянное и безопасное жилье; -% участников, которые переехали в постоянное жильё на длительный срок; -% зарегистрированных участников образовательных программ; -% участников, у которых увеличился заработок; -% участников, которые занимаются построением карьеры

17

Критерий верификации (Набор критериев из списка может

меняться)

Вопросы для верификации

Точность Насколько точно показатель отражает измеряемый результат?

Ясность Насколько показатель однозначен и хорошо определен?

Проверяемость Исключена ли возможность манипулирования значением показателя?

Сравнимость Сможем ли сравнить результаты показателя со своими результатами и результатами однородных организаций?

Согласованность со стейкхолдерами Достигли ли заинтересованные стороны согласия по показателю?

Измеримость на заданном временном горизонте

Успеем ли получить достаточно информации к показателю в рамках определенного периода?

Существенность Насколько показатель важен для оценки значимых характеристик измеряемого результата?

Полнота Насколько показатель полно отражает измеряемый результат?

Экономичность сбора Насколько экономически оправдан сбор показателя?

Адекватность Насколько показатель замеряет именно то, что призван замерять?

Приложение № 3. Верификация показателей

18

№ Перечень характеристик использования показателя (Приведен базовый перечень характеристик)

Описание

1 Название показателя Доля благополучателей, повысивших уровень знаний

2 Фокус к которому относится показатель Социальный результат

3 Цель предполагаемого использования Получение знания о результативности программы

4 Главные пользователи Программный менеджер

5 Целевое значение показателя на перспективе года 95%

6 Плановый срок достижения целевого значения показателя

Сразу по завершению программы

7 Период использования показателя В течении реализации программы

8 Период измерения Дважды в течении программы

9 Источник информации Единообразное тестирование по предлагаемой информации

10 Метод сбора (инструмент сбора) Пре – и пост- тестирования

11 Стоимость сбора $ 500

12 Ограничения валидности показателя Для обеспечения достоверности полученных знаний все благополучатели условно должны иметь одинаковый уровень подготовки в определенной области

13 Ответственный за сбор Программный менеджер

14 Как будет организован этап рефлексии по результатам мониторинга показателя и как результаты рефлексии будут внедрены в работу

Итоговое собрание программной команды

Приложение № 4. Описание показателей

19

Приложение № 5. Список международных организаций, опыт которых был изучен при подготовке методики по показателям

1. Center for Effective Philanthropy

2. Keystone Accountability

3. The Robert Wood Johnson Foundation

4. Investing for Good

5. Center for What Works

6. The James Irvine Foundation

7. Intelligent Philanthropy

8. Charity Navigator

9. GuideStar

10. Ford Foundation

11. California Wellness Foundation

12. Lumina Foundation for Education

13. The Charles and Helen Shwab Foundation

14. The Heinz Endowment

15. Annie E. Casey Foundation

16. The Wallace Foundation

17. McKinsey: Learning for Social Impact

18. M.Friedman

19. Rootcause: Investing for Social Impact

20. The Hewlitt Foundation

21. The Edna McConnell Clark Foundation

22. W.K. Kellogg Foundation

23. Rockefeller Foundation

24. The Pew Charitable Trust

25. William Penn Foundation

26. Humanity United

27. TCC Group

28. Northwest Area Foundation

20

Приложение № 6. Интеграция стоимостных подходов (1/4)

http://issuu.com/evolphil/docs/ozenka_soc-economy_effectivnosty

Оценка социально-экономической эффективности применяется к программам из категории социальных инвестиций

= Программы, направленные на повышение уровня и качества жизни, повышение самостоятельности благополучателей,

развитие их знаний и умений, изменение их социального статуса)

Какие социальные изменения измеримы в стоимостном выражении:

Рост доходов (или экономии расходов) благополучателей и членов их семей

Изменение доходов и расходов других членов общества

Экономия общественных ресурсов (сокращение гос. поддержки)

Увеличение общественных доходов (рост занятости, производительности)

….

* - Расчет эффективности в приложении № 3

21

Цель программы:

Сохранение кровной семьи для ребенка

Социальные результаты:

Стабилизация отношений в семье группы риска;

Укрепление детско-родительских отношений;

Снятие риска задержек в развитии ребенка дошкольного и младшего школьного возраста

Компоненты результатов и эффектов, измеримые в стоимостном выражении:

Непопадание детей в детский дом, под опеку

Родители устроились на работу, начали получать пособие

Дети пошли не в коррекционный детский сад, а в обычный

Дети поли в обычную школу, а не к коррекционную

Долгосрочные эффекты для общества

Приложение № 6. Расчет социально-экономической эффективности на примере программы «Родные и близкие» БДФ «Виктория» (2/4)

22

Исходные данные:

Стоимость одного года пребывания ребенка в интернатном учреждении: 400 тыс. руб. (данные статистики, 2012 год)

Стоимость одного года пребывания ребенка под опекой: 78 тыс. рублей

Средний срок пребывания ребенка в интернатном учреждении – 5 лет

Средний срок пребывания ребенка под опекой - 5 лет

Приложение № 6. Расчет социально-экономической эффективности на примере программы «Родные и близкие» БДФ «Виктория» (3/4)

Стоимость программы:

определяем перечень и состав услуг (программных мероприятий)

оцениваем затраты на оказание услуг (программных мероприятий)

определяем затраты на управление программой

определяем затраты на управление Фондом «Виктория» (административно- управленческие затраты и общехозяйственные расходы), относимые на стоимость программы

определяем общую стоимость программы

Общая стоимость программы составляет 13,7 млн. руб. (в год)

23

Период (n) исх. данные 1 2 3 4 5 6

1 Численность детей, которые не попадут в интернатные учреждения в

результате участия в программе

10

2 Численность детей, которые не попадут под опеку в результате

участия в программе

50

3 Фактор дисконтирования 1,00 0,9 0,83 0,75 0,68 0,62

4 Стоимость содержания 1 ребенка в интернатном учреждении в

течение года, в текущих ценах

400 400 400 400 400 400

5 Приведенная стоимость содержания 1 ребенка в интернатном

учреждении по годам в течение 5 лет

364 331 301 273 248

6 Суммарная приведенная стоимость содержания 1 ребенка в

интернатном учреждении в течение 5 лет

1 516

7 Приведенная экономия на сокращении притока детей в

интернатные учреждения, всего

15 163

8 Размер опекунского пособия за 1 ребенка, в текущих ценах (с

учетом инфляции)

78 78 78 78 78 78

9 Приведенная стоимость опекунских выплат на ребенка по годам в

течение 5 лет

71 64 59 53 48

10 Суммарная приведенная стоимость опекунских выплат на ребенка в

течение 5 лет

296

11 Суммарная приведенная экономия от сокращения притока детей

под опеку

14 784

12 Всего экономия 29 947

13 Расходы по программе, всего 13 700

14 Социально-экономическая эффективность программы 2,19

Результат расчета социально-экономической эффективности – 2,19 – означает, что каждый вложенный в реализацию программы рубль приносит >2 руб. экономии общественных ресурсов

Приложение № 6. Расчет социально-экономической эффективности на примере программы «Родные и близкие» БДФ «Виктория» (4/4)

тыс. руб.