Профессор Донна Мертенс Университет Голоде Алматы , Казахстан Июль 2011

UNWOMEN/IPEN ТРАНСФОРМАЦИОННАЯ ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ КАЧЕСТВЕННЫХ И КОЛИЧЕСТВЕННЫХ МЕТОДОВ:День 3 Сочетание качественных и количественных методов

Профессор Донна Мертенс

Университет Голоде

Алматы, Казахстан

Июль 2011

План на три дня

IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

День 1: Какую роль играет специалист по оценке?

Основные аспекты оценки (Техзадание)

Трансформационная парадигма

Многообразие и социальная справедливость; привилегии

Культурная компетентность

День 2: Качественные и количественные подходы

День 3: Подход, предполагающий сочетание качественных и количественных методов

«Меню» методов

Количественные: экспериментальные, квази-экспериментальные, опросы, сравнительные исследования.

Качественные: групповое обсуждение (например, фокус группы или методы изучения традиционных культур), изучение отдельных случаев (кейсы), этнографические исследования, феноменологическое исследование, исследование путем активного воздействия

Гендерный анализ предполагает использование комплекса количественных и качественных методов; служит основой для трансформационного исследования и оценки и может использоваться для работы с другими группами, испытывающими дискриминацию

Необходимость учесть мнение сообщества при проведении оценки требует сбора качественной информации, поэтому предпочтительно сочетать качественные и количественные методы (Mertens, 2009, TRE, p. 165).


Как сочетать методы

Совместимость: Совмещайте цель, фокус, вопросы и дизайн.

Фактор времени: Определите, как будет разнесено во времени использование качественных и количественных методов.

Удельный вес: Определите приоритеты и фокусы для качественного и количественного подходов в рамках исследования.

Сочетание: Определите, на каком этапе оценки вы будете сводить вместе качественные и количественные методы.


Одновременное использованиеКачественные и количественные методы используются более-менее одновременно

Качественные Количественные

Последовательное использование: Сначала количественные, потом качественные

ИЛИ

Последовательное использование: Сначала качественные, потом количественные

Количественные

Качественные

Mertens, 2009, TRE, p. 167


IPEN Almaty Kazakhstan July 2011 Mertens6

Community Participation

Трансформационная методология Участие

сообществ

Виды исследованийОписательные – С вмешательством

Модель исследования

Цикличное Краткосрочное

Дизайн и методы

Комплекс методов Один метод

Одновременно Последовательно

Сочетание качественных и количественных

методов

Количественные Качественные

Участие сообществ

Пример: делаем явнымМолодежь Ботстваны:

Использование трансформационного подхода для решения проблемы неравного распределения полномочий по борьбе с ВИЧ/СПИД

7

IPEN Almaty Kazakhstan July 2011 Mertens

Дизайн трансформационной оценки с использованием качественных и количественных методов


Posttests: QuantQual;Behavior& PolicyChange;TransferTo othercontexts

Этап 1

Качествен-ные

методы

Этап 2

Одновре-менно

Этап 3

Последо-вательно

Этап 4

Одновре-менно

Соберите команду, изучите документы, начните диалог

Предвари-тельное исследования: молодежь, пожилые

Демографи-ческая информация; опросы; статистика

Пилот программы: наблюдение; интервью, опросы

Пре-тест: знания, отношение, поведение

Оценка процесса

Пост-тест: качест-венные, количест-венные, изменения в поведении и политике; перенос в другие условия

Компоненты трансформационного дизайна:Пост-колониальная критическая этнография

Описание задачи или вопросов оценки (фокус). Описание методов сбора данных: интервью, дневниковых

записей, процессов кодирования, как эти методы будут использоваться, когда специалист по оценке будет выполнять роль соисполнителя или наблюдателя.

Объяснение этической стороны работы, того, как будут защищаться интересы участников и их частная жизнь, и как на ключевых этапах работы им будут предоставляться отчеты, и в том числе финальный.

Описание участников: численность, место проживания, нормы и правила, исторический и культурный контекст, ожидания ключевых источников информации.

График работ: выезд в поле, сбор данных, возвращение из поля, кодирование и анализ, завершение написания отчета и/или его публичное представление.

Использование критической теории при планировании и проведении и распространении его результатов.

Madison (2005)IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Исследование действием и трансформационный дизайн

1. Группа определяет цель и вопросы оценки.2. Специалисты по оценке и участники наблюдают,

участвуют в действиях, наблюдают и записывают.

3. Специалисты по оценке и участники погружаются в действие и углубляют свое понимание.

4. Члены группы снова собираются вместе и делятся знаниями, а также обновляют планы следующего цикла оценки.

5. Этот цикл повторяют 6-10 раз в зависимости от сложности ситуации.

(Heron & Reason, 2006).IPEN Almaty Kazakhstan July 2011 Mertens Mixed

Methods

Трансформационная оценка с использованием качественных и количественных методов и исследование методом совместных действий

«Можно использовать опросы, статистический анализ, интервью, фокус-группы, этнографическое описание, жизнеописание, если участники исследования договорились об этом и используют так, что это не ущемляет права и интересы других участников»

Greenwood and Levine (2007)


Вопросы для размышления: Дизайн

Как вы отнесетесь к тому, что одна группа станет объектом воздействия, а другая – нет?

При каких условиях вы сочтете такой дизайн этически приемлемым?

Каковы возможные альтернативы?

(Mertens, 2009, TRE, p. 197)


Гендерный анализ и сочетание качественных и количественных методов


Непосредственные и опосредованные результаты и влияние

Ресурсы —> Действия —> Непосредственные результаты —> Опосредованные результаты —> Влияние

Непосредственные результаты – это продукты, услуги, способности и возможности, получаемые при исполнении действий.

Опосредованными называются кратко- и среднесрочные результаты, являющиеся следствием непосредственных результатов; обычно получаются в результате коллективных усилий партнеров.

Влияние – это долгосрочный эффект или изменения, появлению которых способствовала программа благодаря коллективным усилиям партнеров.

Оценка, основанная на ценностях гендерного равенства и прав человека: каким образом программа способствовала достижению гендерного равенства и соблюдению прав человека?

Индикаторы С помощью индикаторов мы измеряем,

достигли ли мы своих целей и насколько мы к ним приблизились.

Разрабатываются для результатов ВСЕХ уровней – непосредственных, опосредованных и долгосрочных (влияния).

Индикаторы (качественные или количественные) измеряют статус достижения ожидаемого результата.

15Module 2-1Source: UNIFEM RBM trainingIPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Индикаторы

Количественные: цифровые показатели (процентные доли мужчин и женщин в парламенте, зарплата мужчин и женщин, доли девочек и мальчиков, которые посещают школу)

Качественные: отражают мнения, отношения и чувства (природа неудовольствия, уровень информированности)

16Module 2-1IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Примеры

Количественные – Можно подсчитать и выразить в числовой форме % … число … частота … доля … количество … время …

Качественные – измеряют восприятие

(могут быть выражены в числовой форме или в виде текста) Уровень удовлетворенности … Знания о … Способность … Приемлемость... Важность … Польза от …

17Module 2-1Источник: UNIFEM RBM Training.IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Гендерные индикаторы Измеряют гендерные изменения

Включают индикаторы, дезагрегированные по полу индикаторы, измеряющие характеристик,

специфичные для женщин или мужчин

18Module 2-1Source: A. Moser. 2007Gender and IndicatorsIPEN Almaty Kazakhstan July 2011 Mertens Mixed

Methods

Индикаторы для прав человека

Измеряют уровень соблюдения прав человека в целом, а также уровень соблюдения прав человека в рамках программы и ее вклад в их продвижение

Индикаторы для прав человека должны измерять: Изменение способности правообладателей и

тех, кто облечен ответственностью, обеспечить реализацию прав человека

Изменение уровня пользования правами

19Module 2-1IPEN Almaty Kazakhstan July 2011 Mertens Mixed Methods

Оценка, основанная на ценностях

гендерного равенства и прав человека


Реализация рекомендаций и использование результатов оценки:

Стратегия распространения результатов оценки должна обеспечить свободный доступ к ним как правообладателей, так и тех, что облачен ответственностью Предоставьте информацию женским организациям и сетям, а

также сетям специалистов Используйте понятный язык Проводите семинары для женщин и других групп,

являющихся объектом дискриминации (правообладателей и тех, кто облечен ответственностью)

Руководство должно выпустить документ, регламентирующий использование результатов оценки, касающихся вопросов гендера и прав человека


Примеры индикаторов

Индикатор для опосредованного результата: Изменения потенциала министерств ХХХ разрабатывать и реализовывать политики, учитывающие интересы женщин коренных и малочисленных народов.

Индикатор для непосредственного результата: Изменения знаний, навыков и отношения сотрудников министерств ХХХ

Примеры генденых индикаторов и индикаторов прав человека

Доля представителей целевой группы (дезагрегированная по полу), которые знают о пользе получения свидетельства о рождении,

Доля занятых – с дезагрегацией по возрасту и полу,

Доля мальчиков и девочек, получивших начальное образование,

Доля женщин в парламенте.

“Проверка на соответствие реальности”


Затраты и использование имеющихся данных; не слишком ли много индикаторов?

Перекос в сторону количественных показателей – необходим баланс между качественной и количественной информацией.

Прокси-индикаторы, когда измерение проводится косвенно.

По возможности индикаторы должны дезагрегироваться по полу, расовой принадлежности, возрасту и географическому признаку.

Индикаторы находятся не в вакууме, они должны быть привязаны к результату.

Упражнение: разработка индикаторов


Разработайте двадва индикатораиндикатора (один качественный и один количественный) для программы, которую мы рассматриваем в качестве примера на этом семинаре.

Пример вопросов для оценки релевантности (соответствия)

Насколько хорошо цели программы соответствуют выявленным правам и потребностям женщин и мужчин-благополучателей?

Какие из прав, определенных в Конвенции о ликвидации всех форм дискриминации в отношении женщин, Целями тысячелетия и другими международными актами, продвигает программа?

Пример вопросов для оценки результативности

Насколько были достигнуты цели программы, отвечают ли ожидаемые и побочные результаты потребностям наименее привилегированных женщин?

В какой степени был укреплен потенциал правообладателей и тех, кто облечен ответственностью?

Примеры вопросов для оценки эффективности

Можно ли было выполнить действия и получить непосредственные результаты, использовав меньший объем ресурсов на бенефициара, без ущерба для качества и количества?

Программа использовала преимущества партнерских отношений максимально возможно?

Можно ли быть уверенным, что организационная структура UN Woman и механизмы управления и координации эффективно поддерживали реализацию программы?

Примеры вопросов для оценки влияния

В какой степени удалось остановить практики, дискриминирующие женщин?

Какие есть свидетельства, что программа помогла правообладателям более успешно реализовывать свои права, а тем, кто облечен ответственностью, - более эффективно выполнять свои обязанности?

Примеры вопросов для оценки устойчивости

Поддерживают ли программу национальные и локальные женские организации?

Готовы ли и способны ли эти организации продолжить работу по программе или пропагандировать изменения?

Дополнительные вопросы, касающиеся гендерного равенства и прав человека

Равенство и отсутствие дискриминации: Программа дает положительные результаты в равной мере как для женщин, так и для мужчин?

Эмпауэрмент: Было ли выделено достаточно ресурсов, чтобы обеспечить включение наименее привилегированных и маргинализируемых групп?

Отчетность: Проводился ли мониторинг (с дезагрегацией данных по полу, возрасту, национальной и географической принадлежности и уровню дохода) и использовались ли его данные?

Социальные преобразования: Уделяет ли теория изменения программы внимание вопросам гендерного равенства и прав человека?

Участие и инклюзивность: Были ли в процессе реализации программы приняты меры, чтобы включить мужчин и женщин, и в том числе представителей наименее привилегированных групп? UN Women 2011

Методы оценки, основанной на ценностях гендерного равенства и прав человека

Предупреждение систематической ошибки: выбор методов сбора данных и методов выборки

Возможные источники систематической ошибки: гендер и власть (вопросы конфиденциальности и защиты частной жизни, одним источникам проще участвовать, чем другим), класс или расстояние (более доступные источники получают преимущество)

Планы по вовлечению в оценку представителей маргинализированных групп

Сочетание качественных и количественных методов

Строгость при выборе методов


В позитивистской традиции используются два важных теста:

1. Является ли данное утверждение истинным в данной ситуации? Является ли изменение значений зависимой переменной результатом действия независимой переменной? (Внутренняя валидность)

2. Является ли данное утверждение истинным в других ситуациях? Можно ли сделать обобщение? (Внешняя валидность)

7/5/2011

33

IPEN Almaty Kazakhstan July 2011 Mertens

Сравнительные исследования: строгость

Есть ли причинно-следственная связь? Есть ли другие объяснения?

Сравнительные группы при изучение причинности в рамках сравнительного исследования?

Третья переменная является причиной переменной-предиктора и критериальной переменной?

Анализ подгрупп? Корреляция: сортировка переменных? Прогнозные исследования: Другие фильтры для

переменных? Уровень 0.8 или выше? Надежность и диапазон переменных


Критерии, которые обеспечивают научную строгость при использовании качественных методов

Надежность: как и достоверность в качественном исследовании – спрашивает, есть ли соответствие между тем, как респонденты воспринимают социальную реальности, и тем, как их точки зрения описывают специалисты по оценке.


(a) Постоянство наблюдений (b) Обсуждение с коллегами(c) Прогрессивная субъективность (d) Проверка членами группы(e) триангуляция(f) Возможность переноса (g) Зависимость(h) Подтверждаемость(i) Аутентичность и честность

Критерии строгости при использовании качественных методов


Трансформационная оценка: строгость


Ориентирована на права человека и социальную справедливость

Анализирует асимметричность структуры власти Выступает за культурную компетентность в отношениях

между специалистом по оценке и членами сообщества Использует качественные и количественные методы,

соответствующие культурным условия, и увязанные с действиями, направленными на социальные изменения

Применяет феминистские теории, критическую теорию расы, теории постколониализма и изучения коренного населения

Mertens (2009) Transformative Research and Evaluation. The Guilford Press.

Аутентичность (Трансормационные критерии)

Честность: Специалист по оценке представляет все разные ценности, взгляды и конфликты.

Онтологическая аутентичность: Человек или группа стали лучше осознавать свои представления о мире и свой опыт, представления стали более сложными.

Каталитическая аутентичность: Исследование стало стимулом для действий.


Власть и привилегии

7/5/2011IPEN Almaty Kazakhstan July 2011 Mertens

Как мы можем понять динамику власти, когда методы с участием используют власть имущие?

Чьи голоса раздаются и чьи голоса слышны? Как обеспечить учет все мнений в сложных ситуациях, когда в

исследовании участвует много заинтересованных сторон? (Mertens, 2009, P. 85)

Что, если я член сообщества? Как это подготавливает меня к работе в этом сообществе? Что, если я не член сообщества? До какой степени нужно разделять наиболее заметным характеристикам сообщества?

Какое место культурная компетентность занимает в обсуждении взаимодействия в исследовательском контексте? (Mertens & Wilson, in press)

39

Критерии строгости: использование


Распространение Использование Принятие управленческих решений Участие заинтересованных сторон

Цели распространения результатов оценки

Прозрачность и ответственность Повышение осознанности работы организации и

ее улучшение Распространение успешного опыта работы и ноу-

хау, чтобы способствовать более широкому соблюдению прав женщин

Передача опыта партнерам на местах и повышение их потенциала

Создание знания о том, как продвигать идеи эмпауэрмента женщин и соблюдения прав человека

Распространение

Язык и оформление отчета: Используйте графики или рисунки. Текст должен учитывать гендерные и клуьтурные особенности.

Перевод: Когда планируете оценку, оцените потребность в переводе и предусмотрите необходимые время и средства.

Открытая публикация отчета: В системе ООН все отчеты должны быть в открытом доступе (Норма и стандарты Группы оценки ООН). В UN Women Отдел оценки размещает отчеты об оценке в Ресурсном центре оценки (открытом для публики).

Ориентация на целевую аудиторию: Невысокий уровень грамотности? Менеджер должен проявить креативность и найти каналы коммуникации, которые подходят различным аудиториям.

Стратегии распространения

Брошюры с основными выводами и рекомендациями

Годовые отчеты Статьи в

специализированных и корпоративных бюллетенях

Новостные релизы Пресс-конференции Выступления в СМИ

Общественные слушания и встречи

Семинары и неформальные групповые обсуждения

Электронные медиа (электронная почта, сайты, блоги и т.п.)

Личные встречи с лидерами сообщества.

Возможные трудности

Отсутствие консенсуса относительно рекомендаций и необходимых действий

Нападки тех, кому не нравятся результаты Недостаток средств, желания или времени

на распространение По результатам оценки ничего не делается

Управленческие решения

Опишите реакцию на выводы и рекомендации оценки, определяет, какие рекомендации должны быть выполнены, а какие нет, а также механизмы контроля за исполнением принятых решений.

Привлеките заинтересованные стороны к обсуждению процесса оценки, результатов, выводов и рекомендаций.

Привлеките референтную группу к процессу разработки управленческого решения по результатам оценки.

План действий

Как то, что вы узнали на семинаре, можно будет применить в вашей работе?


Литература Mertens, D. M. & Wilson, A. (in

press). Program Evaluation. NY: Guilford.

Mertens, D. M. (2010). Research and evaluation in education and psychology: Integrating diversity with qual, quant and mixed methods. 3rd ed. Thousand Oaks, CA: Sage.

Mertens, D. M. (2009). Transformative research & evaluation. NY: Guilford

Mertens, D. M. & Ginsberg, P. (2009).(Eds.) Handbook of Social Research Ethics. Thousand Oaks, CA: Sage.


Контактная информация


Donna M. Mertens, Gallaudet University [email protected]

Documents

Профессор Донна Мертенс Университет Голоде Алматы , Казахстан Июль 2011