Современный подход в оценке групповых повторяющихся

измерений по шкалам Лайкерта

GEE

Типичный вопрос в анкете

2

Образец 1 Образец 2 Образец 3

Мне нравится запах

Мне нравится цвет

Мне нравится вкус

…

Каждый респондент оценивает набор характеристик И делает это одинаково по очереди в

отношении нескольких образцов

Если один и тот же респондент повторяет одно и тоже измерение, то такие измерения называются «Повторяющиеся измерения» (Repeated Measures). Так как каждый образец оценивается по группе характеристик, такое измерение также является групповым.

“

21 3

Типичный результат

Образец 1 Образец 2 Образец 3

Мне нравится запах 4,6 4,1 3,2Мне нравится цвет 3,2 4,7 4Мне нравится вкус 4 4,5 3,1…

Обычно в результате исследования по шкале Лайкерта (например, от 1 до 5) мы видим средние значения и процент положительных оценок.

или по строкам, отвечая на вопрос, «какой образец лучше для каждой характеристике»

по столбцам, отвечая на вопрос «какая характеристика для каждого образца была оценена выше»

Оценку статистической значимости различий можно провести:

Проблемы

• НЕ ПОЛУЧАЕМ ДОСТОВЕРНЫЙ ОТВЕТ НА ПРОСТОЙ ВОПРОС «КАКОЙ ОБРАЗЕЦ ЛУЧШЕ»?*

• УЧИТЫВАЕМ АБСОЛЮТНЫЕ ОЦЕНКИ, НО НЕ ОЦЕНИВАЕМ, СТАВИЛ ЛИ ОДИН И ТОТ ЖЕ РЕСПОНДЕНТ ОЦЕНКИ ВЫШЕ ИЛИ НИЖЕ В ОТНОШЕНИИ КАЖДОГО ОБРАЗЦА

*Особенно когда много образцов и много разнонаправленных отличий.

Какой образец лучше?

Образец 1 Образец 2 Образец 3

Мне нравится запах 4,5 4,4 4,4Мне нравится цвет 4,6 4,5 4,5Мне нравится вкус 4,7 4,6 4,6…

Частая ситуацияРазличия в каждой характеристике слабы, чтобы увидеть статистическую значимость. Но тренд прослеживается!

Проблема в том, что при сравнении по строкам не учитывается групповой характер тестирования.!

Пример

Один грибок на 100м2 еще не грибной лес. Вероятность случайности очень высока

Пример contd.

Но если такие полянки постоянно повторяются, то это уже точно грибной лес!

Оценки выше или ниже

23

45

23

45

Респонденты в городе А оценивали красный образец выше, чем синий на 1 балл

BA

Респонденты в городе B оценивали красный образец выше, чем синий на 1 балл

Кажется, что оценки красного образца в городе B значительно выше, чем в городе А (5>3). На самом деле, оценка красного образца относительно синего не отличается.

Δ1

Δ1

Современный способ

GEEGeneralized Estimating Equations (Обобщенные оценочные уравнения).Для учета порядковой шкалы в уравнении используется порядковая логит-связь

• Наиболее совершенный из современных способов анализа • Правильно учитывает групповое тестирование и повторяющийся

характер измерений• Учитывает вероятность более высокой или более низкой оценки

вместо абсолютных значений по каждому респонденту• Отвечает на простой вопрос «Какой образец лучше?» наиболее

точно

ReportingПолучаемый результат наглядно показывает, какой образец лучше, с учетом оценок по всем характеристикам

0.1

1

10

1.16

0.69

1.04

0.29 1

A B C D EБазовый образец. Значение всегда =1

Высота столбика показывает, НА сколько образец был оценен хуже или лучше, чем базовый. Визуально высота столбика соответствует разнице данного образца и базового уровняЦифра 0,29 показывает, ВО сколько раз у

этого образца больше шанс получить более высокую оценку. Значения меньше 1 означают оценки хуже, чем у базового в 1/n раз. В данном случае 1/0,29=3,4 раза. У этого образца шанс получить оценку хуже в 3,4 раза больше, чем у базового образца.

Так как отличия ВО сколько, а не НА сколько, шкала логарифмическая

Серый цвет столбика означает статистически незначимые различия между данным образцом и базовым

Reporting contd.

A B C D EШанс получить более высокую оценку 1,157 0,694 1,041 0,286 1

Вероятность незначимости*18,6% 0% 70,1% 0% .

Цветовое кодирование: Базовый образецЗначимо хуже базового образцаЗначимо лучше базового образца

*«Вероятность незначимости» (p-value) означает вероятность того, что найденные в процессе эксперимента незначимости произошли по случайности и не будут распространяться на всю генеральную совокупность. Вероятность незначимости напрямую связана с силой различий. Сильные различия наверняка будут значимы, а значимость слабых различий зависит от размера выборки.Традиционно, чтобы различия были значимыми, вероятность незначимости не должна превышать 5%.

Если цифра шанса меньше 1, то образец хуже базового. Чем цифра меньше, тем различия сильней. Если цифра шанса больше, 1, то образец лучше базового. Чем больше цифра, тем сильней отличия.

A B C D E0.1

1

10

ЕкатеринбургНовосибирск

Reporting contd.Также возможна сегментация по городам или любому другому признаку

A B C D E

Спасибо!