инстр. исслед. в пу 2017-тема 1

РАЗДЕЛ 1 - МЕТОДЫ ЭКСПЕРТНОЙ ОЦЕНКИ

© Е. Колчинская, 2017, ekolch.ucoz.ru

ЛИТЕРАТУРА

1. Денисова А. Л., Зайцев Е. В. Теория и практика

экспертной оценки товаров и услуг: Учеб.

пособие. Тамбов: Изд-во Тамб. гос. техн. ун-та,

2002. 72 с.

2. Гудков П.А. Методы сравнительного анализа.

Учеб. пособие. – Пенза: Изд-во Пенз. гос. ун-та,

2008 – 81 с.


В КАКИХ СЛУЧАЯХ ПРИМЕНЯЮТСЯ МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК?

математическое

описание

(формализация)

задачи

невозможно или

очень сложно


ФОРМАЛИЗАЦИЯ


ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК ВКЛЮЧАЕТ СЛЕДУЮЩИЕ

ОСНОВНЫЕ ЭТАПЫ

определение цели экспертизы

формирование группы экспертов

разработка сценария и процедур экспертизы

сбор и анализ экспертной информации

обработка экспертной информации

анализ результатов экспертизы


ФОРМИРОВАНИЕ ГРУППЫ ЭКСПЕРТОВ

В свою очередь на качество экспертной группы оказывают влияние два фактора:

Качество экспертов

Количество экспертов


МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТА: ТРУДНОСТИ

Сложность учета многообразных свойств эксперта

Сложность определения связи между психологическими особенностями и качеством эксперта


МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ:

•оценки, назначаемые человеком и основанные на предположении правильности отражения качества эксперта через оценку окружающих или самооценку

эвристические

•оценки, полученные в результате обработки суждений экспертов об объекте оценки статистические

•оценки, полученные в результате специальных испытаний экспертов тестовые

•оценки, основанные на анализе документальных данных об экспертах документальные

•оценки, полученные с помощью любой совокупности перечисленных методов комбинированные

Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов:

Изд-во Тамб. гос. техн. ун-та, 2002. 72 с.


ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ

Самооценка

Оценка аргументированности и знакомства с объектом экспертизы

Взаимооценка

Оценка рабочей группы

Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов:

Изд-во Тамб. гос. техн. ун-та, 2002. 72 с.


ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ: САМООЦЕНКА

•должна распространяться на объект оценки качества (профессиональная компетентность) и методологию оценки (квалиметрическая компетентность).

Компетентность эксперта

•степени загруженности эксперта основной работой;

•целей экспертизы;

•характера выводов, которые могут быть сделаны по результатам оценки

Заинтересованность эксперта в результатах экспертизы зависит от:

•собранность, подвижное и эластичное внимание;

•контактность;

•мотивированность выносимых оценок.

Деловитость эксперта включает

•способность эксперта учитывать только ту информацию, которая имеет прямое отношение к объекту оценки.

Объективность (беспристрастие)

эксперта

Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во

Тамб. гос. техн. ун-та, 2002. 72 с.


ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ: ВЗАИМООЦЕНКА (КОЛЛЕКТИВНАЯ ВЗАИМНАЯ

ОЦЕНКА, ГРУППОВАЯ ОЦЕНКА)

• каждый эксперт оценивает всех остальных;

При численности экспертов в

группе менее 15 человек

• заполняются специальные анкеты, в которых эксперты по квалификации поделены на три группы – выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6 - 8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 – самый квалифицированный эксперт, 2 – следующий по квалификации и т.д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершенно неквалифицированный) с точностью до 0,5 балла.

При численности экспертов 15

человек и выше




ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ : НЕДОСТАТКИ

ВЗАИМООЦЕНКИ

эксперты могут недостаточно знать друг друга;

на результаты оценки могут влиять взаимные симпатии и антипатии;

эксперты, как правило, стремятся избегать сверхвысоких и сверхнизких оценок

Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие.

Тамбов: Изд-во Тамб. гос. техн. ун-та, 2002. 72 с.


ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ: ОЦЕНКА ЭКСПЕРТА

РАБОЧЕЙ ГРУППОЙ

• Цель этой оценки – дать в

количественной форме характеристику (Kpг)

заинтересованности эксперта в участии в

экспертизе и его собранности (внимательности)

в ходе опроса. Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во



СТАТИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ

На точность экспертной оценки влияют

субъективные (зависящие от

эксперта) факторы

объективные (зависящие от методики

оценки) факторы

Возникающая под их действием погрешность оценки имеет

случайную и

систематическую составляющие




СТАТИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ

Оценка по отклонению от среднего мнения экспертной группы –

• оценка, основанная на предпосылке, что действительным значением групповой экспертной оценки является средняя оценка экспертной группы.

Оценка объективности эксперта является важной характеристикой его качества.

• В ряде случаев, например, при оценке конкретных образцов продукции, необъективность экспертов может привести к существенному искажению результатов. Однако пока еще нет специфических методов оценки объективности экспертов и на практике довольствуются косвенной оценкой по отклонению от среднего мнения экспертов.




ТЕСТОВЫЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ

• Тестовый метод

заключается в

проведении

испытаний, в ходе

которых оцениваются

некоторые

психофизиологически

е особенности, от

которых зависит

качество эксперта.




ПРИ ПРОВЕДЕНИИ ТЕСТОВЫХ ОЦЕНОК К ТЕСТАМ ПРЕДЪЯВЛЯЮТСЯ СЛЕДУЮЩИЕ

ТРЕБОВАНИЯ:

понимания испытуемым экспертом постановки тестовой задачи и условий, которым должно отвечать ее решение

вероятность случайного угадывания решения задачи должна быть близка к нулю

тестовая задача должна иметь точное решение




РАЗНОВИДНОСТЯМИ ТЕСТОВЫХ ЯВЛЯЮТСЯ

• оценка степени близости индивидуальных оценок эксперта, проведенных через определенные промежутки времени

оценки воспроизводимости

результатов

• оценка теоретических знаний методов оценки качества и умения их применять

квалиметрической компетентности

эксперта

• способность экспертов оценивать испытуемый объект независимо от оценок других экспертов, необходима для выявления отсутствия у эксперта конформизма

объективности корректирования

своих оценок




ДОКУМЕНТАЛЬНАЯ ОЦЕНКА КАЧЕСТВА ЭКСПЕРТОВ

оценка эксперта, основанная на документальном подтверждении соответствия его установленным требованиям:

• компетентности,

• независимости,

• практического стажа работы.




КОМБИНИРОВАННЫЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ

Комбинированная оценка

две статистические

оценки

Три эвристические

оценки




КОМПЛЕКСНУЮ ОЦЕНКУ КАЧЕСТВА ЭКСПЕРТА МОЖНО РАССЧИТАТЬ ПО

ФОРМУЛЕ

Kэ = Мсам Kсам + Мвз Kвз + Мpг Kpг + Мос Кос +

Мвр Kвр

• где М – коэффициенты весомости частных

оценок:

• сам – самооценки,

• вз – взаимооценки,

• рг – оценки рабочей группы,

• ос – оценки отклонения от средней,

• вр – оценки воспроизводимости результатов;

• K – значения соответствующих частных оценок




ЭТА ФОРМУЛА АПРОБИРОВАНА ПРИ ОЦЕНКЕ ЭКСПЕРТОВ, РАБОТАЮЩИХ В ЧАСОВОЙ

ПРОМЫШЛЕННОСТИ И ИМЕЕТ ВИД

Kэ = 0,14 Kсам + 0,21 Kвз + 0,13 Kрг + 0,22 Kос +

0,30 Kвр

Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во



КОЛИЧЕСТВО ЭКСПЕРТОВ

на практике численность экспертных

групп ограничивается 8 – 12 человек











РАЗРАБОТКА СЦЕНАРИЯ И ПРОЦЕДУР ЭКСПЕРТИЗЫ:

ОПРЕДЕЛЯЮТСЯ МЕТОДЫ ОПРОСА

индивидуальные и групповые,

очные и заочные,

открытые и закрытые


ГРУППОВЫЕ МЕТОДЫ

• Мозговой штурм (см. презентацию

http://ppt4web.ru/pedagogika/mozgovojj-

shturm.html)

• Метод Дельфи

(http://ppt4web.ru/uploads/ppt/581/0a9a3

0c992a34d2c237994d7a2331551.pptx)

• Шесть шляп мышления

(http://ppt4web.ru/uploads/ppt/8/49f7eb5b

21a84f0886aaad4bb4e23243.ppt)


ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ

Метод непосредственной оценки

Метод парных сравнений

Метод сравнения с мерой

Ранжирование


ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ: МЕТОД НЕПОСРЕДСТВЕННОЙ ОЦЕНКИ

процедура приписывания объектам числовых значений в шкале интервалов

• Нужна высокая степень осведомленности эксперта о характеристиках объектов

балльную оценку

• 5-, 10-, 100-балльные

Нечисловая оценка

• Цвета

• Словесная


ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ: МЕТОД СРАВНЕНИЯ С МЕРОЙ

• измеряемая величина

сравнивается с известной

величиной, нормативом,

желаемым значением


ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ: МЕТОД ПАРНЫХ СРАВНЕНИЙ

Человеку сложно

сравнивать

одновременно

характеристики

множества

объектов. Метод

парных сравнений

позволяет делать это

поэтапно.


МЕТОД ПАРНЫХ СРАВНЕНИЙ: СУЩЕСТВУЕТ ДВА ОСНОВНЫХ ПОДХОДА ОПРЕДЕЛЕНИЯ ПРЕДПОЧТЕНИЙ ПО ЭТОМУ МЕТОДУ

простая констатация того,

что один фактор

предпочтительнее другого —

без указания на степень предпочтения

Определяется степень

предпочтения

Фактор А1 А2 А3 Сумма баллов

А1 - 5 6 11

А2 1/5 - 2 2,5

А3 1/6 1/2 - 2/3

Фактор А1 А2 А3 Сумма баллов

А1 - 1 1 2

А2 0 - 1 1

А3 0 0 - 0

Матрица парных сравнений всегда обратно симметрична относительно главной

диагонали


ШКАЛА ОТНОСИТЕЛЬНОЙ ВАЖНОСТИ ПРИ МЕТОДЕ ПАРНЫХ

СРАВНЕНИЙ

Источник: http://sdamzavas.net/2-17532.html


В РЕЗУЛЬТАТЕ СРАВНЕНИЯ КАЖДОЙ ПАРЫ ОБЪЕКТОВ O1 И O2 ЭКСПЕРТ

ДОЛЖЕН УПОРЯДОЧИТЬ ЭТУ ПАРУ

либо объект O1 предпочтительнее объекта O2 (O1 > O2);

либо объект O2 предпочтительнее объекта O1 (O1 < O2);

либо эти объекты эквивалентны (O1 ~ O2).


КОЛИЧЕСТВЕННЫЕ СУЖДЕНИЯ О ПАРАХ ОБЪЕКТОВ

Количественные суждения о парах объектов (O1,

O2) представляются в виде матрицы размером

n X n (матрицы парных сравнений):

A = [aij], i, j = 1, …, n,

где

• aij – количественная оценка предпочтения объекта,

• i, j – номера строк и столбцов в матрице сравнений,

• n – число объектов.

Гудков П.А. Методы сравнительного анализа. Учеб. пособие. – Пенза: Изд-во Пенз. гос. ун-та, 2008 – 81 с.


МАТРИЦА ПАРНЫХ СРАВНЕНИЙ

Элементы aij определены по следующим правилам:

•если aij = a, то aji = 1/a, a ≠ 0.

•если суждения i и j имеют одинаковую важность, то aij = aji = 1.


МАТРИЦА ПАРНЫХ СРАВНЕНИЙ


ВЕСОВЫЕ КОЭФФИЦИЕНТЫ



ПРИМЕР МАТРИЦЫ ПАРНЫХ СРАВНЕНИЙ

Весовые

коэффициен-

ты

Нормализа

ция

значений


ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ: РАНЖИРОВАНИЕ

• сортировка, построение, упорядочивание по

возрастанию или убыванию относительно какой-

нибудь величины (дата, объём и т. д.)


ПРИМЕР РАНЖИРОВАНИЯ РОССИЙСКИХ РЕГИОНОВ


ПРИМЕР РАНЖИРОВАНИЯ РОССИЙСКИХ РЕГИОНОВ











АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ

Результатом опроса экспертов

является информация, выражающая

предпочтение экспертов

содержательное обоснование этих

предпочтений


АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ

Наличие как числовых данных, так и содержательных высказываний экспертов, приводит к необходимости применения

•качественных

•и количественных методов обработки результатов группового экспертного оценивания


АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ (1)

• Пусть m экспертов провели оценку n

объектов по l показателям. Результаты

оценивания представлены величинами

• где i – номер объекта,

• j – номер эксперта,

• h – номер показателя.


АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ (2): КАК ОБРАБАТЫВАТЬ

ИНФОРМАЦИЮ, ПОЛУЧЕННУЮ ОТ МНОГИХ ЭКСПЕРТОВ?

Вычисление среднего арифметического

Вычисление среднего взвешенного

Коэффициент ранговой корреляции Спирмена


АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ (3): СРЕДНЕЕ ВЗВЕШЕННОЕ ЗНАЧЕНИЕ

ОЦЕНКИ ЭКСПЕРТА



КОЭФФИЦИЕНТЫ ВЕСОВ ПОКАЗАТЕЛЕЙ СРАВНЕНИЯ ОБЪЕКТОВ



КОЭФФИЦИЕНТЫ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ: СТАТИСТИЧЕСКАЯ ОЦЕНКА

КАЧЕСТВА ЭКСПЕРТОВ

Для упрощения рассмотрим вариант, когда

эксперты сравнивают объекты только по одному

критерию, т.е. в формуле:

Вес показателя не учитывается


СТАТИСТИЧЕСКАЯ ОЦЕНКА КАЧЕСТВА ЭКСПЕРТОВ

Этап 3. Вычисляем коэффициенты компетентности экспертов

Этап 2. Вычисляем нормировочный коэффициент

Этап 1. Находим среднее арифметическое оценок экспертов -


ПРИМЕР. СТАТИСТИЧЕСКАЯ ОЦЕНКА КАЧЕСТВА ЭКСПЕРТОВ

Три эксперта (m = 3) оценили два объекта (n = 2),

получив следующие значения нормированных

оценок


ЭТАП 1. НАХОДИМ СРЕДНЕЕ АРИФМЕТИЧЕСКОЕ ОЦЕНОК ЭКСПЕРТОВ


ЭТАП 2. ВЫЧИСЛЯЕМ НОРМИРОВОЧНЫЙ КОЭФФИЦИЕНТ


ЭТАП 3. ВЫЧИСЛЯЕМ КОЭФФИЦИЕНТЫ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ



РЕШИТЕ САМОСТОЯТЕЛЬНО ПРИМЕР

Объект 1 Объект 2

коэффициент

компетентности экспертов

Эксперт 1 0,4 0,8 0,42

Эксперт 2 0,6 0,6 0,38

Эксперт 3 0,1 0,7 0,31

Средние оценки объектов 0,37 0,70

Нормировочный коэффициент 1,75


ВЫЧИСЛЕНИЕ СРЕДНЕГО ВЗВЕШЕННОГО

• В качестве весов рассматривается уровень

квалификации эксперта, например

Объект

ы

Экспер

т 1

Вес –

0,3

Эксперт

2

Вес – 0,7

Средне

е

арифм.

Среднее

взвешенн

ое

А 1 2 1,5 1,7 0,10

Б 2 4 3 3,4 0,20

В 3 1 2 1,6 0,13

Г 4 5 4,5 4,7 0,30

Д 5 3 4 3,6 0,27


КОЭФФИЦИЕНТ РАНГОВОЙ КОРРЕЛЯЦИИ СПИРМЕНА

Коэффициент ранговой корреляции Спирмена

используется для выявления и оценки тесноты связи

между двумя рядами

сопоставляемых количественных показателей.

В том случае, если ранги показателей,

упорядоченных по степени возрастания или

убывания, в большинстве случаев совпадают

(большему значению одного показателя

соответствует большее значение другого показателя -

например, при сопоставлении роста пациента и его

массы тела), делается вывод о

наличии прямой корреляционной связи.


КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ СПИРМЕНА ОБЛАДАЕТ

СЛЕДУЮЩИМИ СВОЙСТВАМИ

Коэффициент корреляции может принимать значения от минус единицы до единицы, причем при rs=1 имеет место строго прямая связь, а при rs= -1 – строго обратная связь.

Если коэффициент корреляции равен нулю, то связь между величинами практически отсутствует.


КАК РАССЧИТАТЬ КОЭФФИЦИЕНТ СПИРМЕНА ДЛЯ ОПРЕДЕЛЕНИЯ

КОРРЕЛИРУЕМОСТИ ОЦЕНОК ЭКСПЕРТОВ

Берутся оценки разных объектов двумя экспертами

•Желательно, чтобы это были ранговые оценки

Определяются разности рангов каждой пары сопоставляемых значений (D)

Возводится в квадрат каждая разность и суммируется полученный результат

Вычислить коэффициент корреляции рангов по формуле на следующем слайде


КОЭФФИЦИЕНТ РАНГОВОЙ КОРРЕЛЯЦИИ СПИРМЕНА

где D² - сумма квадратов разностей рангов, а n -

число парных наблюдений.


ПРИМЕР 1. КОЭФФИЦИЕНТ РАНГОВОЙ КОРРЕЛЯЦИИ СПИРМЕНА

Объекты Эксперт 1 Эксперт 2

D^2

Коэффицие

нт Спирмена

А 1 2 1 0,3

Б 2 4 4

В 3 1 4

Г 4 5 1

Д 5 3 4

n 5


ПРИМЕР 2. КОЭФФИЦИЕНТ РАНГОВОЙ КОРРЕЛЯЦИИ СПИРМЕНА

Объекты Эксперт 1 Эксперт 2

D^2

А 5 1 16 -0,3

Б 2 4 4

В 3 2 1

Г 4 5 1

Д 1 3 4

n 5


ОГРАНИЧЕНИЯ ПРИМЕНЕНИЯ КОЭФФИЦИЕНТА СПИРМЕНА

1) по каждой переменной должно быть представлено не менее 5 наблюдений;

2) коэффициент ранговой корреляции Спирмена при большом количестве одинаковых рангов по одной или обеим сопоставляемым переменным дает огрубленные значения. В идеале оба коррелируемых ряда должны представлять собой две последовательности несовпадающих значений.

3) Можно проанализировать мнения только двух экспертов


КОЭФФИЦИЕНТ КОНКОРДАЦИИ КЕНДАЛЛА

где

m - число экспертов в группе,

n - число объектов,

S - сумма квадратов разностей рангов (отклонений от среднего).

Если W < 0.2 - 0.4, значит слабая согласованность экспертов, если W > 0.6 - 0.8 - сильная

Эксп. 1 Эксп. 2 Эксп 3 ∑ ∑² S W

1 2 3 6 36

2 4 1 7 49

3 1 5 9 81

4 5 2 11 121

5 3 4 12 144

45 431 26 0,29 2025


ПРИМЕР. КОЭФФИЦИЕНТ КОНКОРДАЦИИ КЕНДАЛЛА

Эксп. 1 Эксп. 2 Эксп 3 ∑ ∑² S W

1 2 2 5 25

2 4 4 10 100

3 1 1 5 25

4 5 5 14 196

5 3 3 11 121

45 467 62 0,69

2025


Education

инстр. исслед. в пу 2017-тема 1