Математическая модель системы оценки эффективности реализации программ развития НИУ

ОЦЕНКА ЭФФЕКТИВНОСТИ РЕАЛИЗАЦИИ

ПРОГРАММ РАЗВИТИЯ НАЦИОНАЛЬНЫХ

ИССЛЕДОВАТЕЛЬСКИХ УНИВЕРСИТЕТОВ

Третья ежегодная научно-практическая конференция

«Информационные бизнес системы»

Анатолий Симкин

Магистрант 2-го года обучения:

УК ФИБС МФТИ

САУ ИУ МГТУ им. Баумана

23 апреля 2011

Содержание

1

2

3

Область и предмет исследования

Текущая ситуация

Математическая модель

2

4 Анализ чувствительности

5 Результаты

Задачи исследования предметной области (1/3)

3

Управление

организационной

системой

ИАС для

поддержки

принятия решений

и представления

отчетности

ВУЗ как социально-

экономическая

система

Анализ применения в

рамках процесса:

• Реализация программы

развития НИУ

• Оценка программ вузов

1. Анализ методов

мониторинга и оценки

эффективности программ

Ограничения:

Исследование предметной области управления по показателям

в вузе посредством информационных систем


4



системой

ИАС для

поддержки






система


построения структуры

показателей


рамках процессов:

• Оценка программ

• Практика образования





5



системой

ИАС для

поддержки






система

3.1. Сравнительный анализ

существующих систем

мониторинга

(конкурентов)

3.2. Сравнение

технологических

характеристик


рамках процессов:

• Оценка эффективности

программы развития НИУ

• Сбор и представление





Задачи исследования предметной области

6



системой

ИАС для

поддержки






система


мониторинга и оценки

эффективности программ


построения структуры


3.1. Сравнительный анализ

существующих систем


(конкурентов)

3.2. Сравнение

технологических

характеристик

Области исследования

7



системой

ИАС для

поддержки






система

1. Оценка

эффективности

реализации

программ

2. Организационное

взаимодействие

в ходе сбора


3. Мониторинг

основной

деятельности вуза

Анализ метода построения оценки эффективности

реализации программы развития НИУ

8

Высшее

учебное

заведение

Национальный

фонд подготовки

кадров

1 2 3 4 5 43 44 45 46...

1.1 1.2 1.3 1.4 2.1 5.1 5.2 5.3 5.4

...

6 7 8 9 10

21 Показатель



программы развития

НИУ

46 Показателей

программы реализации

НИУ

Программа

НИУ

BSC НИУ

Финансовые показатели

Внешнее окружение и отношение

с клиентами

Внутренние процессы

деятельности

Инновации и развитие

Показатели успешности образовательной

деятельности

Показатели результативности научно-

инновационной деятельности

Показатели развития кадрового потенциала

Показатели международного признания

Показатели финансовой устойчивости

Опережающие

Отложенные

38%

62%

Оценка эффективности реализации программ

9

Проблема оценки


финансирования программ

Задача:

Анализ и совершенствование модели системы

оценки эффективности реализации программ

развития национальных исследовательских

университетов

Недостатки (при оценки эффективности):

1. Невозможность адекватной оценки при

самостоятельной установке плановых

показателей по программе развития

2. Методы программно-целевого планирования,

БОР не работают

Решение:

Измерение относительно друг друга

10

1. Анализ данных структуры показателей

оценки эффективности реализации


2. Построение модели рейтинга НИУ как

отклонение от среднего по группе

3. Проведение анализа чувствительности

вариантов моделей рейтинга НИУ

4. Разработка метода экспертной оценки

эффективности реализации программ


Задача

Анализ и совершенствование модели системы оценки

эффективности реализации программ развития НИУ

1. Анализ метода построения структуры

показателей оценки эффективности


2. Вариации модели рейтинга НИУ как


3. Анализ чувствительности вариантов

моделей рейтинга НИУ

4. Метод экспертной оценки



Результат

RSP

1,2 U1,2 ,K =F Sp ik l

1,2 =f pij1,2

RSF

1,2 U1,2 ,K =F Sfik l

1,2 =f fij1,2

RS1,2 U1,2 ,K =RSP

1,2 U1,2 ,K +RSF

1,2 U1,2 ,K

Бальная оценка НИУ по достигнутым

показателям

1.1. "Доля обучающихся в НИУ по ПНР НИУ в общем числе обучающихся"

98%

100%

102%

104%

106%

108%

110%

50% 60% 70% 80% 90% 100% 110% 120% 130% 140% 150%

Отклонение плановых значений показателей от среднего значения (100%) по сети НИУ в целом

Степ

ен

ь в

ып

ол

нен

ия

пл

ан

а

4

2 1

3

МГТУ

ННГУ

БелГУ

КГТУ1

СПбГПУ

ПГУ

ЮУРГУ

ЛИТМО

СГУ

ПГТУ

МФТИ МГСУ

СГАУ

МАИ

ТПУ

СПбГГИ

МИЭТ

МЭИ

НГУ

ВШЭ

ТГУ

РГМУ

КГТУ2

ИрГТУ

НОЦ МордГУ

МИСиС

МИФИ

ср. 72% ср.1оч. 77%

РГУНиГ

43 % 51 % 58 % 65 % 72% 80% 87% 94% 101%


0a. 29 вузов (2 группы), 21 показатель

0b. Для плана и факта показателей имеем

1. Вычисляется среднее значение по группе

11

U2 = ui2 , n ∈ 1,15

U1 = um1 m ∈ 1,14

K = kl , l ∈ 1,21

P1 U1, K = pij

1 , i ≡ m ∈ 1,14 , j ≡ l ∈ 1,21

P2 U2, K = pij2 , i ≡ n ∈ 1,15 , j ≡ l ∈ 1,21

𝑃𝑘𝑙

1 =1

𝑀 𝑝𝑖𝑘𝑙

1

𝑀

𝑖=1

,𝑀 = max 𝑚 ∈ 1,14

𝑃𝑘𝑙2 =

1

𝑁 𝑝𝑖𝑘𝑙

2

𝑁

𝑖=1

,𝑁 = max 𝑛 ∈ 1,15


●

12

Pk l

1 =1

M pik l

1

M

i=1

, M=max m∈ 1,14

Pk l

2 =1

N pik l

2

N

i=1

, N=max n∈ 1,15

σPk l

1 = pik l

1

Pk l

1 =

M∙pik l

1

pik l

1Mi=1

σPk l2 =

pik l

2

Pk l

1 =

M∙pik l

2

pik l

2Mi=1


●

13

SPk l

1,2 = Spik l

1,2 =

σpik l

1,2

maxi=m,n

σpik l

1,2 ∙5, σPk l

1,2 <0

-min

i=m,nσpik l

1,2

σpik l

1,2 ∙5, σPk l

1,2≥0

RSP

1,2 U1,2 ,K =F Spik l

1,2 =f pij1,2

RSF

1,2 U1,2 ,K =F Sfik l

1,2 =f fij1,2

Вариации и развитие модели оценки


14

1. Бальная оценка НИУ по достигнутым


RS1,2 U1,2 ,K =RSP

1,2 U1,2 ,K +RSF

1,2 U1,2 ,K

2. Рейтинг финансирования по

комплементарным программам

RSH

1,2 U1,2 ,H =F Sh ikv1,2 =f hij

1,2

3. Полная бальная оценка (Бальная

оценка + Финансирование)

RS1,2 U1,2 ,K,H =RSP

1,2 U1,2 ,K +RSF

1,2 U1,2 ,K +RSH

1,2 U1,2 ,H

4. Бальный рейтинг по показателям

категории "А" в целом

5. Бальный рейтинг (Категория "А" +

Финансирование)

6. Бальный весовой рейтинг (Категория

"А" + Финансирование)

RS1,2 U1,2 ,KА =RSP

1,2 U1,2 ,KА +RSF

1,2 U1,2 ,KА

RS1,2 U1,2 ,KА,H =RSP

1,2 U1,2 ,KА +RSF

1,2 U1,2 ,KА +RSH

1,2 U1,2 ,H

RSw

1,2 U1,2 ,KА,H =wSP∙RSP

1,2 U1,2 ,KА +wSP∙RSF

1,2 U1,2 ,KА +

+wSH∙RSH

1,2 U1,2 ,H , 0≤wi≤1; wi =1

7. Рейтинг по показателям категории "А"

в целом (штрафные баллы)

8. Бальный рейтинг 2 (Категория "А"

штраф + Финансирование)

R'S1,2 U1,2 ,KА =R'SP

1,2 U1,2 ,KА +R'SF

1,2 U1,2 ,KА

R'S1,2 U1,2 ,KА,H =R'SP

1,2 U1,2 ,KА +R'SF

1,2 U1,2 ,KА +RSH

1,2 U1,2 ,H

Бальная оценка НИУ по достигнутым


15

1.1. "Доля обучающихся в НИУ по ПНР НИУ в общем числе обучающихся"

98%

100%

102%

104%

106%

108%

110%

50% 60% 70% 80% 90% 100% 110% 120% 130% 140% 150%

Отклонение плановых значений показателей от среднего значения (100%) по сети НИУ в целом

Степ

ен

ь в

ып

ол

нен

ия

пл

ан

а

4

2 1

3

МГТУ

ННГУ

БелГУ

КГТУ1

СПбГПУ

ПГУ

ЮУРГУ

ЛИТМО

СГУ

ПГТУ

МФТИ МГСУ

СГАУ

МАИ

ТПУ

СПбГГИ

МИЭТ

МЭИ

НГУ

ВШЭ

ТГУ

РГМУ

КГТУ2

ИрГТУ

НОЦ МордГУ

МИСиС

МИФИ

ср. 72% ср.1оч. 77%

РГУНиГ

43 % 51 % 58 % 65 % 72% 80% 87% 94% 101%

Rσ1,2 Pm,n

1,2 ,Fm,n1,2 =f σPm,n

1,2,σFm,n

1,2 ∙100%

График функции 𝑅𝜎1,2 𝑃𝑚 ,𝑛

1,2 ,𝐹𝑚 ,𝑛1,2 изображается на графике, где по осям

располагаются значения:

отклонение плановых значений от среднего значения 𝑃𝑚 ,𝑛1,2

;

степень выполнения плана 𝐹𝑚 ,𝑛1,2

.

16











Задача













Результат

Баллы Место Баллы Место Баллы Место Баллы Место Баллы Место

1 14 ТПУ 22 3 14 2 1 32 3 0 -1 24 2 0 1 -4 3 -1

1 7 МФТИ -13 15 6 6 9 2 14 1 -8 21 4 2 10 -8 7 -1

1 12 СПбГГИ 29 2 16 1 1 33 2 0 -1 20 5 -4 -3 -8 8 -7

1 6 МИФИ 17 5 7 5 0 29 5 0 0 19 6 -1 -1 -7 4 1

1 4 МГТУ -20 16 -3 14 2 0 15 1 -1 17 7 7 8 -14 19 -5

1 9 НГУ 16 6 3 8 -2 28 6 0 2 15 8 0 -2 -4 2 6

1 13 СПбГУ ИТМО 10 9 6 7 2 18 9 0 -2 14 9 -2 0 -8 9 -2

1 10 ПГТУ 34 1 3 9 -8 39 1 0 8 8 13 -4 -12 -10 13 -4

1 5 МИСиС -7 13 -5 17 -4 4 13 0 4 6 14 3 -1 -10 12 5

1 11 СГАУ 15 7 -4 16 -9 23 7 0 9 4 15 1 -8 -10 14 2

1 2 КГТУ-КАИ -13 14 -9 19 -5 -2 16 -2 3 2 18 1 -2 -9 10 9

1 3 МАИ -45 23 -16 23 0 -28 23 0 0 1 19 4 4 -17 22 1

1 1 ВШЭ -23 19 -23 28 -9 -7 17 2 11 -7 25 3 -8 -24 28 0

1 8 ННГУ -75 28 -19 25 3 -64 28 0 -3 -8 26 -1 2 -17 23 2

2 19 МИЭТ 8 10 11 4 6 22 8 2 -4 25 1 3 7 -7 5 -1

2 17 КГТУ 20 4 13 3 1 29 4 0 -1 22 3 0 1 -2 1 2

2 27 ТГУ 0 12 3 10 2 9 12 0 -2 12 10 0 2 -9 11 -1

2 21 МЭИ -29 21 1 11 10 -18 20 1 -9 12 11 0 9 -11 17 -6

2 15 БелГУ 2 11 -4 15 -4 16 11 0 4 10 12 3 -1 -12 18 -3

2 24 РГУНиГ 13 8 -1 13 -5 18 10 -2 3 4 16 -3 -6 -7 6 7

2 23 РГМУ -25 20 0 12 8 -23 21 -1 -9 2 17 -5 4 -10 15 -3

2 22 ПГУ -64 27 -6 18 9 -61 27 0 -9 -3 20 -2 7 -15 21 -3

2 20 МГСУ -20 17 -11 22 -5 -13 18 -1 4 -4 21 1 -3 -14 20 2

2 16 ИрГТУ -44 22 -20 26 -4 -28 22 0 4 -4 22 4 0 -18 24 2

2 26 СГУ -52 24 -10 20 4 -46 25 -1 -5 -4 23 -3 2 -10 16 4

2 28 СПбАУ НОЦ -21 18 -10 21 -3 -16 19 -1 2 -5 24 -3 -5 -20 27 -6

2 25 СПбГПУ -55 25 -17 24 1 -46 24 1 0 -8 27 -3 -3 -18 25 -1

2 18 МордГУ -61 26 -21 27 -1 -53 26 0 1 -13 28 -1 -2 -20 26 1

2 29 ЮУрГУ -80 29 -29 29 0 -76 29 0 0 -25 29 0 0 -28 29 0

Бальный рейтинг по


категории "А" в

целом

Изменение

(Бальная

оценка -

категория

"А")

НИУ

Изменение

(Категория

"А" -

Бальный

рейтинг)

Полная бальная

оценка

(Бальная +


Изменение

(Бальная

оценка -

Полная

оценка)

Бальный рейтинг

(Категория "А" +


Рейтинг по



целом (штрафные

Изменение

(Бальный

рейтинг -

Рейтинг "А"

(штраф))

№ оч.№

(б/д)

Бальная оценка НИУ

по достигнутым


Изменение

(Категория

"А" - Полная

оценка)

Изменение

(Полная

оценка -

Бальный

рейтинг)

Требования к конечной модели:

• Устойчивость рейтинга

• Соответствие оценки с

реальной ситуацией

• Учет всех внешних факторов

в рамках программы развития

НИУ

- 12

- 10

- 8

- 6

- 4

- 2

0

2

4

6

8

10

+500%

-367% (-11)

-50%

+67%

ЮУрГУ

Морд

ГУ

СПбГПУ

СПбАУ НОЦ РАН

СГУ

ИрГТУ

МГСУ

ПГУ

РГМ

У

РГУНиГ

БелГУ

МЭИ

ТГУ

КГТУ

МИЭТ

ННГУ

ВШЭ

МАИ

КГТУ

-КАИ

СГАУ

МИСиС

ПГТУ

СПбГУ ИТМ

О

НГУ

МГТУ

МИФИ

СПбГГИ

МФТИ

ТПУ

Изменение (Полная оценка - Бальный рейтинг)

Изменение (Категория "А" - Бальный рейтинг)

Анализ чувствительности Бального рейтинга

17

8

4

20

4

14

2

22

19

15

12

-25

24

6

10 12

1

21

25

17

- 12

- 10

- 8

- 6

- 4

- 2

0

2

4

6

8

10

12

14

16

- 30

- 25

- 20

- 15

- 10

- 5

0

5

10

15

20

25

-56%

-367% (-11)

-50%

+67%

ЮУрГУ

МордГУ

СПбГПУ


СГУ

ИрГТУ

-4

МГСУ

ПГУ

-7

РГМ

У Росздрава

РГУНиГ

-8

БелГУ

МЭИ

ТГУ

КГТУ

-3

МИЭТ

ННГУ

ВШЭ

МАИ

КГТУ

-КАИ

-13

СГАУ

-4

МИСиС

ПГТУ

-8

СПбГУ ИТМ

О

-4

НГУ

МГТУ

2

МИФИ

СПбГГИ

-5

МФТИ

ТПУ




Анализ чувствительности Бального рейтинга

18

12 12

9

10 11

9

7

4 5 3

3 4

0

-1

13

11

7 7

3

-1

-4

-9 - 12

- 10

- 8

- 6

- 4

- 2

0

2

4

6

8

10

12

14

16

- 10

- 8

- 6

- 4

- 2

0

2

4

6

8

10

12

14+500%

-367% (-11)

-50%

+67%

ЮУрГУ

Морд

ГУ

СПбГПУ

-1


СГУ

0

ИрГТУ

2

МГСУ

0

ПГУ

0

РГМ


1

РГУНиГ

БелГУ

МЭИ

7

ТГУ

КГТУ

МИЭТ

ННГУ

ВШЭ

МАИ

КГТУ

-КАИ

СГАУ

МИСиС

ПГТУ

СПбГУ ИТМ

О

НГУ

МГТУ

МИФИ

СПбГГИ

МФТИ

ТПУ

Бальный весовой рейтинг



Анализ чувствительности Бального весового

рейтинга

19

8

4

-5

20

2 4

-8

14

-4

-13

2

22

19

15

-3

12

-25

24

-8

6

-7

10

-4

12

1

21

25

17

- 35

- 30

- 25

- 20

- 15

- 10

- 5

0

5

10

15

20

25

30

- 30

- 25

- 20

- 15

- 10

- 5

0

5

10

15

20

25

МГТУ

МИЭТ

МФТИ

МАИ

МЭИ

ИрГТУ

БелГУ

ВШЭ

МИСиС

ННГУ

ТПУ

ЮУрГУ

ТГУ

ПГУ

НГУ

МИФИ

КГТУ

КГТУ

-КАИ

Морд

ГУ

МГСУ

СПбГУ ИТМ

О

СПбГПУ

ПГТУ

СГУ

-4

СГАУ

РГМ


СПбГГИ


РГУНиГ


Общая чувствительность

Анализ общей устойчивости вузов к рейтингам

20

Анализ чувствительности вариантов


21

Баллы Место Баллы Место Баллы Место Баллы Место Баллы Место

1 14 ТПУ 22 3 14 2 1 32 3 0 -1 24 2 0 1 -4 3 -1

1 7 МФТИ -13 15 6 6 9 2 14 1 -8 21 4 2 10 -8 7 -1

1 12 СПбГГИ 29 2 16 1 1 33 2 0 -1 20 5 -4 -3 -8 8 -7

1 6 МИФИ 17 5 7 5 0 29 5 0 0 19 6 -1 -1 -7 4 1

1 4 МГТУ -20 16 -3 14 2 0 15 1 -1 17 7 7 8 -14 19 -5

1 9 НГУ 16 6 3 8 -2 28 6 0 2 15 8 0 -2 -4 2 6

1 13 СПбГУ ИТМО 10 9 6 7 2 18 9 0 -2 14 9 -2 0 -8 9 -2

1 10 ПГТУ 34 1 3 9 -8 39 1 0 8 8 13 -4 -12 -10 13 -4

1 5 МИСиС -7 13 -5 17 -4 4 13 0 4 6 14 3 -1 -10 12 5

1 11 СГАУ 15 7 -4 16 -9 23 7 0 9 4 15 1 -8 -10 14 2

1 2 КГТУ-КАИ -13 14 -9 19 -5 -2 16 -2 3 2 18 1 -2 -9 10 9

1 3 МАИ -45 23 -16 23 0 -28 23 0 0 1 19 4 4 -17 22 1

1 1 ВШЭ -23 19 -23 28 -9 -7 17 2 11 -7 25 3 -8 -24 28 0

1 8 ННГУ -75 28 -19 25 3 -64 28 0 -3 -8 26 -1 2 -17 23 2

2 19 МИЭТ 8 10 11 4 6 22 8 2 -4 25 1 3 7 -7 5 -1

2 17 КГТУ 20 4 13 3 1 29 4 0 -1 22 3 0 1 -2 1 2

2 27 ТГУ 0 12 3 10 2 9 12 0 -2 12 10 0 2 -9 11 -1

2 21 МЭИ -29 21 1 11 10 -18 20 1 -9 12 11 0 9 -11 17 -6

2 15 БелГУ 2 11 -4 15 -4 16 11 0 4 10 12 3 -1 -12 18 -3

2 24 РГУНиГ 13 8 -1 13 -5 18 10 -2 3 4 16 -3 -6 -7 6 7

2 23 РГМУ -25 20 0 12 8 -23 21 -1 -9 2 17 -5 4 -10 15 -3

2 22 ПГУ -64 27 -6 18 9 -61 27 0 -9 -3 20 -2 7 -15 21 -3

2 20 МГСУ -20 17 -11 22 -5 -13 18 -1 4 -4 21 1 -3 -14 20 2

2 16 ИрГТУ -44 22 -20 26 -4 -28 22 0 4 -4 22 4 0 -18 24 2

2 26 СГУ -52 24 -10 20 4 -46 25 -1 -5 -4 23 -3 2 -10 16 4

2 28 СПбАУ НОЦ -21 18 -10 21 -3 -16 19 -1 2 -5 24 -3 -5 -20 27 -6

2 25 СПбГПУ -55 25 -17 24 1 -46 24 1 0 -8 27 -3 -3 -18 25 -1

2 18 МордГУ -61 26 -21 27 -1 -53 26 0 1 -13 28 -1 -2 -20 26 1

2 29 ЮУрГУ -80 29 -29 29 0 -76 29 0 0 -25 29 0 0 -28 29 0

Бальный рейтинг по



целом

Изменение

(Бальная

оценка -

категория

"А")

НИУ

Изменение

(Категория

"А" -

Бальный

рейтинг)

Полная бальная

оценка

(Бальная +


Изменение

(Бальная

оценка -

Полная

оценка)


(Категория "А" +


Рейтинг по



целом (штрафные

Изменение

(Бальный

рейтинг -

Рейтинг "А"

(штраф))

№ оч.№

(б/д)

Бальная оценка НИУ

по достигнутым


Изменение

(Категория

"А" - Полная

оценка)

Изменение

(Полная

оценка -

Бальный

рейтинг)

Результаты анализа чувствительности

22











Задача













Результат

23

Области исследования

24



системой

ИАС для

поддержки






система

1. Оценка



программ






основной


Результаты исследования

25



системой

ИАС для

поддержки






система

1. Оценка



программ






основной


1. Модель

системы

рейтингования

НИУ

2. Модель

организационного

взаимодействия

структурных

подразделений в ходе


процессов основной

деятельности вуза по

программе развития

НИУ

3. Модель

архитектуры

средств


основной


Решение

26



системой

ИАС для

поддержки






система

Модель системы оценки эффективности

реализации программ развития

национальных исследовательских

университетов

Спасибо за внимание!

Симкин Анатолий

Магистрант 2-го года обучения:

УК ФИБС МФТИ

САУ ИУ МГТУ им. Баумана

тел. моб.: +7 (916) 956-4484

e-mail: simkin.av [at] gmail.com

23.04.2011

Содержание МД

Глава 1 Исследование методов и механизмов мониторинга и оценки программ

вузов

1.1 Анализ методов мониторинга программ вузов

1.2 Методы построения структуры показателей

1.3 Анализ современных методов и средств проектирования систем мониторинга

Глава 2 Анализ и совершенствование системы оценки эффективности

реализации программ развития НИУ

2.1 Особенности оценки эффективности и управления по показателям с помощью ИАС

2.2 Модель системы оценки эффективности реализации программ развития НИУ

2.3 Модель организационного взаимодействия структурных подразделений в ходе

мониторинга процессов основной деятельности по программе развития НИУ

2.4 Модель архитектуры средств мониторинга основной деятельности вуза

Глава 3 Проектирование и применение прототипа системы мониторинга

3.1 Оценка предложенных показателей

3.2 Зоны применимости и возможности адаптации модели

3.3 Реализация прототипа

3.4 Сравнительный анализ разработанных прототипов

3.5 Результаты апробации разработанного прототипа

28

Education

Математическая модель системы оценки эффективности реализации программ развития НИУ