ЗАКЛЮЧЕНИЕ ДИССЕРТАЦИОННОГО СОВЕТА Д 212.288.12 НА БАЗЕ

ФЕДЕРАЛЬНОГО ГОСУДАРСТВЕННОГО БЮДЖЕТНОГО

ОБРАЗОВАТЕЛЬНОГО УЧРЕЖДЕНИЯ ВЫСШЕГО ОБРАЗОВАНИЯ

«УФИМСКИЙ ГОСУДАРСТВЕННЫЙ АВИАЦИОННЫЙ ТЕХНИЧЕСКИЙ

УНИВЕРСИТЕТ» МИНИСТЕРСТВА НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ ПО ДИССЕРТАЦИИ

НА СОИСКАНИЕ УЧЕНОЙ СТЕПЕНИ КАНДИДАТА (ДОКТОРА) НАУК

аттестационное дело № _________________

решение диссертационного совета от 02.07.2019 № 09

О присуждении Ботову Дмитрию Сергеевичу, гражданину РФ, ученой

степени кандидата технических наук.

Диссертация «Методы и алгоритмы интеллектуальной поддержки

формирования образовательных программ по требованиям рынка труда на основе

нейросетевых моделей языка» по специальности 05.13.10 – «Управление в

социальных и экономических системах» принята к защите 23.04.2019 г., протокол

№ 4 диссертационным советом Д 212.288.12 на базе Федерального

государственного бюджетного образовательного учреждения высшего

образования «Уфимский государственный авиационный технический

университет» Министерства науки и высшего образования Российской

Федерации, 450008, г. Уфа, ул. К. Маркса, 12, созданного приказом Министерства

образования и науки Российской Федерации № 43/нк от 30.01.2019 г.

Соискатель Ботов Дмитрий Сергеевич 1989 года рождения, работает

старшим преподавателем кафедры информационных технологий и экономической

информатики в Федеральном государственном бюджетном образовательном

учреждении высшего образования «Челябинский государственный университет»

Министерства науки и высшего образования Российской Федерации.

В 2010 году соискатель окончил Государственное образовательное

учреждение высшего профессионального образования «Южно-Уральский

2

государственный университет». В 2014 году соискатель окончил очную

аспирантуру ФГБОУ ВПО «Челябинский государственный университет».

Диссертация выполнена на кафедре информационных технологий и

экономической информатики ФГБОУ ВО «Челябинский государственный

университет» Министерства науки и высшего образования Российской

Федерации.

Научный руководитель – доктор технических наук, профессор Мельников

Андрей Витальевич, директор Югорского научно-исследовательского института

информационных технологий.

Официальные оппоненты:

1. Доктор технических наук, доцент Смирнов Сергей Викторович,

главный научный сотрудник лаборатории анализа и моделирования сложных

систем ФГБУН «Институт проблем управления сложными системами»

Российской академии наук.

2. Кандидат технических наук, доцент Гапанюк Юрий Евгеньевич,

доцент кафедры «Системы обработки информации и управления» ФГБОУ ВО

«Московский государственный технический университет имени Н.Э. Баумана

(национальный исследовательский университет)».

дали положительные отзывы на диссертацию.

Ведущая организация Федеральное государственное автономное

образовательное учреждение высшего образования «Уральский федеральный

университет имени первого Президента России Б.Н. Ельцина», г. Екатеринбург, в

своем положительном заключении, подписанном кандидатом технических наук

Созыкиным Андреем Владимировичем, директором школы профессионального и

академического образования Института радиоэлектроники и информационных

технологий-РТФ, указала, что диссертация Ботова Д.С. на соискание ученой

степени кандидата технических наук является завершенной научно-

квалификационной работой, соответствующей паспорту специальности 05.13.10 -

Управление в социальных и экономических системах. Результаты

диссертационного исследования имеют существенное значение для повышения

3

эффективности принимаемых управленческих решений при актуализации

результатов обучения и содержания основных профессиональных

образовательных программ. Рецензируемая работа обладает научной новизной и

практической значимостью, что соответствует требованиям п. 9 «Положение о

присуждении ученых степеней», а её автор, Ботов Д.С., заслуживает присуждения

ученой степени кандидата технических наук по специальности 05.13.10 -

Управление в социальных и экономических системах.

Соискатель имеет 30 опубликованных работ, в том числе по теме

диссертации 13 работ, опубликованных в рецензируемых научных изданиях из

перечня ВАК – 3, опубликованных в изданиях, индексируемых в базе данных

Scopus – 2. Девять работ общим объемом 61 страница опубликованы в сборниках

трудов всероссийских и международных конференций. Две работы выполнены

соискателем единолично. Остальные работы выполнены при непосредственном

участии соискателя. Получено два свидетельства о государственной регистрации

программы для ЭВМ.

Наиболее значимые работы автора, опубликованные в рецензируемых

научных изданиях:

1. Ботов, Д.С. Интеллектуальная поддержка формирования

образовательных программ на основе нейросетевых моделей языка с учетом

требований рынка труда / Д.С. Ботов // Вестник ЮУрГУ. Серия «Компьютерные

технологии, управление, радиоэлектроника». – 2019. – Т. 19, № 1. – С. 5–19.

2. Botov, D.S. Approach to Educational Course Comparison Using Natural

Language Processing Techniques / D.S. Botov, Yu.D. Klenin // Bulletin of the South

Ural State University. Ser. Computer Technologies, Automatic Control, Radio

Electronics. – 2017. – Vol. 17. – no. 3. – P. 5–14.

3. Melnikov, A.V. On usage of machine learning for natural language

processing tasks as illustrated by educational content mining / A.V. Melnikov, D.S.

Botov, J.D. Klenin // Ontology of Designing. – Samara: Publisher «New Engineering»

Ltd. – 2017. – Vol. 7. – no. 1 (23). – P. 34–47.

4

На диссертацию и автореферат поступили отзывы от:

Ведущей организации, Федеральное государственное автономное

образовательное учреждение высшего образования «Уральский федеральный

университет имени первого Президента России Б.Н. Ельцина» с критическими

замечаниями: 1) В работе не используются модели языка, обладающие

наибольшими возможностями, такие как BERT (Bidirectional Encoder

Representations from Transformers); 2) Для «обогащения» сущностей

профессиональных стандартов информацией из вакансий автор использует

выделение ключевых слов и словосочетаний (биграмм). Однако более

подходящий подход для решения данной задачи – тематическое моделирование;

3) Вызывает сомнение гипотеза автора, что при разработке образовательных

программ в университете нужно ориентироваться на текущее состояние рынка

труда. К тому времени, когда студент разработанной таким образом программы

закончит университет, ситуация на рынке труда может измениться очень сильно.

Рекомендуется использовать другие источники данных для формирования

образовательных программ; 4) Практическая значимость работы была бы

значительно выше, если бы автор предоставил открытый доступ к программному

обеспечению, разработанному в рамках диссертации, а также к наборам данных,

использованным для обучения.

Официального оппонента, доктора технических наук, доцента

Смирнова Сергея Викторовича, с критическими замечаниями: 1) Парадигма, в

которой соискатель предлагает решать сложную задачу социального управления

при формировании профессиональных компетенций населения, весьма бедна и

узко направлена на обслуживание материальных потребностей общества в ущерб

культурным. (Это вполне соответствует духу «нового менеджеризма»,

пытающегося трансформировать государственное управление в социальные

сервисы, и, в частности, в академической сфере заместить творческий подход в

реализации предписываемых функций и коллегиальность принципал-агентскими

отношениями, свойственными бизнесу, близоруко игнорируя воспитательную и

культурно-просветительную роль образования.) Представляется, что подобный

5

утилитарный подход к формированию образовательных программ в учебных

заведениях различного уровня уместен с государственных позиций (т.е. интересов

общества в целом) лишь в «мобилизационный период». В этом смысле

полученные в диссертации результаты имеют осязаемые границы применения; 2)

В диссертации не дано четкого ответа на вопрос: для формирования

образовательных программ по каким дисциплинам актуальна разработанная

система принятия решений - в равной мере фундаментальных и прикладных,

гуманитарных, технических и естественных? Неясно, как учет требований рынка

труда, определенных профессиональными стандартами и требованиями вакансий

повлияет на существующие образовательные программы по фундаментальным

дисциплинам? Ведь в явном виде в требованиях вакансий и профессиональных

стандартах очень редко упоминается необходимость знания фундаментальных

дисциплин, но это не значит, что таковая отсутствует; 3) Соискатель весьма

ограничил обзор, оценку и квалификацию нейросетевых моделей языка word2vec,

которые применялись для обучения рабочей модели, положенной в основу

применяемого алгоритма. В начале 3 главы находим лишь уведомление, что «в

рамках эксперимента использовались нейросетевые модели word2vec и fasttext с

переходом от векторов слов к вектору текста…» и т.д., а также ссылку на

использование реализаций моделей в открытой библиотеке Gensim. Считаю, что

при таком некритичном отношении к инструментарию нельзя в полной мере

положиться на сконструированный на его основе алгоритм подготовки

управленческих решений в одной из чувствительных сфер социального

строительства; 4) Из материалов диссертации неясно, какие временные и

вычислительные ресурсы требуются для обучения нейросетевых моделей языка

word2vec при проведении эксперимента по семантическому сопоставлению

требований вакансий с требованиями профессиональных стандартов.

Отсутствует, естественно, и сравнение в этом смысле примененного метода с

другими; 5) В текстах диссертации и автореферата имеются некоторые

технические огрехи, нередко затрудняющие восприятие и оценку результатов

диссертационного исследования. Так автор исследования исходит из

6

общеизвестности смысла аббревиатуры ФГОС ВО 3++ (хотя назначение и роль

этого стандарта можно уяснить лишь после обстоятельного комментирования).

Также в автореферате не расшифрованы аббревиатуры ОП и ПС (с. 7 и 8),

отсутствует расшифровка обозначений VM, LM, ctx, имеющихся на рисунке 1.

Присутствуют в материалах диссертации и другие мелкие недочеты, например,

описки как во фразе «Выдвигается гипотеза, что метод сопоставления на основе

нейросетевых моделей языка могут показать…» (с. 8 автореферата).

Официального оппонента, кандидата технических наук, доцента

Гапанюка Юрия Евгеньевича с критическими замечаниями: 1) Классическим

подходом к решению задач подобного класса является построение онтологий на

основе исходных текстов и последующее сравнение онтологий (в англоязычной

литературе используются термины «ontology alignment» или «ontology matching»).

Автор справедливо отмечает, что онтологический подход обладает рядом

недостатков. Но в диссертационной работе не рассматриваются методы сравнения

онтологий и не приводится детального сравнения подхода, предлагаемого

автором, с онтологическим подходом; 2) В качестве основной графовой модели

автор использует классическую модель плоского графа. В настоящее время

существуют сложные графовые модели, которые могут быть использованы для

сопоставления комплексных иерархических структур: гиперграфы, гиперсети,

многоуровневые сети. В диссертационной работе не исследуется возможность

использования подобных моделей; 3) В работе недостаточно полно описана

функциональность модулей извлечения информации из рабочих программ

дисциплин и онлайн-курсов. В работе приведена схема базы данных, однако не

приведены наборы правил, позволяющие извлекать информацию из документов

со сложной структурой (списками и таблицами), не ясна степень гибкости правил

извлечения информации из текстов, и невозможно оценить сложность их

адаптации к разбору документов различных вузов; 4) При описании структурно-

семантической модели представления сущностей и отношений в документах не

рассматриваются все возможные варианты формирования контекста для

сущности в графе. Определение векторного представления вершины в графе на

7

основе контекста может быть существенно вариативным, что требует более

детального изучения и экспериментальной оценки, так как может существенно

повлиять на дальнейшее улучшение качества решения прикладных задач на

различных этапах процесса формирования образовательных программ.

На автореферат поступило 7 положительных отзывов:

1. ФГАОУ ВО «Южно-Уральский государственный университет

(национальный исследовательский университет)», подписанный зав. кафедрой

информационно-аналитического обеспечения управления в социальных и

экономических системах, д.т.н., профессором Логиновским О.В. Замечания: 1) В

автореферате автор не показывает, насколько выполненная им разработка лучше

соответствующих аналогов и какую нишу она занимает в ряду других подобных

разработок. 2) Из автореферата не видно для формирования образовательных

программ каких учебных направлений подготовки применялась или

рекомендуется использовать данную интеллектуальную систему. И насколько её

применение позволит повысить качество управления в соответствующей

предметной области.

2. ФГАОУ ВО «Национальный исследовательский Томский

политехнический университет», подписанный доцентом Отделения

информационных технологий Инженерной школы информационных технологий и

робототехники, д.т.н., доцентом Гергет О.М. Замечания: 1) К недостаткам

автореферата можно отнести недостаточно детально освещенный вопрос

определения контекста сущностей в графе в различных типах документов,

сопоставление которых описывается в таблице 1. 2) Из текста автореферата не

видно с какими существующими методами и алгоритмами произведено сравнение

предложенных автором методов.

3. ФГАОУ ВО «Южно-Уральский государственный университет

(национальный исследовательский университет)», подписанный профессором

кафедры «Информационные технологии в экономике», д.т.н., старшим научным

сотрудником Мокеевым В.В. Замечание: Из автореферата неясно, что

8

представляют нейросетевые модели, какие стратегии использовались при их

обучении, какова их структура.

4. ФГБОУ Институт систем энергетики им. Л.А. Мелентьева Сибирского

отделения Российской академии наук, подписанный главным научным

сотрудником, д.т.н., профессором Массель Л.В. Замечания: 1) В третьей главе

приводятся результаты экспериментов по оценке точности семантического

сопоставления, однако автором не производится оценка влияния размера

обучающей выборки на качество семантического поиска на основе нейросетевых

моделей языка. 2) В автореферате не отражены особенности предобработки

текстов программ дисциплин и онлайн-курсов, которые, очевидно, разные в

зависимости от источника данных. 3) При оценке эффективности решения в

четвертой главе не указывается, какое влияние оказывает применение прототипа

интеллектуальной системы на снижение трудоемкости анализа и поиска среди

текстов образовательных программ и вакансий.

5. ФГАОУ ВО «Тюменский государственный университет»,

подписанный профессором кафедры программного обеспечения, д.пед.н., к.ф.-

м.н., профессором Захаровой И.Г. Замечания: 1) Чем определяется столь

значительный объём (200 тыс.) числа уникальных токенов для корпуса вакансий

ИТ-специалистов (таблица 2, с. 11). 2) Какие N-граммы использовались для TF-

IDF и влияло ли их использование на точность результатов. 3) Какие методы

классификации и на основе какой метрики использовались для классификации по

профессиям. 4) Из схемы на рис. 3 (с. 13) следует, что модели переучивают при

каждом запросе, так как не показано хранилище обученных моделей.

6. Московский автомобильно-дорожный государственный технический

университет (МАДИ), подписанный профессором кафедры АСУ, д.т.н.,

профессором Юрчиком П.Ф. Замечания: 1) К недостаткам автореферата можно

отнести недостаточно детальный анализ ошибок семантического сопоставления

сущностей образовательных программ с требованиями рынка труда. 2) Не

рассматривается возможность совмещения используемых в семантическом

9

анализе нейросетевых моделей языка с информацией из баз знаний и внешних

лингвистических ресурсов.

7. ФГБОУ ВО «Российский государственный гуманитарный

университет», подписанный профессором кафедры Фундаментальной и

прикладной математики, к.т.н., доцентом Козловым А.Д. Замечания: 1) К

сожалению, в автореферате не нашли отражения критерии отбора программ

дисциплин для формирования соответствующего корпуса документов. 2) В нем не

дано оценок эффективности предложенной системы для достаточно большого

объема корпуса вакансий (653 тысячи документов).

Выбор официальных оппонентов и ведущей организации обосновывается их

высокой компетентностью, достижениями в данной отрасли наук, наличием

публикаций в соответствующей сфере исследования и способностью определить

научную и практическую ценность диссертации.

Диссертационный совет отмечает, что на основании выполненных

соискателем исследований:

Разработаны:

1. Структурно-семантическая модель образовательной и

профессиональной областей, которая позволяет описывать отношения между

сущностями, извлеченными автоматизированными методами из документов

образовательных программ, профессиональных стандартов и требований

вакансий без применения заранее составленных экспертами моделей

представления знаний.

2. Метод и алгоритм семантического сопоставления сущностей модели с

учетом контекста документа и результатов расчета семантической близости

между сущностями различных документов на основе предобученных

нейросетевых моделей языка, что в отличие от известных интеллектуальных

методов сопоставления позволяет обеспечить повышение точности сопоставления

в условиях различия лексики предметных областей образования и

10

профессиональной деятельности и ограниченности лексики профессиональных

стандартов.

3. Метод поддержки принятия решений при формировании

образовательных программ по требованиям рынка труда, который позволяет

применить алгоритм семантического сопоставления сущностей структурно-

семантической модели для выявления актуальных требований рынка труда,

определения степени соответствия этим требованиям отдельных элементов

образовательной программы, а также для семантического поиска программ

учебных дисциплин и онлайн-курсов в соответствии с заданными требованиями.

Применение метода позволяет обеспечить высокие показатели соответствия

результатов обучения и содержания профессиональных дисциплин актуальным

требованиям работодателей.

Предложен комплекс нейросетевых моделей языка и методов машинного

обучения для сопоставления требований рынка труда и элементов

образовательной программы с учетом их контекста в графовой модели

документов.

Доказана эффективность и показана перспективность применения

разработанных методов и алгоритмов на практике для обеспечения соответствия

содержания основных профессиональных образовательных программ

требованиям рынка труда.

Введен термин «семантическое сопоставление» для обозначения процесса

установления семантических отношений между сущностями графовых моделей

различных документов на основе расчета меры семантической близости между

текстовыми описаниями сущностей с учетом контекста, определенного

структурными отношениями в документах.

Теоретическая значимость исследования обоснована тем, что:

формализованы и доказаны положения, вносящие вклад в расширение

представлений об интеллектуальной поддержке процессов формирования

образовательных программ на основе требований рынка труда;

11

применительно к проблематике диссертации результативно (то есть с

получением обладающих новизной результатов) использован комплекс

существующих базовых методов исследования: математический аппарат теории

графов и теории множеств, методы системного анализа, методы машинного

обучения для обработки естественного языка и информационного поиска;

изложены основные этапы применения метода поддержки принятия

решений для формирования образовательных программ от определения

актуальных требований рынка труда из текстов вакансий до оценки соответствия

существующих элементов образовательной программы и подобранных под

требования учебных дисциплин и онлайн-курсов ведущих вузов;

раскрыты возможности эффективного применения нейросетевых моделей

языка для семантического сопоставления сущностей документов различных

предметных областей: образования профессиональной деятельности, при этом

выявлены проблемы применения нейросетевых моделей языка при сопоставлении

документов только в рамках одной предметной области – образования;

изучены преимущества и недостатки существующих методов поддержки

принятия решений при формировании образовательных программ, определены

проблемы анализа требований образовательных и профессиональных стандартов

в увязке с актуальными потребностями рынка труда;

проведена модернизация методов поддержки принятия решений и

графовых моделей представления знаний предметной области с учетом

возможностей автоматизированного извлечения информации из

слабоструктурированных текстов документов образовательной и

профессиональной областей, их формализации и последующего

сопоставительного семантического анализа;

Значение полученных соискателем результатов исследования для

практики подтверждается тем, что:

разработаны и внедрены метод поддержки принятия решений, метод и

алгоритм семантического сопоставления, прототип интеллектуальной системы

12

поддержки принятия решений в процессы создания и актуализации основных

профессиональных образовательных программ, а также программ

дополнительного профессионального образования по направлениям подготовки,

связанным с информационными технологиями, в Челябинском государственном

университете и Югорском государственном университете;

определены границы применимости разработанных методов и алгоритмов,

а также перспективы их практического использования в практике разработки

образовательных программ и отдельных профессиональных дисциплин;

создан прототип интеллектуальной системы поддержки принятия решений

при формировании образовательных программ по требованиям рынка труда;

представлены предложения по дальнейшему развитию разработанных

методов и алгоритмов интеллектуальной поддержки принятия решений при

формировании образовательных программ с учетом требований рынка труда.

Оценка достоверности результатов исследования выявила:

проведено экспериментальное исследование разработанного метода и

алгоритма семантического сопоставления сущностей с использованием

предобученных нейросетевых моделей языка, в ходе которого подтверждено, что

точность семантического сопоставления содержания образования с требованиями

рынка труда при использовании нейросетевых моделей языка составляет 0,81-0,87

(по метрике Mean Average Precision – MAP@5), что существенно выше

результатов, полученных с помощью моделей частотного анализа текстов на

основе TF-IDF (MAP@5 составляет 0,65-0,75) или моделей вероятностного

тематического моделирования (MAP@5 составляет 0,67).

достоверность экспериментальных результатов обеспечивается

применением известных методов и подходов к оценке точности поиска и

классификации текстовых документов, корректной статистической обработкой

данных экспериментов, высоким уровнем согласованности оценок экспертов;

теория согласуется с опубликованными экспериментальными данными по

теме диссертации и построена на известных положениях методов системного

13

анализа, теории принятия решений, методов обработки естественного языка,

методов автоматического построения тезаурусов, методов информационного

поиска, методов машинного обучения;

идея базируется на анализе практики формирования образовательных

программ по требованиям образовательных и профессиональных стандартов и на

обобщении передового опыта семантического анализа документов различных

предметных областей;

использованы современные методики оценки точности алгоритмов

интеллектуального анализа данных и информационного поиска при сравнении

результатов, полученных с помощью традиционных частотных методов

сопоставления и предобученных нейросетевых моделей языка;

установлены значимые результаты повышения соответствия требованиям

рынка труда содержания профессиональных дисциплин: по усредненным оценкам

экспертов с исходных 5,4 до 8,6 (по 10-балльной шкале) после актуализации

образовательных программ на основе предложенных методов и алгоритмов

интеллектуальной поддержки;

использованы в экспериментах представительные корпуса документов

образовательной и профессиональной областей и известные меры оценки

точности семантического поиска и ранжирования, точности и полноты

классификации документов.

Личный вклад соискателя состоит в:

разработке и внедрении методов, моделей и алгоритмов поддержки принятия

решений, непосредственном участии в получении исходных данных и проведении

научных экспериментов, в обработке и интерпретации экспериментальных

данных, личном участии в апробации результатов исследования, в подготовке

основных публикаций по выполненной работе и выступлении с докладами на

всероссийских и международных научных конференциях.

Диссертационный совет пришел к выводу о том, что в диссертации:

14

- соблюдены установленные Положением о присуждении ученых степеней

критерии, которым должна отвечать диссертация на соискание ученой степени;

- отсутствуют недостоверные сведения об опубликованных соискателем

ученых степеней работах, в которых изложены основные научные результаты

диссертации;

- соискатель ссылается на авторов и источники заимствования;

- оригинальность диссертационной работы составляет 91,11%.

Диссертационная работа Ботова Д.С. «Методы и алгоритмы

интеллектуальной поддержки формирования образовательных программ по

требованиям рынка труда на основе нейросетевых моделей языка» соответствует

п. 9 Положения о присуждении ученых степеней (утвержденного Постановлением

Правительства Российской Федерации от 24 сентября 2013 года № 842, в

редакции с изменениями, утв. Постановлением Правительства РФ от 21 апреля

2016 года № 335), предъявляемых к кандидатским диссертациям.

Тема работы и содержание исследований соответствуют паспорту научной

специальности ВАК 05.13.10 – «Управление в социальных и экономических

системах» по пунктам: п. 3 «Разработка моделей описания и оценок

эффективности решения задач управления и принятия решений в социальных и

экономических системах», п. 5 «Разработка специального математического и

программного обеспечения систем управления и механизмов принятия решений в

социальных и экономических системах», п. 10 «Разработка методов и алгоритмов

интеллектуальной поддержки принятия управленческих решений в

экономических и социальных системах.»

Диссертация Ботова Д.С. является законченной научно-квалификационной

работой, в которой решена задача интеллектуальной поддержки формирования

образовательных программ с целью повышения соответствия требованиям рынка

труда.

На заседании 02.07.2019 г. диссертационный совет принял решение

присудить Ботову Д. С. ученую степень кандидата технических наук.