ИНФОРМАЦИОННО АНАЛИТИЧЕСКАЯ СИСТЕМА ...академия-ввс.рф/images/data/zhurnal_vks/7-2018/64-73.pdf · Введение.Современная

СиСтемный анализ, моделирование боевых дейСтвий и СиСтем военного назначения

64«Воздушно-космические силы. Теория и практика» | 7, сентябрь 2018

УДК 004.424: 355.014.1ГРНТИ 50.41.21

ИНФОРМАЦИОННО-АНАЛИТИЧЕСКАЯ СИСТЕМА ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ОПЫТА ПРИМЕНЕНИЯ ВООРУЖЕНИЯ, ВОЕННОЙ И СПЕЦИАЛЬНОЙ ТЕХНИКИ

А.А. ЧУМИЧКИН, кандидат технических наук, доцентВУНЦ ВВС «ВВА имени профессора Н.Е. Жуковского и Ю.А. Гагарина» (г. Воронеж)Г.И. ТРИФОНОВВУНЦ ВВС «ВВА имени профессора Н.Е. Жуковского и Ю.А. Гагарина» (г. Воронеж)

В статье рассмотрена информационно-аналитическая система сбора, обработки и анализа информации. Данная система предназначена для интеллектуальной обработки коллекций неструктурированных документов, их классификации, кластеризации, содержащейся в них информации в интересах и информационно-аналитической поддержки управления процессами создания и модернизации образцов ВВСТ.

Ключевые слова: система, планирование, моделирование, анализ, программа.

THE ARMAMENTS, MILITARY AND SPECIAL EQUIPMENT APPLICATION EXPERIENCE INTELLECTUAL ANALYSIS INFORMATION-ANALYTICAL SYSTEM

A.A. CHUMICHKIN, Candidate of Technical Sciences, Associate ProfessorMESC AF «N.E. Zhukovsky and Y.A. Gagarin Air Force Academy» (Voronezh)G.I. TRIFONOVMESC AF «N.E. Zhukovsky and Y.A. Gagarin Air Force Academy» (Voronezh)

The article is devoted to the information-analytical system of information collection, processing and analysis. This system is designed for intellectual processing of collections of unstructured documents, their classification, clustering, information contained in them in the interests and information and analytical support for the management of the processes of creating and upgrading AMSE models.

Keywords: system, planning, modeling, analysis, program.

Введение. Современная военно-политическая обстановка повышает требования к системе вооружения Вооруженных Сил Российской Федерации. Создание такой системы вооружения, требует принятия адекватных современным условиям решений на всех уровнях.

Эффективность решений по управлению развитием вооружения, военной и специальной техники, напрямую зависит от соответствующей информационно-аналитической поддержки. Важнейшей информацией для принятия решений является опыт применения ВС РФ в войнах, вооруженных конфликтах и спецоперациях.

Высокая актуальность необходимости учета опыта применения ВС РФ подтверждена рядом прошедших военно-практических конференций и круглых столов. В рамках военно-практической конференции по итогам специальной операции в Сирии Президент России В.В. Путин поставил задачу тщательно изучить информацию и провести оперативные корректировки процессов разработки и серийного производства вооружений и боевой техники, призвав при необходимости проводить дополнительные исследования, опытно-



конструкторские работы, испытания, для того чтобы довести до нужного уровня существующие образцы оружия и техники.

Фактически, информация об опыте применения ВС РФ представляет собой большое количество файлов различных форматов, хранящихся в органах военного управления. Содержание файлов представляет собой неструктурированный или слабоструктурированный набор текстовых и графических данных. Большое количество документов содержит графические и мультимедийные материалы.

Отмеченные особенности материалов, содержащих информацию об опыте применения, существенно усложняют процесс их обработки при помощи имеющихся средств автоматизации. Возникают проблемы на каждом этапе: поступления и учет документов, организация доступа, распределение, анализ содержания и т.п.

Вышеизложенное обуславливает необходимость создания информационно-аналитической системы сбора, обработки и анализа информации об опыте применения ВС РФ.

Актуальность. Данная научная работа посвящена разработке информационно-аналитической системы интеллектуального анализа с целью повышения эффективности процессов управления развитием вооружения, военной и специальной техники. Формируемая в результате работы база данных будет предназначена для информационной поддержки принятия решений в процессе военного планирования. В частности, в процессе формирования программ и планов развития ВВСТ. Внедрение информационно-аналитической системы позволит эффективно решить задачу, поставленную Верховным Главнокомандующим Вооруженных Сил Российской Федерации.

Основная часть и исследования. Разрабатываемая система должна обеспечить решение следующих основных задач:

- регистрация и учет поступающих материалов;- организация поиска по документам, в том числе и графическим;- автоматическая многомерная классификация и предварительный анализ документов,

содержащих сведения;- интеллектуальный анализ содержания, автоматическое формирование множества

тематик и структурирование исходных документов;- автоматическая привязка содержания к объектам систем исходных данных – образцам

ВВСТ, воинским формированиям, объектам и целям, населенным пунктам и др.- извлечение знаний и закономерностей из информации в базе данных на основе методов

интеллектуального анализа данных;- интеграция информации специализированных баз данных: типажа ВВСТ;- генерация выходных документов и интерактивных каталогов;- обеспечение процессов информационного взаимодействия с другими

автоматизированными информационными системами на уровне сервисов.Замысел создания информационно-аналитической системы интеллектуального

анализа опыта применения ВВСТ.Система семантического анализа коллекции текстовых документов предназначена для

разбиения набора документов на определенное количество групп, каждая из которой соответствует определенной теме. Иными словами, система должна решать задачу тематического моделирования [1, 2, 3]. Под определением темы в контексте данной задачи обычно понимают набор близких по смыслу слов, которые наиболее часто появляются вместе в документах общей направленности. Структурная схема разрабатываемой системы показана на рисунке 1.



Рисунок 1 – Структурная схема системы

Описание математического аппарата.Пусть D – множество (коллекция) текстовых документов, W – множество (словарь) всех

употребляемых в них термов. Термами могут быть слова, нормальные формы слов, словосочетания предложения и др., в зависимости от того, какие методы предварительной обработки были выполнены.

Каждый документ d ∈ D представляет собой последовательность термов nd термов w1…wndиз словаря W.

Гипотеза о существовании тем гласит, что каждое вхождение терма w в документ dсвязано с некоторой темой t из заданного конечного множества T.

Коллекция документов представляет собой последовательность троек ( ) , , 1,...,n i i iw d t i nΩ = = .Термы wi и документы di являются наблюдаемыми документами, темы ti неизвестны и

являются латентными (скрытыми) переменными [3].Порядок термов в документах не важен для выявления тематики. Это предположение

называется гипотезой «мешка слов». Порядок документов в коллекции также не имеет значения.

Согласно гипотезе об условной независимости, появление слов в документе d по теме tзависит от темы, но не зависит от документа d и описывается общим для всех документов распределением ( ) ( )| | |p w t p w d t=

Распределение термов в документе ( )|p w t описывается вероятностной смесью

распределений термов в темах ( )|wt p w tϕ = c весами ( )|wt p w tϕ = , ( )|td p t dθ = [4]:

( ) ( ) ( ) ( ) ( )| | , | | | wt tdt T t T t T

p w d p w t d p t d p w t p t d ϕ θ∈ ∈ ∈

= = =∑ ∑ ∑ , (1)

где ( )|p w t — вероятность появления терма ω в документе d, ( )|p w t — вероятность появления

терма ω в документе c темой t, ( )|p t d — вероятность присутствия темы t в документе d.Задача тематического моделирования – обратная задаче порождения коллекции

документов, т. е. по заданной коллекции D требуется найти параметры φwt и θtd, при которых тематическая модель хорошо приближает частотные оценки условных вероятностей ( )|p w d .

.



Описание программной реализации.Для разработки системы были выбраны следующие технологии:Язык программирования Python 3.6 (Anaconda 5) – один из наиболее популярных в сфере

применения науки о данных. Предоставляет большой набор библиотек для загрузки данных, визуализации, статистических вычислений, обработки естественного языка и др.

Библиотека scikit-learn – постоянно развивающийся и совершенствующийся проект с открытым исходным кодом, предоставляющий пользователю ряд современных алгоритмов машинного обучения (включая наиболее популярные методы обработки текстов) и полную документацию по каждому алгоритму.

NumPy – один из основных пакетов для научных вычислений в Python. Содержит функциональные возможности для работы с многомерными массивами, высокоуровневыми математическими функциями. Позволяет значительно ускорить обработку массивов, что крайне важно при работе с большими коллекциями текстовых документов.

SciPy – набор функций для научных вычислений в Python. Предлагает продвинутые процедуры линейной алгебры, специальные математические и статистические функции в том числе и для работы с текстовыми данными.

Matplotlib – основная библиотека для построения графиков в Python.NLTK – пакет для языка Python, в котором реализовано большое количество популярных

методов обработки естественного языка.Pymorphy – небольшая библиотека предоставляющая функционал морфологических

преобразований слов в тексте.Qt 5 – кроссплатформенная библиотека, предоставляющая широкий функционал для

разработки графического пользовательского интерфейса приложений.Описание программы.С использованием выбранных технологий была разработана программа, реализующая

функционал построения вероятностной тематической модели для коллекции текстовых документов на основе метода Латентного размещения Дирихле (LDA) [5].

LDA является одной из наиболее популярных моделей, применяющихся для решения задач тематического моделирования. Она предоставляет пользователю оперировать перечисленным ниже набором параметров.

Количество тем – итоговое количество тем, на которое необходимо разбить коллекцию документов.

Число признаков – максимальное количество уникальных слов по всей коллекции документов, участвующих в работе модели. Если во всем наборе документов содержится больше уникальных слов, для работы модели будут отобраны наиболее часто встречающиеся (например, если значение параметра – 10000, а словарный состав всей коллекции документов составляет 25000, то в построении модели будут участвовать только 10000 наиболее часто встречающихся по всей коллекции слов).

Min TF-IDF – параметр, определяющий минимально необходимое число документов по всей коллекции, в которых должно встречаться каждое из участвующих в построении модели слов (например, если слово изобретение встречается только в 5 документах, а значение параметра – 10, то данное слово не будет участвовать в построении модели и, соответственно, не будет частью одной из выделенных тем).

Max TF-IDF – параметр, определяющий максимальный процент документов по всей коллекции, в которых может встречаться каждое из участвующих в построении модели слов (например, если слово статья встречается в 25% документов, а значение параметра – 15, то данное слово не будет участвовать в построении модели и, соответственно, не будет частью одной из выделенных тем).

Число итераций – число итераций EM-алгоритма, используемого в процессе построения модели.



Random state – параметр рандомизации, неявно влияющий на конечные результаты формирования тем.

Как уже было неоднократно отмечено, каждая выделенная тема представляется в виде набора близких по области применения слов. Пример некоторых тем, которые определила разработанная программа при применении к тестовому набору научно-исследовательских статей из сборников показан на рисунке 2.

Рисунок 2 – Примеры выделенных тем

Модель LDA также строит вероятностное распределение документов по темам. Иными словами, каждому документу соответствует несколько тем, и степень соответствия выражается вероятностной оценкой. Пример таких оценок для некоторых документов из коллекции показан на рисунке 3.

Рисунок 3 – Вероятностные оценки принадлежности документов определенным темам

Аналогичное распределение характеризует вероятности принадлежности слов конкретным темам. То есть, чем больше такая вероятность, тем чаще появление данного слова в коллекции связано с соответствующей темой (рисунок 4).



Рисунок 4 – Вероятностное распределение слов по темам

Результаты исследований.На первом этапе работы с программой, в главном окне пользователю предлагается

выбрать набор документов и установить необходимые параметры, подробное описание которых было приведено выше (рисунок 5).

Рисунок 5 – Главное окно программы

После нажатия пользователем кнопки «выполнить», программа осуществит необходимые вычисления, результаты которых будут отображены тут же на главной форме в соответствующем поле (рисунок 6).

Каждый столбец таблица представляет собой отдельную тему, а строки таблица – слова, из которых данные темы сформированы. Слова в каждом столбце отсортированы по убыванию степени собственной «важности» для каждой конкретной темы (т.е. чем слово лучше характеризует конкретную тему, тем оно выше расположено в соответствующем столбце). Справа от каждого слова в круглых скобках указан характеризующий эту «важность» числовой показатель – вес слова.



Рисунок 6 – Результат работы программы

По умолчанию в таблице выводится по 10 наиболее значимых для каждой темы слов, однако у пользователя есть возможность изменять это количество путем выставления соответствующего значения в поле «вывести слово для каждой темы».

Также программа позволяет осуществить поиск документов по каждой из найденных тем. Это осуществляется путем двойного клика на любой ячейке соответствующей темы. В открывшемся окне отображается список из первых строк документов, наиболее соответствующих выбранной теме, упорядоченный по убыванию характеризующего данный показатель соответствия вероятностного критерия (рисунок 7).

Регулируя значение поля «количество документов», пользователь определяет, сколько соответствующих данной теме статей должно быть выведено на данной форме программы.

Рисунок 7 – Просмотр документов по выбранной теме

При необходимости, пользователь может прочитать полностью тот или иной документ, просто два раза кликнув по соответствующему полю таблицы (рисунок 8).



Рисунок 8 – Полный текст документа

Программа также позволяет провести анализ степени встречаемости (важности) каждой из найденных тем относительно выбранной коллекции документов. Для проведения такого анализа пользователю необходимо нажать кнопку «веса тем» в главном окне программы (рисунок 9).

Рисунок 9 – Анализ важности найденных тем по выбранной коллекции документов

Названия всех тем в данном случае сформированы из двух наиболее ярко характеризующих их смысл слов.

Новизна результатов заключается:- комплексировании поисковой системы Sphinx и вероятностной тематической модели для

коллекции текстовых документов на основе метода Латентного размещения Дирихле (LDA) [5];- в комплексном адаптивном использовании методов и технологий семантического,

морфологического и интеллектуального анализа неструктурированной информации, в том числе и графической;



- в использовании возможностей поисковой системы Sphinx посредством соответствующего API; в использование набора обучающихся словарей (классов ВВСТ, направлений исследований и т.п.).

Выводы.Подводя итог проделанной работе можно сделать вывод, что на сегодняшний день

решены следующие основные задачи:- проведено исследование проблем обработки материалов, содержащих информацию об

опыте применения ВВСТ;- сформулированы основные задачи интеллектуальной поддержки обработки материалов;- разработана структурно-функциональная схема системы интеллектуального анализа

коллекций неструктурированных текстовых документов;- разработана структура базы данных системы интеллектуального анализа коллекций

неструктурированных текстовых документов;- скомпилирована из исходных кодов поисковая машина Sphinx для операционной

системы Astra Linux;- разработана программная реализация прототипа системы;- проведена апробация на примере задач анализа и материалов конференций, проводимых

на базе ВУНЦ ВВС «ВВА» и статей (обработана коллекция документов, состоящая из 23 400 файлов).

Выбранные технологии позволят использовать разработанный прототип для создания системы информационно-аналитической системы интеллектуального анализа опыта применения ВВСТ и ее дальнейшую сертификацию для применения в ВС РФ для обработки информации соответствующих грифов.

СПИСОК ЛИТЕРАТУРЫ

1. Глушков Н.А. Анализ методов тематического моделирования текстов на естественномязыке // Молодой ученый. 2018. 19. С. 101–103.

2. Коршунов А.В., Гомзин А.Г. Тематическое моделирование текстов на естественном языке// Труды Института системного программирования РАН. Том 23. M.: РАН, 2012. С. 215–242.

3. Воронцов К.В. Аддитивная регуляризация вероятностных тематических моделейколлекций текстовых документов // Доклады РАН. 2014. Т. 455. 3. С. 268–271.

4. Потапенко А.А., Воронцов К.В. Регуляризация вероятностных тематических моделейдля повышения интерпретируемости и определения числа тем // компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 4-8 июня 2014 г.). Вып. 13(20). М.: Изд-во РГГУ, 2014. С. 676–687.

5. Blei D., Lafferty J.A. A correlated topic model of Science // Annals of Applied Statistics. –2007. Vol.1. P. 17–35.

REFERENCES

1. Glushkov N.A. Analiz metodov tematicheskogo modelirovaniya tekstov na estestvennomyazyke // Molodoy uchenyy. 2018. 19. P. 101–103. (in Russian).

2. Korshunov A.V., Gomzin A.G. Tematicheskoe modelirovanie tekstov na estestvennomyazyke // Trudy Instituta sistemnogo programmirovaniya RAN. Tom 23. M.: RAN. 2012. P. 215–242.(in Russian).

3. Vorontsov K.V. Additivnaya regulyarizatsiya veroyatnostnyh tematicheskih modeleykollektsiy tekstovyh dokumentov // Doklady RAN. 2014. T. 455. 3. P. 268–271. (in Russian).

4. Potapenko A.A., Vorontsov K.V. Regulyarizatsiya veroyatnostnyh tematicheskih modeleydlya povysheniya interpretiruemosti i opredeleniya chisla tem // komp'yuternaya lingvistika i



intellektual'nye tekhnologii: Po materialam ezhegodnoy Mezhdunarodnoy konferentsii «Dialog» (Bekasovo, 4-8 iyunya 2014 g.). Vyp. 13(20). M.: Izd-vo RGGU, 2014. P. 676–687. (in Russian).

5. Blei D., Lafferty J.A. A correlated topic model of Science // Annals of Applied Statistics. –2007. Vol.1. P. 17–35.

© Чумичкин А.А., Трифонов Г.И., 2018

Чумичкин Александр Александрович, кандидат технических наук, доцент, начальник 12 отдела научно-исследовательского 1 управления научно-исследовательского НИЦ (проблем применения, обеспечения и управления авиацией Военно-воздушных сил), Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина» (г. Воронеж), Россия, 394064, г. Воронеж, ул. Старых Большевиков, 54А.

Трифонов Григорий Игоревич, младший научный сотрудник 12 отдела научно-исследовательского 1 управления научно-исследовательского НИЦ (проблем применения, обеспечения и управления авиацией Военно-воздушных сил), Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина» (г. Воронеж), Россия, 394064, г. Воронеж, ул. Старых Большевиков, 54А.

Documents

ИНФОРМАЦИОННО АНАЛИТИЧЕСКАЯ СИСТЕМА ...академия-ввс.рф/images/data/zhurnal_vks/7-2018/64-73.pdf · Введение.Современная