Автоматизация процесса обработки информации

01.05.2023

Автоматизация обработки неконсолидированных разнородных

массивов данных в целях маркетинговых исследований товарных

рынковСтудент Москвин Д.А.

Научный руководитель профессор Ботвин Г.А.

Экономический факультет СПбГУ«Бизнес-Информатика»

1 июня 2016 г.

Цель работыРазработать алгоритм автоматизации обработки, хранения и предоставления изначально слабоструктурированных массивов данных индустриального рынка в целях маркетинговых исследований с использованием таких программных продуктов как MS Excel и Tableau.


2 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016

Задачи1) Ознакомиться со спецификой новой предметной области на базе исследований, проведенных ИА «Инфолайн-Аналитика», выделить ключевые информационные ресурсы, являющиеся основанием маркетинговых исследований по индустриальному рынку2) Подготовить данные к анализу, в том числе разработать макрос в MS Excel, который способен вычленять из текстовых данных искомые числовые значения 3) Разработать аналитический план работы с полученными данными, включающий в себя перечень возможных гипотез, строящихся на основании задействованных переменных4) Создать бизнес-приложение в BI-системе Tableau, являющееся демонстрацией результатов исследования с автоматически обновляющейся базой для публикации в сети Интернет



Ориентация исследования• Менеджмент и отдел маркетинга производителей – для оценки конкурентного окружения;

• Специалисты отдела продаж и отдела по работе с клиентами организаций, осуществляющих поставки металлоконструкций и сопутствующих объектов производства – для активизации сбыта и поиска новых клиентов;

• Специалисты отделов закупок строительных фирм – для повышения эффективности закупочной деятельности;

• Банковские структуры, инвестиционные компании и частные инвесторы – для формирования и улучшения стратегии инвестирования в промышленность строительных материалов.



Предметная областьДанные, предоставленные ИА «Инфолайн-Аналитика: • Таблица 113 x 217000 таможенных транзакций внешнеторгового

оборота металлопродукции*• Таблица Excel 31 x 519 производители металлоконструкций



Индустриальный рынок металлоконструкций и сэндвич-панелей РФ

Алгоритм обработки1. Для каждого вида источников информации выделить приоритетные части2. Устранить ошибки в переменных3. Проанализировать выбранные переменные на предмет информативности4. Определить ключевые переменные для создания лучших фильтров 5. Разработать аналитический план работы с данными6. Осуществить консолидацию всех данных в одном программном продукте 7. Подготовить типовые элементы отчетов с возможностью доработки



Заполнение ключевых сущностей исследования

Название поля Описание Формат Вид данных

УНИ-регион отправления Для российских компаний определяется по первым

трем цифрам почтового индекса. Для зарубежных

компаний – не заполняется

String Челябинская область

УНИ-Страна получения Определяется по коду страны (есть в исходной

выборке), подгружается из базы международных

кодов стран

String Россия

УНИ-Таможенная стоимость Берется из исходной выгрузки. Если этих данных

нет, то тогда рассчитывается как статистическая

стоимость из исходной выгрузки, умноженная на

курс доллара на момент составления декларации.

Если и этих данных нет, то оценивается

Number (Decimal) 72190



Причины выбора Tableau



Целостность видения

Сов

ерш

енст

во п

латф

орм

ы • 1 место по одному из критериев Gartner

• Несколько лет в списках лидеров

• Простота визуализации• Простота публикации

результатов работы

The 2016 Gartner BI Magic Quadrant

Проблемы консолидации данных



Ключевые сущности: • База таможенных транзакций внешнеторгового

оборота металлопродукции• База данных «Топ 400 производителей

металлоконструкций»Справочники:• База почтовых кодов России• База кодов стран• Курс доллара за заявленный период• База таможенных органов• База таможенных режимов• База условий поставки

• Пропуски• Ошибки заполнения• Неструктурированность

данных



Консолидация данных в Tableau

ERD-диаграмма связи с таблицей Таможня МК и СП 2004-2009

Организация связей справочников с основной таблицей

Разработка гипотез• Определить самые проходимые таможенные органы, интерпретировать результатыЧем интересна гипотеза:Данный вопрос может заинтересовать дистрибьюторов рынка металлоконструкций, так как формирование складских помещений и логистики на основании проходимых объемов может быть целесообразным. Также по данному показателю можно формировать команды и/или заниматься расширением таможен, ведь их загруженность может быть весьма динамичной • Определить динамику цен металлопродукции и проверить гипотезу взаимосвязи с

курсом доллара Чем интересна гипотеза:Прогнозирование цен на металлоконструкции



Загруженность таможенных органовСоздаем справочник таможенных органов1. Формирование списка объектов2. Удаление дубликатов и ошибок3. Вычленение адресов объектов4. Объединение с ключевой сущностью5. Нанесение на карту6. Формирование ТОП проходимости таможенных органов7. Создание дашбордов8. Поверхностная интерпретация результатов





Связь цены на металлоконструкции с курсом доллара

1. Определить предпосылки гипотезы2. Организовать справочник курса доллара за 2004-20093. Устранить пропуски4. Посмотреть динамику курса доллара и цены на МК5. Построить диаграмму рассеивания*6. Регрессионный анализ7. Создание дашбордов8. Интерпретация результатов





• Во время кризиса стандартное отклонение увеличилось более чем в 4 раза

Кризис

Ссылка на работу: https://public.tableau.com/profile/dmitry2592#!/



Публикация работы в сети Интернет

https://public.tableau.com/profile/dmitry2592#!/



01.05.2023

Автоматизация обработки неконсолидированных разнородных

массивов данных в целях маркетинговых исследований товарных

рынковСтудент Москвин Д.А.

Научный руководитель к.т.н. Ботвин Г.А.


1 июня 2016 г.

Economy & Finance

Автоматизация процесса обработки информации