Визуализация данных на географических картах

Тематические карты в Tableau

v0.3

Заходякин Глеб postlogist@gmail.com Факультет логистики НИУ ВШЭ

План занятия • Способы визуализации данных на картах • Виды геоданных • Геокодирование • Построение тематических карт в Tableau

– Картограммы – Карты со значками – Картодиаграммы

• Расширение возможностей Tableau – Геокодирование объектов на территории РФ – Подключение дополнительных источников карт

2

Файлы данных • Файлы данных для выполнения тренинга можно загрузить по

ссылке: https://yadi.sk/d/aDo7AnGUdVXvk

3

Тематическая карта • Визуализация данных на географической карте повышает их наглядность • Тематическая карта - карта, отражающая какой-нибудь один сюжет (тему,

объект, явление, отрасль) или сочетание сюжетов

4

Визуализация с помощью значков • Изображение точек интересов (POI, points of interest) значками – наиболее

простой способ визуализации. Применим для данных, которые привязаны к некоторой точке, либо для которых не важна точность отображения области

5

Картодиаграммы • Картодиаграммы – это сочетание диаграмм с географической картой.

Применимы, если можно пренебречь размером области, для которой отображаются показатели

• Популярные способы изображения: – с помощью символов, размер которых пропорционален показываемой величине

(proportional symbol map) – с помощью круговых диаграмм (pie chart map)

6

Картограммы • Картограмма (choropleth) – карта, на которой цветом, насыщенностью или

штриховкой показывается интенсивность какого-либо показателя для различных областей

• Областями обычно являются объекты административно-территориального деления (страны, районы, города)

7

Виды геопространственных данных • Карты строятся из элементов:

– точки (point) – линии (polyline) – полигоны (polygon)

8

Визуализация: точки

9

Визуализация: линии

10

Визуализация: полигоны

11

Картографическая проекция • Картографическая проекция – математически определенный способ отображения

поверхности Земли на плоскость • В любой проекции существуют искажения нескольких видов: длин, углов, площадей, форм • На мелкомасштабных картах, используемых для визуализации, искажения особенно

заметны, поэтому в зависимости от задачи стараются выбрать проекцию с нужными свойствами

12

Проекция Меркатора

Тайлы • Карты, используемые как подложка для визуализаций, хранятся в растровом

формате • Для ускорения загрузки изображение карты разбивается на отдельные элементы

– тайлы (tiles), которые загружаются по необходимости • Для каждого масштаба карты (zoom level) используется свой набор тайлов • Картографические сервисы могут предлагать разные наборы тайлов, отражающие

тематику карты

13

Геокодирование • Геокодирование (geocoding) – определение географических

координат для объектов (POI, адреса, почтовые индексы) • Для геокодирования используются базы данных

географических объектов (локальные или веб-службы)

14

Геокодирование в Tableau • Полям набора данных можно назначить географическую роль (Geographic Role) –

например: широта, долгота, страна, город, почтовый индекс • Значения полей, имеющих географическую роль, автоматически геокодируются с

использованием встроенной базы данных • При добавлении на визуализацию полей с географическими ролями

автоматически выбирается тип визуализации - карта

15

Повторяющиеся названия • Названия городов могут повторяться, поэтому необходимо

уточнять, к какому именно региону относится название

16

Уточнение названий • Для уточнения принадлежности географических названий необходимо добавить

на визуализацию дополнительные поля, имеющие географическую роль (например, страну, регион…)

17

Иерархия географических ролей • В Tableau встроены несколько иерархий географических

ролей: – Country (Name) – Country (Name), State/Province – Country (Name), State/Province, City – Country (Name), State/Province, County – Country (Name), ZIP Code/Postcode – Country (Name), Area Code

• Можно дополнять и расширять существующие иерархии, либо добавлять собственные

• Для объектов, имеющих площадь (страна, штат/регион), в базе данных Tableau помимо точечных координат хранятся также и полигоны

18

КАРТОГРАММЫ И КАРТОДИАГАММЫ

Построение тематических карт в Tableau

19

Файл данных (newlab) • Создайте новую рабочую книгу Tableau • Создайте новое подключение к файлу данных Access newlab.mdb • Добавьте подключение к таблице ВсеЗаказы (эта таблица формируется на основе заранее

созданного в Access запроса) • Для ускорения обработки, а также обеспечения возможности использования расширенных

возможностей Tableau для агрегирования данных, выберите режим подключения с извлечением данных (Extract)

• Перейдите к рабочему листу (Go to Worksheet). Программа предложит сохранить извлеченный набор данных – выберите тот же каталог, в котором находятся файл данных и рабочая книга

20

Назначение географических ролей • Tableau может автоматически определять географическую роль поля на основе

его названия. Однако это работает только если название поля приводится на английском языке (City, Country, …)

• В остальных случаях роль нужно назначить вручную с помощью контекстного меню поля

• Выберите географическую роль Country/Region для измерения СтранаКлиента

• Выберите роль City для измерения ГородКлиента

21

Картограмма оборота по странам • Двойным щелчком по измерению СтранаКлиента добавьте его на визуализацию • Поле СтранаКлиента автоматически добавилось в область деталей, а полученные

в результате геокодирования координаты – в область строк и столбцов • Переключите тип графических элементов (Marks) с Automatic на Filled Map • Добавьте факт Выручка в область цвета (Color) • Переименуйте рабочий лист: “Картограмма оборота по странам”

22

Картодиаграмма оборота по городам • Создайте новый лист: “Картодиаграмма оборота по городам” • Двойным щелчком добавьте на визуализацию сначала поле СтранаКлиента, а затем – поле ГородКлиента • Несмотря на уточнение, 17 городов не удалось геокодировать • Щелкните по надписи “17 unknows” в нижнем правом углу и выберите: “Edit Locations” • В столбце Matching Location для не геокодированных городов выводится: Ambiguous (несколько

вариантов) или Unrecognized (значение не найдено в базе) • Для дублирующихся названий требуется уточнить местоположение, указав дополнительные поля из

географической иерархии (в данном случае – штат). Но такие поля в этом наборе данных отсутствуют. Также можно ввести координаты непосредственно

• Для нераспознанных названий можно выбрать подходящее название из списка в поле Matching Location. Для ускорения поиска, можно набирать начало названия в поле Matching Location

23

Картодиаграмма оборота по городам • Добавьте факт Выручка в область размера (Size) • Для факта КодЗаказа выберите в контекстном меню агрегирующую функцию по умолчанию – Count

Distinct (число уникальных значений). Мы хотим посчитать, сколько заказов сделал каждый клиент, а в наборе данных содержатся строки заказов. Поэтому коды заказов дублируются и нужно учитывать только уникальные значения

• Добавьте факт КодЗаказа в область цвета (Color) • Карту можно двигать с нажатой клавишей Shift, и масштабировать по Ctrl+колесо мыши, либо кнопками

управления. Вернуться к исходному положению можно нажав на кнопку с булавкой в окне карты

24

Картодиаграмма оборота по городам • Создайте копию рабочего листа с оборотом по городам (команда Duplicate Sheet в

контекстном меню ярлыка рабочего листа) и назовите ее: Оборот по категориям и городам

• Измените тип графических элементов (Marks) на Pie

• В области цвета (Color) замените поле на Категория

• Поместите поле Выручка (из окна данных) в область доли сектора (Angle)

• Увеличьте размер графических элементов

• Выберите на карте масштаб, удобный для просмотра продаж в Европе

25

Совмещение картограммы и картодиаграммы • Сделайте копию листа, который мы только что закончили, и назовите ее Совмещенная картограмма • Продублируйте

(Ctrl-перетаскивание) поле Latitude (generated) в области строк (Rows) Примечание: нужно использовать именно активное поле Latitude (generated) в области Rows, а не перетаскивать его из окна данных еще раз

• В окне визуализации должно появиться две карты, расположенных друг под другом

• Обратите внимание, что на панели графических элементов (Marks) теперь стало три раздела – All (все панели) и еще два раздела – для верхней и нижней панели

• Щелкните по заголовку раздела для первой панели чтобы развернуть его

26

Совмещение картограммы и картодиаграммы • Уберите поле ГородКлиента

из области деталей (Detail) • Измените тип графического

элемента на Filled Map • Поместите поле КодЗаказа

в область цвета (Color) • После этого выберите

в контекстном меню второго поля с широтой в области строк (Rows) пункт: Dual Axis

• Результат показан на следующем слайде

27

Совмещение картограммы и картодиаграммы

28

ГЕОКОДИРОВАНИЕ ОБЪЕКТОВ НА ТЕРРИТОРИИ РФ

Расширение возможностей Tableau

29

Встроенная база данных для геокодирования • Встроенная база для геокодирования в Tableau содержит данные о российских

названиях, однако все они указаны в транслитерации

• Это означает, что при визуализации геоданных на территории РФ, требуется, чтобы в наборе данных были указаны именно эти варианты названий

• Таблицы геокодирования, фрагменты которых приведены выше, можно соединять с другими наборами данных, если задать соответствие названий на русском языке и транслите, либо соотвествие кодов

• Есть и другие способы решения проблемы геокодирования, которые будут рассмотрены позднее

30

Фрагмент списка Российских регионов и городов - russian_names.xlsx

Файл данных • Создайте новую рабочую книгу Tableau: russian_names.twbx • Создайте подключение к файлу Excel: russian_names.xlsx (лист Cities) • Задайте для поля Name географическую роль: City, а для поля Region – роль State/Province • Перейдите к рабочему листу (Go to Worksheet)

31

Расположение городов • Постройте карту расположения известных Tableau российских городов, для этого:

– добавьте поле Region в детали (Detail), а поле Name – в область метки (Label) – измените цвет маркера на красный и установите прозрачность (Transparency) 50% – уменьшите размер маркера

• В правом нижнем углу выводится предупреждение о ненайденных объектах, постарайтесь решить (уменьшить) эту проблему

32

Совмещенная картограмма • Постройте на новом листе совмещенную картограмму: маркерами покажите расположение

городов, а заливка региона должна отражать число уникальных кодов городов в этом регионе

• Чтобы посчитать число уникальных кодов, сделайте поле ID фактом и измените агрегирующую функцию на Count Distinct

33

ИСПОЛЬЗОВАНИЕ СЕРВИСА ПАКЕТНОГО ГЕОКОДИРОВАНИЯ

Расширение возможностей Tableau

34

Файл данных • Откройте в Excel файл данных hse_campus.xlsx • Этот файл содержит список адресов общежитий, учебных и административных зданий, принадлежащих

ВШЭ (с сайта http://www.hse.ru/buildinghse) • Tableau не содержит базы данных для геокодирования отдельных адресов, поэтому нам придется

воспользоваться услугами стороннего ресурса

35

Сервис пакетного геокодирования • Откройте в браузере страницу: http://www.findlatitudeandlongitude.com/batch-geocode/ • Скопируйте содержимое столбца Address (без заголовка) из Excel и вставьте этот список

адресов в форму Input • На панели Batch Geocode Output Fields установите флажок address out, чтобы выводился

адрес, распознанный службой геокодирования. Это не обязательно, но поможет проверить, правильно ли обработан адрес

• Обратите внимание, что разделители элементов адреса – запятые, а для формата координат выбраны градусы широты и долготы

• Нажмите на кнопку geocode и подождите, пока завершится процесс Должно обработаться 49 адресов

36

Добавление координат • Сохраните вывод (Output) в текстовый файл (через блокнот) и импортируйте его в Excel

(команда Из Текста в разделе Данные на ленте). Желательно при импорте настроить формат десятичных разделителей, указав точку

• Добавьте координаты в файл hse_campus.xlsx • Если вы не меняли настройки десятичного разделителя при импорте, то все координаты

импортировались как текст. В этом случае выделите столбцы с координатами и выполните массовую замену точек на запятые, иначе координаты не будут распознаны Tableau как числа

• Сохраните файл как hse_campus_geocoded.xlsx

37

Добавление источников карт • Распакуйте содержимое архива mapsources.zip в папку Мои

документы\My Tableau Repository\Mapsources • В этом архиве содержатся описания дополнительных источников карт для

подложки

38

Визуализация размещения зданий университета • Создайте новую книгу Tableau – hse_campus.twbx • Перетащите файл hse_campus_geocoded.xlsx в окно Tableau • Переименуйте лист в hse_buildings • Постройте визуализацию размещения зданий Вышки (цвет обозначает тип здания) • В меню Map>Background Maps выберите Google Satellite

39