Локализация географии

Дорофей «Коmяpa» Пролесковский

#gisconf, 2015, Москва

OpenStreetMap.org:

● name 16 000 000 ● name:en 1 300 000● name:ru 600 000

Нужно больше минералов

● «Релиз через месяц»● 1 500 000 названий — без переводов● Без русского — никак

Не самые популярные названия

Перевод людьми

● Красиво!

● Качественно!

● Обязательно будет!

● ETA ~41 год

Онлайн-сервисы

● Transscriba● Транскриптор студии Лебедева

«Но у нас нет переводчиков с арабского на китайский!»

Машинный перевод

RNN

Референсная имплементация:

● https://github.com/sjtufs/GroundHog ● CUDA, Python, Theano

Буквы — это слова!

Five Springs Number 2 Reservoir

Фив-Спрингс-Намберское водохранилище

Flag Mountain

Флажная гора

Notch Mound

Ноичженский автономный уезд

Точность померяна!

● "Nosiv","Носов","0,0011399616"● "Nosivka","Носовка","0,0001293496"● "Nosivky","Носовки","6,07E-05"● "Nosivtsi","Носовцы","3,42E-05"

DELETE …. where cost > 1;

Скучное сделается само

ru be

Копти Копці

Ватылька Ватылька

Куюм Куюм

Ямная Ямная

Стрельникова Стрэльнікава

Заза Заза

Кудаш Кудаш

Якла Якла

Канака Канака

Шумка Шумка

Гужа Гужа

Дубянка Дубянка

Мостовой переход через реку Куохара на сумму 27903709,51

съезд с М4 на с.Дегтево и обратно

Автобусный маршрут №29 (Карандашная фабрика - Спичечная фабрика "Сибирь")

вдольтрассовая ВЛ-10 кВ ПС "Нагорная" "Восток"

Подъезд к с. Девлетяково от а/д подъезд к с. Бутаково

Подъезд к с. Константиновка от а/д подъезд к с. Уч. Майдан

вдольтрассовая ВЛ-10 кВ ПС "Нагорная" "Запад"

Подъезд к д. Кудеяровка от а/д подъезд к с. Апраксино

Витязи (а/д М1) - Лисичино - Духовщина - Белый - Нелидово

Опытный участок монорельсовой дороги на магнитном подвесе

Подъезд к паромной переправе через реку Северную Двину к пос. Зеленник

автодорожный мост через реку Обь в районе г. Сургута с подходами

Официальный зимник Нижний Бестях - Хатассы (22.12.13)

Кто поможет?

● Есть– Proof of Concept

● Надо:– UI

– Носители языков

Спасибо!

Секретный слайд

● Проект вживую в продакшене: https://ru.wargaming.net/globalmap/ ● Данные, использованные в проекте, сделанные нейросетями:

https://github.com/wgnet/globalmap/tree/master/data/rnn ● In-database функции для локализации, докрученные до

приемлемых результатов: https://github.com/wgnet/globalmap/blob/master/code/postgres_functions/translate.sql

● Оригинальный пейпер: http://arxiv.org/pdf/1409.0473.pdf ● оригинальная имплементация:

https://github.com/lisa-groundhog/GroundHog/blob/master/experiments/nmt/README.md

● Версия с изолентой: https://github.com/Komzpa/GroundHog/tree/master/experiments/nmt