Upload
irina-radchenko
View
292
Download
3
Embed Size (px)
DESCRIPTION
Предварительная подготовка данных к публикации и оценка качества открытых данных 30.10.2013
Citation preview
Высшая школа экономики, Москва, 2013
www.hse.ru
Радченко Ирина Алексеевна кандидат технических наук, доцент http://about.me/Irina.Radchenko http://iRadche.ru
Предварительная подготовка данных к публикации и оценка качества открытых данных
2
Валидация и очистка наборов данных
Одна из важных проблем при публикации наборов данных –
наличие ошибок
3
Типичные ошибки в наборах данных
1. Смешивание различных форматов (временных, географических и т.д.)
4
Типичные ошибки в наборах данных
2. Различное представление одних и тех же значений (г., гор., город)
5
Типичные ошибки в наборах данных
3. Дублирование записей
6
Типичные ошибки в наборах данных
4. Использование разных размерностей
7
Типичные ошибки в наборах данных
5. Ошибки аббревиатур
8
Решение – использование инструментария для очистки данных
Open Refine
9
Бесплатное программное обеспечение
Совместим со всеми браузерами
Существует возможность работать в оффлайне
Нет необходимости в пересылке данных по интернету
Существует возможность работать с историей внесенных изменений
Существует возможность визуализации различных характеристик наборов данных
Существует возможность работать с данными различных машиночитаемых форматов
Преимущества Open Refine
10
Инструментарий для очистки данных
11
Очистка данных
12
Очистка данных
13
Очистка данных
14
Очистка данных
15
Очистка данных
16
Очистка данных
17
Очистка данных
18
Очистка данных
19
Источник: https://theodi.org/
Сертификация открытых данных
20
Источник: https://certificates.theodi.org/
Сертификация открытых данных
21
Источник: https://certificates.theodi.org/about
Сертификация открытых данных
22
Источник: https://certificates.theodi.org/about
Сертификация открытых данных
23
Источник: https://certificates.theodi.org/about
Сертификация открытых данных
24
Источник: https://www.gov.uk/government/publications/open-data-charter/g8-open-data-charter-and-technical-annex
Хартия G8 открытых данных
25
Источник: http://census.okfn.org
Глобальная Перепись открытых данных
26
Источник: http://blog.okfn.org/2013/10/28/government-data-still-not-open-enough/
Глобальная Перепись открытых данных
27
Источник: http://census.okfn.org/country/
Глобальная Перепись открытых данных
http://iRadche.livejournal.com/
https://www.facebook.com/iRadche
@iRadche
http://www.slideshare.net/iRadche
Спасибо за внимание! http://iRadche.ru
http://about.me/Irina.Radchenko