Владимир Батыгин "Методы автоматического сбора...

Методы  автоматического  сбора  данных    Владимир  Батыгин  Разработчик            Я.Субботник,  Санкт-­‐Петербург,  3  декабря  

План  o Мотивация o Классификация методов o Примеры существующих систем o Заключение.

2

1996 Web Mining

3

«The World-Wide Web: quagmire or gold mine?» Professor Oren Etzioni Director of the Turing Center

Интернет    

•  2003 год: в рунете 200 тысяч сайтов

•  Сейчас: в рунете 3,5 миллионов сайтов

4

Использование  в  сервисах  

Использование  в  сервисах  

6

Использование  в  сниппетах  

7

Использование  в  сниппетах  

8

План  o Мотивация o Классификация методов o Примеры существующих систем o Заключение.

9

Wrapper Induction

System

Составные  части  систем  [Chang2006]  

10

Wrapper

Extracted Data

Test Page

Un-labeled Web Pages

Manual | Supervised | Semi-supervised | Un-supervised

Классификация  методов  [Chang2006]  

11

Wrapper

Extracted Data

Test Page

Manual

Manual | Supervised | Semi-supervised | Un-supervised

Wrapper Induction

System

Классификация  методов  [Chang2006]  

12

Wrapper

Extracted Data

Test Page

Un-labeled Web Pages

Supervised

Labeled Web Pages

Manual | Supervised | Semi-supervised | Un-supervised

Wrapper Induction

System

Классификация  методов  [Chang2006]  

13

Wrapper

Extracted Data

Test Page

Un-labeled Web Pages

Semi-supervised

Manual | Supervised | Semi-supervised | Un-supervised

Wrapper Induction

System

Классификация  методов  [Chang2006]  

14

Wrapper

Extracted Data

Test Page

Un-labeled Web Pages

Unsupervised

План  o Мотивация o Классификация методов o Примеры существующих систем o Заключение.

15

Существующие  подходы  Manual Supervised Semi-supervised Unsupervised TSIMMIS [Hammer1997]

Minerva [Crescenzi1998] WebQOL [Arocena1998] XWRAP [Liu2000] W4F [Saiiuguet2001]

WIEN [Kushmerick1997] SRV [Freitag1998] RAPIER [Califf1998] NoDoSe [Adelberg1998] SoftMealy [Hsu1998]

WHISK [Soderland1999] STALKER [Muslea1999]

DEByE [Laender2002]

IEPAD [Chang2001] OLERA [Chang2004] Thresher [Hogue2005] IDE [Zhai2005]

RoadRunner [Crescenzi2001] DeLa [Wang2002] EXALG [Arasu2003] DEPTA [Znai2005] NET [Zhai2005] IEKA [Wong2007] ViDE [Liu2010]

16

Примеры  существующих  подходов  и  систем  

•  Manual o Supervised и Semi-supervised o Unsupervised o Гибридные методы

17

Manual  

Особенности:

•  Парсеры пишутся вручную;

•  Для разбора используют

– Xpath; – RegExp.

18

WebHarvest:  Easy  Web  Scraping  from  Java  

19 http://web-harvest.sourceforge.net/

Таких  инструментов  много    

20

30 Digits Web Extractor Software

Djuggler Happy Harvester Irobot Soft ListGrabber

http://www.theeasybee.com/

Проблема  

•  Высокая стоимость разарботки

•  Высокая стоимость поддержки

21

Примеры  существующих  подходов  и  систем  

ü Manual •  Supervised и Semi-supervised o Unsupervised o Гибридные методы

22

Supervised  и  Semi-­‐supervised  

Особенность:

•  Правила извлечения генерируются автоматически или под контролем пользователя.

23

24

Инструменты  

25

http://www.visualwebripper.com/

http://www.lixto.com/

http://www.denodo.com

Проблема  

•  Высокая стоимость поддержки для большого количества сайтов

26

Примеры  существующих  подходов  и  систем  

ü  Manual ü  Supervised и Semi-supervised ü  Unsupervised o  Гибридные методы

27

Unsupervised  

Особенности:

Полностью автоматические. Не требуют контроля со стороны пользователя.

28

Исследовательские  центры  на  карте  мира  

29

University of Illinois at Chicago

Università di Roma Tre Università della Basilicata

Microsoft Research Asia

Crescenzi    et  al:  RoadRunner  

•  Дано множество «хороших» страниц;

•  Строится wrapper в форме RegExp.

Подход

•  Wrapper строится на основании сравнения двух страниц одинаковой структуры.

30

31

32

33

34

Crescenzi    et  al:  RoadRunner.  Пример  

A B C D E F G H I Albania

Football Association of Albania

1930 1954 1932 PAPADHOPULLI Dhimiter

STAROVA Sulejman

None*

ZHEGA Medin

35

Проблема  

•  Низкая полнота и точность

•  Невозможно настроить под любой сайт

36

Примеры  существующих  подходов  и  систем  

ü  Manual ü  Supervised и Semi-supervised ü  Unsupervised o  Гибридные методы

37

Исследовательские  центры  

38

University of Illinois at Chicago

Università di Roma Tre Università della Basilicata

Microsoft Research Asia

From  one  tree  to  a  forest  

•  Размечается несколько начальных сайтов

•  Система настраиватется для всех сайтов с вертикали

39 [Qiang Hao et. al. 2011]

From  one  tree  to  a  forest  

40 [Qiang Hao et. al. 2011]

Оценка  

41 [Qiang Hao et. al. 2011]

План  o Мотивация o Классификация методов o Примеры существующих систем o Заключение.

42

Заключение  

•  Manual

– Когда надо собрать мало данных

•  Supervised, Semi-supervised

– Когда важна точность

•  Unsupervised

– Когда важна полнота

43

Спасибо  за  внимание!  

Вопросы?

44

Владимир  Батыгин  разработчик  vbatygin@yandex-­‐team.ru      

45