Проект Роботестер

Проект «Роботестер»

Илья Кацев

План доклада

Зачем?

Как?


Вступление

Зачем нужны роботы?

Зачем?

Идеальное будущее

«Робот сам ходит по сайту и все проверяет»

Части робота

Краулер

Анализ страницы

Генерация тестов

Обнаружение ошибок

7

Краулеры

Wikipedia:Поисковый робот («веб-паук», краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика.

8

Краулеры

Можно:

1.Переходить не только со страницы на страницу

2.Не извлекать информацию, а проводить тесты

9

Краулеры

Извлечение информации:Надо обойти все страницы, на которых есть различная ценная информация.

Тестирование:Надо обойти все состояния всех страниц, на которых можно осуществить различные действия.

10

Формы

11

Формы

12

Формы

13

Cложные формы

14

Очень сложные формы

15


Бесконечное количество состояний!

16


RIA (Rich Internet Application)

17

Проблемы

1.Технологии

2.Поля текстового ввода

18

Проблемы



19

Crawljax

Ali Mesbah (2009). Analysis and Testing of Ajax-based Single-Page Web Applications PhD Thesis, Delft University of Technology.

Принцип действия: полный перебор (в глубину).

20

Crawljax

Mesbah and Prasad (2011). Automated Cross-Browser Compatibility Testing. In Proceedings of the 33rd ACM/IEEE International Conference on Software Engineering (ICSE’11)

21

Проблемы



22

Что вводить?

23

Используем текст

24


25


город город дата

26


27


форма

28


формаКлючевое слово «Найти»

29


формаКлючевое слово «Найти», тип поля = «поисковый запрос»

30


формаКлючевое слово «Найти», тип поля = «поисковый запрос»

31

Веб для незрячих

32


33


34

Стратегии краулинга

35


36


37


M. Dincturk, S. Choudhary, G. von Bochmann, G.-V. Jourdan and I. Viorel Onut (2012). A Statistical Approach for Efficient Crawling of Rich Internet Applications. Web Engineering

38

Наша стратегия

До глубины k идем всеми способами

Глубже, чем на уровне k, идем одним способомПо умолчанию k = 2

39


40


41


42


43


44


45


46


47


48


49

70 состояний:


51

Общие принципы

Ходим «на один шаг»

Имитируем корректные действия пользователя

Ожидаем корректный ответ

52

Ходим на один шаг

53

Входные данные

54

Реализация

1. Анализ страницы

2. Выполняем тест-кейсы

3. Проверки

55




3. Проверки

56


1. Распознаем элементы (Webdriver)

2. Анализ текстовых полей

3. Строим граф состояний

4. Формируем тест-кейсы (Jenny)

57






58






59

Типы значенийkorpus,inn,bik,kpp,address,lastname,country,captcha,email,

flat,house,icq,patronymic,phone,street,password,

submitButton,search,

range,date,price,name,login,

anyNumbers,website,city

60

Город"type":

"city","keyWords":

[{"word":"найти","weight":0.1},{"word":"search","weight":0.1},{"word":"city","weight":2},{"word":"город","weight":0.99},{"word":"место","weight":0.7},{"word":"местоположение","weight":0.7},{"word":"станци","weight":0.725},{"word":"до","weight":0.558},{"word":"to","weight":0.558},{"word":"from","weight":0.333},{"word":"откуда","weight":0.8},{"word":"name","weight":0.1},{"word":"куда","weight":0.8},{"word":"поиск","weight":0.333},{"word":"маршрут","weight":0.925},{"word":"точк","weight":0.5}],

61

Цена

"type":"price",

"keyWords":[{"word":"price","weight":1},{"word":"цена","weight":1},

{"word":"от","weight":0.5},{"word":"до","weight":0.5},{"word":"взнос","weight":1}],

62

"type":"price",

"keyWords":[{"word":"price","weight":1},{"word":"цена","weight":1},

{"word":"от","weight":0.5},{"word":"до","weight":0.5},{"word":"взнос","weight":1}],

argmax(Σj wijlj)

Цена

63

Интерфейс обучения

64

Входные данные

65

Город (2358 значений)

66

E-mail (7520 значений)

67






68






69




3. Проверки

70




71




3. Проверки (JUnit)

72

Проверки

1.Пингуем ссылки.

73

Пример

Сценарий: ищем в поиске «Susan Boyle»

74

Пример


75

Пример


76

Проверки


2.Изучаем текст на странице.

77

Запрещенные «слова»

errorошибка . , 404 503404@не отвечаетUndefined

генствNaNошибкане удалосьне доступеннедоступенerrorproblemexception

failedunavailable a, b, c, d,…

78

Все равно:

79

Все равно:

80

Пример ошибки

81


82


83


84

Проверки


2.Изучаем текст на странице.

3.Смотрим на алерты.

4.Ищем текст красного цвета

5.SpellChecker

85

Как пользоваться?

86

User-friendly interface

87

Сначала было

88

Баг:

89

Добавили галочку

90

Текстовые поля

91

Добавили поле

92

2000 тест-кейсов!

93


94


95

Добавили еще поле

96

Переход на другой сервис

97

http://tune.yandex.ru/region/?reg_from=&retpath=http://www.yandex.ru

http://yandex.ru/

Переход на другой сервис

98

И наконец

99

Менеджерское

Робот нашел сотни тысячи багов, но как понять, что он действительно сэкономил время?

100

Будущее: отчеты

Стандартные не подходят, так как

1. Много похожих сообщений2. Много сообщений о неисправленном

101

Будущее: обучение

1.Обнаружение ошибок

2.Распознавание полей

102

Еще

1.Обратная связь

2.Исправление верстки

3.Пользовательские логи

103

Спасибо за внимание!

Илья Кацев[email protected]

Education

Проект Роботестер