Используем GUI-автоматизацию вместе с бизнес-пользователями

Бурмистров Валерий, Фомин Илья

Align Technology, Inc

Содержание

• Цель доклада

• О компании Align Technology

• Постановка проблемы

• Описание системы• Среда выполнения – Web-портал• Проблемы скриптов и их решения• Дополнительные возможности

• Результаты использования

• Заключение

• Q&A

2

Цель доклада

• Цель доклада• Поделиться опытом создания инфраструктуры

автоматизации тестирования, ориентированной на использование внешними по отношению к “автоматизаторам” пользователями

• Пользователи нашей GUI-автоматизации Тестировщики, разработчики Администраторы приложений Представители производства Финансисты

3

О компании Align Technology

• Align Technology, Inc – лидер в области “невидимой ортодонтии”.

• альтернатива брекетам• на рынке с 1999г.

• Мы помогаем людям улыбаться больше и таким образом делаем людей счастливее

• Размер R&D: ~200 человек

• Сайт компании - www.aligntech.com

4

Постановка проблемы

5

Постановка проблемы – зачем

6

Мы хотим:

• Чтобы наши коллеги самостоятельно использовали автоматизацию тестирования для своих нужд

Зачем??

• Уменьшение накладных расходов на коммуникации с автоматизаторами

• Недоступность целевой системы (ОС, WAN, Security)

• Уменьшение требований к экспертизе сотрудников

• Ускорение часто выполняемых операций

• Другие преимущества автоматизации в целом

• Дополнительное использование уже существующих скриптов

Постановка проблемы – сложности?

7

«Пирамида проблем»:

?Желание

Скорость

Надежность

Доверие

Информированность

Функциональность/гибкость

Доступность/простота использования

1: Среда выполнения 2: Скрипты

3: Доп. функционал

Описание системы

8

Среда выполнения (ROCS) – workflow

• Схема использования• Пользователь с помощью web-интерфейса запускает

задачу на запуск автоматизации• Задача поступает в очередь. Из очереди задачи поступают

на свободные машины в кластере и выполняются• После выполнения скрипта пользователь получает e-mail с

результатами запуска автоматизации 9

Среда выполнения (ROCS) - компоненты

10

• Сервер

• Хост для web-интерфейса системы

• Файловое хранилище для отчетов

• Кластер виртуальных машин

• Каждый клиент способен выполнить любую задачу

• Сервер БД

• Сервер лицензий (HP QTP)

Среда выполнения (ROCS) – web-портал (1/4)

Интерфейс портала:

11

Среда выполнения (ROCS) – web-портал (2/4)

Последовательность запуска:

12

1

2

3

4

5

6

7

Среда выполнения (ROCS) – web-портал (3/4)

13

Редактор параметров:

• Отслеживание:• Состояние

кластера в реальном времени на Web-портале:

• Интерфейс к БД

• VNC

14

Среда выполнения (ROCS) – web-портал (4/4)

Среда выполнения (ROCS) – отчеты (1/2)

• Результат – на e-mail• Пользователь получает детальное описание результатов

прохождение автоматизации и описание ошибок (+скриншот), если что-то пошло не так

15

Среда выполнения (ROCS) – отчеты (2/2)

• Фильтры

16

Среда выполнения (ROCS) – кластер

Кластерные клиенты:

• Виртуальные машины

• Самоорганизующиеся

• Идентичны

• Универсальны

• Обновление скриптов: Subversion

• Регулярные перезагрузки и другие методы обхода известных проблем QTP

17

VNC

SVN

Server

DB

Среда выполнения (ROCS) – БД

СУБД:

• Вспомогательная информации веб-портала и кластера

• Обмен информацией между QTP-скриптами

• Статистическая информация

• Регулярные автоматизированные отчеты

18

Среда выполнения (ROCS) – Преимущества

• “Заточенность” под компанию

• Простота использования

• Дополнительная функциональность

• Бесконечная кастомизация

• Возможность совмещения нескольких тулов

• Кросс-платформенность

• Бесплатность -> масштабируемость

• Наличие экспертов по системе

19

Проблемы скриптов и методы решения

20

Проблемы скриптов и методы решения (1/2)

•Функциональность- Постоянный сбор запросов- Выдвижение предложений- Максимальная гибкость- Up-front design

•Юзабилити- Справка и документация- Введение обработки параметров по умолчанию- “Читабельные” и понятные отчеты

21

Проблемы скриптов и методы решения (2/2)

•Доверие- Видео, показательные забеги- Хорошие логи, побольше скриншотов- Прозрачное отображение на тест-сценарии

•Надежность- Обработка исключительных ситуаций- Подробное описание ошибок

•Скорость- Возможность выключения ненужных шагов- Распараллеливание, если возможно- Внимание к мелочам при разработке скриптов

22

Дополнительные возможности системы

• Возможность поиска уже созданных данных для немедленного использования

23

Дополнительные возможности системы

• Проверка работоспособности тестовых сред• Регулярные запуски на 6 тестовых средах (+ по запросу)• Результаты на портале в реальном времени:

24

Результаты использования

25

Результаты использования (1/2)

• Используется в 4 географических зонах:• США (Калифорния), • Коста-Рика, • Мексика, • Россия (Москва)

• Используется в различных департаментах: Тестировщики, разработчики Администраторы приложений (для Smoke Tests) Представители производства (для UAT) Финансисты (для UAT финансовой части)

26

Результаты использования (2/2)

• 30-40 внешних пользователей в неделю• Несколько сот запусков скриптов в неделю• С начала 2010 года автоматизацией создано более 54 000

пациентов (что эквивалентно трудоемкости порядка 15-20 человеко-лет):

27

Jan Feb Mar April May June July Aug Sep Oct0

1000

2000

3000

4000

5000

6000

7000

8000

Bots Automation Msk INTL Total

Заключение

• Создана инфраструктура автоматизации, которая используется “неавтоматизаторами”

• Общение с системой через Web-интерфейс • Систему часто используют люди, далекие от R&D(бизнес-пользователи, администраторы, менеджмент)

• Система имеет ряд полезных свойств, в частности:• Удобство и простота использования• Оптимизация использования лицензий• Расширяемость (за счет виртуализации)• Наличие дополнительного функционала

Надеемся, что этот опыт будет Вам полезен!

28

Спасибо!

Вопросы?

29

Контактная информация (backup slide)

• Бурмистров Валерий – Senior SQA Manager• E-mail – vburmistrov@aligntech.com• Profile - http://valeriyburmistrov.moikrug.ru/

• Фомин Илья – SQA Automation Team Lead• E-mail – ifomin@aligntech.com• Profile - http://i-fomin.moikrug.ru/

30