Шаги мануальщика к автоматизации на крупном

проекте.Когут Андрей, Softengi

О компании

•Компания Softengi – поставщик услуг в области разработки ПО •Мы работаем преимущественно на рынках Европы и США•16+ лет опыта в области разработки программного обеспечения•Компания входит в Intecracy Group, международный ИТ консорциум

О проекте• Приложение – ERP система по анализу выбросов в окружающую среду• Отдел тестирования – 20 человек• Проект – мамонт (12 лет разработки, 21 модуль + дополнения)

Больше о нас:

www.softengi.com

www.facebook.com/softengi_ua

Что имеем на входе?

Что делать?

Желание

Необходимость

Целесообразность автоматизации тестов

Руками – практически невозможно Большие объемы данных

Точные математические расчеты Рутинные операции

Целесообразность автоматизации тестов

Риск человеческого фактора

Имеется устоявшийся функционал

Тестирование на разных аппаратных

или программных платформах,

или с разными конфигурациями

Когда автоматизация не имеет смысла

Техническая невозможность Высокая трудоемкость

Неустоявшийся функционал системы Короткий проект

Что делать дальше?

Собрать орден автоматизации

Состав рабочей группы

Основной состав:

• Технарь (тестировщик)

• Исполнитель (тестировщик)

• “Пинатель”

• Идейные вдохновители

• Менеджер проекта

Дополнительная помощь:

• Архитектор

• Системный администратор

Предварительный план действий

1. Определиться с проектом/версией для автоматизации

2. Выбрать модуль и определиться с глубиной тестирования

3. Выбрать инструмент автоматизации

4. Составить верхнеуровневый план действий/работ и оценить ориентировочное время

5. Внедрение

Правила подачи менеджеру

• Кто ваш менеджер?...

• Экономический эффект!

• Ожидаемое место применения

• Разбить проект на спринты, по 1-2 недели каждый

Правила хорошего

тона:

- Не удлинять спринт

- Не грузить

техническими деталями

(предоставлять по

необходимости)

Анализ эффективности

• Размер проекта

• Глубина/масштабность изменений

• Оценка затрат времени на ручное и автотестирование

T(manual_total) = T(manual_smoke) * N(modules) * N(smokes) = 2 * 13 * 24 = 624 h

T(automation_total) = T(dev_smoke) * N(modules) + T(logs_analysis) + T(maintenance) =

= 20 * 13 + 65 + 104 = 429 h

Поддержка автотестов

Два основных случая вмешательства в код тестов:

1. Изменение функционала

2. Изменение интерфейса

Внедрение

Доступно с первого кейса!

• Организация хранения кода

• “Continuous integration”

• Анализ логов

• Анализ проблем на конкретном

окружении - устранение

Первый баг!!!

Главное – не останавливаться

• Мониторинг результатов спринта

• Регулярные митинги! Сообщаем результаты

• Формат логов (экономим время)

• Review инструмента – проблемы,

меняем ли инструмент

• Пересматриваем глобальные цели

Выбор инструмента

 Telerik Selenium IBM RFT TestComplete

link

http://www.telerik.com/ http://docs.seleniumhq.org/about/ http://www-03.ibm.com/software/products/us/en/functional/

http://smartbear.com/products/qa-tools/automated-testing-tools

Test script language(s), especially C# support

C# supported C# supported Java, Visual basic .NETC#Script (and similar, based on JScript)

Interaction with UI (IE) Good Believed to be good(no huge problems were observed by web search)

Good Good

UI elements recognition properties management

Normal(xpath in source files)

Believed to be normal(no huge problems were observed by web search)

Medium (has own visual editor)

Normal(properties in source files)

UI elements capture Test studio – DOM explorer + capgure from page;Testing framework – Xpath in source code

Xpath in source code Capture from page DOM explorer

License Test studio - License ;Testing framework – free;

Free;Open source

License License

Support, development Regular updates There are updates Supported by IBM, but there is no active development

There are updates

Community, popularity Probably medium big poor big

IDE MSVS MSVS (for C#) Eclipse Own IDE

Special IE launching requirements

Needs to start new IE window;Then can attach to new IE windows derived from parent window; supports pop-ups

Needs to start new IE window;Then can attach to new IE windows derived from parent window; supports pop-ups

Can use existing IE window(s)

Can use existing IE window(s)

Comment Telerik specify on Microsoft technologines;C# is a major language for telerik;

Open source – some important bugs can be postponed; IE is not a major browser for selenium;C# is not a major language for selenium;

Used by Enviance  

Итоги

Достижения

Эффективность

Одобрение менеджмента

Полученный опыт

Андрей Когут

Softengi, test engineer

andrewkogut86@gmail.com

petro_8637

www.fishe4qa.com

О докладчике

Вопросы