Принятие решений в тестировании на примере тестовой стратегии

Принятие решенийв тестированиина примеретестовой стратегии

Шейко Роман

О себе• Luxoft, QA Lead• Блог: www.33testers.blogspot.ru • Weekend Testing Russia• Контакты:– E-mail: [email protected]– Twitter: @RSheyko– Skype: romko.3313

2

Intro Составление тестовой стратегии

SummaryПример Методы

http://www.33testers.blogspot.ru/

mailto:[email protected]

Решения в тестировании

3

Intro

Важность

Составление тестовой стратегии


•Высокий уровень:•Какую

стратегию тестирования выбрать?

•Какие люди нужны в команде?

Несколько раз в год

•Средний уровень:•Какую

технику тестирования выбрать?

•Как тестировать конкретный релиз?

Несколько раз в месяц

•Базовый уровень:•Баг или

фича?•Как

локализовать баг?

Каждый день

Сложность решений

Растёт сложность продуктов:• Увеличивается количество

пользователей• Растет количество платформ• Усложняются процессы

разработки

4

Intro

Сложность решений

Сложность продуктов



Пример из книги:Gerald M. Weinberg . Quality Software Management: Systems Thinking

Что делать?

1. Упрощать продукты

2. Работать в компаниях, где разрабатываются простые

продукты

3. Нанимать больше тестировщиков

4. Развивать навыки принятия решений

5

Сообщение в блоге Алана Пейджа по теме:http://angryweasel.com/blog/will-we-survive-the-future-of-software/


Summary

ДА!

НЕТ

Пример Методы

НЕТ

НЕТ

План доклада

1. Пример2. Методы принятия решений:– Структурированный подход– Эвристики

3. Составление тестовой стратегии

6

Intro Пример Составление тестовой стратегии

SummaryМетоды

7

Пример

8

Intro SummaryСоставление тестовой стратегии

МетодыПример

Как достигнуть цели?

???

Цель

Текущее состояние

9



1 этап: изучение и анализ

h1h2

w1

w2

10



2 этап: выбор альтернативы

11

Методы

Структурированный подход (Кепнер и Трего)

12

Шаги Детали1. Изучение ситуации Сбор информации

2. Анализ Чего мы хотим?Что нам мешает?

3. Генерация альтернатив Какие варианты решений у нас есть?

4. Выбор альтернативы Какие критерии для нас важны?

5. Оценка рисков Какие негативные последствия могут быть?

6. Презентация Как обосновать решение?

Подробнее об этом подходе к принятию решений – в книге:Kepner, Tregoe. The New Rational Manager



Эвристики• Эвристики – методы, которые помогают

нам принимать решения• Характерные черты:

(+) Интуитивность(+) Быстрота и легкость использования(-) Подверженность ошибкам, субъективность

13

Intro

Крутая книжка:• Пойа. Как решить задачу

SummaryСоставление тестовой стратегии


Эвристики в тестировании• Оракулы• Мнемоники:– FEW HICCUPPS– SF DIPOT– FCC CUTS VIDS

• HTSM (Heuristic Test Strategy Model)

14

Intro

Блоги об эвристиках:• Болтон: http://www.developsense.com/blog/category/heuristics/• Бах: http://www.satisfice.com/blog/archives/category/heuristics

SummaryСоставление тестовой стратегии

Мой доклад об оракулах:• http://sqadays.com/talk/12389


Сравнение методов

15



Эвристики Кепнер и Трего

16

Составление стратегии

Шаги составления тестовой стратегии

1. Изучение продукта и его окружения2. Анализ информации3. Формирование стратегии

17



18

Стратегия составления тестовой стратегии


Summary

1. Изучение продукта и его окружения

2. Анализ информации

3. Формирование стратегии


19

Соответствие HTSM и Flower HTSM

Heuristic Test Strategy Model (HTSM)

by James Bach

Flower Heuristic Test Strategy Model (FHTSM)

by me



Шаг 1. Изучение продукта и его окружения

• Знакомство• Погружение• Исследование открытых ресурсов

20


Summary

Полезные советы по сбору информации для стратегии:http://satisfice.com/tools/htsm.pdf


Знакомство и погружение

21


Summary

VID

EO

Ссылка на видео: https://www.youtube.com/watch?v=MXKBlG65u_Q


https://www.youtube.com/watch?v=MXKBlG65u_Q

Исследование открытых ресурсов

• Много «Sorry for the trouble»

• Языки: английский, немецкий, испанский

• Около 100 сотрудников

• Более 70 миллионов пользователей в 180 странах

• Проводились исследования эффективности

Lumosity

• Большие инвестиции в компанию ($30 млн)

22



Результаты изучения

23

• Более 70 млн юзеров в 180 странах• В команде около 100 человек• Регулярные и большие инвестиции• Много жалоб на продукт в

открытых ресурсах



Результаты изучения

24

• Локализация: 3 языка• Поддержка мобильных платформ• У каждой игры – свой движок• Технология: Ruby on Rails• Используется Continuous integration



Принятие решений при изучении продукта и его окружения

• Несколько методов-эвристик:– HTSM (Heuristic Test Strategy Model by James Bach) – Туры

• Особое внимание вещам, от которых зависит объем и сложность тестирования

25


Summary

Сообщение в блоге Ольги Киселевой по турам в тестировании:http://okiseleva.blogspot.ru/2015/01/blog-post_64.html


26

Шаг 2. Анализ информации

• Увеличение числа пользователей• Расширение контента• Поддержка новых платформ• Продвижение идеи развития

мозга


SummaryIntro Пример Методы

27


• Огромное число платформ• Несколько локализаций• Расширение контента• Усложнение контента• Частые релизы• Поддержка 24*7



28


SummaryIntro

• Функциональная полнота• Харизма• Расширяемость• Нагрузоустойчивость• Быстродействие• Юзабилити• Безопасность• Supportability



29

• Много платформ • Несколько локализаций• Частые релизы• У каждой игры – свой движок• Как тестировать интересность

игр?


SummaryIntro



Принятие решенийпри анализе информации

• Были сформулированы:– Бизнес цели– Трудности при достижении этих целей– Критерии качества– Трудности с точки зрения тестирования

30



• Какие техники (виды) тестирования мы будем использовать

• Другие высокоуровневые решения:– Необходимые инструменты– Стратегия автоматизации– Состав команды– И другие

31

Шаг 3. Формирование стратегии



Техники (виды) тестирования

32

Каждый релиз (1 приоритет):– Функциональное тестирование– Регрессионное тестирование

Не каждый релиз (2 приоритет):– Локализации– Быстродействие– Нагрузочное тестирование

Только для крупных релизов (3 приоритет):– Бета тестирование– Краудсорс тестирование– Адаптационное тестирование– Безопасность




33

Каждый релиз (1 приоритет):– Функциональное тестирование– Регрессионное тестирование


SummaryIntro

• Частые релизы• Расширение контента• Усложнение контента

• Функциональная полнота• Расширяемость



34

Не каждый релиз (2 приоритет):– Локализации– Быстродействие– Нагрузочное тестирование


SummaryIntro

• Более 70 млн юзеров в 180 странах• 3 локализации

• Увеличение числа пользователей



35

Только для крупных релизов (3 приоритет):– Бета тестирование– Краудсорс тестирование– Адаптационное тестирование– Безопасность


SummaryIntro

• Много платформ• Много конфигураций• Как тестировать интересность игр?

• Более 70 млн юзеров в 180 странах


• Цель - автоматизировать большую часть регрессии

• Разделить тесты по приоритетам запуска

• Технология: Selenium

Другие решения: автоматизация

36


SummaryIntro

• Много платформ• Много конфигураций• Частые релизы• Несколько локализаций


Другие решения: необходимые скилы

37

• Тестирование веба и мобилок• Опыт тестирования игр• Скриптовые языки


SummaryIntro

• Много платформ

• Мобильные платформы• У каждой игры – свой движок• Технология: Ruby on Rails• Continuous integration

• Харизма


Другие решения: состав команды

38

• 6 ручных тестировщиков• 2 тестера-автоматизатора


SummaryIntro

• Много платформ• Несколько локализаций• У каждой игры – свой движок

Каждый релиз:• Функциональное тестирование• Регрессионное тестирование

• Функциональная полнота


• Внутри компании:• функциональное• регрессионное

• Можно на outsource:• другие виды тестирования

Другие решения

39

• Прежде всего - искать баги в продукте

• Потом - quality control • Ежедневные обновления статуса тестирования на Confluence

• Каждую неделю – сводный отчет по e-mail

• Dashboards в JIRA


SummaryIntro

• Bug tracker: JIRA• TCM: HP ALM • Желательно в одной

локации


Критерий Важность Вар.1Outsource

Вар.2:Внутр. тестир.

Вар.3:Внутр. +

outsourceУровень коммуникаций 4 3 5 4Тесная интеграция тестировщиков в Scrum команде

5 1 5 3

Стоимость тестирования 3 5 2 4

Качество тестирования 7 3 5 4

Всего:3*4 + 1*5 + 5*3 + 3*7 =

5386 71

40


SummaryIntro

Взвешивание альтернатив


Принятие решенийпри формировании стратегии

• Эвристики• Матрица взвешивания альтернатив (Кепнер и Трего)• Опыт

41



42

Summary

Summary

• Сложность принятия решений возрастает • Мы можем использовать:– Структурные подходы (например, Кепнер и Трего)– Эвристики

• У всех методов есть плюсы и минусы• Поэтому в комбинировании этих методов – наша

сила

43



Следующие шаги

• Уделяйте внимание своим решениям• Контролируйте использование эвристик• Попробуйте структурные методы• Потренируйтесь в презентации решений

44



Материалы• См. на слайдах• По эвристикам:

– Книга Пойа Д. «Как решать задачу. Пособие для учителей.»– http://www.developsense.com/blog/category/heuristics/– http://www.satisfice.com/blog/archives/category/heuristics

• По тестовой стратегии:– http://satisfice.com/tools/htsm.pdf– http://33testers.blogspot.ru/2015/02/3.html– http://www.slideshare.net/EuroSTARConference/fiona-charles-slides

• По подходу Кепнера и Трего:– Книга Kepner, Tregoe «The New Rational Manager»

45



http://www.developsense.com/blog/category/heuristics/

http://www.satisfice.com/blog/archives/category/heuristics

http://satisfice.com/tools/htsm.pdf

http://33testers.blogspot.ru/2015/02/3.html

http://www.slideshare.net/EuroSTARConference/fiona-charles-slides

Вопросы?

46

Мои контакты:E-mail: [email protected]

Twitter: @RsheykoSkype: romko.3313

mailto:[email protected]

Education

Принятие решений в тестировании на примере тестовой стратегии