Наталья Руколь (Лаборатория Качества)

[RE:]ОРГАНИЗАЦИЯ ПРОЦЕССА ТЕСТИРОВАНИЯ

Наталья Руколь Москва, 2014 ritconf.ru

О докладчике• Тестер 10-го

уровня• ТМ 9-го уровня• РМ 5-го уровня• Тренер и

консультант 5-го уровня

• Клёвая!

http://natalyarukol.ru

http://quality-lab.ru

http://software-testing.ru

natalya@quality-lab.ru

О докладе• Занудный• Структуризатор• Ничего невозможного!

Бонус: доп.

материалы по теме!

Организовали и забыли?• Эволюционный процесс• Итеративный процесс

Когда надо проводить?

• Новый человек на проекте

• «Мы пропустили багу! А! Что делать?»

• От скуки, лишнее время на проекте

• Постоянно

Кто проводит?• Тест-

менеджер• РМ,

технический директор

• Команда• Самый

инициативный

Значит, это – ТЫ!

Пришёл сюда?

НО КАК

?

Давайте внедрим автотест

ы!

Нужно проверят

ь быстрее!

Больше багов! Сначала

расширить

команду!

НЕЛЬЗЯ ПРОСТО ВЗЯТЬ

И УЛУЧШИТЬ ТЕСТИРОВАНИЕ

Сначала – думать!

АНАЛИЗ

Анализ «Что улучшать»

• По привычным решениям

• Анкетирование и опросы

• Сбор метрик

Привычные решения

• Давайте автоматизировать!

• Давайте писать юнит-тесты!

• Давайте установим TMS!

• …

Анализ «Что улучшать»

Решения: сначала посчитай!

• Точно нужно?• Точно выгодно?• Точно поможет?• Как потом

оценим?

Анализ «Что улучшать»

СэкономилиПотратили

100%

Возврат инвестиций

Анкетирование и опросы

Анкеты• Ускоряют опрос• Дают время

подумать• Анонимно =

больше интересного

• Можно добавить оценок и посчитать

• Приоритеты направлениям и проблемам

0

3

Анализ анкет

Dev Test PM

Анализ «Что улучшать»

Опросы• Тестирование

– сервис!• Разработчики

, аналитики, РМ-ы – заказчики!

• Что они хотят?

Анализ «Что улучшать»

Опросы. Что важно?

• Слушать!• Открытость,

нет проекциям

• Готовность • Конкретизаци

я

Анализ «Что улучшать»

— Скажите, пожалуйста, куда мне отсюда идти?— А куда ты хочешь попасть? — ответил Кот.— Мне все равно… — сказала Алиса.— Тогда все равно, куда и идти, — заметил Кот.— … только бы попасть куда-нибудь, — пояснила Алиса.— Куда-нибудь ты обязательно попадешь, — сказал Кот. — Нужно только достаточно долго идти.

Метрики• Посчитали? ОК!• Насколько мы

это хотим улучшить?

• На сколько мы это хотим улучшить?

• На сколько мы это можем улучшить?

Анализ «Что улучшать»

Метрики. Что считать?

Анализ «Что улучшать»

Метрики. Что считать?

• Количество багов на CLOK

• Количество тестировщиков на разработчика

• Количество тестировщиков на 1 кв. м. офиса

Анализ «Что улучшать»

Метрики. Стандарты?Тест не пройден из-за несоответствия внутренним стандартам шумоизоляции. Отправлено на доработку.

Тест пройден, качество шумоизоляции соответствует стандарту ГОСТ Р 52231-2004

Анализ «Что улучшать»

Метрики. Что нужно НАМ?

• Текущие приоритеты проекта

• Выявленные проблемы тестирования

• Пожелания участников

Анализ «Что улучшать»

Метрики результата

• Обращения пользователей

• Покупки продукта• Конверсия на сайте• Hotfix’ы• Затраты

техподдержки• Сроки выпуска,

затраты

Анализ «Что улучшать»

Парня в горы тяни - рискни! Не бросай одного его, Пусть он в связке в одной с тобой – Там поймешь, кто такой.

Ок, узнали! Софт – отстой!Ура, метрики собраны!

Ок, узнали! Софт – отстой!Ура, метрики собраны!НО ПОЗДНОПоезд ушёл.

Метрики процесса• Тестовое

покрытие• Скорость

тестирования• Предоставляемая

информация•Отчёты•Ошибки•Статистика•И т.д.

Анализ «Что улучшать»

Тестовое покрытие• Требований• Фич• Кода • Окружений• Пользовательск

их сценариев

Мы проверили вооот столько!

Анализ «Что улучшать»

Скорость тестирования

• Одной сборки• Полного цикла

(FTP)• Time to BTS•Заведение критикалов

•Оценка валидности сборки

• Точность планирования

Анализ «Что улучшать»

Артефакты на выходе

• Ошибки•Понятность•Локализация

• Тесты• Отчёты• Статистика

Анализ «Что улучшать»

ИТОГО• Пообщались• Выявили

проблемы• Нашли способы

померить• Можно идти

отдыхать?

Анализ «Что улучшать»

Это только начало!

• Фиксируем цели

• На видном месте

• Обсуждаем совместно

ЗА РАБОТУ!

ОК, с тестированием у нас полная …Что дальше?

Например,• Пропуск 8%

ошибок• 40% КрО после 2

недель• 3 недели FTP при

2-недельных релизах

• Ошибки «непонятные», оценка 2,2

Пропуск ошибокЧто делать?

Пропуск ошибокАнализ причин пропуска•Требования•Тесты•Не хватило времени

•Человеческий фактор

Решения под причины

42% Не хватило времени на финальное тестирование

• Внедрение автоматизация

• Приоритизированные приёмочные тесты

35% потому что не поняли требования

• Согласование требований

• Совместное обсуждение

• Feature-teams

18% потому что не догадались это проверить

• Согласование тестов• Обсуждение «как

тестировать»• Повышение

квалификации тестировщиков

5% человеческий фактор

• Уволить• Наказать

Долго тестируемЧто делать?

Долго тестируемДетализируем «долго»:• Полный цикл 3

недели• Критичные ошибки

заносятся поздно• Много времени на

документирование• Много избыточных

тестов

Решения под причины

Полный цикл – 3 недели

• Внедрение автоматизации• Расширение ресурсов• Согласование «что выкинуть»

из тестов

Критичные баги заводятся поздно

• Новый анализ «почему?» – рекурсия

• Приоритеты• Обсуждение рисков перед

тестированием• Совместные демо и пре-демо

Избыточность тестов

• Что можем выкинуть? Анализ рисков!

• Аутсорс мелочей, если выкинуть нельзя

Непонятные ошибки

Что делать?

ЧО?

Непонятные ошибки

• Ввод оценок для измерений

• Уточнение «чего не хватает?»

• Внутреннее обучение

• Регламент, шаблоны

Строим процесс• Что не так?• Измеряем• Ставим цели• Анализируе

м причины• Решаем «как

решать?»

Важно при [ре]организации

• Цели всем видны и понятны

• У задач есть ответственные

• Результаты, метрики – наглядно собираются

• Промежуточные оценки и фидбеки

ИТОГО-2:• Сделал анализ

и решил, что делать?

• Планы, задачи, цели – всё есть?

• Промежуточные результаты достигнуты?

• Всё хорошо?

Непрерывность изменений

Идеал недостижим! Это ужасно, и грустно, и никогда ничего не будет хорошо!!!

Непрерывность изменений

Идеал недостижим! Это значит, что перед нами всегда будут стоять новые, интересные, развивающие задачи!

Вопросы?http://natalyarukol.ru/ritconf/

mailto: natalya@quality-lab.ru

Skype: natalya.rukol