Embed Size (px)
Citation preview
[RE:]ОРГАНИЗАЦИЯ ПРОЦЕССА ТЕСТИРОВАНИЯ
Наталья Руколь Москва, 2014 ritconf.ru
О докладчике• Тестер 10-го
уровня• ТМ 9-го уровня• РМ 5-го уровня• Тренер и
консультант 5-го уровня
• Клёвая!
http://natalyarukol.ru
http://quality-lab.ru
http://software-testing.ru
О докладе• Занудный• Структуризатор• Ничего невозможного!
Бонус: доп.
материалы по теме!
Организовали и забыли?• Эволюционный процесс• Итеративный процесс
Когда надо проводить?
• Новый человек на проекте
• «Мы пропустили багу! А! Что делать?»
• От скуки, лишнее время на проекте
• Постоянно
Кто проводит?• Тест-
менеджер• РМ,
технический директор
• Команда• Самый
инициативный
Значит, это – ТЫ!
Пришёл сюда?
НО КАК
?
Давайте внедрим автотест
ы!
Нужно проверят
ь быстрее!
Больше багов! Сначала
расширить
команду!
НЕЛЬЗЯ ПРОСТО ВЗЯТЬ
И УЛУЧШИТЬ ТЕСТИРОВАНИЕ
Сначала – думать!
АНАЛИЗ
Анализ «Что улучшать»
• По привычным решениям
• Анкетирование и опросы
• Сбор метрик
Привычные решения
• Давайте автоматизировать!
• Давайте писать юнит-тесты!
• Давайте установим TMS!
• …
Анализ «Что улучшать»
Решения: сначала посчитай!
• Точно нужно?• Точно выгодно?• Точно поможет?• Как потом
оценим?
Анализ «Что улучшать»
СэкономилиПотратили
100%
Возврат инвестиций
Анкетирование и опросы
Анкеты• Ускоряют опрос• Дают время
подумать• Анонимно =
больше интересного
• Можно добавить оценок и посчитать
• Приоритеты направлениям и проблемам
0
3
Анализ анкет
Dev Test PM
Анализ «Что улучшать»
Опросы• Тестирование
– сервис!• Разработчики
, аналитики, РМ-ы – заказчики!
• Что они хотят?
Анализ «Что улучшать»
Опросы. Что важно?
• Слушать!• Открытость,
нет проекциям
• Готовность • Конкретизаци
я
Анализ «Что улучшать»
— Скажите, пожалуйста, куда мне отсюда идти?— А куда ты хочешь попасть? — ответил Кот.— Мне все равно… — сказала Алиса.— Тогда все равно, куда и идти, — заметил Кот.— … только бы попасть куда-нибудь, — пояснила Алиса.— Куда-нибудь ты обязательно попадешь, — сказал Кот. — Нужно только достаточно долго идти.
Метрики• Посчитали? ОК!• Насколько мы
это хотим улучшить?
• На сколько мы это хотим улучшить?
• На сколько мы это можем улучшить?
Анализ «Что улучшать»
Метрики. Что считать?
Анализ «Что улучшать»
Метрики. Что считать?
• Количество багов на CLOK
• Количество тестировщиков на разработчика
• Количество тестировщиков на 1 кв. м. офиса
Анализ «Что улучшать»
Метрики. Стандарты?Тест не пройден из-за несоответствия внутренним стандартам шумоизоляции. Отправлено на доработку.
Тест пройден, качество шумоизоляции соответствует стандарту ГОСТ Р 52231-2004
Анализ «Что улучшать»
Метрики. Что нужно НАМ?
• Текущие приоритеты проекта
• Выявленные проблемы тестирования
• Пожелания участников
Анализ «Что улучшать»
Метрики результата
• Обращения пользователей
• Покупки продукта• Конверсия на сайте• Hotfix’ы• Затраты
техподдержки• Сроки выпуска,
затраты
Анализ «Что улучшать»
Парня в горы тяни - рискни! Не бросай одного его, Пусть он в связке в одной с тобой – Там поймешь, кто такой.
Ок, узнали! Софт – отстой!Ура, метрики собраны!
Ок, узнали! Софт – отстой!Ура, метрики собраны!НО ПОЗДНОПоезд ушёл.
Метрики процесса• Тестовое
покрытие• Скорость
тестирования• Предоставляемая
информация•Отчёты•Ошибки•Статистика•И т.д.
Анализ «Что улучшать»
Тестовое покрытие• Требований• Фич• Кода • Окружений• Пользовательск
их сценариев
Мы проверили вооот столько!
Анализ «Что улучшать»
Скорость тестирования
• Одной сборки• Полного цикла
(FTP)• Time to BTS•Заведение критикалов
•Оценка валидности сборки
• Точность планирования
Анализ «Что улучшать»
Артефакты на выходе
• Ошибки•Понятность•Локализация
• Тесты• Отчёты• Статистика
Анализ «Что улучшать»
ИТОГО• Пообщались• Выявили
проблемы• Нашли способы
померить• Можно идти
отдыхать?
Анализ «Что улучшать»
Это только начало!
• Фиксируем цели
• На видном месте
• Обсуждаем совместно
ЗА РАБОТУ!
ОК, с тестированием у нас полная …Что дальше?
Например,• Пропуск 8%
ошибок• 40% КрО после 2
недель• 3 недели FTP при
2-недельных релизах
• Ошибки «непонятные», оценка 2,2
Пропуск ошибокЧто делать?
Пропуск ошибокАнализ причин пропуска•Требования•Тесты•Не хватило времени
•Человеческий фактор
Решения под причины
42% Не хватило времени на финальное тестирование
• Внедрение автоматизация
• Приоритизированные приёмочные тесты
35% потому что не поняли требования
• Согласование требований
• Совместное обсуждение
• Feature-teams
18% потому что не догадались это проверить
• Согласование тестов• Обсуждение «как
тестировать»• Повышение
квалификации тестировщиков
5% человеческий фактор
• Уволить• Наказать
Долго тестируемЧто делать?
Долго тестируемДетализируем «долго»:• Полный цикл 3
недели• Критичные ошибки
заносятся поздно• Много времени на
документирование• Много избыточных
тестов
Решения под причины
Полный цикл – 3 недели
• Внедрение автоматизации• Расширение ресурсов• Согласование «что выкинуть»
из тестов
Критичные баги заводятся поздно
• Новый анализ «почему?» – рекурсия
• Приоритеты• Обсуждение рисков перед
тестированием• Совместные демо и пре-демо
Избыточность тестов
• Что можем выкинуть? Анализ рисков!
• Аутсорс мелочей, если выкинуть нельзя
Непонятные ошибки
Что делать?
ЧО?
Непонятные ошибки
• Ввод оценок для измерений
• Уточнение «чего не хватает?»
• Внутреннее обучение
• Регламент, шаблоны
Строим процесс• Что не так?• Измеряем• Ставим цели• Анализируе
м причины• Решаем «как
решать?»
Важно при [ре]организации
• Цели всем видны и понятны
• У задач есть ответственные
• Результаты, метрики – наглядно собираются
• Промежуточные оценки и фидбеки
ИТОГО-2:• Сделал анализ
и решил, что делать?
• Планы, задачи, цели – всё есть?
• Промежуточные результаты достигнуты?
• Всё хорошо?
Непрерывность изменений
Идеал недостижим! Это ужасно, и грустно, и никогда ничего не будет хорошо!!!
Непрерывность изменений
Идеал недостижим! Это значит, что перед нами всегда будут стоять новые, интересные, развивающие задачи!
