Embed Size (px)
Citation preview
Рецепт еды для кошек
или внутреннее
тестирование ворганизации
Светлана ХилькоGroupon Inc. Palo Alto, USA
linkedin.com/in/lanakhilko
Минск. 24-26 ноября 2016
Обо мне
• Около 2 лет в
Groupon Mobile QA
команде
• До этого работала в
Skype (Microsoft) и
небольшом стартапе
• Люблю
путешествовать
Терминология: почему «Еда для кошек»?
Бета• -тестирование *Бе́та-тести́рование — интенсивное использованиепочти готовой версии продукта (как правило,программного или аппаратного обеспечения) сцелью выявления максимального числа ошибок вего работе для их последующего устранения передокончательным выходом (релизом) продукта нарынок.
Dogfood (Собачья еда) = Бета тестированиеСленговый термин
Catfood (Кошачья еда) = Dogfood = Бета-тестирование
Терминология: почему «Еда для кошек»?
5
Получить обратную связь от пользователей дорелиза
Уменьшить количество багов на продакшн
Уменьшить количество патчей
Быть гибкими и постоянно улучшать приложение
Облегчить жизнь QA отдела
Построить организацию, где каждый сотрудник вовлечен и знает, что его мнение важно и реально влияет на процессы внутри организации
Цели Catfood (и бета-тестирования в целом)
Ингредиенты
*составная часть какого-либо сложного соединения илисмеси, присутствующая в готовом продукте в исходном
или изменённом виде
Ингредиенты
Платформа
Бета-тестировщики
Дополнительные инструменты
Ингредиент №1
Бета-тестировщики
Бета-тестировщики
Основа
• Возможностьиспользования продукта
• Доверие и прозрачность
• Заинтересованность
• Расписание/цикличность
Коммуникация
• Блог
• Email рассылка
• Быстрый ответ на КАЖДЫЙ отзыв
• Отчет о результатах
Мотивация
• Бонусы/скидки на покупки
• Призы, подарки
• «Доска почета»
• Публичная благодарность
Ингредиент №2
Подходящая платформа
Платформа: какой она должна быть?
Подходит вашему продукту
• Веб
• Мобильное
Легко интегрировать
• С юридической стороны
• С технической стороны
Совместима сразличными
инструментами
• С имеющимися инструментами
• С планируемыми в будущем
• Jenkins/CI
• HipChat/Slack
• Jira
• Splunk и т.д.
Почему мы выбрали testfairy.com
Специализация• Мобильное
тестирование
• Все платформы
Запись видео • Действия
пользователя в реальном времени
Легкая в использовании• Бета-тестером
• Аналитиком
Логи собираются в реальном времени
Есть метрики• Производительность
• Память
• Расход батареи
• API данные
Предоставляют hit-maps• Наиболее используемый
функционал
Легкая/не нужна вообще интеграция
Молодая команда
6 человек
2 года на рынке
БЕСПЛАТНО•Для небольших компаний
•Есть платная версия с расширенным функционалом
Testfairy демонстрация
Как установить
Как обновить
Как отправить отзыв
Testfairy предоставляет
Общие данные
• Текущая и предыдущиеверсии
• Количество пользователей
• Регионы
• Количество тест сессий
• Количество отзывов
• Количество крашей
• Устройства
• Активны в настоящиймомент
Данные по сессии
Email • адрес пользователя
Видеозапись• сессии
Лог файлы•
Краш репорты•
Линия времени с •указанием активного компонента приложения
Память•
Производительность•
Скриншоты•
Testfairy демонстрация
Общие данные
Данные по каждой сессии
Ингредиент №3
Дополнительные инструменты
JIRA
В течение суток с момента получения отзыва:
Скрипт (или вручную) создает Jira тикет на каждый отзыв
Команда поддержки в первые часы просматривает каждый тикет и присваивает компонент
QA просматривает свой компонент и принимает решение по тикету
Crashlytics
Анализ отправленных отзывов о крашах Анализ состоянии билда в целом
Splunk
Информация о
серверных ошибках
Приоритизация
багов
