54

10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

  • Upload
    2-

  • View
    373

  • Download
    2

Embed Size (px)

DESCRIPTION

* “Утром деньги, вечером стулья” — острая нехватка времени на написание функциональных автотестов из-за большого количества ручного тестирования. * “Firefox наше всё” — классическая схема работы “разработка проверяет в FF, а тестирование во всех браузерах” не всегда эффективна, когда есть дисбаланс между числом разработчиков и тестировщиков в команде. * “Специалист узкого профиля” — автоматизированные тесты долго не пишутся из-за того, что тестировщик не знает языка программирования. * “У нас все готово” — во время деплоя возникают ошибки, деплой идет долго, баги фиксятся по ходу релиза; смежные команды/заказчики/партнеры не знают о смене работы функционала, добавления полей и т.п. * “И жнец и жрец” — задача долго не проходила этап тестирования, из-за того, что разработчики чинили верстку, а не верстальщики. * “Всё как на картинке” — тестирование не может определить специфические баги в верстке, такие как отсутствие тени или закругленности углов, РМ тоже. * “Незаменимый человек” — один человек прорабатывает требования перед планированием, никто кроме самого человека не знает требований. * “Без вопросов” — из-за размытых требований тестирование не может выявить критичные баги, отсутствие информации о технических нюансах не позволяет группе тестирования указать их. * “Перфекционизм” — чрезмерное “вылизывание” перед релизом затягивает выход очередной версии продукта. * “Грузи, всё вывезет” — от релиза к релизу с добавлением новых фич скорость работы сервиса снижается.

Citation preview

Page 1: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)
Page 2: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Яхъёев

Page 3: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Люблю готовить плов для друзей

Page 4: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

— 1,5 года работаю в 2ГИС

— начал работать стажёром

— сейчас тестировщик проекта «API справочник»

Page 5: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Продукты

Page 6: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Справочное API

До 4,5 млн. пользователей в месяц700 RPS40 Гб — объём БД

География: Россия, Италия, Украина, Казахстан

Крупные партнёры: Mail.ru, 2GIS.Online

Page 7: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Личный кабинет рекламодателя

Стартап

Page 8: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

3

Page 9: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

3 раза переделывался с нуля продукт

Page 10: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Проблема

PM РАЗР ТЕСТ

Page 11: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Решение

PM РАЗР ТЕСТТЕСТ

Page 12: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Без вопросов

Page 13: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

2/5

Page 14: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

2 ч / 5 минДо

После

Page 15: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Проблема

PM РАЗР ТЕСТ

Page 16: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Решение

PM РАЗР ТЕСТТЕСТ

Page 17: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Незаменимый человек

Page 18: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

3/10

Page 19: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

3/10Дизайн баг

Баг по верстке

Page 20: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Проблема

ДИЗ РАЗР ТЕСТВЁРСТ

Page 21: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Решение

ДИЗ РАЗР ТЕСТВЁРСТ

Page 22: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Решение

ДИЗ РАЗР ТЕСТВЁРСТ

Page 23: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Всё, как на картинке

Page 24: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

2 / 1

Page 25: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

2 дня / 1 деньДо

После

Page 26: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Проблема

ДИЗ РАЗР ТЕСТВЁРСТ

Page 27: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Решение

ДИЗ

РАЗР

ТЕСТВЁРСТ

ТЕСТ

Page 28: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

И швец и жнец

Page 29: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

7

Page 30: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Сумма багов в IE =

7 * сумма багов в FF

Page 31: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

DoD отдачи задачи в тестирование — проверка в FF и IE

Решение

Page 32: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Firefox наше всё

Page 33: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

2 / 20

Page 34: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

2 дня / 20 минСтало

Было

Page 35: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Научить тестировщиков программированию

Решение

Page 36: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Специалист узкого профиля

Page 37: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

5/1

Page 38: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

5/1Разработчиков

Тестировщиков

Page 39: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Разработчики пишут фреймворк для автотестов

Решение

Page 40: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Утром деньги, вечером стулья

Page 41: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

5/1

Page 42: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

5/1Минорных багов

Критичных багов

Page 43: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Выяснить допустимое количество минорных багов на бою

Решение

Page 44: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Перфекционизм

Page 45: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Бой / Тест

Page 46: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Бой = несколько виртуальных машин

Тест = одна виртуальная машина

Бой / Тест

Page 47: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Тестовое окружение идентично боевому

Решение

Page 48: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

У нас всё готово

Page 49: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

50 55

200

Page 50: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

t1 = 50 ms t2 = 55 mst3 = 200 ms

Page 51: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

DoD выпуска релиза - проведенная нагрузка

Решение

Page 52: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Грузи, всё вывезет

Page 53: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Спасибо за внимание!

Page 54: 10 способов как не надо тестировать высоконагруженный сервис (SQA Days 2013)

Вопросы

Яхъёев Умиджон