Построение процесса тестирования производительности...

Построение процесса тестированияпроизводительности игрового клиента

С чего начать и куда двигаться

Чура Олег | Шинкарев АлександрРуководитель отдела Нагрузочного Тестирования | Старший специалист отдела Нагрузочного тестирования

2Тестирование производительности игрового клиента

Для кого мы рассказываем?

• Тестировщики производительности• Менеджеры проектов, тимлиды QA• Функциональные тестировщики

Что в докладе?

• Процесс тестирования производительности• Требования к продукту• Hardware, Software• Данные, хранение и предоставление• Автоматизация

Организация процесса

Тестирование производительности игрового клиента 3

Зачем, когда, как и что тестировать?

Тестирование производительности игрового клиента 4

Зачем тестировать производительность?

• Играют только в быстрый и стабильный продукт• Системные требования четкие и адекватные• Конкурентное преимущество на рынке

• Результат – конечная прибыль и большее покрытие ЦА!

Тестирование производительности игрового клиента 5

Когда приступать?

Regular Regular

Тестирование производительности игрового клиента 6

Как тестировать?

Руками

Бенчмарками

Реплеями

Просто, можно приступать сразу, низкая точность

Эффективно, хорошо для фиксированных технологийВысокая точность

Эффективно, легко реализовать, реальный пользовательский опыт

Тестирование производительности игрового клиента 7

Что тестировать? Всё!

Компоненты игры и геймплей

Стабильность иВыживаемость

Совместимость

В тормоза никто не играет

Падения, утечки, деградация производительности

Игроку важно знать, пойдет ли игра на его стандартном или не очень железе

Требования к игреГде взять?

Тестирование производительности игрового клиента 8

Тестирование производительности игрового клиента 9

Требования к игре

Требования к жанру• FPS• Время отклика• Ресурсы системы

Требования Издателя• Системные требования (минимальные и рекомендуемые)• Настройки игры• Время запуска• Размер дистрибутива

Требования рынка• Аналогичные продукты• Совместимость• Целевая аудитория

Hardware & SoftwareТестовый стенд и окружение

Тестирование производительности игрового клиента 10

Тестирование производительности игрового клиента 11

Тестовые стенды – что это и зачем

Тестовые ПК нужны для:

• Покрытия пользовательских конфигураций и настроек игры

• Поддержки совместимого железа и ОС

• Независимости от загрузки рабочей станции и мусора в системе

• Повышения престижа отдела

Тестовый ПК – предполагаемый ПК целевой аудитории

Тестирование производительности игрового клиента 12

Тестовый стенд - важное

• Отсутствие корпоративных политик и сервисных задач• Минимум стороннего софта• Хорошее охлаждение и расположение на стойке• Подключение к монитору через KVM-свитч

13Тестирование производительности клиента World of Warships

Тестовые стенды - Hardware

14Тестирование производительности клиента World of Warships

Тестовые стенды - Hardware

8 x647 x64

7 x32 XP

8.1 x648 x 64

8.1 x328 x32

7 x647 x 64

Vista8.1 x32

ДанныеСбор и предоставление

Тестирование производительности игрового клиента 15

Источники данных – Инструменты сбора

EngineProfiler

GUIProfiler

SoundProfiler

HWMonitoring

Источники данных – ключевые метрики для сбора

Engine

Scripts

GUI

Sound

Источники данных – Мониторинг тестовых стендов

Тестирование производительности игрового клиента 19

Что делать с данными?

• Регулярно предоставлять данные в виде отчетов по• Тестам• Версиям• Направлениям разработки

• Хранить данные за весь период разработки• Для сравнения версий• Понимания прогресса• Прогнозирования проблем

20Presentation Name

Тренд производительности

Тестирование производительности игрового клиента 21

Как стоит делать отчет?

Версия игры

Информация о тестеРезолюция

(Pass | Fail | Complete)

Результаты теста(Графики, таблицы)

Тестовое окружение(Описание стендов)

Автоматизация тестирования производительности

Тестирование производительности игрового клиента 22

Разворачивание билдов, запуск тестов, предоставление результатов

Когда автоматизировать?

Тестирование производительности игрового клиента 24

Почему автоматизировать?

Как автоматизировать игры?

Выводы

Тестирование производительности игрового клиента 26

Правильный процесс

ЧеткиеТребования

ТестовыеСтенды

Предоставление Данных Автоматизация

ХорошееPerformance

ТестированиеПустой слайд

Не тестируйте производительность

Обеспечивайте её!

Спасибо за внимание!

Чура Олег

Руководитель отдела нагрузочного тестировния

29Тестирование производительности игрового клиента

Шинкарев Александр

Старший специалист отдела нагрузочного тестировния