Тестирование производительности нового игрового режима 15×15

Платформа
ПК
Индустрия
Игровая
Услуги
Функциональное тестирование
Тестирование производительности
Описание проекта
Крупная ААА-студия, основным продуктом которой является игра про танки с аудиторией более 200 миллионов пользователей по всему миру. Возникла необходимость в проведения массового ручного тестирования функционала игры в формате боя 15×15, для оценки производительности клиента с новым функционалом.
Задачи
Мы на постоянной основе проводим для этого клиента тестирование совместимости и производительности. Для этого мы используем записи (реплеи) определенных игровых сессий, которые нам предоставляет заказчик. Тестирование почти полностью автоматизировано, созданным нами программным обеспечением для оптимизации процесса.

Нам было необходимо провести массовую итерацию ручного тестирования клиента игры (билда), для которого требовалось задействовать одновременно 30 инженеров. Клиент хотел проверить и оценить производительность игры на 120 различных конфигурациях ПК и разных версиях ОС, а также провести ручное тестирование некоторого функционала игры. Сценарий тестирования заметно отличался от стандартного автоматизированного, который мы обычно проводим.

Проблемы
  • В отделе тестирования производительности работают 5 инженеров. Это количество людей, которое необходимое для оптимальной работы лаборатории. В проведении тестирования требовалось 30 человек.

  • Все стенды лаборатории находятся в одном помещении, где нет возможности разместить 30 человек.

  • Отсутствие чек-листов на тестируемый функционал игры.

Решение
Подключили людей из смежных отделов для выполнения поставленной задачи. Задействованных людей распределили по офису и на каждое рабочее место установили по 4 тестовых ПК из лаборатории тестирования производительности и совместимости.
Использовали архитектуру клиент-сервер и буферные ПК для раздачи билдов. То есть тестовый клиент выкачивается из репозитория на мастер ПК, далее раздача происходит сначала на буферные ПК и далее уже идёт одновременная раздача с буферных ПК на тестовые ПК.
Подготовили чек-листы для инженеров, принимающих участие в тестировании.

Результат
36 часов с момента согласования заказа до готового отчета для заказчика.
Тестирование проведено на 120 различных конфигураций ПК.
Задействовано 30 QA-инженеров
Чек-листы переданы клиенту для дальнейшей работы.

Используемые инструменты
Jira
Mantis
Testrail
Confluence
Testflight
ADB
Xcode
Imazing
Charles
Winscp
Postman
Sentry
mongoDB
Tortoise SVN
Teamcity
Jenkins
Google Chrome, Chrome DevTools
FireFox для кроссбраузерного тестирования
Opera для кроссбраузерного тестирования

Нужно тестирование или необходима консультация специалиста?
Нажимая на кнопку,
вы соглашаетесь на обработку персональных данных
Made on
Tilda