Наша лаборатория для тестирования производительности и совместимости

Платформа
ПК
Индустрия
Игровая
Услуги
Тестирование производительности
Тестирование совместимости
Описание проекта
К нам обратилась крупная ААА-студия, основным продуктом которой является игры про танки. Аудитория игры охватывает более 200 миллионов пользователей на всех крупных игровых платформах. Для поддержания стабильно высокого уровня качества игры в целом и выпускаемых дополнений ее необходимо постоянно тестировать разнообразными методами. В этой статье мы расскажем о современных методах тестирования производительности и совместимости.
Проблема
Тестирование занимает много времени — в среднем 3 дня из-за необходимости привлечения команды в 20 человек.

В связи с конфигурируемой ПК лабораторей необходимо физическое участие инженера в процессе тестирования, что увеличивало время прогона и его стоимость, нестабильность результатов тестирования производительности, высокую амортизацию комплектующих за счет постоянного физического контакта с ними, высокий риск человеческих ошибок при подготовке прогона и замене комплектующих.

Решение
Купили комплектующие, которые используют игроки, без возможности физической замены процессора и видеокарты, чтобы минимизировать человеческое вмешательство в стенды. На момент первого коммерческого запуска лаборатория состояла из 70 стендов.
Автоматизировали предварительную настройку клиента, запуск тестов и сбор тестовых артефактов.
Использовали схему с одним «главным» компьютером, на который будут выкачиваться тестовые скрипты из репозитория, будет происходить последовательная раздача на тестовые стенды, исполнение скриптов на запуск тестов и сбор тестовых артефактов.
По завершению прогона все результаты тестирования собираются на одном компьютере и тестировщики приступают к анализу артефактов. Для конечного клиента генерируется отчётная excel-таблица сравнения, в которую собираются следующие данные:
  • Список тестовых стендов, участвовавших в тестировании. Их параметры и какие операционные системы на них установлены.
  • Результаты бенчмарков для видеокарты и процессора, статусы проверки скриншотов и самих реплеев.
  • Отчеты по стабильности клиента игры, в которые включаются дампы падений если таковые имелись.
  • Таблица сравнения тестовых метрик за текущий и предыдущий прогоны.
  • Сводная таблица результатов тестирования за все прошедшие прогоны в течение месяца.

Результат
При прогонах на тестовых стендах ранее инженер осматривал визуальные дефекты с помощью реплеев. После некоторых доработок со стороны клиента стало возможным снятие скриншотов по определенным алгоритмам таким образом, чтобы в дальнейшем инженер при минимальных временных затратах мог эти скриншоты сверить с референсами.
Мы провели полную переработку тестовых скриптов и перешли на архитектуру клиент-сервер. Изменили сетевую архитектуру, разделив тестовые стенды на кластеры по 20 штук. На каждый кластер поставили промежуточный ПК, который выполняет роль буфера между «главной» машиной и конечной точкой — тестовым стендом.
Изменилась также и схема раздачи тестовых билдов. В данный момент это работает так: новый тестовый клиент также выкачивается из репозитория, но теперь раздача происходит сначала на промежуточные ПК, и далее уже идёт одновременная раздача с промежуточных ПК на тестовые машины.

Все это позволило нашему клиенту:
Снизить затраты на тестирование в 6 раз.
Сократить время тестирования с 3 дней до 1 дня.
Расширить покрытие компонентов более чем в 3 раза.
Уменьшить количество людей, необходимых для тестирования, с 20 до 6 человек.

Нужно тестирование или необходима консультация специалиста?
Нажимая на кнопку,
вы соглашаетесь на обработку персональных данных
Made on
Tilda