Функциональное тестирование мобильной игры в жанре MOBA

Платформа
Мобильная
Индустрия
Игровая
Услуги
Функциональное тестирование
Тестирование совместимости
Тестирование сетевого подключения
Описание проекта
Крупный Азиатский издатель заказал тестирование мобильных игровых продуктов в жанре MOBA.
Задача
Провести тестирование мобильных онлайн-игр на различных устройствах, с отличающимися версиями операционных систем с учётом разных условий доступа к интернету (Wi-Fi, сотовые сети 4G и 3G операторов «большой четвёрки») с видеофиксацией процесса тестирования в сжатые сроки.

Старт работ
На начало сотрудничества клиент не был уверен, нужна ли ему помощь со стороны. Первоначально мы тщательно ознакомились с проектом, собрали необходимую документации, изучили тест кейсы, инструментарий мобильного тестировщика и текущие ошибки. Далее, проанализировали рынок мобильных устройств, конфигурации и популярность среди пользователей.

Организация процесса
  • За несколько дней заказчик сообщает о планируемых работах.

  • За день до релиза в рабочем чате подтверждает задачу или обозначает другие сроки. Мы узнаем о совершенных изменениях и о моментах, на которые нужно обратить внимание. Создаём прогон с необходимым набором проверок и заранее распределяем блоки на тестировщиков.

  • В день старта тестирования получаем от заказчика задачу и сразу приступаем к работе.

  • При возникновении вопросов, ответственный сотрудник оперативно связывается с заказчиком, при необходимости заводит задачи на правку документации и кейсов.

Сложности
  • Заранее не известно о работах, нужно отслеживать рабочий чат.

  • Функционал может измениться к следующей версии из-за быстрого развития игры.

  • Необходимость проведения дополнительных тестов, вне календаря.

Решение
После получения заказа был проведён анализ парка мобильных устройств и приобретены дополнительные мобильные телефоны для более полного тестового покрытия. В течение суток был разработан тест сьют для проведения тестирования и выбраны 15 сотрудников для выполнения заказа под руководством тимлида.

По итогам первой итерации функционального тестирования заказчиком был скорректирован тестовый сценарий: помимо логирования ключевых показателей в определённые временные промежутки добавилось постоянное логирование всех показателей работы приложения с помощью ПО PerfDog. Основной проблемой данного ПО стало то, что полный функционал, необходимый заказчику, доступен лишь на китайском языке, английская же версия имеет урезанный функционал. В связи с разницей в часовых поясах быстро получить документацию по ПО не было возможности и разбираться с китайской версией программы пришлось своими силами.

Результат

Несмотря на усложнение задачи, сжатые сроки и первый подобный опыт мобильного тестирования, всё было выполнено. В установленный договором срок заказчик получил логи, данные PerfDog, и видеозаписи тестов на всех 15 мобильных устройствах. По результатам тестирования также были выявлены случаи нестабильной работы приложений на некоторых версиях оболочек ОС Android.
4 дня с момента подписания контракта до результата у заказчика.
В тесте использовалось 15 устройств.
270 тест-ранов (2 игры; 3 типа связи; 3 раунда; 15 устройств).
100% соблюдения сроков и бюджета

Используемые инструменты
Jira
Mantis
Testrail
Confluence
Testflight
ADB
Xcode
Imazing
Charles
Winscp
Postman
Sentry
mongoDB
Tortoise SVN
Teamcity
Jenkins
Google Chrome, Chrome DevTools
FireFox для кроссбраузерного тестирования
Opera для кроссбраузерного тестирования

Нужно тестирование или необходима консультация специалиста?
Нажимая на кнопку,
вы соглашаетесь на обработку персональных данных
Made on
Tilda