Embed Size (px)
Citation preview
Лайфхаки ручного тестирования на мобилках
Юля Горлова
Хотим выпускать продукт высокого качества в условиях ограниченных человеческих и временных ресурсов
2GIS Mobile это– Карта, справочник, транспорт
– 8,5 млн. пользователей
– 4 платформы
2.2 - 4.4 4.3 - 7.0 10.х Harmattan
Не просто 4 платформы
2 тестировщика на проектТолько ручное тестирование
1 месяц на релиз
– Широкий диапазон ОС– Мало людей– Мало времени– Высокие требования к качеству*
*Качественно - это когда пользователи жалуются только на то, что в 2ГИС еще нет их города :)
Итого
Решения
1. Администрирование2. Управление билдами3. Сбалансированное тестирование4. Бета-тестирование5. Текущая поддержка
Администрирование
Собрался домой - покорми телефон
В тестировании более 30 устройств
Найти нужный телефон должно быть
просто
Как найти?
Сводная таблица по всем устройствам
Та самая таблица
Поля той самой таблицы
– Процессор– CPU ABI – GPS– Память– Экран– Тема
– Магнитный компас– Тачскрин– Мультитач– Поддержка OpenGL– Операционная система
Синдром вахтера
Стойка для хранения
девайсов
– Много зарядок– Открытые полки– Ничего лишнего
В качестве заставки на экране блокировки у iPad’ов – картинка с типом экрана и версией ОС
А еще так
Хозяйке на заметку
Хозяйке на заметку
Управление билдами
Для каждой платформы – своё приложение
Почему не кроссплатформенное?
1. Пользователи любят нативный дизайн
Было Стало
Android, Symbian, WinCE Android, BlackBerry, MeeGo iOS
Почему не кроссплатформенное?
1. Пользователи любят нативный дизайн
2. Приложение написано на С++, взаимодействует с системой на уровне ядра
Для каждой платформы –
свой билд-сервер
Устанавливаем сборку на девайс
Долго
1. Зайти на билд-сервер2. Скачать нужную сборку3. Подключить телефон кабелем4. Закинуть сборку в память телефона5. Отключить телефон6. Найти сборку в памяти7. Запустить установку
QR-коды!
Сбалансированное тестирование
Выпустить 1 фичу != протестировать 1 фичу
Тестируем фичу параллельно на двух платформах
Android такой разный
Миллион разных размеров экрана и разрешений
Для миллионов экранов Android’a сделали пять стандартных «тем»
Android такой прожорливый
Важно следить, что мы не разряжаем пользователю телефон
Заранее планируем тестирование расхода заряда батареи с упором на новые
фичи
Поворот экрана на iPad – это не одна галочка в настройках
Для iPad’ов планируем сессии свободного тестирования с упором
на вёрстку
Купил хлеба – перестала открываться балконная дверь по вторникам
Предустановка на Android
Каждый релиз – это 10+ почти одинаковых сборок для вендоров
– Huawei– Meizu– Highscreen– ...
Наши вендоры
10+ сборок собираются на билд-сервере одним скриптом
Проверяем только запуск и различия
Сначала iOS и BlackBerry
Верификация и регресс
Сроки поджимают: сначала отправляем в App Store,
потом регресс
Если релиз должен был быть вчера - письмо в App Store
Бета-тестирование
Выпускаем поддержку OpenGL – девайсов много не бывает
Выбрали двух этапное бета-тестирование
– сборка в состоянии «альфа» – цель: собрать основные проблемы
Внутреннее
– сборка в состоянии финальной готовности– цель: собрать специфические проблемы
Внешнее
Как это было
2ГИС для Android: хорошие новости
Как это было
Налаженный канал обратной связи на случай форс-мажорных обстоятельств
Дополнительные выгоды
Текущая поддержка
1 место в Google Play “Путешествия”
1 место в Ovi Store “Путеводители и карты”
2 место в App Store “Навигация”
Топ бесплатных
Нужно не только быстро тестировать, но и быстро реагировать на проблемы
Обратная связь бывает быстрая и полезная
Что-то пошло не так – в маркетах видно сразу
Быстрая обратная связь
1% ≈ 85 тысяч пользователей с проблемой
Потому что
Типичный отзыв в маркете:
“Всё сломалось, почините!”
Связь с техподдержкой через приложение
Полезная обратная связь
Добавляем в тело письма всю
отладочную информацию
Лечим даже сложные частные случаи
по фотографии!
Что имеем в итоге?
Если
1. Глубоко в ядре платформы2. Android3. Не только Android4. Автоматизации не будет
– Сокращайте сопутствующие расходы времени– Аллилуйя!
