Embed Size (px)
Citation preview
Как 3 тестировщика играючи тестируют
приложение для 10 млн пользователей
Nikolay Kozlov
1
2
Немного о себе:● в мобильном тестировании почти 5 лет ● старшийный тестировщик Android● мобильный гик● люблю находить очень сложные баги (а
кто не?)● 1 форк
3
Немного о нас:● социальная сеть для новых знакомств● более 85 миллионов загрузок на Android● 10 разработчиков● 3 инженера по качеству● недельные релизы● один большой холодильник с едой
4
WEB vs MOBILE
• Мобайл молод и изменчив
• Практики отрабатываются
• Время ☹
До релиза
● ручное тестирование● автоматизация● “dogfooding”● beta программа ● staged rollouts (спасибо Google)● системы мониторинга крашей ● пьем пиво :)
6
7
Основные инструменты
8
QA меню!
9
10
QAAPI
Помощь от бэкэнда!
11
Как устроены бета релизы
● Google Play Beta + TestFairy
● Дополнительные эксепшены
● Бета юзеры получают печеньки!
12
После релиза
● шампанское! ● мониторинг крашей● читаем ревью и смотрим рейтинги● работа со службой поддержки● смотрим на критичные графики
13
14
Пропущенный БАГ на проде
15
Краш / ANR*
● Посмотреть на краш репорт● Понять приоритет● Найти способ воспроизвести● Последний ход: расширенное
логирование + TestFairy
* на данный момент у нас 1 краш на 75000 запусков приложения
16
Другие баги
17
● Понять приоритет● Посмотреть что пользователи говорят
(ревью, служба поддержки)● Найти шаги для воспроизведения
Перевыкладка?
18
● Обычно 2-3 часа (1 час для топ девелоперов)
● Безболезненно (?) для пользователей
● В экстренных случаях: скрины апдейта / апгрэйда
Перевыкладка
19
Контроль над разрабатываемой фичей
Все фичи можно включить / выключить на стороне сервера в любой момент времени:
● По странам● По версии приложения● % пользователей
20
Итоги
21
● Наши инструменты● Что мы делаем до релиза● Что мы делаем после релиза
и что мы пьем :)
