Organization of automated testing

“TEST AUTOMATION IS ANY USE OF TOOLS TO SUPPORT TESTING”

О ЧЕМ ВЫ УСЛЫШИТЕ В БЛИЖАЙШИЕ 40 МИНУТ?

1. Зачем автоматизировать

2. Планирование и оценка:● Стратегии автоматизации● Планирование● Критерии отбора тестов● Оценка успешности автоматизации

ЗАЧЕМ АВТОМАТИЗИРОВАТЬ?

1. тестировать быстрее

2. больше (чаще можно прогонять,

кроссбраузерно)

3. выгоднее

4. расти профессионально

ЧТО ЗНАЧИТ ТЕСТИРОВАТЬ ВЫГОДНЕЕ?

Тест прогоняется вручную за 10 минут

Нужно прогонять 2 раза в неделю

До релиза осталось 3 месяца

Заавтоматизировать тест - 4 часа (единоразовая трата времени)

Анализ результатов автотеста - 2 минуты

Оправдана ли автоматизация?

Сэкономили:10*2(раза в неделю)*4(недели)*3(месяца)=240Потратили:4х60 + 2 минуты *2*4*3 = 288

Прибыль: - 48 минут

Тест прогоняется вручную за 10 минут

Нужно прогонять 2 раза в неделю

До релиза осталось 3 месяца

Заавтоматизировать тест - 4 часа (единоразовая трата времени)

Анализ результатов автотеста - 2 минуты

Нужна ли автоматизация?

1. Проанализируйте цену в разрезе затраченного времени на разработку и поддержку

2. Не бойтесь сказать заказчику, что автоматизация для данного продукта не нужна

ПЛАНИРОВАНИЕ, ОЦЕНКА

1. Стратегии автоматизации

2. Поэтапность задач

3. Критерии отбора тестов (окупаемость)

4. Оценка успешности автоматизации

СТРАТЕГИИ АВТОМАТИЗАЦИИ

Давайте попробуем

Вижу цель

Крупномасштабная операция

Поэтапное наступление

Хаос

ДАВАЙТЕ ПОПРОБУЕМ

Опознавательные черты:

Нет точной цели

Пробуем разное

Сфера применения:

Впервые на проекте

Нет опыта

Залог успеха:

Оценка результата

ВИЖУ ЦЕЛЬ

Опознавательные черты:

Точная постановка задачи

Фокус на результате

Сфера применения:

Решение конеретных задач

Есть собранная статистика

Залог успеха:

Регулярная оценка статуса и успешности

КРУПНОМАСШТАБНАЯ ОПЕРАЦИЯ

Опознавательные черты:

Выделение больших ресурсов на автоматизированное тестирование

Сфера применения:

Острая необходимость АТ

Временный избыток ресурсов

Залог успеха:

Довести до результата

ПОЭТАПНОЕ НАСТУПЛЕНИЕ

Опознавательные черты:

Есть понятный вектор, но нет конкретики

Сфера применения:

Непостоянность ресурсов

Неуверенность в применимости АТ

Залог успеха:

Приоритизация

ХАОС

Опознавательные черты:

Кто-то что-то делает, но что?

Сфера применения:

Непонимание проекта

Непонимание возможностей АТ

Залог успеха:

Везение

УРОВНИ ТЕСТИРОВАНИЯ

● Пирамида показывает идеальный вариант распределения количества автотестов по категориям

● Каждый уровень характеризует количество тестов на уровне

НЕОБХОДИМО РАБОТАТЬ ПОЭТАПНО

СТАВИТЬ БОЛЕЕ МЕЛКИЕ ЗАДАЧИ

КРИТЕРИИ ОТБОРА ТЕСТОВ

Окупаемость

Неизменность

Атомарность

Независимость

Безбажность

Длительность использования

ОКУПАЕМОСТЬ

Используется при сравнении разных тестовых наборов

Помогает приоритизировать тесты

Невозможно на начальной стадии (невозможно без какой-либо минимальной автоматизации - нет точных оценок для статистики)

ОЦЕНКА РЕЗУЛЬТАТОВ АВТОМАТИЗАЦИИ

ПОЛЬЗА ОБЪЕКТИВНА:

Автотесты никому не нужны

Автозапуск никому не нужен

Никому не нужна автоматическая отчетность

Если это все не приносит РЕАЛЬНОЙ пользы проекту

ИЗМЕРЯЕМ ПОЛЬЗУ

% сэкономленных затрат

% покрытия

рост скорости отклика (стали быстрее тестировать)

повысили объемы тестирования (больше окружений, данных)

Это можно сделать как 5 тестами, так и 5 000 тестами. Число автотестов не показывает НИЧЕГО. Это задачи, которые могут привести к улучшениям, а могут и не привести.

ПРИМЕР ПОЛЬЗЫ АВТОМАТИЗАЦИИ

Вариант 1:

Мы разработали 679 тестов

Интегрировались с BTS

У нас новая среда автозапуска

Генерятся красивые отчеты

Запускаемся 8 раз за день

Вариант 2:

Сроки релизного тестирования сокращены с 5 дней до 4 часов

Регулярное тестовое покрытие увеличино с 8% до 27%

Количество окружений для регрессионного тестирования увеличено с 1 до 16

Это здорово только если:

Это РЕАЛЬНО нужно было проекту

Этого нельзя было достичь более дешевыми и простыми способами

Вариант 2:

Сроки релизного тестирования сокращены с 5 дней до 4 часов

Регулярное тестовое покрытие увеличино с 8% до 27%

Количество окружений для регрессионного тестирования увеличено с 1 до 16

НО ДАЖЕ

ОЦЕНКА АВТОМАТИЗАЦИИ

По целям

По целям, а не задачам

По НУЖНЫМ целям

С учетом затрат

ВАЖНО соотношение затрат автоматизации к ручному тестированию!★ На разработку

★ На поддержку

★ На анализ результатов

ИТОГ

Нужна ли автоматизация

Выбирем стратегию

Планируем, что и как будем автоматизировать в зависимости от

ресурсов и состояния проекта

Не отклоняемся от намеченных задач

Поэтапность

Собираем статистику и оцениваем!!!

СПАСИБО ЗА ВНИМАНИЕ