Не хватает времени?
Нужно найти важные ошибки как можно быстрее?
Нужен критерий эффективности тест кейсов или тестовых сценариев?
Помните! Есть всего 1 час!
Не бьются?
Влагоустойчивые?
Подзаводятся?
Протестируем часы
ОпределенияРиск – это возможное событие, влекущее за собой
материальные или иные затраты.
Подверженность Рискам (Risk Exposure) – оценка возможности фейла конкретной функциональности.
Тестирование – основная защита от рисков.
Risk Driven Testing – метод, при котором в первую очередь и/или более подробно тестируются те части функционала, которые более подвержены рискам.
Основные действия :• определить риски отдельных
функциональных частей;
• создать список функциональных частей, распределенных по подверженности рискам;
• написать тест кейсы;
• проходить максимальный набор тест кейсов за отведенное время.
Источники рисков:
• Продукт (реализована неправильная логика, ошибки);
• Проект (плохой процесс, сложность проекта);
• Пользователи (могут использовать продукт «неправильно»);
Кто несёт потери?
• Заказчик (потеря денег, потеря своего сегмента рынка );
• Разработчик (затраты ресурсов и времени на исправление проблем, затраты на поддержку продукта);
Вероятность возникновения проблемы?
Оценка вероятность фейла по:
• сложности функциональности,
• опытности команды разработчиков,
• опыту предыдущих релизов,
• зная, был ли рефакторинг кода.
• ?
Вероятность использования функциональности?
Задача
Система создаёт отчёты. Отчёт критично необходим аналитику раз в неделю.
Вероятность использования отчета: ?
Кладовщик и товар
Какова вероятность использования списка товаров?
Куда мог деться весь
товар?
Risk Exposure:
– подверженность риску (risk exposure) функциональности F;
– вероятность использования F;
– вероятность фейла F;
– цена/последствия фейла функциональности F (на продакшн);
Курьерская службаСистема со справочником медицинских
препаратов.
Справочник используется при 1/3 заказов.
Нерабочий справочник – служба теряет заказ – 500т.р.
Неверно работает – служба выплатит неустойку – 1 млн. р.
Раз в месяц справочник проверяет фармацевт. Время фармацевта – 5 т.р.
Полнаяподверженность риску:
• недоступность справочника – вероятность 10%
• неверная работа – вероятность 20%.
Полная подверженность риску : 83401,5
Стоимость потерь
Стоимость можно разделить на два типа:
– потери заказчика;
– потери разработчика продукта;
Risk Driven подход:
• оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого тест кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого тест кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;
Risk Driven подход:
• оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;
• оценивается Risk Exposure для каждого тестового сценария;
Risk Driven подход:
оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;
• оценивается Risk Exposure каждого тестового сценария;
• выбираются сценарии с наибольшей подверженностью рискам;
Risk Driven подход:
Потери тест кейса
• по шкале от 1 до 10 (самые малые – самые большие);
• веса одинаковые;
Подверженность риску тест кейса
• подсчитать количество найденных багов и средний показатель Severity багов;
• вероятность фейла – произведение количества багов на средний Severity;
• нормализовать вероятности фейла.
Тестовые сценарии:
• должны моделировать обычное использование системы пользователем;
• должны быть направлены на бизнес-процессы заказчика;
• набор тестовых сценариев должен включать в себя весь набор тест кейсов;
Risk Exposure тестового сценария
Выбор тестовых сценариевTraceability Matrix
тест кейсов и сценариев
Выбираем тестовый сценарий
Вычеркиваем лишнееиз Traceability Matrix
Есть время?
Завершение
Рассчитываем Risk Exposure
Смешная система
Существует система отображения анекдотов.
Как только приходит анекдот, срабатывает оповещение.
Пользователь может прочитать анекдот и оценить.
Появилась новая функциональность – пользователь может отправить свой анекдот.
Основные сценарии:оповещение
отображение анекдотаоценка анекдота закрытие
оповещениеотображение анекдота
закрытие
оповещениезакрытие
создание анекдотазакрытие
отправка
Основные сценарии:
идея
Traceability Matrix
TS1 TS2 TS3 TS4
1 1
1 1 1
1
1 1 1 1
1
1
Risk Exposure тест кейсов
10 0,02 0,2
8 0,2 1,6
5 0,3 1,5
3 0,1 0,3
5 0,5 2,5
5 1 5
Risk Exposure сценариев
Scenarios
TS1 3,6
TS2 2,1
TS3 1,8
TS4 7,8
Вычеркивание пройденного
TS1 TS2 TS3 TS4
1 1
1 1 1
1
1 1 1 1
1
1
Risk Exposure сценариев
Scenarios
TS1 3,3
TS2 1,8
TS3 1,6
Почему Risk Driven тестирование?
• Тестирование мотивировано рисками. Мы ищем высокоприоритетные баги.
• Тестировщики постоянно используют Risk Driven тестирование, но в динамическом режиме, основываясь на субъективных оценках. Сделаем оценку объективной.
• Нет ограничений для использования.
• При Risk Driven подходе используются только непосредственные вычисления => можно автоматизировать.