Watson или как мы переосмыслили отчеты
О себе
• В IT c 2006 • В автоматизации тестирования с 2007
• Руковожу автоматизацией с 2009
@PapaMinos http://test-failed.blogspot.com
62
Менеджер
63
Автоматизатор
64
Руководство
65
Research (1 week)
66
Proof of concept (month later)
67
69
Лампочки – наше всё!
610
Очень хороший отчет
611
Обычное приложение
612
На самом деле
613
Лень
614
Лень
615
Жадность
616
«Сам дурак»
617
2+ года назад (декабрь 2011)
618
2+ года назад (декабрь 2011)
619
2 года назад (март 2012)
Model-View report (TestNG+ReportNG)
620
Мы выросли
• С 9 до 600 тестов • С 1 запуска в неделю до десятков в день • Отчеты стали читать разные люди и их тоже стало больше
621
Недостатки TestNG+ReportNG
1. Фильтрация + сортировка 2. Неполный рендеринг 3. Навигация 4. Скриншоты+Верстка 5. Невозможность расширить модель 6. Не Real-time 7. Невозможность анализа отчетов
622
Проблемы рендеринга
Проблемы подхода
Проблемы рендеринга
• Одна страница • Over 9000 скриншотов • Куски верстки • Полное отсутствие навигации • Кое-что упущено
623
Невозможность расширить модель
624
Real-Time? Не, не слышали.
625
Наша специфика
626
Один ко многим
627
Вспомнить всё!
628
Как проходил тест Z на окружениях Test и Production в течении последних двух недель ?
Watson
- Ватсон, вы гей? - Холмс!?!.....Но как, черт возьми, вы узнали? - Это элементарно, Ватсон. Я вас просто спросил.
629
Watson
• Хранение данных и отображение репортов • Отображение репортов real-time • Анализ метаинформации от тестов
630
Что хранить?
631
Логи
632
Маркеры
633
Ключи
634
Модель данных
635
Модель данных
636
Модель данных
637
Demo
638
Watson: Архитектура
639
Watson: Под капотом
• Dropwizard (Jetty+Jackson+Jersey+Guava) • Google Guice • Google Charts (?) • JQuery • MongoDB • Cache-и (их много) • Свои руки и идеи коллег • Прямые руки и «чЮфство прекрасного» верстальщиков
640
Watson: Features
• Отчет по тестовому раунду • Рендеринг отчета по каждому тесту • Списки раундов • Страница стабильности • Аудит выполнения маркеров • Страница времени выполнения маркеров • Activity Stream по бегущим тестам
641
Watson: Coming soon
• Анализ stacktrace-ов • Группировка fail-ов по стектрейсам • Известные дефекты • Статистика работы страниц (Page, Actions) • Формирование сьютов
642
Watson: Profit-ы
• Рендеринг под себя • Real-Time • Анализируемость
643
Watson: мопед не мой (с)
• Facebook Scribe • LinkedIn Apache Kafka (article) • Cloudera Flume • Spotify TRS (presentation, video)
644
http://bit.ly/1hnN8LH
Это всё?
645
Спасибо! Никита Макаров Руководитель группы автоматизации тестирования, Одноклассники [email protected] !!
Recommended
