Embed Size (px)
DESCRIPTION
Reports… They have always been troublesome. Nobody wants to generate “any reports” after loads of hard work on hacking autotests. At the same time, team members are hardly satisfied with the reports they are provided. Even if your reports are decent at the moment, more than likely something will have to be changed when your automated test suite is two or three times larger. About what was “painful” and how we managed it, I will tell at Selenium Camp.
Citation preview
Watson или как мы переосмыслили отчеты
О себе
• В IT c 2006 • В автоматизации тестирования с 2007
• Руковожу автоматизацией с 2009
@PapaMinos http://test-failed.blogspot.com
62
Менеджер
63
Автоматизатор
64
Руководство
65
Research (1 week)
66
Proof of concept (month later)
67
69
Лампочки – наше всё!
610
Очень хороший отчет
611
Обычное приложение
612
На самом деле
613
Лень
614
Лень
615
Жадность
616
«Сам дурак»
617
2+ года назад (декабрь 2011)
618
2+ года назад (декабрь 2011)
619
2 года назад (март 2012)
Model-View report (TestNG+ReportNG)
620
Мы выросли
• С 9 до 600 тестов • С 1 запуска в неделю до десятков в день • Отчеты стали читать разные люди и их тоже стало больше
621
Недостатки TestNG+ReportNG
1. Фильтрация + сортировка 2. Неполный рендеринг 3. Навигация 4. Скриншоты+Верстка 5. Невозможность расширить модель 6. Не Real-time 7. Невозможность анализа отчетов
622
Проблемы рендеринга
Проблемы подхода
Проблемы рендеринга
• Одна страница • Over 9000 скриншотов • Куски верстки • Полное отсутствие навигации • Кое-что упущено
623
Невозможность расширить модель
624
Real-Time? Не, не слышали.
625
Наша специфика
626
Один ко многим
627
Вспомнить всё!
628
Как проходил тест Z на окружениях Test и Production в течении последних двух недель ?
Watson
- Ватсон, вы гей? - Холмс!?!.....Но как, черт возьми, вы узнали? - Это элементарно, Ватсон. Я вас просто спросил.
629
Watson
• Хранение данных и отображение репортов • Отображение репортов real-time • Анализ метаинформации от тестов
630
Что хранить?
631
Логи
632
Маркеры
633
Ключи
634
Модель данных
635
Модель данных
636
Модель данных
637
Demo
638
Watson: Архитектура
639
Watson: Под капотом
• Dropwizard (Jetty+Jackson+Jersey+Guava) • Google Guice • Google Charts (?) • JQuery • MongoDB • Cache-и (их много) • Свои руки и идеи коллег • Прямые руки и «чЮфство прекрасного» верстальщиков
640
Watson: Features
• Отчет по тестовому раунду • Рендеринг отчета по каждому тесту • Списки раундов • Страница стабильности • Аудит выполнения маркеров • Страница времени выполнения маркеров • Activity Stream по бегущим тестам
641
Watson: Coming soon
• Анализ stacktrace-ов • Группировка fail-ов по стектрейсам • Известные дефекты • Статистика работы страниц (Page, Actions) • Формирование сьютов
642
Watson: Profit-ы
• Рендеринг под себя • Real-Time • Анализируемость
643
Watson: мопед не мой (с)
• Facebook Scribe • LinkedIn Apache Kafka (article) • Cloudera Flume • Spotify TRS (presentation, video)
644
http://bit.ly/1hnN8LH
Это всё?
645
Спасибо! Никита Макаров Руководитель группы автоматизации тестирования, Одноклассники [email protected] !!
