Upload
iosif-itkin
View
1.022
Download
1
Embed Size (px)
DESCRIPTION
Citation preview
Обеспечение Качества Высоконагруженных Систем
Иосиф Иткин, Exactpro SystemsВторая Лекция в ИАТЭ27 ноября 2013
Содержание лекции
1. Автоматизация тестирования2. Обработка результатов нагрузочного тестирования3. Системы мониторинга и контроля биржевого рынка
http://www.slideshare.net/IosifItkinhttp://exactpro.com http://tmpaconf.orghttp://its-trading.ruhttps://vk.com/clubqahttp://linkedin.com/in/iosifitkin
Что такое автоматизация
Автоматизация — одно из направлений научно-
технического прогресса, использующее саморегулирующие
технические средства и математические методы с целью
освобождения человека от участия в процессах получения,
преобразования, передачи и использования энергии,
материалов или информации, либо существенного
уменьшения степени этого участия или трудоёмкости
выполняемых операций
Что такое автоматизация
Взаимодействие с системой
Взаимодействие с системой
Подходы к кодированию
1.Запись и проигрывание
2.Линейный подход
3.Модульный подход
4.Тестирование основанное на данных
5.Ключевые слова
Запись и проигрывание
Линейный подход
Устойчивость Тестов
Модульный подход
Тестирование основанное на данных
Тестирование основанное на данных
Ключевые слова
Ключевые слова
Logon TestPetya/Password123
Open Order Ticket
Send Order VOD.L 23@985
Order Ticket Should Be Closed
No Error Message
Риски использования инструментов
По ISTQB:• Нереалистичные ожидания от инструментов• Недооценка времени, затрат и усилий требуемых при
первоначальном внедрении• Недооценка времени и усилий необходимых для достижения
существенных результатов• Недооценка усилий требуемых на поддержку• Избыточная зависимость от инструмента
Уроки робоапокалипсиса
• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий
Уроки робоапокалипсиса
• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий• Относись к искусственной жизни с уважением
Уроки робоапокалипсиса
• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота
Уроки робоапокалипсиса
• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота• Спрашивай себя зачем ты создаешь нечто
Уроки робоапокалипсиса
• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота• Спрашивай себя зачем ты создаешь нечто• Главное правило робоапокалипса
Уроки робоапокалипсиса
• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота• Спрашивай себя зачем ты создаешь нечто• Главное правило робоапокалипса
Уроки робоапокалипсиса
• Легко научить робота совершать действия, гораздо сложнее
научить его понимать последствия своих действий• Относись к искусственной жизни с уважением• Не выкидывай старого робота• Спрашивай себя зачем ты создаешь нечто• Главное правило робоапокалипса
Найди себе друга робота
Своровано у John Rauser
Виды обработки данных
• Агрегация
• Распределение
• Детали
Население Лондона
http://geopub.narod.ru/student/agapova/1/4.htm
Холера
Andrea Resmini, 5th Italian IA Summit, Milano 2011The Broad Street Pump Or Where The Frenzy of Orlando Met Pulp Fiction
John Snow / Ваня Снежок
15 March 1813 – 16 June 1858
Один из основателей
эпидемиологии
Агрегация
Вывод
Работа Ивана Снежного была принята со скепсисом в 1849 году
Корреляция не является доказательством причинно следственной связи
Примеры
Работа Ивана Снежного была принята со скепсисом в 1849 году
Корреляция не является доказательством причинно следственной связи:
Корреляция между результатом ЕР и наличием КОИБ-ов
Корреляция между результатом ЕР и явкой
Корреляция между результатом ЕР и присутствие наблюдателей на участке
Что это за цифры?
Корреляция?
68 из 210 = 32%
11 из 24 = 46%
Что это означает?
Корреляция?
68 из 210 = 32%
11 из 24 = 46%
9% vs. 16%
Какие Вам еще нужны доказательства?
Корреляция?
68 из 210 = 32%
11 из 24 = 46%
9% vs. 16%
Красивых – 100%
Рекомендация для Ивана
London Medical Gazette, 1849
«The experimentum crucis would be, that the water
conveyed to a distant locality produced the disease in
all who used it, while those who did not use it,
escaped»
Correlation is not causation
Эпидемия Холеры 1854 в Сохо
Pump handle removed
The majority of the deaths occurred during this period
Распределение
Распределение
Распределение
Кто такие Бины?
Кто такие Бины?
Кто такие Бины?
Гаусс?
Не совсем. А почему?
Что такое медиана?
Распределение по бинам
http://www.pnas.org/content/early/2012/12/19/1206770110.full.pdf
Turquoise MTF – Latency
Latency Distribution Average and Consistency
Metric uS
Average 100% 108
Average 99.9% 103
Max 99.9% 381
Max 99 191
Phil Penhaligan, EXTENT Trading Technology Trends & Quality Assurance 2012, Kostroma, Romanov Leshttp://extentconf.com
И снова Холера
И снова Холера
Pump handle removed
WorkhouseWorkhouse535 people 535 people
Private Private borebore
BreweryBrewery70+ 70+
people people Private Private
boreboreFree Free beerbeer
Street pattern an obstacle
People People evacuatedevacuated
earlyearly
Bad Bad waterwater
BROAD BROAD ST ST
PUMPPUMP
А при чем тут HФТ?
Самый быстрый и самый медленный сайты
Самый быстрый и самый медленный сайты
Система под нагрузкой
Выборы, выборы…
Наш друг Чурозавр
http://oude-rus.livejournal.com/542295.html
Чтобы такого сделать плохого
Манипуляция ценамиПереигрывание объемамиУход от налоговФинансирование злаИнсайдерская торговляПроскальзывание перед клиентомМногое другое…
Часто легитимная активность выглядит как злоупотребление, и наоборот
Market Surveillance Systems
• Поток сообщений• Незаметность• Агрегация данных• Гибкая настройка правил• Помощь в обследовании
места преступления и сборе
• доказательств• Хранение данных
Market Surveillance Systems
• Поток сообщений• Незаметность• Агрегация данных• Гибкая настройка правил• Помощь в обследовании
места преступления и сборе
• доказательств• Хранение данных
Market Surveillance Systems
• Поток сообщений• Незаметность• Агрегация данных• Гибкая настройка правил• Помощь в обследовании
места преступления и сборе
• доказательств• Хранение данных
Спасибо!
Источники информации:http://www.slideshare.net/IosifItkinhttp://exactpro.com http://tmpaconf.orghttp://its-trading.ruhttps://vk.com/clubqahttp://linkedin.com/in/iosifitkin