Embed Size (px)
Citation preview
Нейронные сетки: покруче интернета
BigData18 сентября 2015г.
2
Сплошное надувательство: интернет
3
Oops!... I did it again
• Основные инвестиции приходят после того, как пузырь лопнул• Продукты появляются через год-два-три после вложения денег• Сравните: первый WWW-сайт появился в 1991, пузырь лопнул в 2000
4
Сегодня: один миллиард долларов в приложениях глубокого обучения
https://medium.com/@VentureScanner/the-state-of-artificial-intelligence-in-six-visuals-8bc6e9bf8f32
5
Круче интернета: вся промышленность, наука и искусство, а не только транспорт
Интернет• телефон-на-стероидах, газета-на-
стероидах, телевидение-на-стероидах, библиотека-на-стероидах – логистика (транспорт и склады).
• Управление информацией (информацию не меняем): максимизировать поток релевантной информации оттуда, где она есть туда, где она нужна.
Нейронные сетки:• Софт-на-стероидах (какая-то обработка
информации, «обрабатывающая промышленность», «наука», «искусство»).
• Инженерия информации (информацию меняем, создаём новую): понять потребности, сформулировать требования, придумать решение, сформулировать результат, проверить результат на соответствие требованиям и потребностям
Синергия: инженерия и управление обычно тесно связаны, одно без другого не бывает. Промышленные центры и железные дороги неразрывны. Нейронные сетки и интернет существенно дополняют друг друга.
6
Почему сейчас?Оборудование: enabling technology
Интернет • Линии связи позволили передавать
картинки на дом (т.е. стало можно использовать WWW)
• Дисплеи смогли картинки показать• Процессоры смогли картинки обработать
250Kb веб-страница• 56Kbps – 36 секунд• 1Mbps – 2 секунды• 100Mbps – 0.2 секунды
Нейронные сетки• Процессоры сумели выдать терафлоп, нужный
для научения сетки за обозримое время• Связь и память смогли дать достаточно
(миллионы) картинок для научения
• 1TFLOP -- 200млн. человек по 14 вычислений на калькуляторе в день каждый, за год
• GTX Titan X – 7TFLOPS (single preсision)• Intel Knights Landing Xeon Phi – 6TFLOPS (
http://www.zdnet.com/article/intels-next-big-thing-knights-landing/, http://arxiv.org/abs/1506.09067)
• FPGA: эксперименты, до 10TFLOPS/чип
http://www.theguardian.com/technology/2011/jul/06/broadband-speeds-uk
7
Там нет «интеллекта», в чём тогда крутость?!
•Можно обсуждать, когда точность компьютерного диагноза превысит точность диагноза, поставленного опытным врачом. Обсуждать примерно так же, как обсуждается точность замера лазерным дальномером по сравнению с точностью глазомера опытного строителя. • Только лазерный дальномер не подскажет, как строить. А
нейронная сетка сможет подсказать, как лечить. И как строить. Только и всего, ничего человеческого. • Этого хватит, чтобы жизнь поменялась круче, чем с приходом
интернета.
8
А не блеф ли это? • «50 лет ничего не происходило, и вдруг началось?! Нет, уже много раз было “волки, волки!”,
значит и сейчас всё скоро утихнет». Нет, не утихнет.• Нейронная сетка универсальна: эквивалентна машине Тьюринга, а также аппроксимирует
любую функцию -- http://neuralnetworksanddeeplearning.com/chap4.html• Это не статистика! Работает физика эволюции: так же устроено сворачивание
полимеров/белков и спиновые стёкла -- http://ailev.livejournal.com/1197148.html. И уже поминают идеи из неравновесной термодинамики -- http://jmlr.org/proceedings/papers/v37/sohl-dickstein15.html
http://arxiv.org/pdf/cond-mat/9904060v2.pdf
Эволюция: не ловится в локальном минимуме, а ползёт за счёт многоразмерности дальше!
Дилемма инноватора: мужики-то не знают!(Clayton Christensen из Гарварда)
9
Характеристики
Время
Лучшие технологии
Прорывные техн
ологии
Характеристики лучших продуктовНа рынке
Характеристики худших продуктов на рынке
http://web.mit.edu/6.933/www/Fall2000/teradyne/clay.html
Ручное программирование
Обучение глубоких нейронных сетей
10
Мои любимые примеры• Это не rocket science, студенты справляются. • Требования к аппаратуре для нейронных сетей во многих задачах
реально ниже, чем при любых других архитектурах!
• Шахматная программа в качестве магистерского диплома – 72 часа обучения до уровня международного мастера, на десктопе• Локатор для роботов: 10 градусов при трёх микрофонах,
разнесённых на 10см – стоимость всей аппаратуры <$50.
http://www.technologyreview.com/view/541276/deep-learning-machine-teaches-itself-chess-in-72-hours-plays-at-international-master/
Эксплуатация и инженерия: big data / deep learning(ремонт по состоянию, security alerts)
• Boeing Company: 85% отказов оборудования происходят невзирая на своевременное календарное обслуживание
• Emerson: 63% запланированного обслуживания задвижек не были необходимыми, поэтому перестало это делать.
• Традиционные методы предсказания поломок работают плохо.
• Методы машинного обучения работают удивительно хорошо – особенно deep learning. Ключевые особенности: – Обработка миллионов измерений от самых разных датчиков– Хорошее отделение «сигнала» от «шума»
• Первые применения: непрерывные производства (нефтянка, электростанции, химические производства, фармакологические фирмы)
11
http://www.mtell.com – condition-based monitoring
Automated, state-of-the-art predictive analysis using machine learning for early detection of equipment degradation.
12
Интеллект-стек1. Прикладной уровень2. Когнитивная архитектура3. Обучающиеся алгоритмы4. Вычислительные библиотеки5. Вычислительные языки программирования6. Аппаратное ускорение вычислений
http://ailev.livejournal.com/1210678.html
Недостаток
• Нейронную сеть нужно учить, для этого нужны данные.• Данных нужно МНОГО. Не BigData, А GiantData (миллионы
примеров)
•Данных для обучения обычно нет!
13
