Embed Size (px)
Citation preview
[email protected]Как2гигабайтамогутизменитьвашвзгляднаработус
данными
ДмитрийБугайченко[email protected]
SNAHackathon2016
2
• Дано:графидемография1Мпользователей
• Найти:скрытыесвязи(дружбы)
• Получить:навыкработысbigdataтехнологиями
• Призы:гаджеты,поездкавсердцеРоссии,тусовкаскрутымиспецамииЧСВ
• Jointhemovement:
snahackathon.org
Гдездесьchallenge?• Решающая«фича»–количествообщихдрузейудвухчеловек– Но1000000человек–400000000связей–16000000000парсобщимидрузьями
– 2гб->200гб(+4тбвременныхданныхшафла)• Целеваяметрика–NDCG– Метрикаранжирования– НеоптимизируетсяМЛ-методаминапрямую– Невсегдакоррелируетсметрикамикачестваклассификации/регрессии
3
Скакойсторонызайти?• ЗнакомимсясbigdataJ• КачаемSpark• Запускаемподготовленныйорганизаторамипример(наноутенаночь)
• Получаемпервыйвариантрешения• Делаемегочутьлучше(этопросто)• Попадаемвлидерборд• Разбираемпримерназапчастиисобираемнечтоновое
• ИвотвынавершинеJ
4
КакзаходитьНЕстоит
• Всего2гигаданных–нафигтутбигдата?!• Щазапилювсенапитоне!• Хм,четондолговатопыхтитвентилятором,попробуюподкрутить…
• Адисочек-точеговдругсталшуршатьтакгромко?Мда,сейчаспоправим…
• Эй!ЧтозначитNospacele�ondevice??!!• Дануваснафигсвашимхакатоном–данныемутные,метрикакакая-токривая,даещеиноутчутьнеугробили
5
Какзайтиможно,нодалекоуйтинеполучится• Тутестьготовоерешение,нучтож,попробуем• Ой,Scala…Какаяжонастрашная…• Новродеработает…• О!Знакомоеслово!Logis�cRegression…Попробуюткнутьсюдапалкой…
• Япопалвлидерборд,ураJ• Надопродолжатьменятьэтоместо,главноеничеговокругнесломать
• Хм,тутмногиеужесотнюперевалили,амневсеникак80непройти…Какжетак?
6
Вчемсекретуспеха?• Задачавыглядитпросто,нопервоевпечатлениеобманчиво
• Примернаспаркесоскалойвыглядитсложно,нотожетольконапервыйвзгляд
• Приэтомпримерсодержитмассуизъянов–онбылтакимзадуман,чтобыеголегкобылоулучшить
• Наилучшегорезультатдобиваютсятектонепобоялсявзятьпример,азатемразобратьеговхламиначатьсобиратьсвоерешение
7
Осторожно!ПослепервогосабмитавамзахочетсяделатьэтоещеиещеJ
8
