Дмитрий Бугайченко, Одноклассники. SNA Hackathon 2016

SNAHackathon@OK.ruКак2гигабайтамогутизменитьвашвзгляднаработус

данными

ДмитрийБугайченкоDmitry.bugaychenko@corp.mail.ru

SNAHackathon2016

2

•  Дано:графидемография1Мпользователей

•  Найти:скрытыесвязи(дружбы)

•  Получить:навыкработысbigdataтехнологиями

•  Призы:гаджеты,поездкавсердцеРоссии,тусовкаскрутымиспецамииЧСВ

•  Jointhemovement:

snahackathon.org

Гдездесьchallenge?•  Решающая«фича»–количествообщихдрузейудвухчеловек– Но1000000человек–400000000связей–16000000000парсобщимидрузьями

– 2гб->200гб(+4тбвременныхданныхшафла)•  Целеваяметрика–NDCG– Метрикаранжирования– НеоптимизируетсяМЛ-методаминапрямую– Невсегдакоррелируетсметрикамикачестваклассификации/регрессии

3

Скакойсторонызайти?•  ЗнакомимсясbigdataJ•  КачаемSpark•  Запускаемподготовленныйорганизаторамипример(наноутенаночь)

•  Получаемпервыйвариантрешения•  Делаемегочутьлучше(этопросто)•  Попадаемвлидерборд•  Разбираемпримерназапчастиисобираемнечтоновое

•  ИвотвынавершинеJ

4

КакзаходитьНЕстоит

•  Всего2гигаданных–нафигтутбигдата?!•  Щазапилювсенапитоне!•  Хм,четондолговатопыхтитвентилятором,попробуюподкрутить…

•  Адисочек-точеговдругсталшуршатьтакгромко?Мда,сейчаспоправим…

•  Эй!ЧтозначитNospacele�ondevice??!!•  Дануваснафигсвашимхакатоном–данныемутные,метрикакакая-токривая,даещеиноутчутьнеугробили

5

Какзайтиможно,нодалекоуйтинеполучится•  Тутестьготовоерешение,нучтож,попробуем•  Ой,Scala…Какаяжонастрашная…•  Новродеработает…•  О!Знакомоеслово!Logis�cRegression…Попробуюткнутьсюдапалкой…

•  Япопалвлидерборд,ураJ•  Надопродолжатьменятьэтоместо,главноеничеговокругнесломать

•  Хм,тутмногиеужесотнюперевалили,амневсеникак80непройти…Какжетак?

6

Вчемсекретуспеха?•  Задачавыглядитпросто,нопервоевпечатлениеобманчиво

•  Примернаспаркесоскалойвыглядитсложно,нотожетольконапервыйвзгляд

•  Приэтомпримерсодержитмассуизъянов–онбылтакимзадуман,чтобыеголегкобылоулучшить

•  Наилучшегорезультатдобиваютсятектонепобоялсявзятьпример,азатемразобратьеговхламиначатьсобиратьсвоерешение

7

Осторожно!ПослепервогосабмитавамзахочетсяделатьэтоещеиещеJ

8