Embed Size (px)
DESCRIPTION
Научно-технический семинар «Анализ поведения пользователей: сегментируем активность» в московском офисе Яндекса, 28 марта 2013 г. Юрий Устиновский, исследователь-разработчик, Яндекс.
Citation preview
Юрий Устиновский [email protected]
Анализ поведения пользователей: сегментируем активность
28 марта 2013, Москва
Îãëàâëåíèå
Ââåäåíèå
Ìåòîä
Ýêñïåðèìåíòû
Âûâîäû
Ìîòèâàöèÿ
Ïîëüçîâàòåëüñêàÿ àêòèâíîñòü â áðàóçåðå, ïîèñêîâèêå èëè íàêîíêðåòíîì ñàéòå ÿâëÿåòñÿ áîãàòûì èñòî÷íèêîì ïîëåçíîéèíôîðìàöèè: ïåðåôîðìóëèðîâêè çàïðîñîâ, íàâèãàöèÿ äî èïîñëå çàïðîñà/ïîñåùåíèÿ ïîðòàëà.
Èíôîðìàöèÿ íèêàê íå ñòðóêòóðèðîâàíà è çàøóìëåíà.Îñíîâíîé çàäà÷åé ñòàíîâèòñÿ îáðàáîòêà, ñòðóêòóðèçàöèÿ èî÷èñòêà ñûðûõ äàííûõ.
Öåëü
Ïðåäëîæèòü ìåòîä äëÿ àâòîìàòè÷åñêîãî ðàçäåëåíèÿïîëüçîâàòåëüñêîé àêòèâíîñòè íà ëîãè÷åñêè ñâÿçàííûåêîìïîíåíòû.
Ìîòèâàöèÿ
Ïîëüçîâàòåëüñêàÿ àêòèâíîñòü â áðàóçåðå, ïîèñêîâèêå èëè íàêîíêðåòíîì ñàéòå ÿâëÿåòñÿ áîãàòûì èñòî÷íèêîì ïîëåçíîéèíôîðìàöèè: ïåðåôîðìóëèðîâêè çàïðîñîâ, íàâèãàöèÿ äî èïîñëå çàïðîñà/ïîñåùåíèÿ ïîðòàëà.
Èíôîðìàöèÿ íèêàê íå ñòðóêòóðèðîâàíà è çàøóìëåíà.Îñíîâíîé çàäà÷åé ñòàíîâèòñÿ îáðàáîòêà, ñòðóêòóðèçàöèÿ èî÷èñòêà ñûðûõ äàííûõ.
Öåëü
Ïðåäëîæèòü ìåòîä äëÿ àâòîìàòè÷åñêîãî ðàçäåëåíèÿïîëüçîâàòåëüñêîé àêòèâíîñòè íà ëîãè÷åñêè ñâÿçàííûåêîìïîíåíòû.
Ìîòèâàöèÿ
Ïîëüçîâàòåëüñêàÿ àêòèâíîñòü â áðàóçåðå, ïîèñêîâèêå èëè íàêîíêðåòíîì ñàéòå ÿâëÿåòñÿ áîãàòûì èñòî÷íèêîì ïîëåçíîéèíôîðìàöèè: ïåðåôîðìóëèðîâêè çàïðîñîâ, íàâèãàöèÿ äî èïîñëå çàïðîñà/ïîñåùåíèÿ ïîðòàëà.
Èíôîðìàöèÿ íèêàê íå ñòðóêòóðèðîâàíà è çàøóìëåíà.Îñíîâíîé çàäà÷åé ñòàíîâèòñÿ îáðàáîòêà, ñòðóêòóðèçàöèÿ èî÷èñòêà ñûðûõ äàííûõ.
Öåëü
Ïðåäëîæèòü ìåòîä äëÿ àâòîìàòè÷åñêîãî ðàçäåëåíèÿïîëüçîâàòåëüñêîé àêòèâíîñòè íà ëîãè÷åñêè ñâÿçàííûåêîìïîíåíòû.
Ìîòèâàöèÿ
Ïîëüçîâàòåëü âçàèìîäåéñòâóåò ñ ïîèñêîâèêîì è áðàóçåðîìíåïðåðûâíî:
I çàäàåò çàïðîñû
I êëèêàåò íà äîêóìåíòû â âûäà÷å
I çàïðàøèâàåò íîâûå ñòðàíèöû â âûäà÷å
I ïåðåìåùàåòñÿ ìåæäó ñòðàíèöàìè èñïîëüçóÿ ññûëêè èíàâèãàöèîííûå êíîïêè áðàóçåðà
I ïåðåêëþ÷àåòñÿ ìåæäó âêëàäêàìè
I ñêðîëëèò ñòðàíèöû, âîäèò ïî íèì ìûøêîé
I óõîäèò â äðóãèå ïîèñêîâèêè
Âàæíî íàó÷èòñÿ ðàññìàòðèâàòü ýòè ñîáûòèÿ íå òîëüêîàòîìàðíî, íî è ñâÿçûâàòü èõ ìåæäó ñîáîé, ëó÷øå ïîíèìàÿ ÷òîäâèæåò ïîëüçîâàòåëåì.
Ìîòèâàöèÿ
Ïîëüçîâàòåëü âçàèìîäåéñòâóåò ñ ïîèñêîâèêîì è áðàóçåðîìíåïðåðûâíî:
I çàäàåò çàïðîñû
I êëèêàåò íà äîêóìåíòû â âûäà÷å
I çàïðàøèâàåò íîâûå ñòðàíèöû â âûäà÷å
I ïåðåìåùàåòñÿ ìåæäó ñòðàíèöàìè èñïîëüçóÿ ññûëêè èíàâèãàöèîííûå êíîïêè áðàóçåðà
I ïåðåêëþ÷àåòñÿ ìåæäó âêëàäêàìè
I ñêðîëëèò ñòðàíèöû, âîäèò ïî íèì ìûøêîé
I óõîäèò â äðóãèå ïîèñêîâèêè
Âàæíî íàó÷èòñÿ ðàññìàòðèâàòü ýòè ñîáûòèÿ íå òîëüêîàòîìàðíî, íî è ñâÿçûâàòü èõ ìåæäó ñîáîé, ëó÷øå ïîíèìàÿ ÷òîäâèæåò ïîëüçîâàòåëåì.
Ìîòèâàöèÿ
Ïîëüçîâàòåëü âçàèìîäåéñòâóåò ñ ïîèñêîâèêîì è áðàóçåðîìíåïðåðûâíî:
I çàäàåò çàïðîñû
I êëèêàåò íà äîêóìåíòû â âûäà÷å
I çàïðàøèâàåò íîâûå ñòðàíèöû â âûäà÷å
I ïåðåìåùàåòñÿ ìåæäó ñòðàíèöàìè èñïîëüçóÿ ññûëêè èíàâèãàöèîííûå êíîïêè áðàóçåðà
I ïåðåêëþ÷àåòñÿ ìåæäó âêëàäêàìè
I ñêðîëëèò ñòðàíèöû, âîäèò ïî íèì ìûøêîé
I óõîäèò â äðóãèå ïîèñêîâèêè
Âàæíî íàó÷èòñÿ ðàññìàòðèâàòü ýòè ñîáûòèÿ íå òîëüêîàòîìàðíî, íî è ñâÿçûâàòü èõ ìåæäó ñîáîé, ëó÷øå ïîíèìàÿ ÷òîäâèæåò ïîëüçîâàòåëåì.
Ìîòèâàöèÿ
 ñâÿçè ñ èçó÷åíèåì ïîëüçîâàòåëüñêèõ ñåññèé âîçíèêàåòíåñêîëüêî çàäà÷:
1. Îïðåäåëåíèå ãðàíèö ëîãè÷åñêèõ ñåññèé
2. Ïðåäñêàçàíèå ñëåäóþùåãî äåéñòâèÿ â ñåññèè
3. Èçâëå÷åíèå ñåññèîííîé èíôîðìàöèè äëÿ ïîìîùèâ ñîâåðøåíèè ñëåäóþùåãî äåéñòâèÿ
4. Ìîäåëèðîâàíèå äåéñòâèé ïîëüçîâàòåëÿ â ðàìêàõîäíîé ñåññèè
5. Îöåíêà ñêðûòûõ äàííûõ â òå÷åíèè ñåññèè:èíôîðìàöèîííàÿ ïîòðåáíîñòü, óäîâëåòâîðåííîñòüñåññèåé, óñòàëîñòü.
Îïðåäåëåíèÿ
Îïðåäåëåíèå
Áðàóçåðíàÿ ñåññèÿ Du = {d1, . . . , dN} ïîñëåäîâàòåëüíîñòüñòðàíèö, ïîñåùåííûõ ïîëüçîâàòåëåì u â òå÷åíèè äíÿ.
Îïðåäåëåíèå
Çàïðîñíàÿ ñåññèÿ Qu = {q1, . . . , qn} ïîñëåäîâàòåëüíîñòüçàïðîñîâ, çàäàííûõ ïîëüçîâàòåëåì. (âñÿêèé çàïðîñ qiâñòðå÷àåòñÿ è â áðàóçåðíîé ñåññèè).
Îïðåäåëåíèå
Ëîãè÷åñêàÿ áðàóçåðíàÿ ñåññèèÿ (ñîîòâ. ëîãè÷åñêàÿ çàïðîñíàÿ
ñåññèÿ) Dg
u = {di1 , . . . , diK } ÷àñòü áðàóçåðíîé ñåññèè (ñîîòâ.çàïðîñíîé ñåññèè), ñîñòîÿùàÿ èç ëîãè÷åñêèõ ñâÿçàííûõçàïèñåé, ò.å. ñòðàíèö (çàïðîñîâ) ïîñåùåííûõ ñ îäíîé è òîé æåèíôîðìàöèîííîé ïîòðåáíîñòüþ g .
Îïðåäåëåíèÿ
Îïðåäåëåíèå
Áðàóçåðíàÿ ñåññèÿ Du = {d1, . . . , dN} ïîñëåäîâàòåëüíîñòüñòðàíèö, ïîñåùåííûõ ïîëüçîâàòåëåì u â òå÷åíèè äíÿ.
Îïðåäåëåíèå
Çàïðîñíàÿ ñåññèÿ Qu = {q1, . . . , qn} ïîñëåäîâàòåëüíîñòüçàïðîñîâ, çàäàííûõ ïîëüçîâàòåëåì. (âñÿêèé çàïðîñ qiâñòðå÷àåòñÿ è â áðàóçåðíîé ñåññèè).
Îïðåäåëåíèå
Ëîãè÷åñêàÿ áðàóçåðíàÿ ñåññèèÿ (ñîîòâ. ëîãè÷åñêàÿ çàïðîñíàÿ
ñåññèÿ) Dg
u = {di1 , . . . , diK } ÷àñòü áðàóçåðíîé ñåññèè (ñîîòâ.çàïðîñíîé ñåññèè), ñîñòîÿùàÿ èç ëîãè÷åñêèõ ñâÿçàííûõçàïèñåé, ò.å. ñòðàíèö (çàïðîñîâ) ïîñåùåííûõ ñ îäíîé è òîé æåèíôîðìàöèîííîé ïîòðåáíîñòüþ g .
Îïðåäåëåíèÿ
Îïðåäåëåíèå
Áðàóçåðíàÿ ñåññèÿ Du = {d1, . . . , dN} ïîñëåäîâàòåëüíîñòüñòðàíèö, ïîñåùåííûõ ïîëüçîâàòåëåì u â òå÷åíèè äíÿ.
Îïðåäåëåíèå
Çàïðîñíàÿ ñåññèÿ Qu = {q1, . . . , qn} ïîñëåäîâàòåëüíîñòüçàïðîñîâ, çàäàííûõ ïîëüçîâàòåëåì. (âñÿêèé çàïðîñ qiâñòðå÷àåòñÿ è â áðàóçåðíîé ñåññèè).
Îïðåäåëåíèå
Ëîãè÷åñêàÿ áðàóçåðíàÿ ñåññèèÿ (ñîîòâ. ëîãè÷åñêàÿ çàïðîñíàÿ
ñåññèÿ) Dg
u = {di1 , . . . , diK } ÷àñòü áðàóçåðíîé ñåññèè (ñîîòâ.çàïðîñíîé ñåññèè), ñîñòîÿùàÿ èç ëîãè÷åñêèõ ñâÿçàííûõçàïèñåé, ò.å. ñòðàíèö (çàïðîñîâ) ïîñåùåííûõ ñ îäíîé è òîé æåèíôîðìàöèîííîé ïîòðåáíîñòüþ g .
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Ïðèìåð
URL session
www.yandex.ru/ 1
yandex.ru/yandsearch?&text=science+seminar 1
events.yandex.ru/events/science-seminars/ 1
events.yandex.ru/events/science-seminars/Ustinovsky-mar/ 1
ecir2013.org/ 2
www.yandex.ru/ 2
yandex.ru/yandsearch?&text=informational+retrieval 2
en.wikipedia.org/wiki/Information_retrieval 2
company.yandex.ru/contacts/redrose/ 1
Âàæíûå îñîáåííîñòè.
1. Êàê ïðàâèëî, ëîãè÷åñêèå ñåññèè ïåðåìåæàþòñÿ,
2. Íåêîòîðûå ñòðàíèöû ó÷àñòâóþò â íåñêîëüêèõ ëîãè÷åñêèõ ñåññèÿõ,
3. Ïîëüçîâàòåëüñêàÿ ïîòðåáíîñòü èçìåíÿåòñÿ äî çàäàíèÿ çàïðîñà.
Çàïðîñíûå ñåññèè
Êàê ïîëüçîâàòåëè ôîðìèðóþò çàïðîñû? ×òî îíè äåëàþò, åñëèíå ñìîãëè íàéòè îòâåò ïîñëå çàïðîñà?
1 2 3 4 5 6 7
Qualit
y
Position in the session
l=3l=4l=5l=6l=7
Ðèñ.: Êà÷åñòâî âûäà÷è â òå÷åíèè çàïðîñíîé ñåññèè.
Ïðåäïîñûëêè
Îáùåïðèíÿòûé ïîäõîä
Êàê ïðàâèëî, Du (ñîîòâ. Qu) ñåãìåíòèðóþòñÿ íà îñíîâåïåðèîäà íåàêòèâíîñòè τ (çäåñü T (d) ìîìåíò îòêðûòèÿ d):
di è di+1ïðèíàäëåæàò îäíîé ñåññèè⇔ T (di+1)− T (di ) < τ
Íå ðàáîòàåò äëÿ ïåðåìåæàþùèõñÿ ñåññèé!
Çàïðîñíûå ëîãè÷åñêèå ñåññèè.
Çàäà÷à ðàçáèåíèÿ çàïðîñíûõ ñåññèé óæå ðåøàëàñü â:
P. Boldi et al. The Query-�ow Graph: Model and Applications
R. Jones et al. Beyond the Session Timeout: Automatic Hierarchical
Segmentation of Search Topics in Query Logs.
Çíà÷èìî óëó÷øàþò âðåìåííîå ðàçáèåíèå.
Ïðåäïîñûëêè
Îáùåïðèíÿòûé ïîäõîä
Êàê ïðàâèëî, Du (ñîîòâ. Qu) ñåãìåíòèðóþòñÿ íà îñíîâåïåðèîäà íåàêòèâíîñòè τ (çäåñü T (d) ìîìåíò îòêðûòèÿ d):
di è di+1ïðèíàäëåæàò îäíîé ñåññèè⇔ T (di+1)− T (di ) < τ
Íå ðàáîòàåò äëÿ ïåðåìåæàþùèõñÿ ñåññèé!
Çàïðîñíûå ëîãè÷åñêèå ñåññèè.
Çàäà÷à ðàçáèåíèÿ çàïðîñíûõ ñåññèé óæå ðåøàëàñü â:
P. Boldi et al. The Query-�ow Graph: Model and Applications
R. Jones et al. Beyond the Session Timeout: Automatic Hierarchical
Segmentation of Search Topics in Query Logs.
Çíà÷èìî óëó÷øàþò âðåìåííîå ðàçáèåíèå.
Ïðåäïîñûëêè
Îáùåïðèíÿòûé ïîäõîä
Êàê ïðàâèëî, Du (ñîîòâ. Qu) ñåãìåíòèðóþòñÿ íà îñíîâåïåðèîäà íåàêòèâíîñòè τ (çäåñü T (d) ìîìåíò îòêðûòèÿ d):
di è di+1ïðèíàäëåæàò îäíîé ñåññèè⇔ T (di+1)− T (di ) < τ
Íå ðàáîòàåò äëÿ ïåðåìåæàþùèõñÿ ñåññèé!
Çàïðîñíûå ëîãè÷åñêèå ñåññèè.
Çàäà÷à ðàçáèåíèÿ çàïðîñíûõ ñåññèé óæå ðåøàëàñü â:
P. Boldi et al. The Query-�ow Graph: Model and Applications
R. Jones et al. Beyond the Session Timeout: Automatic Hierarchical
Segmentation of Search Topics in Query Logs.
Çíà÷èìî óëó÷øàþò âðåìåííîå ðàçáèåíèå.
Ïðåäïîñûëêè
Îáùåïðèíÿòûé ïîäõîä
Êàê ïðàâèëî, Du (ñîîòâ. Qu) ñåãìåíòèðóþòñÿ íà îñíîâåïåðèîäà íåàêòèâíîñòè τ (çäåñü T (d) ìîìåíò îòêðûòèÿ d):
di è di+1ïðèíàäëåæàò îäíîé ñåññèè⇔ T (di+1)− T (di ) < τ
Íå ðàáîòàåò äëÿ ïåðåìåæàþùèõñÿ ñåññèé!
Çàïðîñíûå ëîãè÷åñêèå ñåññèè.
Çàäà÷à ðàçáèåíèÿ çàïðîñíûõ ñåññèé óæå ðåøàëàñü â:
P. Boldi et al. The Query-�ow Graph: Model and Applications
R. Jones et al. Beyond the Session Timeout: Automatic Hierarchical
Segmentation of Search Topics in Query Logs.
Çíà÷èìî óëó÷øàþò âðåìåííîå ðàçáèåíèå.
Èññëåäîâàòåëüñêèå âîïðîñû
I Âîçìîæíî ëè óòî÷íèòü ëîãè÷åñêîå ðàçáèåíèå çàïðîñíûõñåññèé äî óðîâíÿ áðàóçåðíûõ ñåññèé?
I Íàñêîëüêî êà÷åñòâåííîå ðàçáèåíèå äàåò ïîäõîä,îñíîâàííûé íà ïåðèîäå íåàêòèâíîñòè?
I Êàê ðàçíûå àëãîðèòìû êëàñòåðèçàöèè âëèÿþò íà êà÷åñòâîñåãìåíòàöèè?
I Êàêèå èñòî÷íèêè ôàêòîðîâ âàæíû äëÿ ëîãè÷åñêîéñåãìåíòàöèè?
Îãëàâëåíèå
Ââåäåíèå
Ìåòîä
Ýêñïåðèìåíòû
Âûâîäû
Ìåòîä
Âõîäíûå äàííûå: Du = {d1, . . . , dN}.Ìû ñòðîèì ñåãìåíòàöèþ â äâà øàãà:
1. Ïîïàðíàÿ êëàññèôèêàöèÿ. Ïðåäñêàçûâàåì ñ îäíîé ëèöåëüþ ïîëüçîâàòåëü ïîñåòèë ïàðó ñòðàíèö (di , dj): ó÷èìôóíêöèþ p(di , dj) ∈ [0; 1], îöåíèâàþùóþ âåðîÿòíîñòüïðèíàäëåæíîñòè di , dj îäíîé ëîãè÷åñêîé ñåññèè.
2. Êëàñòåðèçàöèÿ. Äëÿ äàííûõ îöåíîê p(di , dj),êëàñòåðèçîâàòü ïîëíûé ãðàô íà N âåðøèíàõ di ñ âåñàìèðåáåð p(di , dj) â ñèëüíî ñâÿçíûå êîìïîíåíòû.
Ðåçóëüòàò: ñåãìåíòàöèÿ Du =⊔
c∈clustersDcu
Ìåòîä
Âõîäíûå äàííûå: Du = {d1, . . . , dN}.Ìû ñòðîèì ñåãìåíòàöèþ â äâà øàãà:
1. Ïîïàðíàÿ êëàññèôèêàöèÿ. Ïðåäñêàçûâàåì ñ îäíîé ëèöåëüþ ïîëüçîâàòåëü ïîñåòèë ïàðó ñòðàíèö (di , dj): ó÷èìôóíêöèþ p(di , dj) ∈ [0; 1], îöåíèâàþùóþ âåðîÿòíîñòüïðèíàäëåæíîñòè di , dj îäíîé ëîãè÷åñêîé ñåññèè.
2. Êëàñòåðèçàöèÿ. Äëÿ äàííûõ îöåíîê p(di , dj),êëàñòåðèçîâàòü ïîëíûé ãðàô íà N âåðøèíàõ di ñ âåñàìèðåáåð p(di , dj) â ñèëüíî ñâÿçíûå êîìïîíåíòû.
Ðåçóëüòàò: ñåãìåíòàöèÿ Du =⊔
c∈clustersDcu
Ìåòîä
Âõîäíûå äàííûå: Du = {d1, . . . , dN}.Ìû ñòðîèì ñåãìåíòàöèþ â äâà øàãà:
1. Ïîïàðíàÿ êëàññèôèêàöèÿ. Ïðåäñêàçûâàåì ñ îäíîé ëèöåëüþ ïîëüçîâàòåëü ïîñåòèë ïàðó ñòðàíèö (di , dj): ó÷èìôóíêöèþ p(di , dj) ∈ [0; 1], îöåíèâàþùóþ âåðîÿòíîñòüïðèíàäëåæíîñòè di , dj îäíîé ëîãè÷åñêîé ñåññèè.
2. Êëàñòåðèçàöèÿ. Äëÿ äàííûõ îöåíîê p(di , dj),êëàñòåðèçîâàòü ïîëíûé ãðàô íà N âåðøèíàõ di ñ âåñàìèðåáåð p(di , dj) â ñèëüíî ñâÿçíûå êîìïîíåíòû.
Ðåçóëüòàò: ñåãìåíòàöèÿ Du =⊔
c∈clustersDcu
Ìåòîä
Âõîäíûå äàííûå: Du = {d1, . . . , dN}.Ìû ñòðîèì ñåãìåíòàöèþ â äâà øàãà:
1. Ïîïàðíàÿ êëàññèôèêàöèÿ. Ïðåäñêàçûâàåì ñ îäíîé ëèöåëüþ ïîëüçîâàòåëü ïîñåòèë ïàðó ñòðàíèö (di , dj): ó÷èìôóíêöèþ p(di , dj) ∈ [0; 1], îöåíèâàþùóþ âåðîÿòíîñòüïðèíàäëåæíîñòè di , dj îäíîé ëîãè÷åñêîé ñåññèè.
2. Êëàñòåðèçàöèÿ. Äëÿ äàííûõ îöåíîê p(di , dj),êëàñòåðèçîâàòü ïîëíûé ãðàô íà N âåðøèíàõ di ñ âåñàìèðåáåð p(di , dj) â ñèëüíî ñâÿçíûå êîìïîíåíòû.
Ðåçóëüòàò: ñåãìåíòàöèÿ Du =⊔
c∈clustersDcu
Êëàññèôèêàöèÿ
1. Ñîáèðàåì íàáîð îöåíîê `(di , dj) ∈ {0, 1} (1 - îäíàëîãè÷åñêàÿ ñåññèÿ, 0 - ðàçíûå ëîãè÷åñêèå ñåññèè).
2. Äëÿ êàæäîé îöåíåííîé ïàðû (d , d ′) èçâëåêàåì ôàêòîðû{fi (d , d ′)}Fi=1.
3. Ó÷èì êëàññèôèêàòîð p(d , d ′).
 êà÷åñòâå ìîäåëè äëÿ êëàññèôèêàòîðà ìû èñïîëüçóåì äåðåâî
ðåøåíèé ñ ëîãèñòè÷åñêîé ôóíêöèåé ïîòåðü. Îíà ìàêñèìèçèðóåòâåðîÿòíîñòü êîððåêòíîé êëàññèôèêàöèè âñåõ ïàð:
P =∏
`(d ,d ′)=1
p(d , d ′)∏
`(d ,d ′)=0
(1− p(d , d ′))→ max
Êëàññèôèêàöèÿ
1. Ñîáèðàåì íàáîð îöåíîê `(di , dj) ∈ {0, 1} (1 - îäíàëîãè÷åñêàÿ ñåññèÿ, 0 - ðàçíûå ëîãè÷åñêèå ñåññèè).
2. Äëÿ êàæäîé îöåíåííîé ïàðû (d , d ′) èçâëåêàåì ôàêòîðû{fi (d , d ′)}Fi=1.
3. Ó÷èì êëàññèôèêàòîð p(d , d ′).
 êà÷åñòâå ìîäåëè äëÿ êëàññèôèêàòîðà ìû èñïîëüçóåì äåðåâî
ðåøåíèé ñ ëîãèñòè÷åñêîé ôóíêöèåé ïîòåðü. Îíà ìàêñèìèçèðóåòâåðîÿòíîñòü êîððåêòíîé êëàññèôèêàöèè âñåõ ïàð:
P =∏
`(d ,d ′)=1
p(d , d ′)∏
`(d ,d ′)=0
(1− p(d , d ′))→ max
Êëàññèôèêàöèÿ
1. Ñîáèðàåì íàáîð îöåíîê `(di , dj) ∈ {0, 1} (1 - îäíàëîãè÷åñêàÿ ñåññèÿ, 0 - ðàçíûå ëîãè÷åñêèå ñåññèè).
2. Äëÿ êàæäîé îöåíåííîé ïàðû (d , d ′) èçâëåêàåì ôàêòîðû{fi (d , d ′)}Fi=1.
3. Ó÷èì êëàññèôèêàòîð p(d , d ′).
 êà÷åñòâå ìîäåëè äëÿ êëàññèôèêàòîðà ìû èñïîëüçóåì äåðåâî
ðåøåíèé ñ ëîãèñòè÷åñêîé ôóíêöèåé ïîòåðü. Îíà ìàêñèìèçèðóåòâåðîÿòíîñòü êîððåêòíîé êëàññèôèêàöèè âñåõ ïàð:
P =∏
`(d ,d ′)=1
p(d , d ′)∏
`(d ,d ′)=0
(1− p(d , d ′))→ max
Êëàññèôèêàöèÿ
1. Ñîáèðàåì íàáîð îöåíîê `(di , dj) ∈ {0, 1} (1 - îäíàëîãè÷åñêàÿ ñåññèÿ, 0 - ðàçíûå ëîãè÷åñêèå ñåññèè).
2. Äëÿ êàæäîé îöåíåííîé ïàðû (d , d ′) èçâëåêàåì ôàêòîðû{fi (d , d ′)}Fi=1.
3. Ó÷èì êëàññèôèêàòîð p(d , d ′).
 êà÷åñòâå ìîäåëè äëÿ êëàññèôèêàòîðà ìû èñïîëüçóåì äåðåâî
ðåøåíèé ñ ëîãèñòè÷åñêîé ôóíêöèåé ïîòåðü. Îíà ìàêñèìèçèðóåòâåðîÿòíîñòü êîððåêòíîé êëàññèôèêàöèè âñåõ ïàð:
P =∏
`(d ,d ′)=1
p(d , d ′)∏
`(d ,d ′)=0
(1− p(d , d ′))→ max
Ôàêòîðû äëÿ êëàññèôèêàöèè.
Äëÿ ïàðû (d , d ′) ìû èçâëåêàåì 4 òèïà ôàêòîðîâ (âñåãî 29øòóê):
1. Ôàêòîðû íà îñíîâå URL.
2. Òåêñòîâûå ôàêòîðû.
3. Ñåññèîííûå ôàêòîðû. Âðåìÿ ìåæäó ïîñåùåíèÿìè d , d ′
êîëè÷åñòâî äîêóìåíòîâ ìåæäó íèìè, áûë ëè ïåðåõîä ïîññûëêàì.
4. Êîíòåêñòíûå îáîáùåíèÿ. Òå æå, ÷òî è â 1-3, òîëüêîâû÷èñëåííûå äëÿ äîêóìåíòà d ′′ ïðåäøåñòâóþùåãî d ′.
d → · · · → d ′′ → d ′.
Ôàêòîðû äëÿ êëàññèôèêàöèè.
Äëÿ ïàðû (d , d ′) ìû èçâëåêàåì 4 òèïà ôàêòîðîâ (âñåãî 29øòóê):
1. Ôàêòîðû íà îñíîâå URL.
2. Òåêñòîâûå ôàêòîðû.
3. Ñåññèîííûå ôàêòîðû. Âðåìÿ ìåæäó ïîñåùåíèÿìè d , d ′
êîëè÷åñòâî äîêóìåíòîâ ìåæäó íèìè, áûë ëè ïåðåõîä ïîññûëêàì.
4. Êîíòåêñòíûå îáîáùåíèÿ. Òå æå, ÷òî è â 1-3, òîëüêîâû÷èñëåííûå äëÿ äîêóìåíòà d ′′ ïðåäøåñòâóþùåãî d ′.
d → · · · → d ′′ → d ′.
Ôàêòîðû äëÿ êëàññèôèêàöèè.
Äëÿ ïàðû (d , d ′) ìû èçâëåêàåì 4 òèïà ôàêòîðîâ (âñåãî 29øòóê):
1. Ôàêòîðû íà îñíîâå URL.
2. Òåêñòîâûå ôàêòîðû.
3. Ñåññèîííûå ôàêòîðû. Âðåìÿ ìåæäó ïîñåùåíèÿìè d , d ′
êîëè÷åñòâî äîêóìåíòîâ ìåæäó íèìè, áûë ëè ïåðåõîä ïîññûëêàì.
4. Êîíòåêñòíûå îáîáùåíèÿ. Òå æå, ÷òî è â 1-3, òîëüêîâû÷èñëåííûå äëÿ äîêóìåíòà d ′′ ïðåäøåñòâóþùåãî d ′.
d → · · · → d ′′ → d ′.
Ôàêòîðû äëÿ êëàññèôèêàöèè.
Äëÿ ïàðû (d , d ′) ìû èçâëåêàåì 4 òèïà ôàêòîðîâ (âñåãî 29øòóê):
1. Ôàêòîðû íà îñíîâå URL.
2. Òåêñòîâûå ôàêòîðû.
3. Ñåññèîííûå ôàêòîðû. Âðåìÿ ìåæäó ïîñåùåíèÿìè d , d ′
êîëè÷åñòâî äîêóìåíòîâ ìåæäó íèìè, áûë ëè ïåðåõîä ïîññûëêàì.
4. Êîíòåêñòíûå îáîáùåíèÿ. Òå æå, ÷òî è â 1-3, òîëüêîâû÷èñëåííûå äëÿ äîêóìåíòà d ′′ ïðåäøåñòâóþùåãî d ′.
d → · · · → d ′′ → d ′.
Êëàñòåðèçàöèÿ
Öåëü: íàéòè ðàçáèåíèå Du =⊔g
Dg
u ìàêñèìèçèðóþùåå
âåðîÿòíîñòü (çíà÷åíèÿ p ôèêñèðîâàíû, ðàçáèåíèå èçìåíÿòñÿ):
P =∏′
p(d , d ′)∏′′
(1− p(d , d ′))→ max
m
Φ =∑′
logp(di , dj)
1− p(di , dj)→ max∏′ � ïðîèçâåäåíèå ïî âñåì ïàðàì (d , d ′) èç îäíîãî êëàñòåðà;∑′ � ñóììà ïî âñåì ïàðàì (d , d ′) èç ðàçíûõ êëàñòåðîâ;∏′′ � ïðîèçâåäåíèå ïî âñåì ïàðàì (d , d ′) èç ðàçíûõ êëàñòåðîâ.
NP-ïîëíàÿ çàäà÷à!
Êëàñòåðèçàöèÿ
Öåëü: íàéòè ðàçáèåíèå Du =⊔g
Dg
u ìàêñèìèçèðóþùåå
âåðîÿòíîñòü (çíà÷åíèÿ p ôèêñèðîâàíû, ðàçáèåíèå èçìåíÿòñÿ):
P =∏′
p(d , d ′)∏′′
(1− p(d , d ′))→ max
m
Φ =∑′
logp(di , dj)
1− p(di , dj)→ max∏′ � ïðîèçâåäåíèå ïî âñåì ïàðàì (d , d ′) èç îäíîãî êëàñòåðà;∑′ � ñóììà ïî âñåì ïàðàì (d , d ′) èç ðàçíûõ êëàñòåðîâ;∏′′ � ïðîèçâåäåíèå ïî âñåì ïàðàì (d , d ′) èç ðàçíûõ êëàñòåðîâ.
NP-ïîëíàÿ çàäà÷à!
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-I
Áàëàíñ ìåæäó ñêîðîñòüþ, êà÷åñòâîì è îáëàñòüþïðèìåíèìîñòè.
I Êëàñòåðèçàöèÿ â ðåàëüíîì âðåìåíè: êàæäûé íîâûéäîêóìåíò dnew äîáàâëÿåòñÿ ê òåêóùåìó êëàñòåðó (g1, g2)èëè îáðàçóåò íîâûé (gnew ).
dnew
g1 g2 gnew
?
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-II
1. Ìàêñèìàëüíîå ïðàâäîïîäîáèå ïîñëåäíåé ñòðàíèöû.
dg � ïîñëåäíÿÿ ñòðàíèöà ñåãìåíòà g . Âñåp(dg , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñ ìàêñèìàëüíîé âåðîÿòíîñòüþ.
2. Ìàêñèìàëüíîå ïðàâäîïîäîáèå âñåõ ñòðàíèö. Âñåp(d , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñîäåðæàùåé äîêóìåíò ñìàêñèìàëüíîé âåðîÿòíîñòüþ.
3. Æàäíîå äîáàâëåíèå. Äîáàâëÿåì dnew ÷òîáûìàêñèìèçèðîâàòü ðîñò Φ. Åñëè Φ âñåãäà óìåíüøàåòñÿ äëÿâñåõ g , íà÷èíàåì íîâûé ñåãìåíò.
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-II
1. Ìàêñèìàëüíîå ïðàâäîïîäîáèå ïîñëåäíåé ñòðàíèöû.
dg � ïîñëåäíÿÿ ñòðàíèöà ñåãìåíòà g . Âñåp(dg , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñ ìàêñèìàëüíîé âåðîÿòíîñòüþ.
2. Ìàêñèìàëüíîå ïðàâäîïîäîáèå âñåõ ñòðàíèö. Âñåp(d , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñîäåðæàùåé äîêóìåíò ñìàêñèìàëüíîé âåðîÿòíîñòüþ.
3. Æàäíîå äîáàâëåíèå. Äîáàâëÿåì dnew ÷òîáûìàêñèìèçèðîâàòü ðîñò Φ. Åñëè Φ âñåãäà óìåíüøàåòñÿ äëÿâñåõ g , íà÷èíàåì íîâûé ñåãìåíò.
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-II
1. Ìàêñèìàëüíîå ïðàâäîïîäîáèå ïîñëåäíåé ñòðàíèöû.
dg � ïîñëåäíÿÿ ñòðàíèöà ñåãìåíòà g . Âñåp(dg , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñ ìàêñèìàëüíîé âåðîÿòíîñòüþ.
2. Ìàêñèìàëüíîå ïðàâäîïîäîáèå âñåõ ñòðàíèö. Âñåp(d , dnew ) < 1
2 ⇒ íà÷èíàåì íîâóþ ñåññèþ. Èíà÷åäîáàâëÿåì dnew ê ñåññèè ñîäåðæàùåé äîêóìåíò ñìàêñèìàëüíîé âåðîÿòíîñòüþ.
3. Æàäíîå äîáàâëåíèå. Äîáàâëÿåì dnew ÷òîáûìàêñèìèçèðîâàòü ðîñò Φ. Åñëè Φ âñåãäà óìåíüøàåòñÿ äëÿâñåõ g , íà÷èíàåì íîâûé ñåãìåíò.
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-III
I Ïîñò-êëàñòåðèçàöèÿ: êëàñòåðèçóåì âñþ äíåâíóþ ñåññèèþñðàçó.
4. Æàäíîå ñëèÿíèå. Ñîçäàåì N = |Du | êëàñòåðîâ. Æàäíûì
îáðàçîì ñëèâàåì ñóùåñòâóþùèå êëàñòåðû, ïîêà ìîæíî
óâåëè÷èòü Φ.
g1
g2
g3
g4
Ñëîæíîñòü.
1. O(G × N), ãäå G � êîëè÷åñòâî ñåãìåíòîâ.
2-4. O(N2)
Êëàñòåðèçàöèÿ. Æàäíûå àëãîðèòìû-III
I Ïîñò-êëàñòåðèçàöèÿ: êëàñòåðèçóåì âñþ äíåâíóþ ñåññèèþñðàçó.
4. Æàäíîå ñëèÿíèå. Ñîçäàåì N = |Du | êëàñòåðîâ. Æàäíûì
îáðàçîì ñëèâàåì ñóùåñòâóþùèå êëàñòåðû, ïîêà ìîæíî
óâåëè÷èòü Φ.
g1
g2
g3
g4
Ñëîæíîñòü.
1. O(G × N), ãäå G � êîëè÷åñòâî ñåãìåíòîâ.
2-4. O(N2)
Îãëàâëåíèå
Ââåäåíèå
Ìåòîä
Ýêñïåðèìåíòû
Âûâîäû
Äàííûå
Ñûðûå äàííûå. Ïîëíîñòüþ àíîíèìèçèðîâàííûå áðàóçåðíûåëîãè, ñîáðàííûå ñ ïîìîùüþ ñïåöèàëüíîãî òóëáàðà.Ïóáëè÷íî äîñòóïíàÿ ñòðàíèöà d 7→ URL, âðåìÿ ïîñåùåíèÿ,èñòî÷íèê/öåëü ññûëêè, òåêñò d .Ðàçìåòêà. Êàæäàÿ áðàóçåðíàÿ ñåññèÿ âðó÷íóþ áûëà ïîäåëåíàíà ëîãè÷åñêèå ñåññèè àñåññîðàìè. Ñûðàÿ ñåññèÿ èç Näîêóìåíòîâ äàåò
(N2
)= N(N−1)
2 ðàçìå÷åííûõ ïðèìåðîâ äëÿêëàññèôèêàòîðà.Ñòàòèñòèêà. 220 áðàóçåðíûõ ëîãè÷åñêèõ ñåññèé, 151K ïàð äëÿîáó÷åíèÿ êëàññèôèêàòîðà, 78K èç îäíîé ñåññèè 73K èç ðàçíûõ.Ñðåäíÿÿ äëèíà ëîãè÷åñêîé ñåññèè 12 ñòðàíèö, ñðåäíåå ÷èñëîëîãè÷åñêèõ ñåññèé 4.4.
Äàííûå
Ñûðûå äàííûå. Ïîëíîñòüþ àíîíèìèçèðîâàííûå áðàóçåðíûåëîãè, ñîáðàííûå ñ ïîìîùüþ ñïåöèàëüíîãî òóëáàðà.Ïóáëè÷íî äîñòóïíàÿ ñòðàíèöà d 7→ URL, âðåìÿ ïîñåùåíèÿ,èñòî÷íèê/öåëü ññûëêè, òåêñò d .Ðàçìåòêà. Êàæäàÿ áðàóçåðíàÿ ñåññèÿ âðó÷íóþ áûëà ïîäåëåíàíà ëîãè÷åñêèå ñåññèè àñåññîðàìè. Ñûðàÿ ñåññèÿ èç Näîêóìåíòîâ äàåò
(N2
)= N(N−1)
2 ðàçìå÷åííûõ ïðèìåðîâ äëÿêëàññèôèêàòîðà.Ñòàòèñòèêà. 220 áðàóçåðíûõ ëîãè÷åñêèõ ñåññèé, 151K ïàð äëÿîáó÷åíèÿ êëàññèôèêàòîðà, 78K èç îäíîé ñåññèè 73K èç ðàçíûõ.Ñðåäíÿÿ äëèíà ëîãè÷åñêîé ñåññèè 12 ñòðàíèö, ñðåäíåå ÷èñëîëîãè÷åñêèõ ñåññèé 4.4.
Äàííûå
Ñûðûå äàííûå. Ïîëíîñòüþ àíîíèìèçèðîâàííûå áðàóçåðíûåëîãè, ñîáðàííûå ñ ïîìîùüþ ñïåöèàëüíîãî òóëáàðà.Ïóáëè÷íî äîñòóïíàÿ ñòðàíèöà d 7→ URL, âðåìÿ ïîñåùåíèÿ,èñòî÷íèê/öåëü ññûëêè, òåêñò d .Ðàçìåòêà. Êàæäàÿ áðàóçåðíàÿ ñåññèÿ âðó÷íóþ áûëà ïîäåëåíàíà ëîãè÷åñêèå ñåññèè àñåññîðàìè. Ñûðàÿ ñåññèÿ èç Näîêóìåíòîâ äàåò
(N2
)= N(N−1)
2 ðàçìå÷åííûõ ïðèìåðîâ äëÿêëàññèôèêàòîðà.Ñòàòèñòèêà. 220 áðàóçåðíûõ ëîãè÷åñêèõ ñåññèé, 151K ïàð äëÿîáó÷åíèÿ êëàññèôèêàòîðà, 78K èç îäíîé ñåññèè 73K èç ðàçíûõ.Ñðåäíÿÿ äëèíà ëîãè÷åñêîé ñåññèè 12 ñòðàíèö, ñðåäíåå ÷èñëîëîãè÷åñêèõ ñåññèé 4.4.
Ýêñïåðèìåíòû. Êëàññèôèêàòîð
Êà÷åñòâî âðåìåííîãî ðàçáèåíèÿ è êëàññèôèêàòîðîâ îáó÷åííûõíà ðàçíûõ íàáîðàõ ôàêòîðîâ.
Íàáîð ôàêòîðîâ Âðåìåííîåðàçáèåíèå
Âñå áåç êîí-òåêñòà
áåç òåê-ñòà
F-ìåðà 80% 83% 83% 82%
Òî÷íîñòü 72% 82% 81% 81%
Òàáëèöà: Êà÷åñòâî êëàññèôèêàòîðà.
Ýêñïåðèìåíòû. Âêëàä ôàêòîðîâ
Rk. Ôàêòîð Î÷êè
1 âðåìÿ ìåæäó d1 è d2 12 LCS* 0.583 LCS/length(url1) 0.404 LCS/length(url2) 0.405 # ñòðàíèö ìåæäó d1 è d2 0.336 òðèãðàììíîå ñîâïàäåíèå URL 0.327 êîíòåêñòíûé LCS/length(url1)** 0.328 îäèí õîñò 0.229 êîíòåêñòíûé LCS/length(url2) 0.2010 êîíòåêñòíûé LCS 0.20
Ëó÷øèå 10 ôàêòîðîâ è èõ âêëàä. *LCS � äëèíà îáùåéïîäñòðîêè URL.
Ýêñïåðèìåíòû. Ìåðà êà÷åñòâà êëàñòåðèçàöèè
Ìåðà êà÷åñòâà íàøèõ àëãîðèòìîâ êëàñòåðèçàöèè îñíîâàíà íàRand Index. Äëÿ äâóõ ñåãìåíòàöèé S1, S2 ìíîæåñòâà Du îíðàâåí äîëå îäèíàêîâî ñîîòíåñåííûõ ïàð äîêóìåíòîâ:
R(S1, S2) =n1 + n2(N
2
) ,
n1 � # of ïàð èç îäíîãî ñåãìåíòà â S1 è S2,n2 � # ïàð èç ðàçíûõ ñåãìåíòîâ â S1 è S2,N � # ýëåìåíòîâ â Du .Äàëåå S1 � èäåàëüíàÿ ñåãìåíòàöèÿ, S2 � îöåíèâàåìàÿ.Çàìå÷àíèå. R(S1, S2) ñóòü òî÷íîñòü ñîîòâåòñòâóþùåãîêëàññèôèêàòîðà.
Ýêñïåðèìåíòû. Âðåìåííîå ðàçáèåíèå
0.58
0.6
0.62
0.64
0.66
0.68
0.7
0.72
0.74
1 2 5 10 15 30 60 90 180
Rand index
Cut-off threshold in minutes
Ðèñ.: Rand index äëÿ ïåðèîäà íåàêòèâíîñòè â T ìèíóò
Îïòèìàëüíûé òàéìàóò 7-30 ìèíóò
Ýêñïåðèìåíòû. Àëãîðèòìû êëàñòåðèçàöèè
Ìåòîä Rand index Ñëîæíîñòü
Âðåìåííîé 0.72 -
Ìàêñ. ïðàâäîïîäîáèå ïîñë. ñòðàíèöû 0.75 O(N × G )
Ìàêñ. ïðàâäîïîäîáèå âñåõ ñòðàíèö 0.79 O(N2)
Æàäíîå äîáàâëåíèå 0.82 O(N2)
Æàäíîå ñëèÿíèå 0.86 O(N2)
Òàáëèöà: Êà÷åñòâî àëãîèòìîâ.
Êà÷åñòâî êëàññèôèêàòîðà ñîîòâåòñòâóþùåãî Æàäíîìó
ñëèÿíèþ (0.86) äàæå âûøå, ÷åì ó èñõîäíîãî êëàññèôèêàòîðà(0.82).Óìíàÿ êëàñòåðèçàöèÿ óëó÷øàåò êëàññèôèêàöèþ ïàð,
èìåþùèõ ñåññèîííóþ ïðèðîäó.
Ýêñïåðèìåíòû. Àëãîðèòìû êëàñòåðèçàöèè
Ìåòîä Rand index Ñëîæíîñòü
Âðåìåííîé 0.72 -
Ìàêñ. ïðàâäîïîäîáèå ïîñë. ñòðàíèöû 0.75 O(N × G )
Ìàêñ. ïðàâäîïîäîáèå âñåõ ñòðàíèö 0.79 O(N2)
Æàäíîå äîáàâëåíèå 0.82 O(N2)
Æàäíîå ñëèÿíèå 0.86 O(N2)
Òàáëèöà: Êà÷åñòâî àëãîèòìîâ.
Êà÷åñòâî êëàññèôèêàòîðà ñîîòâåòñòâóþùåãî Æàäíîìó
ñëèÿíèþ (0.86) äàæå âûøå, ÷åì ó èñõîäíîãî êëàññèôèêàòîðà(0.82).Óìíàÿ êëàñòåðèçàöèÿ óëó÷øàåò êëàññèôèêàöèþ ïàð,
èìåþùèõ ñåññèîííóþ ïðèðîäó.
Îãëàâëåíèå
Ââåäåíèå
Ìåòîä
Ýêñïåðèìåíòû
Âûâîäû
Âûâîäû
I Ïðåäëîæåí ìåòîä àâòîìàòè÷åñêîé îáðàáîòêè áðàóçåðíûõëîãîâ, óòî÷íÿþùèé ðàçáèåíèå çàïðîñíûõ ëîãîâ.
I Ìû ñâåëè çàäà÷ó ñåãìåíòàöèè ê õîðîøî èçó÷åííûìçàäà÷àì êëàññèôèêàöèè è êëàñòåðèçàöèè.
I Õîòÿ âðåìåííîé ïîäõîä äîâîëüíî íåïëîõ, áîëåå ñëîæíûåàëãîðèòìû êëàñòåðèçàöèè îùóòèìî åãî ïðåâîñõîäÿò.
I Êîíòåêñòíûå è òåêñòîâûå ôàêòîðû îêàçûâàåòñÿ ãîðàçäîìåíåå âàæíûìè äëÿ îïðåäåëåíèÿ ëîãè÷åñêèõ ñâÿçåé ìåæäóñòðàíèöàìè â ïðåäåëàõ îäíîé ñåññèè, ÷åì ôàêòîðûîñíîâàííûå íà ñåññèîííûõ äàííûõ è ñîâïàäåíèè URL.
Спасибо за внимание!
