Eşle/İndirge Yöntemi Kullanılarak Destek Vektör Makinesi Algoritması ile Yüksek Boyutlu Sosyal Medya Mesajlarının Kutupsal Değerinin Ölçülmesi

Giris Genel Kısımlar Malzeme ve Yontem Bulgular Sonuc

Esle/Indirge Yontemi Kullanılarak Destek Vektor MakinesiAlgoritması ile Yuksek Boyutlu Sosyal Medya Mesajlarının

Kutupsal Degerinin Olculmesi

Dr. Ferhat Ozgur CATAK

TUBITAK-BILGEM- Siber Guvenlik Enstitusu

16 Ekim 2014

Dr. Ferhat Ozgur CATAK TUBITAK-BILGEM- Siber Guvenlik Enstitusu

Esle/Indirge Yontemi Kullanılarak Destek Vektor Makinesi Algoritması ile Yuksek Boyutlu Sosyal Medya Mesajlarının Kutupsal Degerinin Olculmesi


Sunum PlanıGiris

Ozet

Genel KısımlarEsle/Indirge (MapReduce)Destek Vektor Makinesi

Malzeme ve YontemEsle/Indirge Tabanlı Paralel DVM Sınıflandırma AlgoritmasıSozde DVM KoduSınıflandırma Modeli Degerlendirilmesi

BulgularSosyal Medya Veri SetiUygulama KapsamıTF × IDF Vektor UzayıSosyal Medya Mesajlarının TF × IDF Matrisi Icin Hazır Hale GetirilmesiSonuclar

SonucSonucSorular




Ozet

Ozet

Calısma Ozeti

I DVM sınıflandırma algoritmasının Esle/Indirge (MapReduce) teknigi ile yuksekboyutlu veri setlerinin egitilmesi

I Calısmanın deneysel kısmında Turkiye’de bulunan vakıf ve devlet universitelerininsosyal medya mesaj veri seti ile sınıflandırılması. Esle/Indirge teknigi ile ortayacıkan modellerin testi




Sunum PlanıGiris

Ozet




SonucSonucSorular




Esle/Indirge (MapReduce)



Bulut bilisim hizmet saglayıcıları, servis olarak platform turunde verdikleri hizmetlerdestandart olarak Esle/Indirge (MapReduce) tekniginin bir ornegini sunmaktadırlar.

I Amazon uzerinde Amazon Elastic MapReduce.

I Microsoft Windows Azure sistemi uzerinde Project Daytona.

I Google App Engine uzerinde MapReduce






I Yuksek boyutlu veri seti kullanımı gerektiren uygulamalarda en uygun cozum, verisetinin alt kumelere parcalanmasıdır. Bu sekilde buyuk problemin daha ufak altproblemlere parcalanması hedeflenir.

I Esle/Indirge yontemi yuksek boyutlu veri setlerinin islenmesinde kullanılan, ayrıcaGoogle tarafından da oldukca sık kullanılan bir programlama modelidir [24].Kullanıcılar tarafından tanımlanan esle (map) ve indirge (reduce) fonksiyonları vebu fonksiyonlara girdi degeri olarak verilen cagrısımsal diziler (Key-Value pairs)kullanılmaktadır.

Esle fonksiyonu paralel olarak girdi veri setine uygulanır. Bir veri alanında bulunan veri ciftlerinialarak bunları farklı bir alana veri cift listesine cevirir.

esle(a1, d1)→ liste(a2, d2)

Indirge fonksiyonu, esle fonksiyonu tarafından iliskilendirilmis anahtar deger yapısına uygulanır, yenidegerler listesi olusturulur.

indirge(a2, liste(d2))→ liste(a3, d3)






D = {(xi, yi)|xi ∈ Rm, y ∈ {−1,+1}}ni=1 (1)





Data: docid a, doc dinitialization;

1: for each t ∈ doc d do2: Emit(term t,count 1)3: end for

Algorithm 1: Esle (Mapper)

Data: term t, counts ∈ [c1, ..., cn]initialization;

sum← 02: for each count c ∈ counts[c1, ..., cn] d do

sum← sum+ c4: end for

Emit(term t,count sum)

Algorithm 2: Indirge (Reducer)




Destek Vektor Makinesi


Destek Vektor MakinesiIstatistik ve bilgisayar bilimlerinde verilerin analiz edilmesi, bu verilerden desenlerincıkarılmasıyla sınıflandırma ve regresyon problemlerinde kullanılan bir yontemdir.

I Yapısal risk minimizasyonu kullanır. Ogrenme modelinin asırı ogrenmesi problemiyoktur.

I Konveks optimizasyon problemi. Lokal minimum olmadıgından, problemin tekcozumu mevcut.

I Dogrusal sınıflandırıcı denklemin agırlık vektoru, egitim veri setinde bulunandestek vektorleri kullanılır. Destek vektorlerinin sayıları, sınıflandırıcı fonksiyonungenelleme hatasını verir.






Sekil : Ikili sınıflandırma icin egitim setini +1 ve −1 seklinde ikiye ayıran hiperduzlemleringosterimi.






Sekil : Sert marjin dogrusal ayrıstırılabilir veri seti. Optimal ayıran sınıflandırıcı fonksiyon ve marjindegerleri gosterilmektedir.






Destek Vektor Makinesi - Primal FormAmac: f(x) = w.x + b bulmak.Iki paralel duzlem arası uzaklık: 1

w

alternatif yaklasım 12||w||2 - Kuadratik optimizasyon problemine donusturulebilir.

h(x) = arg minw∈Rm

1

2||w||2 kısıt : yi(wi × x) ≥ 1, i = 1, ..., n (2)

Lagranj Fonksiyonu - Primal Form

Cozum : Lagranj fonksiyonu

L(w, b, α) =1

2||w||2 −

n∑i=1

αi(yi(wi × xi + b)− 1) (3)

∂L(w, b, α)

∂wi= 0, i = 1, ..., n w =

n∑i=1

αiyixi

∂L(w, b, α)

∂b= 0, i = 1, ..., n 0 =

n∑i=1

αiyiDr. Ferhat Ozgur CATAK TUBITAK-BILGEM- Siber Guvenlik Enstitusu



Sunum PlanıGiris

Ozet




SonucSonucSorular




Esle/Indirge Tabanlı Paralel DVM Sınıflandırma Algoritması


Dagıtık DVM Sınıflandırma Algoritması

Veri seti parcalanmakta,alt veri setleri egitilerek nihai bir sınıflandırma hipotezicıkarılmaya calısılmaktadır.

Sekil : Esle/Indirge DVM algoritmasının genel yapısı.




Sozde DVM Kodu


1: DV Global ← ∅2: while ht 6= ht−1 do3: for l ∈ L do4: Dt

l ← Dtl ∪DV

tGlobal

5: end for6: end while

Algorithm 3: Destek vektor makinesi Esle fonksiyonu

1: while ht 6= ht−1 do2: for l ∈ L do3: DV l, h

t ← SVM(Dl)4: end for5: for l ∈ L do6: DV Global ← DV Global ∪DV l

7: end for8: end while

Algorithm 4: Destek vektor makinesi Indirge fonksiyonu




Sınıflandırma Modeli Degerlendirilmesi



Hipotez kumesi icerisinde model degerlendirilmesi isleminde kayıp fonksiyonu olarakHinge kayıp fonksiyonu kullanılmıstır. Marjin ne kadar ihlal ediliyorsa daha fazla cezadegeri cıkmaktadır.

l((w.φ(x) + b), y) = max{0, 1− y(w.φ(x) + b)}l(h(x), y) = max{0, 1− y(w.φ(x) + b)}

(4)

Modelin deneysel risk degeri ise su sekilde olacaktır.

RDeneysel(h) =1

n

n∑i=1

l(h(xi), yi) (5)

Deneysel riskin minimize edilmesi prensibine gore, ogrenme algoritması H hipotezuzayında yer alan sınıflandırıcı modeller arasında deneysel riski en dusuk olan h∗

sınıflandırıcı modelini secmelidir.

h∗ = arg minh∈H

RDeneysel(h) (6)







Model, en dusuk deneysel riskin degisimine gore kendini sonlandırmaktadır.Algoritmanın durması icin gerekli olan kosul su sekildedir.

|RDeneysel(ht)−RDeneysel(h

t−1)| ≤ η, η ≥ 0 (7)




Sunum PlanıGiris

Ozet




SonucSonucSorular




Sosyal Medya Veri Seti

Sosyal Medya Veri Seti

Uygulama

I Turk Universitelerinin sosyal medya mesajları, Esle/Indirge teknigi kullanılarakgelistirilen dagıtık ve paralel DVM ogrenme modeli kullanılarak elde edilendeneysel sonucları verilecektir.

I Calısmanın teorik kısmında yer alan DVM sınıflandırma algoritması ile bu calısmakapsamında onerilen model olan Esle/Indirge tabanlı DVM sınıflandırmaalgoritması egitiminin Turkiye’de bulunan universitelerin sosyal medya mesajlarınagore duygu analizi(Sentiment Analysis) icin bir uygulama yapılmıstır.

Duygu Analizi

Duygu analizi, bir metin parcasının herhangi bir konu hakkında duygu veya dusunceicerdigini ve icermesi durumunda bu metinin kutupsal degerini olcmek icin kullanılanotomatik bir surectir.




Uygulama Kapsamı

Uygulama Kapsamı

Uygulama Kapsamı

I Calısmada Turkiye’de bulunan 108 adet devlet universitesi ve 66 adet vakıfuniversitesi olmak uzere ele alınmıstır.

I Sınıflandırma modelinin olusturulması icin ise universiteler sosyal medya mesajveri setinden farklı olarak 3.404.074 mesaj kullanılmıstır.

I Uygulama icin Java tabanlı bir uygulama gelistirilerek Twitter Stream API v1.1kullanılmıstır. Universite adlarından ve resmi Twitter hesaplarından olusan birkelime vektoru olusturulmustur. Olusturulan bu kelime vektoru ile Twitter4j APIbileseni kullanılarak Twitter izlenmeye baslanmıstır.

I Calısma kapsamında gelistirilen uygulama mesajları MySQL veri tabanına kayıtetmektedir.

I Mesajlar TF × IDF matrisleri olusturularak sayısal hale donusturulmustur.

I Sayısal veri seti Esle/Indirge tabanlı DVM sınıflandırma algoritmasında egitilmisortaya cıkan model sayısallastırılmıs veri setlerinin sınıflandırılmasındakullanılmıstır.




TF × IDF Vektor Uzayı

Ornek Mesajlar

I @UniversiteEge: Ege Universitesi ailesinin yeni uyeleri, hepiniz Ege’yehosgeldiniz... Ege’li Olmak Ayrıcalıktır...

I @serdargokalp Ege Universitesi festival toplulugu ve tum ege universitesi olarak;seni aramızda gormek istiyoruz.

I @LeylaMecnunDizi universitemizde sizi gormekten cok buyuk mutluluk duyarızLeyla ile Mecnun ekibi. ”Ege Universitesi”

I @ismailbaki sizi Ege Universitesi’nde gormek istiyoruz





Kelime 1. Mesaj 2. Mesaj 3. Mesaj 4. Mesaj@ismailbaki 0 0 0 1@LeylaMecnunDizi 0 0 1 0@serdargokalp 0 1 0 0@UniversiteEge 1 0 0 0ailesinin 1 0 0 0aramızda 0 1 0 0Ayrıcalıktır 1 0 0 0buyuk 0 0 1 0cok 0 0 1 0duyarız 0 0 1 0Ege 3 2 1 1ekibi 0 0 1 0festival 0 1 0 0gormek 0 1 0 1gormekten 0 0 1 0hepiniz 1 0 0 0hosgeldiniz 1 0 0 0ile 0 0 1 0





Transpoz Hali

Her bir mesaj icin terim frekansı gosterilmektedir.

1. Mesaj 0,0,0,1,1,0,1,0,0,0,3,0,0,0,0,1,1,0,0,0,0,0,0,1,0,0,0,0,1,1,0,12. Mesaj 0,0,1,0,0,1,0,0,0,0,2,0,1,1,0,0,0,0,0,0,0,0,1,0,1,0,1,1,2,0,1,03. Mesaj 0,1,0,0,0,0,0,1,1,1,1,1,0,0,1,0,0,1,0,1,1,1,0,0,0,1,0,0,1,0,0,04. Mesaj 0,1,0,0,0,0,0,1,1,1,1,1,0,0,1,0,0,1,0,1,1,1,0,0,0,1,0,0,1,0,0,0

Ters dokuman frekansıSadece terim frekansları ile olusturulan veri seti, her terime esit onem verir. Ornek verisetimizde ”universite” kelimesi oldukca sık gecmektedir. Terim t’nin derlemde yer alanN adet mesajda gorulme frekansi, dokuman frekansı, dft, olarak adlandırılır. Tersdokuman frekansı su sekilde tanımlanır.

idft = logN

dft





IDF degerleri

Her bir nitelik(terim) icin idf degeri hesaplanır. ornek verisetimizde ”ege” kelimesi her4 mesajda gecmektedir. Bu durumda idfege = log 4

4= 0 olacaktır.

Terim Terim@ismailbaki 0,6021 hosgeldiniz 0,6021@LeylaMecnunDizi 0,6021 ile 0,6021@serdargokalp 0,6021 istiyoruz 0,6021@UniversiteEge 0,6021 Leyla 0,6021ailesinin 0,6021 Mecnun 0,6021aramızda 0,6021 mutluluk 0,6021Ayrıcalıktır 0,6021 olarak 0,6021buyuk 0,6021 Olmak 0,6021cok 0,6021 seni 0,6021duyarız 0,6021 sizi 0,301Ege 0 toplulugu 0,6021






Her bir dokumanda yer alan terimlerin agırlıklarını hesaplamak icin terim frekansı veters dokuman frekansı birlestirilerek terim frekansı-ters dokuman frekansı (TF-IDF)matrisi olusturulur.

TF × IDF = tft,d × idftTF-IDF modeli, dokuman d icinde yer alan terim t’ye su sekilde agırlık atamaktadır:

I Terim t az sayıda dokumanda bulunması durumunda idf degeri yuksekcıkmaktadır. Bu sekilde dokumanlar arasında yuksek ayırt edici guce sahipolmaktadır.

I Terim t bir dokuman icerisinde az gorulmesi veya bircok dokumanda gorunmesidurumunda TF × IDF degeri dusuk cıkmaktadır.

I Terim t hemen hemen butun dokumanlarda bulunması durumunda dusukolmaktadır.





Ornek Veri Seti Tf-Idf MatrisiTerim Mesaj 1 Mesaj 2 Mesaj 3 Mesaj 4@ismailbaki 0 0 0 0,60206@LeylaMecnunDizi 0 0 0,60206 0@serdargokalp 0 0,60206 0 0@UniversiteEge 0,60206 0 0 0ailesinin 0,60206 0 0 0aramızda 0 0,60206 0 0Ayrıcalıktır 0,60206 0 0 0buyuk 0 0 0,60206 0cok 0 0 0,60206 0duyarız 0 0 0,60206 0Ege 0 0 0 0




Sosyal Medya Mesajlarının TF × IDF Matrisi Icin Hazır Hale Getirilmesi


Veri seti Boyutu

Insanlar duygularını ifade etmek icin kullandıgı temel bazı kelimeler bulunmaktadır. Bukelimelerden olusan bir liste cıkarılarak iki sınıflı, uc sınıflı ve bes sınıflı veri setleriolusturulmustur.

Tablo : DVM sınıflandırma algoritması egitim asamasında kullanılacak veri setlerinin boyutuları

Sınıf Etiket Sayısı Mesaj sayısı2 Sınıf 347.1583 Sınıf 335.0705 Sınıf 360.000





Veri seti olusturulması icin kullanılan kelimeler

Tablo : Iki sınıflı sınıflandırma veri seti icin kullanılan kelimelerin listesi

Sınıflandırma KelimelerPozitif guzel, iyi, hayırlı, canım, mutlu, sevgili, ask, seviyorum, tesekkur, tatlı,

komik, guldum, askım, hos, hediye, hosgeldin, seker, iyisi, muhtesem,masallah, mukemmel, guzel, eglence, gulmek, tebrikler, muthis, yakısır,keyifli, degerli, sevindim, cesaret, minnet, gonulden, kutluyorum, kazan-mak, cabalarını, isbirligi

Negatif yasak, yuzsuz, arsız, zulum, vahim, inkarcı, bedel, tasfiye, utanc, yalan,suc, taciz, cahillik, otekilestirme, yanıltıcı, yoksun, hesaplasma, yalan,kufur, kotu, katliam, olum, hakaret, serefsiz, zorluklar






Tablo : Uc sınıflı sınıflandırma veri seti icin kullanılan kelimelerin listesi

Sınıflandırma KelimelerPozitif guzel, iyi, hayırlı, canım, mutlu, sevgili, ask, seviyorum, tesekkur, tatlı,

komik, guldum, askım, hos, hediye, hosgeldin, seker, iyisi, muhtesem,masallah, mukemmel, guzel, eglence, gulmek, tebrikler, muthis, yakısır,keyifli, degerli, sevindim, cesaret, minnet, gonulden, kutluyorum, kazan-mak, cabalarını, isbirligi

Negatif yasak, yuzsuz, arsız, zulum, vahim, inkarcı, bedel, tasfiye, utanc, yalan,suc, taciz, cahillik, otekilestirme, yanıltıcı, yoksun, hesaplasma, yalan,kufur, kotu, katliam, olum, hakaret, serefsiz, zorluklar

Notr Bu kelimeleri icermeyen mesajlar.






Tablo : Bes sınıflı sınıflandırma veri seti icin kullanılan kelimelerin listesi

Sınıflandırma KelimelerKutup 1 aglıyorum, cahillik, hakaret, katliam, kotu, kufur, lanet, nefret, olum,

serefsiz, taciz, utanc, vahim, vefat, yasak, yuzsuz, zulumKutup 2 hesaplasma, inkarcı, maalesef, otekilestirme, sıkıldım, suc, tasfiye,

uzgunum, uzucu, uzuldum, uzuluyorum, yalan, yanıltıcı, yanlıs, yazık, yok-sun, zorluklar

Kutup 3 Kutup 1,2,4 ve 5’de yer alan kelimeleri icermeyen mesajlar.Kutup 4 guzel, iyi, hayırlı, tesekkur, hos, hediye, hosgeldin, iyisi, muhtesem,

masallah, mukemmel, eglence, muthis, yakısır, degerli, cesaret, minnet,cabalarını, isbirligi

Kutup 5 canım, mutlu, sevgili, ask, seviyorum, tatlı, komik, guldum, askım, seker,guzel, gulmek, tebrikler, keyifli, sevindim, gonulden, kutluyorum, kazan-mak





Butun Surec




Sonuclar

Iki sınıflı DVM sınıflandırma modeli

Sekil : Iki sınıflı DVM sınıflandırma modelinin karmasıklık matrisi




Sonuclar

Iki sınıflı sınıflandırma sonucları

Sekil : En yuksek mesaj sayısına gore ilk 10 universitenin iki sınıflı sınıflandırma sonucları




Sonuclar


Sekil : Olumlu mesaj oranına gore ilk 10 universitenin iki sınıflı sınıflandırma sonucları




Sonuclar


Sekil : Olumsuz mesaj oranına gore ilk 10 universitenin iki sınıflı sınıflandırma sonucları




Sonuclar

Uc sınıflı DVM sınıflandırma modeli

Sekil : Uc sınıflı DVM sınıflandırma modelinin karmasıklık matrisi




Sonuclar

Uc sınıflı sınıflandırma sonucları

Sekil : Mesaj sayısına gore ilk 10 universitenin uc sınıflı sınıflandırma sonucları




Sonuclar


Sekil : Olumlu mesaj oranına gore ilk 10 universitenin uc sınıflı sınıflandırma sonucları




Sonuclar


Sekil : Notr mesaj oranına gore ilk 10 universitenin uc sınıflı sınıflandırma sonucları




Sonuclar


Sekil : Olumsuz mesaj oranına gore ilk 10 universitenin uc sınıflı sınıflandırma sonucları




Sonuclar

Bes sınıflı DVM sınıflandırma modeli

Sekil : Bes sınıflı DVM sınıflandırma modelinin karmasıklık matrisi




Sonuclar

Bes sınıflı sınıflandırma sonucları

Sekil : Mesaj sayısına gore ilk 10 universitenin bes sınıflı sınıflandırma sonucları




Sonuclar


Sekil : Kutup 1 mesaj sayısına gore ilk 10 universitenin bes sınıflı sınıflandırma sonucları




Sonuclar






Sonuclar






Sonuclar






Sonuclar






Sunum PlanıGiris

Ozet




SonucSonucSorular




Sonuc

Sonuc

Calısma Sonucları

I Makine ogrenmesinde kullanılan veri setleri her gecen gun artmakta

I Buyuk veri (Big Data) seklinde tanımlanan kavram uzerinde makine ogrenmeyontemleri uygulanabilmesi icin cesitli arastırmalar yapılmaktadır

I Bundan sonraki calısmalarda, olusturulan sınıflandırma modelinin zamanicerisinde guncellenmesi dusunulmekte

I Sosyal medya uzerinde yer alan mesajların icerigi zaman icerisinde degisecegindendolayı zaman icerisinde kendini guncelleyen egitim veri seti kullanılaraksınıflandırma modelinin guncelligini koruması gereklidir.




Sorular

Sorular?

Sorular?

Dr. Ferhat Ozgur CATAKTUBITAK - BILGEM - Siber Guvenlik Enstitusu

[email protected]://tr.linkedin.com/in/ozgurcatak

@ozgurcatak



Data & Analytics

Eşle/İndirge Yöntemi Kullanılarak Destek Vektör Makinesi Algoritması ile Yüksek Boyutlu Sosyal Medya Mesajlarının Kutupsal Değerinin Ölçülmesi