ProjektinkorpusJANES

DarjaFišer

Oddelekzaprevajalstvo,FilozofskafakultetaUniverzevLjubljaniOdsekzatehnologijeznanja,Inš>tutJožefStefan

Ljubljana,4.julij2016

JAZJANES,TI...?Predstavitevudeležencev

ProjektJANES•  Viri,orodjainmetodezaanalizonestandardnespletneslovenščine•  nacionalnitemeljniprojektARRS•  2014-2017•  hQp://nl.ijs.si/janes/

•  2ins>tuciji,9raziskovalcev•  Filozofskafakulteta

•  DarjaFišer•  JakaČibej•  ŠpelaArharHoldt•  AnaZwiQerVitez•  DamjanPopič•  PolonaGantar

•  Inš>tutJožefStefan•  TomažErjavec•  NikolaLjubešić•  SenjaPollak

Delovnisklopi§  DS1:Izdelavakorpusa

–  N1:Zajembesedil–  N2:Obdelavabesedil–  N3:Objavakorpusa

§  DS2:Jezikoslovnaanaliza–  N1:Primerjavasstandardnoslovenščino–  N2:Primerjavazgovorjenoslovenščino–  N3:Analizanestandardneleksike

§  DS3:Razvojorodijzaprocesiranje–  N1:Avtomatskastandardizacijabesedil–  N2:Prilagajanjetegerjainlema>zatorja–  N3:Izdelavaspremljevalnegakorpusa

IZBORINZAJEMBESEDILKorpusJANES

Izborvirov

Izborvirov

§  osnovnanačela–  spletneuporabniškevsebine–  javnakomunikacija

§  5zvrs>,10virov–  tvi>–  forumi

•  Medovernet•  Avtomobilizem•  Kvarkadabra

–  komentarjinanovice•  RTVSlo•  Mladina•  Reporter

–  blogi•  RTVSlo•  Publishwall

–  pogovorneinuporabniškestraninaWikipediji

TviC

•  TweetCat(Ljubešićetal.2014)•  slovenskesemenskebesede->slovenskiuporabniki->njihovamreža•  filtriranjeuporabnikov,kitvitajopretežnovslovenščini•  metapodatki:uporabniškoime,časobjave,št.retweetov&všečkov

še,kaj,že,če,ampak,mogoče,jutri,zdaj,vendar,kje,oziroma,tudi,sploh,spet,všeč,ravnokar,končno,kdaj,preveč,očitno

Forumi

•  izbor:•  analiza96forumov(Lebaretal.2012)•  kriteriji:št.registriranihuporabnikov,št.indinamikaobjavljenih

sporočil,št.ak>vnihtem•  namenskiekstraktorjizavsakforumposebej•  metapodatki:tema,IDobjave,URLobjave,časobjave,upor.ime

Novice&komentarjinanje

•  namenskiekstraktorjizavsaknovičarskiportalposebej•  izbor:poli>kaportala&tehničnerešitve•  metapodatki:URLčlanka,IDčlanka,IDkomentarja,časobjave,upor.ime

Blogi&komentarjinanje

•  namenskiekstraktorjizavsaknovičarskiportalposebej•  izbor:enotnapredlogablogov•  metapodatki:URLobjave,IDobjave,časobjave,upor.ime

Uporabniške&pogovornestraninaWikipediji

•  WikitalkExtractor(Ljubešić2016)•  slovenskakodazauporabnika(“uporabnik”)&jezik(“sl”)•  minimalnasegmentacijaobjav

OBDELAVABESEDILKorpusJANES

Koraki

1.  Stavčnasegmentacija&tokenizacija2.  Rediakri>zacija3.  Normalizacija4.  Tegiranje&lema>zacija5.  Zapiskorpusa

Stavčnasegmentacija&tokenizacija

§  temeljitanapravilihvoblikiregularnihizrazov§  standardnimodul+opcijskinestandardnimodul(LjubešićinErjavec2016)

–  pikalahkokončapoved,čepravsenaslednjabesedanezačenjazvelikozačetnicoalijicelonesledipresledek

–  pojavnice,kisekončajospikoinsonaseznamuokrajšav,kinekončajopovedi,kotnpr.prof.,nekončujejopovedi

–  emo>konisoenapojavnica,kotnpr.:-],:-PPPP,^_^§  evalvacija

–  ročnopopravljanjestavčnesegmentacijeintokenizacijeza4.000tvitov/100.000pojavnic(Čibejetal.2016)

–  stavčnosegmentacijobibilotvitovmogočešeprecejizboljša>(86,3%natančnost)–  tokenizacijajezadovoljiva(99,2%natančnost)

RediakriCzacija

§  temeljinastrojnemučenju(Ljubešićindr.2016)–  učenjemodela:običajnabesedilasšumniki&besedilazodstranjenimišumniki–  strategija1:verjetnostprevodabesedebrezšumnikivbesedosšumniki–  strategija2:verjetnostbesedesšumnikigledenakontekst

§  evalvacija–  najboljširezulta>zamodel,naučennastandardnih&nestandardnihbesedilih

(Wikipedija,slWaC,tvi>)–  Wikipedija:99,62%–  tvi>:99,12%–  problem:se/še

Normalizacija

§  jest,jst,jas,js,jz->jaz§  temeljinastrojnemučenju

–  učenjeprevodnegamodela:ročnonormaliziranvzorec4.000tvitov/100.000pojavnic–  učenjemodelaciljnegajezika:korpusKres&standardnitvi>–  normalizacijapotekananivojubesede(nanivojupovedirezulta>maloboljši,aje

procesiranjevelikopočasnejše)

Tegiranje&lemaCzacija

§  Nikolex(LjubešićinErjavec2016)–  1.korak:tegiranje

•  temeljinastrojnemučenju•  učenjemodela:ročnooznačenkorpusssj500k1.3(Kreketal.2013)&

oblikoskladenjskileksikonSloleks1.2(Dobrovoljcetal.2015)•  zarazlikoodklasičnihoznačevalnikovleksikonuporabljensamoposredno,vobliki

značilk•  noveoznakezaspecifičneelementeRPK:

–  Nw:e-mailnaslovi,URL-ji–  Ne:emo>koni,emojiji:-),J–  Nh:heštegi#kvadogaja–  Na:@dfiser3

–  2.korak:lema>zacija•  upoštevaoblikoskladenjskooznakoiz1.koraka&oblikoskladenjskileksikon•  strojnonaučenmodelseuporabisamovprimerih,koparaoblikoskladenjska

oznaka:besednaoblikanivleksikonu§  evalvacija

–  natančnost:94,3%–  zmanjšanjerela>vnenapake:25%

Zapiskorpusa

§  metapodatki:lastniXMl§  anotacije:TEIP5

ANALIZAKORPUSAKorpusJANES

JANESvštevilkah

Št.besedil

tweet

forum

blog

news

wikipedia

Št.pojavnic tweet

f.avtomobilizem

f.medovernet

f.kvarkadabra

b.rtvslo.comment

b.rtvslo.post

b.publishwall.post

b.publishwall.comment

n.rtvslo.comment

n.mladina.comment

n.reporter.comment

w.usertalk

w.pagetalk

Janesv0.4Št.besedil 9.055.351

Št.besed 175.134.545

Št.pojavnic 208.261.725

Št.besed/besedilo 19,3

Št.avtorjev 96.648

Št.avtorjev

tweet

forum

blog

news

wikipedia

JANESvštevilkah

Podkorpus Pov.št.besed/besedilo

Št.besed/uporabnika

Št.besedil/uporabnika

tweet 12 10.307,5 857,6forum 51,4 616,5 12,0

avtomobilizem 38,5 1.713,5 44,5medovernet 94,7 234,7 2,5kvarkadabra 77,1 2.814,1 36,5

blog 71,3 4.373,8 61,3rtvslo.comment 35,8 3.705,5 103,4

rtvslo.post 343,7 33.261,7 96,8publishwall.post 394 11.860,8 30,1

publishwall.comment 48,4 599,6 12,4news 41,8 867,7 20,7

rtvslo 38,6 800,5 20,7mladina 72,7 1.484,8 20,4reporter 54,4 1.221,7 22,5

wikipedia 50,8 1.609,3 31,7usertalk 52,2 1.765,5 33,8pagetalk 48 1.349,1 28,1

Metapodatki§  Gledenanačinoznačevanja

–  avtomatsko•  jezik•  spol•  stopnjastandardnos>•  sen>ment•  regija(samozatvite)

–  ročno•  >p•  spol(samozatvite)

§  Gledenanivooznačevanja–  nanivojuuporabnika

•  spol•  >p•  regija(samozatvite)

–  nanivojubesedila•  jezik•  sen>ment•  stopnjastandardnos>

Jezikbesedil

§  detekcija:–  langpy

–  slv,eng,hbs,und§  >1%tujejezičnih

besedilsamowiki&tvi>§  wiki:2,6%angbesedil§  tvi>:

–  9,6%angbesedil–  1,1%drugo

Starostbesedil

§  zajetoobdobje:–  2001–2015

§  najstarejšiviri:–  forumi(2001-)–  Wikipedija(2003-)–  blogi(2006-)

§  najmlajšiviri:–  komentarjina

novice(2014,poli>kaportala)

–  tvi>(2014,začetekzajema)

Spolavtorjev

§  detekcija:–  1.os.ed.pom.gl.+

deležnikna-l(sem/nisem/bommislil/a)

–  >0.7odkri>hž/m>1%besedil

§  evalvacija(tvi>):–  76%natančnost–  5%napačnispol–  19%nevtralnispol

§  komentarjiprevladujeN§  tvi>&avtomobilizem

prevladujeM§  medovernetprevladujeŽ

Tipavtorjev

§  >pavtorja–  osebniračuniposameznikov(pros>čas)–  uradniračunimedijskihhiš,ins>tucij,podje>j(profesionalnaraba)

§  označevanje–  ročno(analizaprofilauporabniškegaračuna&zgodovinoobjav)–  tvi>(blogikmalu)

§  rezulta>–  76%zasebnihuporabnikov–  24%korpora>vnihuporabnikov

•  84%N•  13%M•  3%Ž

Regijaavtorjev

0 20000 40000 60000 80000 100000 120000

Ljubljana

Štajerska

Gorenjska

Tujina

Dolenjska

Primorska

Koroška

Rovtarska

Panonska

Maribor

§  detekcija(ČibejinLjubešić2015):–  geolokacijatvitov–  7narečnihskupin+Lj+Mb–  >90%tvitoviz1regije

>2tvita

§  rezulta>:–  22%uporabnikov–  2%podkorpusa–  rednoosveževanje

StopnjastandardnosC

§  stopnjestandardnos>(Ljubešićetal.2015):–  tehnična&lingvis>čna1-3

§  učenjemodela:–  ročnooznačenih1.200besedil

§  evalvacija:–  povp.abs.n.0,38T/0,42L

§  rezulta>:–  najboljnestandarden

avtomobilizem(20%L3)–  precejnestandardnitudi

tvi>(12%L3)–  najboljstandardni

kvarkadabra&wiki(2%L3)

Podkorpus T=1/L=3 T=3/L=1tweet AnisblavčernaBledu? komunisGčnaideologija

ubijaj,kradilaži.....zeloprimernazaaktualnovlado,,,,,

news.comment Mensodrugačvsifullepi,ampakzverjepaekstrakjut.Pafullepnasmešekma.Paobrvi..

Zadevajenerodnainzgledzeloslab,karseGčeostalihčlanic,kipravtakovisij(m)onanitki!

SenCmentbesedil

§  sen>ment(Smailović2014):–  +/-/0

§  učenjemodela:–  5000ročnooznačenihtvitov

§  evalvacija:–  600besedil,3anotatorji–  ujemanjemedA.0,563,sistema0,432–  najboljšeblogi,najslabšeforumi–  razmeromanenatančnonanivoju

posameznihbesedil,azelonatančnonanivojupodkorpusov

NERAZREŠENIPROBLEMIKorpusJANES

Izboljšavekorpusa§  Sestavakorpusa

–  reprezenta>vnost–  celovitost–  uravnoteženost

§  Metapodatki–  dodajanjestaros>uporabnikov–  podkorpuspoli>kov,mikrozvezdnikov,etc.

§  Zapis–  strukturadokumenta(specifičnielemen>RPK)

§  Spremljevalnikorpus–  TwiQer&Wikipedia

§  Uporabnostkorpusaizvenkonkordančnika–  sociolingvis>ka,analizadiskurza,žanrskaanaliza–  discussionthreads,layout,nebesedilnielemen>

Objavakorpusa

§  Problemi–  pogojiuporabe(TwiQer)–  avtorskepravice(forumi,blogi,novičarskiportali)–  pravicadozasebnos>(informacijskapooblaščenka)

§  Rešitve–  anonimizacija–  premešanje–  vzorčenje

hap://nl.ijs.si/janes/

tenksJ