Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Nástroj pre zosúladenie zverejňovaných dát s
centrálnym modelom
Študenti: Lukáš Belaj, Tomáš Božik, Matúš Brandajský,
Gabriel Csöllei, Janka Fabušová,
Michal Hrutka, Tatiana Šlesariková
Vedúci tímu: Jakub Šimko
Konzultant: Marek Šurek
Rámec: memorandum o spolupráci UPV a STU
2
Hľadali sme:
rozumne veľký problém
vhodný pre naše špecifické kompetencie
Zadanie:
(Polo) automatická transformácia verejných datasetov
do podoby vyhovujúcej centrálnemu modelu,
ktorú zvládne úradník bez technického zamerania.
3
mapovanie
čo najviac
automaticky
s pomocou
úradníka
Myšlienka riešenia
Vo webovej aplikácií
1. Úradník nahrá dataset v podobe akej ho má (csv, xlsx...)
2. Aplikácia odhadne, čomu v centrálnom modeli zodpovedajú
stĺpce datasetu
3. Pre každý stĺpec úradník odhada) Potvrdí
b) Nahradí inou možnosťou
c) Zavedie nový typ atribútu
4. Úradník potvrdí výber a aplikácia dataset zverejní
4
Ukážka z prototypu aplikácie
5
Ako sme to spravili
6
Architektúra + technológie
7
Frontend vždy najskôr prototypujeme
8
Vyvíjame agilne (Scrum, 2 týždňové šprinty)
TODO screenshot zo scrumdesku
9
Čo ďalej? Čo aktuálne riešime?
10
Existujúce datasety (data.gov.sk) sú plné
neporiadku vo viacerých rovinách
Nie vždy ide o stĺpcové dáta
Súbory môžu obsahovať naraz viac datasetov
Nie vždy sa dá spoľahnúť na uniformnosť dát v rámci
stĺpcov
11
mapovanieupratanie
12
Odpoveďou na neporiadok v dátach môže byť
umelá inteligencia
Skúsili sme určovať typ atribútov podľa
obsahu stĺpcov
13
Pokus č. 2
13 číselných atribútov
v rôznych podobách4.3.2018, 3/4/2018, 20180403
Random Forest
presnosť: 98%
Pokus č. 1
5 číselných atribútov
2 textové atribúty
rôzne formáty
SVM
presnosť: nad 96%
Zavedenie nového atribútu sa dá verifikovať
jeho používaním
14
Zavedenie nového atribútu sa dá verifikovať
jeho používaním
15
Počítame s možnosťou zdieľania linkov
(pričom sa zachová stav dokumentu)
Úradník A si nevie rady, pošle celý stav práce úradníkovi B
16
Nástroj pre zosúladenie zverejňovaných dát s
centrálnym modelom
(Polo) automatická transformácia verejných datasetov
do podoby vyhovujúcej centrálnemu modelu,
ktorú zvládne úradník bez technického zamerania.
17
mapovanie
čo najviac
automaticky
s pomocou
úradníka
18
Architektúra prototypu
19
20
21
22
23
24
25
26
27
28
29
30
31
32