Nástroj pre zosúladenie zverejňovaných dát s centrálnym ......Čo ďalej? Čo aktuálne...

Nástroj pre zosúladenie zverejňovaných dát s

centrálnym modelom

Študenti: Lukáš Belaj, Tomáš Božik, Matúš Brandajský,

Gabriel Csöllei, Janka Fabušová,

Michal Hrutka, Tatiana Šlesariková

Vedúci tímu: Jakub Šimko

Konzultant: Marek Šurek

Rámec: memorandum o spolupráci UPV a STU

2

Hľadali sme:

rozumne veľký problém

vhodný pre naše špecifické kompetencie

Zadanie:

(Polo) automatická transformácia verejných datasetov

do podoby vyhovujúcej centrálnemu modelu,

ktorú zvládne úradník bez technického zamerania.

3

mapovanie

čo najviac

automaticky

s pomocou

úradníka

Myšlienka riešenia

Vo webovej aplikácií

1. Úradník nahrá dataset v podobe akej ho má (csv, xlsx...)

2. Aplikácia odhadne, čomu v centrálnom modeli zodpovedajú

stĺpce datasetu

3. Pre každý stĺpec úradník odhada) Potvrdí

b) Nahradí inou možnosťou

c) Zavedie nový typ atribútu

4. Úradník potvrdí výber a aplikácia dataset zverejní

4

Ukážka z prototypu aplikácie

5

Ako sme to spravili

6

Architektúra + technológie

7

Frontend vždy najskôr prototypujeme

8

Vyvíjame agilne (Scrum, 2 týždňové šprinty)

TODO screenshot zo scrumdesku

9

Čo ďalej? Čo aktuálne riešime?

10

Existujúce datasety (data.gov.sk) sú plné

neporiadku vo viacerých rovinách

Nie vždy ide o stĺpcové dáta

Súbory môžu obsahovať naraz viac datasetov

Nie vždy sa dá spoľahnúť na uniformnosť dát v rámci

stĺpcov

11

mapovanieupratanie

12

Odpoveďou na neporiadok v dátach môže byť

umelá inteligencia

Skúsili sme určovať typ atribútov podľa

obsahu stĺpcov

13

Pokus č. 2

13 číselných atribútov

v rôznych podobách4.3.2018, 3/4/2018, 20180403

Random Forest

presnosť: 98%

Pokus č. 1

5 číselných atribútov

2 textové atribúty

rôzne formáty

SVM

presnosť: nad 96%

Zavedenie nového atribútu sa dá verifikovať

jeho používaním

14

Zavedenie nového atribútu sa dá verifikovať

jeho používaním

15

Počítame s možnosťou zdieľania linkov

(pričom sa zachová stav dokumentu)

Úradník A si nevie rady, pošle celý stav práce úradníkovi B

16

Nástroj pre zosúladenie zverejňovaných dát s

centrálnym modelom

(Polo) automatická transformácia verejných datasetov

do podoby vyhovujúcej centrálnemu modelu,

ktorú zvládne úradník bez technického zamerania.

17

mapovanie

čo najviac

automaticky

s pomocou

úradníka

18

Architektúra prototypu

19

20

21

22

23

24

25

26

27

28

29

30

31

32