Informacijos valdymo iššūkiai 2011 metų visuotiniame

„Gyventojų ir būstų surašyme"

Rokas Ratkevičius

UAB „Affecto Lietuva“

Java technologijų skyriaus vadovas

1

Apie „Affecto Lietuva“

Affecto grupės įmonė, viena iš pirmaujančių IT sprendimų ir paslaugų teikėjų Lietuvoje.

Ilgametė informacinių sistemų kūrimo, diegimo ir konsultavimo patirtis.

Strateginės veiklos kryptys:- individualūs informaciniai sprendimai, - verslo valdymo sistemų diegimas,- draudimo sprendimai (TIA),- veiklos analizės sprendimai.

Pardavimų pajamos 2010 m. – 31 ml. Lt.

190 darbuotojų.

Daugiau informacijos www.affecto.lt

2

„Affecto Lietuva“ įvykdyti e-paslaugų projektai su Oracle technologijomis

SoDra – Elektroninė draudėjų aptarnavimo sistema (2007) https://draudejai.sodra.lt

SoDra – Elektroninė gyventojų aptarnavimo sistema https://gyventojai.sodra.lt

Regitra – Vairuotojų portalas (vairuotojų pažymėjimai) https://www.eregitra.lt/vepp-web/

LAKD – Eismo informacinė sistema

Įvertintų brandos egzaminų kandidatų darbų demonstravimo internete sistema (aktyvi egzaminų metu)

Lietuvos vyriausiojo archyvaro tarnyba – Elektroninio archyvo informacinė sistema (EAIS) - http://eais-pub.archyvai.lt

3

Good Practice Awards: Europe 2010CERTIFICATE OF MERIT

LIETUVOS AUTOMOBILIŲ

KELIŲ DIREKCIJA PRIE SUSISIEKIMO

MINISTERIJOS

Šiuo metu vykdomi dar 7 elektroninių paslaugų projektai

LIETUVOS VYRIAUSIOJO ARCHYVARO

TARNYBA

Projekto tikslai

2011 m. visuotinis gyventojų ir būstų surašymas - nustatyti Lietuvos Respublikos gyventojų skaičių ir pasiskirstymą gyvenamosiose vietovėse, įvertinti gyventojų demografinę, socialinę - ekonominę sudėtį, surinkti statistinius duomenims apie gyvenamuosius būstus ir jų kokybinius parametrus

Kompiuterizuota sistema - sukurti ir parengti priemones, skirtas surašymui atlikti, kurios sudarytų sąlygas greitam ir kokybiškam surašymo darbų atlikimui ir užtikrintų efektyvų ir patikimą surašymo duomenų surinkimą, apdorojimą ir analizę

Surašymas vykdomas vadovaujantis ES, LR, JT teisės aktais ir rekomendacijomis

Ar mūsų vis dar trys milijonai ?

4 Nuotrauka iš: www.trysmilijonai.lt

Projekto uždaviniai

Sukurti programinę įrangą:- E.surašymo portalą- Vidinį apdorojimo portalą- Skenavimo ir atpažinimo posistemę- Vaizdų archyvavimo posistemę- Duomenų analizės posistemę

Parengti sistemą bandomajam surašymui

Specifikuoti surašymo darbams atlikti reikalingą techninę ir bazinę programinę įrangas

Modifikuoti sistemą atsižvelgus į bandomojo surašymo rezultatus

Atlikti naudotojų mokymus

5

Gyventojų ir būstų surašymo etapai

Projekto pradžia: 2010 sausio 15 d.

Bandomojo surašymo pradžia – 2010 kovo 30 d.

Elektroninis surašymas – nuo 2011 kovo 1 d. iki kovo 16 d.

6

Sisteminis procesas

7

Sprendimai

• Duomenims kaupti ir tvarkytiOracle 11 g duomenų

bazėOracle 11 g duomenų

bazė

• Elektroninėms formomsIšorinis Java e-

surašymo portalasIšorinis Java e-

surašymo portalas

• Duomenims tvarkytiVidinis Java apdorojimo

portalasVidinis Java apdorojimo

portalas

• Analizei ir statistikai• Oracle Warehouse Builder, Oracle BI Answers ir kita.

Oracle Business Intelligence 10gOracle Business Intelligence 10g

• Surašymo formų aprašamsABBYY MXFD formosABBYY MXFD formos

• TIFF formoms saugotiSaperion ECMSaperion ECM

• Naudotojų administravimuiOracle APEXOracle APEX

8

Sprendimo architektūra

9

Portalų architektūra

Duomenų surinkimas perkeltas į aplikacijos lygį siekiant sumažinti OracleDB apkrovą

Tikrinimo taisyklės realizuotos PL/SQL

Išsaugojimas realizuotas “pagal naudotojo pareikalavimą”

10

Apache Trinidad komponentės

Oracle padovanojo ADF kodą 2006 metais

Patikimas JSF komponentų karkasas

150 veiklos komponentų

Dialogų karkasas

AJAX funkcionalumas su Partial Page Rendering technologija

Reikia atkreipti dėmesį:- Naudotojo sesijos informacijos valdymą- Sugeneruotas HTML kodas sudėtingai skaitomas- „Sunkus“ javascript

11

Oracle DB pritaikymas

Gyventojų surašymo duomenų loginei kontrolei realizuota ~300 taisyklių Oracle PL/SQL priemonėmis

ExternalTable technologija išorinių duomenų nuskaitymui

El. surašymo duomenų bazės apimtis – ~420 GB. Per 2darbo dienas pavyko atlikti duomenų eksportą/importą naudojantis Oracle DataPump technologija

Oracle JOBS panaudoti generuoti užduotis duomenų apdorojimo operatoriams

Skenavimo ir portalų modulių integracijai buvo panaudotas Oracle PL/SQL

12

Oracle APEX gyventojų surašymo IS

Oracle Application Express (APEX) – tai:- Nemokama Oracle DB priemonė skirta pilnaverčių web aplikacijų

kūrimui- Greitas, deklaratyvus kūrimo metodas- Sertifikuota Oracle duomenų bazėms nuo 10.2.0.3, įskaitant ir

nemokamą versiją Oracle XE

13

Oracle APEX panaudojimo sistemos Naudotojų administravimo modulio kūrimui priežastys:- Vidinė kliento sistema- Nedidelis konkurentinių naudotojų skaičius- Vidutiniai reikalavimai plečiamumui ir

prieinamumui- Mažinami sprendimo kaštai – nebūtinos

papildomos licencijos, greitas kūrimas

Analizės posistemės iššūkiai

Duomenų modelio sukūrimas STAR formatu 2001 – 2011 surašymų duomenų lyginimui

Metaduomenų sluoksnio sukūrimas

Duomenų užkrovimas į duomenų saugyklą – Oracle Warehouse Builder

Ataskaitų sukūrimas su Oracle BI Answers su galimybe taisyti

Oracle BI Publisher ataskaitos portalams

Duomenų pateikimas Eurostatui

14

ABBYY ir Saperion sprendimai

ABBYY formos panaudotos:- Popierinių lapų spausdinimui- Atpažinimo šablonams

Skenavimo rezultatai užkrauti į Oracle DB ir SAPERION duomenų saugyklą

Atpažinimo/verifikavimo procese darbuotojai sutikrina atpažintus duomenis su popieriniais

Saperion saugykla leido kaupti, peržiūrėti, eksportuoti skenuotus lapus TIFF formatu

15

Verifikavimas

16

2011 m. el. surašymo rezultatai

Vyko kovo 1-16 dienomis

Susirašė 1 mln. 39 tūkstančių gyventojų (~34 % nuo numatomų 3 mln. 53 tūkstančių Lietuvos gyventojų)

17

E-Surašymo infrastruktūra

Debesų virtualizacijos sprendimas- Leido padidinti galią paaiškėjus realioms apkrovoms

Aparatinė apkrovos paskirstymo įranga

Tomcat web serveriai

Sistema buvo paskaičiuota maksimaliam 480 000 gyventojų skaičiui, vienu metu esant maksimaliai 3162 naudotojų apkrovai

Web našumo testavimui panaudoti įrankiai: JMeter, JProbe

Oracle našumo testavimui ir monitoringui - Oracle Enterprise Manager

18

Apkrovos ataskaita: Unikalių prisijungimų kiekis dienomis

Didžiausias pikas – paskutinėse dienose

Skirtumas tarp mažiausios ir didžiausios apkrovos yra 4 kartai

19

0,00

10000,00

20000,00

30000,00

40000,00

50000,00

60000,00

70000,00

80000,00

90000,00

2011.02.26 2011.03.03 2011.03.08 2011.03.13 2011.03.18

Sesijų kiekis

Apkrovos ataskaita: Vidutinis sesijų pasiskirstymas dienoje

Daugiausiai el. paslaugomis Lietuvos gyventojai naudojasi tarp 19 – 22 val.

Maksimalus apkrovimas pasiektas 2011-03-14 d. tarp 20 –21 val.: 21’181 naudotojai valandos bėgyje

20

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

Sesijos

Kliento atsiliepimas

„Be 2011 gyventojų ir būstų surašymo kompiuterizuotos sistemos būtų sunkiai

įsivaizduojamas sklandus surašymo atlikimas ir duomenų apdorojimas.

Nepaisant glaustų terminų sistema įgyvendino keliamus uždavinius.

E. Surašymas suteikė gyventojams galimybę paprastai, suprantamai užpildyti

elektroninį surašymo lapą – tai vėliau leido pagreitinti elektroniniu būdu

pateiktų duomenų apdorojimo procesą“

Vanda Vaitiekūnienė

Gyventojų surašymų ir apklausų organizavimo

skyriaus vedėja

Statistikos Departamentas

21

Išmoktos pamokos

Lietuvos visuomenė jau pasirengusi el. paslaugoms!

Debesų kompiuterija suteikia galimybes suvaldyti sunkiai prognozuojamus srautus

Didelio našumo sprendimų konstravimo patirtis ir komponentai

Duomenų pildymas turi būti pagal klasifikatorius

„Paskutinės minutės“ pikas

El. paslaugų labai aukštas atsiperkamumas

Geri sprendimai atsiranda iš patirties.

22