47

Big data tietoisku julkishallinnolle 2.10.2013

Embed Size (px)

DESCRIPTION

Big data -tietoisku julkishallinnolle 2.10.2013 Ivorion tiloissa.

Citation preview

Page 1: Big data  tietoisku julkishallinnolle 2.10.2013
Page 2: Big data  tietoisku julkishallinnolle 2.10.2013

Ohjelma

08:45-09:00 Aamukahvi09:00-09:10 Mitä tarkoittaa big data?

Immo Salo, Ivorio

09:10-09:30 Big data -selvityksen tuloksetMarkku Alanko, Ivorio

09:30-10:00 Mitä big data merkitsee julkishallinnolle?Markku Alanko, Ivorio

10:00-10:30 Tunnista, tallenna, jaa ja hyödynnä olennainen dataImmo Salo, Ivorio

10:30-11:00 Kaksi tarinaa julkishallinnostaPetri Roine, SAS

11:00-11:30 yhteenveto ja keskustelua

Page 3: Big data  tietoisku julkishallinnolle 2.10.2013

Ivorion missio

Ivorio on Suomen johtava riippumaton big data -asiantuntija. Autamme asiakkaamme valjastamaan tietojenkäsittelyn mullistavan teknologian tukemaan strategiaa ja luomaan uutta liiketoimintaa.

Page 4: Big data  tietoisku julkishallinnolle 2.10.2013

Mitä tarkoittaa “Big Data”?Datan määrä ja laatu kasvaa kiihtyvällä tahdilla maailmassa.

Asialle tarvitsisi tehdä jotain.

Page 5: Big data  tietoisku julkishallinnolle 2.10.2013

Jokainen on kuullut big datasta

Google-haun “big data” suosio

Page 6: Big data  tietoisku julkishallinnolle 2.10.2013

Big data pähkinänkuoressa

● Big data tarkoittaa kahta asiaa:

1. Havaintoa siitä, että dataa on koko ajan määrällisesti enemmän ja sen muoto ja laatu vaihtelee suuresti

2. Ratkaisumalleja (tuotteet, palvelut, ohjelmistot, teknologiat), joilla tuohon haasteeseen tartutaan

Page 7: Big data  tietoisku julkishallinnolle 2.10.2013

Big datan 3 V:tä

1. VolumeTietoa (dataa) on koko ajan enemmän. Se pitäisi pystyä tallentamaan ja hyödyntämään.

2. VelocityTietoa (dataa) tulee koko ajan nopeammin. Päätöksiä pitäisi pystyä tekemään nopeasti.

3. VarietyTietoa (dataa) tulee kiihtyvällä tahdilla erilaisista lähteistä, eikä se istu hyvin nykyisiin toimintamalleihin

Veracity, Value Virality, Validity, Viscosity… myös muita V-kirjaimia on lisätty kuvaamaan ilmiötä.

Page 8: Big data  tietoisku julkishallinnolle 2.10.2013

Kuinka suuret ovat big data -markkinat?

● Yleisin luku on välillä 15-50 mrd €

○ IDC sanoo (12/2012), että vuonna 2016 markkinoiden koko on n. 26 mrd $

○ Gartner sanoo (10/2012), että vuonna 2012 big data -markkinat olivat n. 28 mrd $

○ Wikibon ennustaa (02/2012), että big data -markkinat ovat vuonna 2015 n. 54 mrd $

○ McKinseyn raportissa (05/2011) arvioitiin big datan vuotuisen lisäarvo- ja kustannussäästöpotentiaalin olevan vuonna 2011 arviolta 1 000 mrd €

Page 9: Big data  tietoisku julkishallinnolle 2.10.2013

Big data Suomessa

Ivorio toteutti Liikenne- ja viestintäministeriölle selvityksen suomalaisesta big data -markkinasta. Mukana olivat julkishallinnon, yritysten, palveluntarjoajien ja oppilaitosten edustajat.

http://www.lvm.fi/julkaisu/4156840/big-data-suomessa-keskustelualoite

Page 10: Big data  tietoisku julkishallinnolle 2.10.2013

Kysely:

Vastanneista organisaatioista uskoi big datan olevan merkittävässä roolissa tietojenkäsittelyn tulevaisuudessa.

95 %

Page 11: Big data  tietoisku julkishallinnolle 2.10.2013

“Haaga-Helia ammattikorkeakoulu:

Big datan merkitys kasvaa jatkuvasti koska yhteiskunta digitalisoituu jatkuvasti.

Page 12: Big data  tietoisku julkishallinnolle 2.10.2013

“Accenture:

Räjähdysmäisesti kasvavat tietomäärät avaavat uusia mahdollisuuksia ja potentiaalisia kilpailuetuja monilla aloilla ja monissa yrityksissä.

Page 13: Big data  tietoisku julkishallinnolle 2.10.2013

Vastaajien näkemys

Big datan merkitys1. Lisää tehoa analysointiin2. Mahdollisuus käsitellä

suurempia datamassoja3. Avaa ovia uusiin

innovaatioihin

Big data visio1. Nousee liiketoiminnan

ytimeen2. Toimii moottorina

uudelle liiketoiminnalle3. Tehokkuus ja

skaalautuvuus

Page 14: Big data  tietoisku julkishallinnolle 2.10.2013

“McKinsey, 2011:

By 2018, the United States alone could face a shortage of 140,000 to 190,000 people with deep analytical skills.

Page 15: Big data  tietoisku julkishallinnolle 2.10.2013

“Gartner, 2012:

By 2015, 4.4 million IT jobs globally will be created to support big data.

Page 16: Big data  tietoisku julkishallinnolle 2.10.2013

“Forrester, 2012:

IT still needs to support and certify data quality in the access and integration of data. It isn’t a question of good enough data, it is about data quality efforts that matter to outcomes.

Page 17: Big data  tietoisku julkishallinnolle 2.10.2013

Big datan haasteet

❏ Osaajapula (teknologiat, datatieteilijät)❏ Lähdedatan vaihteleva laatu ja kasvava määrä❏ Ilmiön ja teknologioiden jäsentymättömyys

%

Page 18: Big data  tietoisku julkishallinnolle 2.10.2013

Muutakin ratkaistavaa ...

● Yksityisyyden suojaaminen, lainsäädäntö● Kalliit kehityskustannukset● Epäkypsä ja hajanainen teknologiakirjo

Page 19: Big data  tietoisku julkishallinnolle 2.10.2013

“Helsingin kaupungin tietokeskus:

Suomi on tunnettu avoimuudestaan ja läpinäkyvyydestään sekä erilaisista huippuosaajistaan, joten Suomella on paljon potentiaalia toimia eturintamassa sekä avoimen datan että big datan hyödyntämisessä.

Page 20: Big data  tietoisku julkishallinnolle 2.10.2013

“Opetus- ja kulttuuriministeriö:

Huippuosaamisella on vaikutusta niin julkishallinnon sisäiseen toiminnan tehokkuuteen ja läpinäkyvyyteen kuin pysyvän kilpailuedun saavuttamiseen globaaleilla markkinoilla.

Page 21: Big data  tietoisku julkishallinnolle 2.10.2013

Suomen tulevaisuus big data -markkinoilla❏ Innovatiivisuus❏ Huippuosaaminen❏ Vahva infrastruktuuri❏ Avoin data

Page 22: Big data  tietoisku julkishallinnolle 2.10.2013

Suomen rooli big data -markkinoilla

● “Hyödynnetään ja kehitetään laadukasta infrastruktuuria” - palveluntarjoaja?

● “Huippuosaamisen kehittäminen” - osaamisvienti?

● “Viranomaistoimintaan liittyvien ratkaisujen toteutukselle hyvät lähtökohdat” - esimerkkimaa?

● “Tiedon louhinnan ja tulkinnan työkalujen kehittäjä” - ohjelmistotuotanto?

Page 23: Big data  tietoisku julkishallinnolle 2.10.2013

Julkishallinnon hankkeet

Merkittäviä suurten datamassojen hyödyntämiseen tähtääviä hankkeita on käynnissä ja suunnitteilla. Nämä ovat kuitenkin toistaiseksi marginaalissa. Arkipäiväistymiseen nähdään vielä kuluvan aikaa.

Page 24: Big data  tietoisku julkishallinnolle 2.10.2013

Käynnissä olevia hankkeita

● OKM: Tutkimuksen tietoaineistot (TTA) ja Kansallinen digitaalinen kirjasto (KDK) -yhteistyö sekä AVOIN-hanke (Avoimen tiedon instrumentit)

● Trafi: Tiedonluovutusratkaisun hankinta - tavoitteena vastata sekä avoimen datan kysynnän kasvuun ja varautua myös big-data ratkaisujen kehittämiseen

● VRK: Rakennus - ja Kiinteistötietojen uudistamishanke (RaKi)

● Ilmatieteen laitos: Avoin data kts. Facebook fmibeta

● Helsingin kaupungin tietokeskus: Tietokeskuksen yksi keskeisimpiä tehtäviä on avata pääkaupunkiseudun kaupunkien julkisia tietovarantoja ns. avoimena datana Helsinki Region Infoshare -palvelunsa (www.hri.fi) kautta kenen tahansa vapaasti ja maksutta hyödynnettäväksi

Page 25: Big data  tietoisku julkishallinnolle 2.10.2013

Tulevia hankkeita

● OKM: TTA-yhteistyön ja AVOIN-hankkeen jatkoa valmistellaan. Tutkimuksen tietoaineistojen pitkäaikaissäilytysjärjestelmä (TTA-PAS) käynnistyy syksyllä

● Trafi: Autojen paikka- ja kilometritiedon kerääminen ajoneuvorekisteriin ja näiden yhdistäminen mm. onnettomustilastoihin yms.

● VRK: Henkilötietojen uudistamisihanke (HeTi?)

Page 26: Big data  tietoisku julkishallinnolle 2.10.2013

“Avoin data, data.suomi.fi:

Avoin data -sivulle kerätään julkisen hallinnon avoimia datoja. Tarkoituksena on edistää hallinnon avoimuutta ja jakaa julkista tietoa kaikkien käyttöön.

Page 27: Big data  tietoisku julkishallinnolle 2.10.2013

“McKinsey:

€250 billion - potential annual value to Europe’s public sector administration in use of big data more efficiently.

Page 28: Big data  tietoisku julkishallinnolle 2.10.2013

Säästöjä, ennustettavuutta big datasta

● Läpinäkyvyyttä, avoimuutta, automaattisuutta verotukseen○ Lisää lähteitä, parempi ennustettavuus

● Henkilökohtaisempaa, proaktiivista palvelua kansalaisille○ Ehdotuksia tilanteen mukaan, kokonaisasiakkuus

● Petosten, väärinkäytösten tarkempi tunnistaminen, nopeampi reagointi○ Veronkierto, identiteettirikokset

● Kansalaisten mielipiteiden tulkinta päätöksenteossa, demokratian edistäminen○ Aloitteista, vaihtoehdoista päätöksentekoon

Page 29: Big data  tietoisku julkishallinnolle 2.10.2013

Säästöjä, ennustettavuutta big datasta

● Kansallinen turvallisuus, epäilyttävän toiminnan/tilanteen tunnistaminen○ Rikokset, onnettomuusriskit (NYC, paloturvallisuus)

● Infrastruktuuriongelmien tunnistaminen ennen onnettomuuksia, korjaustoimet ennen kalliita vahinkoja○ Crowdsourcing

● Reagointikyky kansallisessa terveydenhuollossa, oireiden tunnistaminen ajoissa○ Kausiflunssat, rokotukset, omahoito

Page 30: Big data  tietoisku julkishallinnolle 2.10.2013

“Policy Exchange, The Big Data Opportunity, 2012:http://www.policyexchange.org.uk/images/publications/the%20big%20data%20opportunity.pdf

The purpose of this short report is threefold: to inspire policy makers around the opportunity for data and analytics to transform public service delivery, to sound a note of caution about the challenges this agenda poses for the public sector, and to make recommendations for how government might begin to realise the former whilst addressing the latter.

Page 31: Big data  tietoisku julkishallinnolle 2.10.2013

Ideoita Euroopasta (UK)

● Analytiikkatiimi yli osastorajojen● Eettisen analytiikan säännöt ja esimerkki● Julkishallinnon toiminnan mittarit ja avoimuus

“Just because government can do something with big data, that doesn’t mean that it should do it. In the final analysis, if a Minister would not be comfortable putting themselves or their family under the sort of scrutiny required by a departmental big data initiative, then that initiative should not make it into government policy.”

Page 32: Big data  tietoisku julkishallinnolle 2.10.2013

Kysymyksiä omalle organisaatiolle

1. Tiedämmekö, mitä tiedämme?2. Käytämmekö dataa päätöksenteon tukena?3. Kuinka nopeasti saamme dataan pohjautuviin

kysymyksiimme vastaukset?4. Mikä on strategiamme big datan

hyödyntämisessä?5. Kenen vastuulla on datan hyödyntäminen, ja

onko tämä oikea taho organisaatiossamme?

Page 33: Big data  tietoisku julkishallinnolle 2.10.2013

Hyödynnä big data!

Miten julkishallinto voi tehostaa omaa toimintaansa ja vauhdittaa osaltaan databisneksen kasvua?● Mistä data?● Miten hyödynnettävissä?● Millä tekniikoilla?

Page 34: Big data  tietoisku julkishallinnolle 2.10.2013

Big datan lähteitä

● Internet

● Sosiaalinen media

● Transaktiotietokannat

● Videovalvonta

● Sensorit

● Esineiden internet (Internet of Things, IoT)

● Avoin data

● Datamarkkinapaikat

Page 35: Big data  tietoisku julkishallinnolle 2.10.2013

Saatavilla olevat datavarannot(avoin data, datamarkkinat)

Potentiaalinen data(ei vielä kerätä)

Digitaalinen todellisuus(internet, sosiaalinen media)

Fyysinen todellisuus(sensorit, esineiden internet)

Mistä sitä dataa oikein tulee?

Organisaation hallussa tai saatavilla oleva data(ERP, CRM, DW, RDBMS)

© Ivorio 2013

Page 36: Big data  tietoisku julkishallinnolle 2.10.2013

Suppein näkökulma dataan

Tästä näkökulmasta big data koskettaa ilmiönä n. 0.2 % maailman organisaatioista

“Eihän meillä edes ole big dataa!” “Pilvipalvelut sopivat pilotointiin.”

Yrityksen oma strukturoitu dataYrityksen vielä hyödyntämätön data

Yrityksen vielä keräämätön data

© Ivorio 2013

Page 37: Big data  tietoisku julkishallinnolle 2.10.2013

Suppeahko näkökulma dataan

Tästä näkökulmasta big data koskettaa ilmiönä n. 3 % maailman organisaatioista

“Liiketoimintakriittistä dataa ei voida laittaa pilveen, ehkä jotain lokitietoja tms.”“Privaattipilvi kiinnostaa!”

Yrityksen oma strukturoitu dataYrityksen vielä hyödyntämätön data

Yrityksen vielä keräämätön data

© Ivorio 2013

Page 38: Big data  tietoisku julkishallinnolle 2.10.2013

Laaja näkökulma dataan

Tästä näkökulmasta big data koskettaa ilmiönä n. 22 % maailman organisaatioista

“Mihinkäs me laitetaan kaikki tuo data...”“Olisiko julkisilla pilvipalveluilla jotain annettavaa?”

Yrityksen oma strukturoitu dataYrityksen vielä hyödyntämätön data

Yrityksen vielä keräämätön data

© Ivorio 2013

Page 39: Big data  tietoisku julkishallinnolle 2.10.2013

Verkostoitunut näkökulma dataan

Tästä näkökulmasta big data koskettaa ilmiönä n. 72 % maailman organisaatioista

“Verkottunut yritys ei voi hillota dataansa!”

Organisaatio

Kumppani Kumppani

Kumppani Kumppani

Kumppani Kumppani

© Ivorio 2013

Page 40: Big data  tietoisku julkishallinnolle 2.10.2013

Kokonaisvaltainen näkökulma dataan

Tästä näkökulmasta big data koskettaa ilmiönä n. 98 % maailman organisaatioista

“Palvelinkellarissa homehtuva data ei tuota lisäarvoa tai kilpailuetua!”

Avoin data(dokumentoidut rajapinnat)

Data marketplace(pilvessä olevat datan markkinapaikat)

Datakauppiaat(yksittäiset suoraan omaa tai

verkostonsa dataa myyvät)

Puoliavoin data(ei rajapintoja, hajallaan)

© Ivorio 2013

Page 41: Big data  tietoisku julkishallinnolle 2.10.2013

Big datan hyödyntämiskohteita

● Markkinointi

● Suositukset (recommendation engine)

● Tilastollinen analyysi

● Tutkimus- ja kehitystyö

● Mallintaminen ja ennustaminen

● Resurssien kohdentaminen

Mahdollisuuksien tunnistaminen vaatii toimialan ja organisaation ymmärtämistä.

Page 42: Big data  tietoisku julkishallinnolle 2.10.2013

Big datan teknologiat

● Hadoop (tunnetuin yksittäinen uusi teknologia)

● NoSQL (uudenlaiset tietokannat)

● “Appliancet” (valmisratkaisut)

● In-memory-, In-database analytics

● Pilvipalvelut○ Amazon Elastic MapReduce

○ Google BigQuery

○ Microsoft HDInsight

Page 43: Big data  tietoisku julkishallinnolle 2.10.2013

Hadoopin asema big data -ilmiössä

Hadoop

Tiedon määrä

Tied

on r

aken

teis

uus

2 Tb1 Gb 20 Tb 200 Tb

Nearly all sectors in the US economy had at least an average of 200 terabytes of stored data per company with more than 1,000 employees.McKinsey 2011

By 2015, 65 percent of packaged analytic applications with advanced analytics will come embedded with Hadoop.Gartner 2013

© Ivorio 2013

Page 44: Big data  tietoisku julkishallinnolle 2.10.2013

Pilvipalveluiden rooli nyt ja tulevaisuudessa

● Riskitön tapa lähteä liikkeellekokeillaan ennen investointeja ja sitoutumista

● Ketteryys ja kustannustehokkuuskustannukset muuttuvia, tulevaisuutta ei tarvitse ennustaa

● Tulevaisuudessa yhä keskeisemmässä roolissamitä suurempi painoarvo jaetulla, avoimella tai datamarkkinapaikoista saatavalla datalla on, sitä mielekkäämpi vaihtoehto pilvipalvelut ovat

Page 45: Big data  tietoisku julkishallinnolle 2.10.2013

“Gartner:

Through 2015, 85% of Fortune 500 organizations will be unable to exploit big data for competitive advantage.

Page 46: Big data  tietoisku julkishallinnolle 2.10.2013
Page 47: Big data  tietoisku julkishallinnolle 2.10.2013

Kiitos