Business Intelligence van A tot Z. Het begint met het … · iii Voorwoord Voor je ligt het Leerboek Business Intelligence. Business Intelligence is een zeer populair vakgebied. Jarenlang

123

978 90 395 2755 9 9 789039 527559

Leerboek Business Intelligence bespreekt Business Intelligence van A tot Z. Het begint met het definiëren van het begrip: Wat is het en waarom zou je het moeten toepassen? Wat zijn de doelen? In de volgende hoofdstukken komen alle onderdelen van Business Intelligence aan bod. Wat is een datawarehouse? Hebben we dat nodig? Hoe vullen we een datawarehouse met gegevens en waar moet je dan rekening mee houden? Wie gebruiken het datawarehouse en hoe doen ze dat dan? Daarbij komen ook ETL, Analytics en het front end uitgebreid aan de orde.

Om de relatie met de praktijk te leggen worden diverse voorbeelden uitgewerkt. De daarvoor gebruikte bestanden en scripts kunnen gebruikers van het boek

downloaden via de hbo-portal www.AcademicX.nl. Daar vinden studenten ook online vragen met feedback om hun kennis te toetsen.

Het Leerboek Business Intelligence is geschreven voor studenten die in aanraking gaan komen met Business Intelligence, niet alleen voor de bedrijfskundige studies, maar ook voor bedrijfskundige informatica en informatica. Omdat het boek zowel op technische als niet-technische lezers is gericht, is het ook geschikt voor professionals in het bedrijfsleven die een beter begrip willen krijgen van Business Intelligence.

Peter ter Braake is zelfstandig SQL Server docent/consultant. Hij is MCT sinds 2002 en SQL Server MVP sinds begin 2012. Hij werkt sinds 2004 met Microsoft SQL Server Business Intelligengence en is auteur van het boek Aan de slag met Reporting Services 2012.

ter braake Leerboek Business Intelligence

Leerboek Business Intelligence Peter ter Braake

Leerboek Business Intelligence

Peter ter Braake

Meer informatie over deze en andere uitgaven kunt u verkrijgen bij:BIM Media B.V. Postbus 162622500 BG Den Haagtel.: (070) 304 67 77www.bimmedia.nl

Gebruik onderstaande code om dit boek eenmalig toe te voegen aan je boekenplank op www.academicx.nl.Let op: je kunt deze code maar één keer gebruiken.

© 2014 BIM Media B.V., Den HaagAcademic Service is een imprint van BIM Media B.V.

1e druk, februari 2014

Zetwerk: Redactiebureau Ron Heijer, MarkeloOmslagontwerp: Carlito’s Design, Amsterdam

ISBN 978 90 395 2755 9NUR 123

Alle rechten voorbehouden. Alle intellectuele eigendomsrechten, zoals auteurs- en databankrechten, ten aanzien van deze uitgave worden uitdrukkelijk voorbehouden. Deze rechten berusten bij BIM Media B.V. en de auteur.Behoudens de in of krachtens de Auteurswet gestelde uitzonderingen, mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand of openbaar gemaakt in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of enige andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever.Voor zover het maken van reprografische verveelvoudigingen uit deze uitgave is toegestaan op grond van arti-kel 16 h Auteurswet, dient men de daarvoor wettelijk verschuldigde vergoedingen te voldoen aan de Stichting Reprorecht (Postbus 3051, 2130 KB Hoofddorp, www.reprorecht.nl). Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16 Auteurswet) dient men zich te wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten Organisatie, Postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro). Voor het overnemen van een gedeelte van deze uitgave ten behoeve van com-merciële doeleinden dient men zich te wenden tot de uitgever.Hoewel aan de totstandkoming van deze uitgave de uiterste zorg is besteed, kan voor de afwezigheid van eventuele (druk)fouten en onvolledigheden niet worden ingestaan en aanvaarden de auteur(s), redacteur(en) en uitgever deswege geen aansprakelijkheid voor de gevolgen van eventueel voorkomende fouten en onvol-ledigheden.All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmit-ted in any form or by any means, electronic, mechanical, photocopying, recording or otherwise, without the publisher’s prior consent.While every effort has been made to ensure the reliability of the information presented in this publication, BIM Media B.V. neither guarantees the accuracy of the data contained herein nor accepts responsibility for er-rors or omissions or their consequences.

iii

VoorwoordVoor je ligt het Leerboek Business Intelligence. Business Intelligence is een zeer populair vakgebied. Jarenlang hebben organisaties gegevens verzameld in databases. Het zinvol gebruiken van deze gegevens was echter vaak een achtergebleven gebied. In al die gegevens zit evenwel een schat aan informatie die organisaties tegenwoordig graag zouden willen gebruiken. Het doel is er beter van te worden.

De huidige economische situatie maakt Business Intelligence extra interessant. Met goede toepassing ervan is een organisatie misschien in staat om kosteneffectiever te werken. Of wellicht kan er wel ergens een voordeel behaald worden ten opzichte van concurrenten. Beide mogelijkheden zijn erg aantrekkelijk voor organisaties en hele-maal in wat mindere tijden.

Technisch worden de mogelijkheden ook steeds groter. Gegevens worden steeds meer elektronisch verzameld en daarmee sneller dan ooit tevoren. De term Big Data is veel gehoord. Social media bieden interessante bronnen voor organisaties om meer te weten te komen over de markt en (mogelijke) klanten.

In dit boek wordt Business Intelligence van A tot Z besproken. Begonnen wordt met het definiëren van het begrip. Wat is het en waarom zou je het moeten toepassen? Wat zijn de doelen?In de volgende hoofdstukken komen alle onderdelen van Business Intelligence aan bod. Wat is een datawarehouse? Hebben we dat nodig? Hoe vullen we een dataware-house met gegevens en waar moet je dan rekening mee houden? Wie gebruiken het datawarehouse en hoe doen ze dat dan? Al deze, en nog veel meer, vragen worden in deze uitgave beantwoord.In het boek worden soms om de materie te verduidelijken enige voorbeelden uitge-werkt. De daarvoor gebruikte bestanden en scripts zijn te downloaden van de site van de uitgever van het boek: www.academicservice.nl (onder Downloads).

Het Leerboek Business Intelligence is geschreven voor studenten die in aanraking gaan komen met Business Intelligence, dus voor de bedrijfskundige studies, via bedrijfs-kundige informatica tot informatica. Omdat het boek echter zowel op technische als niet-technische lezers is gericht, is het zeker ook geschikt voor mensen uit het bedrijfs-leven die een beter begrip willen krijgen van wat Business Intelligence nu precies is.

Veel plezier met lezen!

Peter ter BraakeJanuari 2014

v

Inhoud

Voorwoord iii

1 Inleiding 11.1 Wat is Business Intelligence? 1

1.1.1 Definitie 11.1.2 Van wie is Business Intelligence? 31.1.3 Voor wie is Business Intelligence? 51.1.4 Self service BI 61.1.5 Waarom Business Intelligence? 91.1.6 Conclusie 10

1.2 Andere terminologie en definities 101.2.1 Datawarehouse 101.2.2 Extract, Transform, Load 111.2.3 Staging, ODS 121.2.4 Kubussen, modellen 131.2.5 Datamining 141.2.6 Big Data 15

1.3 Tot slot 16

2 Business Intelligence in de organisatie 172.1 Business Intelligence in de organisatie 17

2.1.1 Volwassenheid 172.1.2 Life cycle 202.1.3 Ambitie 222.1.4 Implementatie 252.1.5 Scope 272.1.6 Doelen 292.1.7 Informatiebehoeften 302.1.8 Tot slot 34

2.2 Business Intelligence-projecten 342.2.1 Geen gewoon IT-project 352.2.2 Informatieanalyse 39

2.3 Tot slot 40

3 Waarom een datawarehouse? 413.1 Het datawarehouse 41

3.1.1 Waarom een datawarehouse 423.2 Performance van rapporten 42

3.2.1 Normaliseren 433.2.2 Indexen 45


vi

3.3 Schrijven van query’s 483.3.1 Wie maakt de rapporten? 49

3.4 Rapportage-impact op primaire proces 493.4.1 Resource-gebruik 503.4.2 Concurrency 51

3.5 Kwaliteitsproblemen 533.5.1 Dubbele gegevens 543.5.2 Ontbrekende gegevens 553.5.3 Foutieve gegevens 563.5.4 Inconsistente gegevens 57

3.6 Verschillende operationele systemen 573.7 Historische gegevens 593.8 Conclusie 60

4 Het Datawarehouse 614.1 Dimensioneel modelleren 61

4.1.1 Inleiding 614.1.2 Modelleren 634.1.3 Dimensies 684.1.4 Slowly Changing Dimensions (SCD) 774.1.5 Conformed dimensions en snowflakes 804.1.6 Overige dimensie-overwegingen 814.1.7 Feiten 834.1.8 Tot slot 86

4.2 Bill Inmon 874.2.1 Kritiek op Kimball 874.2.2 De Inmon-methodiek 884.2.3 Kritiek op Inmon 904.2.4 Samenvatting 91

4.3 Data Vault 924.3.1 Definitie 924.3.2 Hubs, Links and Satellites 934.3.3 Voordelen Data Vault 954.3.4 Samenvatting 96

4.4 Kimball, Inmon en Data Vault vergeleken 964.5 Tot slot 97

5 Het fysieke datawarehouse 995.1 Inleiding 995.2 Technisch ontwerp 100

5.2.1 Aantal records 1015.2.2 Gemiddelde recordlengte 1025.2.3 Page size 1045.2.4 Grootte van de database 1065.2.5 Overige factoren 1075.2.6 Grootte van je oplossing 108

vii

Inhoud

5.3 Hardware en software 1095.3.1 CPU-capaciteit 1105.3.2 Overige hardwarespecificaties 1105.3.3 Appliances 112

5.4 Performance features 1135.4.1 Indexen 1135.4.2 Columnstore 1165.4.3 Compressie 1175.4.4 Aggregatietabellen 1185.4.5 Partitionering 121

5.5 Tot slot 123

6 ETL 1256.1 Inleiding 1256.2 Master Data Management 126

6.2.1 Verschillende soorten gegevens 1276.2.2 Definities 1286.2.3 Implementatie 1306.2.4 Voorbeeld met Microsoft MDS 1336.2.5 Tot slot 137

6.3 Implementeren van het ETL-proces 1376.3.1 Resultaten van informatieanalyse 1386.3.2 Architectuur 1416.3.3 Documenteren 1446.3.4 Tools en technieken 146

6.4 Datakwaliteit 1466.4.1 Slechte gegevens 1466.4.2 Data Cleansing 1476.4.3 Voorbeeld met Microsoft DQS 148

6.5 Scenario’s 1556.5.1 Een SCD-dimensie laden met SSIS 1566.5.2 Incremental loads 1636.5.3 DBMS features 166

6.6 Tot slot 167

7 Analytics en modellen 1697.1 Inleiding 169

7.1.1 Semantisch model 1697.1.2 Performance 1727.1.3 OLAP query engine 1737.1.4 Tot slot 174

7.2 OLAP Cube 1747.2.1 Wat is een kubus? 1747.2.2 Waarom kubussen? 1767.2.3 Aggregaties 1797.2.4 Model of database? 1817.2.5 Tot slot 182


viii

7.3 Voorbeeld in-memory model 1837.3.1 Een PowerPivot model maken 1837.3.2 Een PowerPivot-rapport maken in Excel 1867.3.3 Het model verbeteren 1887.3.4 Nieuwe kolommen maken 1907.3.5 Sorteren 1927.3.6 Hiërarchieën 1937.3.7 Relaties maken 1957.3.8 Tot slot 196

7.4 Datamining 1967.4.1 Wat is datamining 1977.4.2 Soorten datamining 1987.4.3 Datamining in Excel 1997.4.4 Tot slot 202

7.5 Analytics 2027.6 Tot slot 204

8 Het front end 2058.1 Inleiding 2058.2 Wie maakt, wie gebruikt rapporten? 205

8.2.1 Farmers 2068.2.2 Tourists 2078.2.3 Explorers 2098.2.4 Miners 2108.2.5 Tools en acceptatie 211

8.3 Rapporten, scorecards en dashboards 2118.3.1 KPI 2128.3.2 Scorecard 2148.3.3 Dashboard 2168.3.4 Rapporten 2188.3.5 Security 219

8.4 Power View 2208.4.1 Inleiding 2208.4.2 Het eerste Power Viewrapport 2208.4.3 Rapporten bekijken en highlighting 2238.4.4 Filters en slicers 225

8.5 Tot slot 227

Index 229

1

Hoofdstuk 1

InleidingBusiness Intelligence is een veelgebruikte term waarvan de inhoud nogal eens kan variëren, omdat niet iedereen er dezelfde betekenis aan hecht. Voordat je verderop in dit boek alle onderdelen die er een rol in spelen leert kennen, krijg je met dit hoofd-stuk eerst een goed beeld van wat het begrip Business Intelligence en enkele andere termen precies inhouden.

1.1 Wat is Business Intelligence?

Voor je ligt een leerboek over Business Intelligence, vaak afgekort tot BI. Ongetwijfeld heb jezelf al enigszins een idee voor ogen wat er met dat begrip wordt bedoeld. Het doel van dit boek is dat idee te concretiseren, te verbreden en te verdiepen. Voor een belangrijk deel wil ik dat doen door concrete zaken te belichten. Theorie en praktijk moeten hand in hand gaan. Maar voordat we echt beginnen: neem eens de tijd om voor jezelf te benoemen wat Business Intelligence nu eigenlijk inhoudt. Probeer een voor jou werkbare definitie te formuleren.

1.1.1 Definitie

Volgens Gartner staat Business Intelligence voor “an umbrella term that includes the applications, infrastructure and tools, and best practices that enable access to and analysis of information to improve and optimize decisions and performance” (gartner.com/it-glossary/business-intelligence-bi). Dat is meteen een hele mond vol. Vrij vertaald luidt deze definitie:

Business Intelligence is een overkoepelende term waarmee applicaties, infra-structuur en hulpmiddelen, en aangeraden werkwijzen worden bedoeld, die als doel hebben om gegevens beschikbaar te stellen ten einde de juiste beslis-singen te kunnen nemen op basis van correcte, betrouwbare informatie.

Deze omschrijving laat zien dat Business Intelligence een soort parapluterm is ge-worden (‘umbrella’) waar heel veel onder kan vallen. Het maken van rapportages om inzicht te krijgen in de kostenstructuur van een organisatie kan er bijvoorbeeld al onder worden gerekend. Zo beschouwd doet dan elk bedrijf aan Business Intelligence. De belangrijke woorden in bovenstaande definitie zijn:1. informatie (information) en 2. beslissingen (decisions).


2

Business Intelligence draait om het beter in staat zijn beslissingen te nemen op basis van informatie. Het Engelse intelligence betekent in de context van Business Intelligence niet iets als intelligentie, maar simpelweg information, net zoals de I in CIA.

Volgens Wikipedia staat Business Intelligence voor het verzamelen van gegevens binnen de eigen handelsactiviteit. Het woord ‘gegevens’ is ook een onderdeel van de de-finitie, maar staat niet bij de twee benoemde kernwoorden. Op Wikipedia valt verder dan ook te lezen:“Business Intelligence kan omschreven worden als het proces van gegevens omzet-ten in informatie, dat vervolgens zou moeten leiden tot kennis en het aanzetten tot adequate actie.”

Een belangrijke toevoeging van deze omschrijving ten opzichte van de definitie van Gartner is dat hier gesproken wordt over het omzetten van gegevens, kleine brokjes data zoals bijvoorbeeld gegevens van klanten en de orders die zij bestellen, naar infor-matie (wat betekenen die gegevens eigenlijk en hoe kunnen ze mij verder helpen?). Dat klinkt eenvoudig, maar hoe worden gegevens informatie?

Making Better Decisions FasterIn 2002 publiceerden Vitt, Luckevich & Misner er een boek over Business Intelligence dat als ondertitel had: Making Better Decisions Faster. Als korte heldere werkdefinitie is dat misschien wel de beste omschrijving die ik tot nu toe ben tegengekomen. Business Intelligence draait erom de mensen in een organisatie beter in staat te stellen hun werk te doen. Een beetje afhankelijk van je precieze functie hoort het nemen van besluiten bij je werk. Mensen zijn beter in staat die besluiten te nemen als ze goed geïnformeerd zijn. Bovendien moet die informatie tot hun beschikking staan op het moment dat ze het besluit moeten nemen. En dat is heel wat anders dan te zeggen dat ze het besluit moeten nemen pas dan als ze de informatie tot hun beschikking hebben. Als het enkele weken duurt voordat een andere afdeling binnen het bedrijf die infor-matie heeft verzameld, kan het wel al eens te laat zijn.Het doel van Business Intelligence is dan ook:

Op het juiste moment op basis van de juiste informatie beslissingen nemen.

VoorbeeldEen winkelier wil in een nieuw winkelcentrum een winkelpand huren voor een nieuwe vestiging. Gezien de investering die dat vergt, is dat een grote beslis-sing met mogelijk veel impact. De winkelier denkt zijn klanten te kennen: wat voor soort mensen wat voor soort producten kopen, welke marge er met die producten valt te behalen en hoe lang er dan nodig is om de initiële investe-ring terug te verdienen.De winkelier zou er erg bij gebaat zijn als hij zijn ervaring zou kunnen staven aan beschikbare gegevens. Klanten krijgen korting met een klantenkaart en

3

Hoofdstuk 1 – Inleiding

hoeven alleen een korte vragenlijst in te vullen om zo’n kaart te krijgen. De zo verkregen gegevens worden via de klantenkaart gekoppeld aan de geregi-streerde aankopen. Daarmee weet de winkelier wat voor soort klanten welke producten kopen.Via het CBS (Centraal Bureau voor de Statistiek) kan de winkelier demografische gegevens opvragen over de wijk waar zijn mogelijke nieuwe winkel komt. Hoe komen de gegevens van het CBS overeen met zijn eigen klantgegevens? Door zijn eigen gegevens te koppelen aan die van het CBS kan de winkelier beter inschatten of de mogelijk nieuwe winkel de juiste soort mensen zal aantrekken en dus of die winkel winstgevend kan zijn. Uiteraard is dat geen garantie voor succes, de winkelier kan nog steeds de verkeerde beslissing nemen. Ook kan er iets veranderen waardoor de beslissing anders uitpakt dan gedacht. Er kan bijvoorbeeld een economische crisis uitbreken of een nieuwe concurrent bij komen, waardoor de situatie heel anders wordt dan voorzien.

Business Intelligence draait om het nemen van gefundeerde (en daarmee betere) be-slissingen. Daar is informatie voor nodig.

1.1.2 Van wie is Business Intelligence?

Laten we nog eens teruggaan naar de definitie uit de vorige paragraaf. Een gevaar van die definitie is de expliciete benoeming van applicaties en infrastructuur. De applica-ties zijn de programma’s waarmee mensen werken. Dat kan Microsoft Excel zijn, een van de meest gebruikte Business Intelligence-applicaties, maar ook andere program-ma’s als rapportageprogramma’s. Ook de achterkant (back office) hoort daar bij met databases, datawarehouses en kubussen (later in dit boek leer je daar meer over). Met de infrastructuur wordt dan bedoeld welke hardware, welke computers, er gebruikt worden. Hoeveel servers hebben we nodig, aan welke specificaties moeten deze ser-vers voldoen (hoeveel geheugen, hoeveel processoren, hoeveel opslagcapaciteit), wat voor netwerk hebben we nodig?

In de rest van de paragraaf zien we geen enkele verwijzing naar hardware terug. Ook worden applicaties en hulpmiddelen niet verder genoemd. Uiteindelijk moeten we de zaken concreet maken en mensen hulpmiddelen, tools, geven om hun werk beter te doen. Maar de tools zijn van ondergeschikt belang. Business Intelligence draait als het goed is niet om tools en datawarehouses. Het draait om mensen en de beslissingen die zij nemen. Het heet ook niet voor niets Business Intelligence. Als het om datawarehou-ses draaide had het wel Techniek Intelligence of iets dergelijks geheten.

Business Intelligence draait om mensen en de beslissingen die zij nemen.

De bovenstaande constatering heeft als consequentie dat Business Intelligence niet van ICT is. De meeste BI-projecten zijn echter wel ICT-projecten. Dat is begrijpelijk


4

omdat de concrete oplossingen die we bouwen veel IT-gerelateerde componenten be-vatten. Er gaat immers software ingezet worden om het doel te bereiken. Die software draait op hardware die, voor een succesvolle implementatie, aan de juiste specificaties moet voldoen. Zowel de hardware als de software moet beheerd worden zodra de im-plementatie af is. Allemaal werk voor IT en dus speelt ICT een belangrijke rol bij elke Business Intelligence-implementatie.

Het gevaar zit niet in het feit dat ICT een rol speelt. Het gevaar zit in het feit dat hun rol zo groot en dominant wordt, dat het een project van alleen de afdeling ICT wordt. Het doel van het project moet duidelijk voor ogen gehouden worden. Het doel is niet mooie technische oplossingen bouwen met de nieuwste technieken. Het doel is zelfs niet mensen in een organisatie beter beslissingen te laten nemen. Beide zijn slechts mid-delen om tot het doel te komen. Het echte doel kan variëren. Wikipedia zegt: “Business Intelligence heeft als doel competitief voordeel te creëren en organisaties slimmer te kunnen laten werken”. Dit moet voor echte projecten concreet gemaakt worden. Bijvoorbeeld: we moeten kosteneffectiever werken door slimmer in te kopen en/of door de supply chain (hoe, via welk proces, komt een product van de leverancier bij de klant) efficiënter in te richten.

Business Intelligence heeft als doel competitief voordeel te creëren en orga-nisaties slimmer te kunnen laten werken.

Merk op dat dit genuanceerder is dan het doel dat in paragraaf 1.1.1 is benoemd. Daar was het doel meer het middel om dit ‘echte’ doel te bereiken.

Als de informatie waarin een Business Intelligence-oplossing voorziet, niet helpt bij het maken van de juiste beslissingen (ICT heeft iets gemaakt wat de mensen op de werkvloer niet kunnen gebruiken), is het project mislukt, ook als het vanuit een technisch perspectief een perfecte implementatie is. Net zo goed is het mislukt als de beoogde gebruikers er niet mee gaan werken. Misschien zetten zij hun hakken in het zand omdat ze bang zijn voor hun baan. Misschien willen ze gewoon niet leren werken met nieuwe tools. Het kan ook zijn dat ze de informatie die uit het systeem komt niet vertrouwen, al dan niet terecht. De achterliggende reden maakt eigenlijk niet uit, als de gebouwde Business Intelligence-oplossing niet gebruikt wordt, is het project mis-lukt (of je bent nog niet klaar).

Bovenstaande is, als het goed is, een open deur. Iedereen snapt dat er meerwaarde moet zijn en dat die er alleen is als een oplossing ook echt zinvol gebruikt wordt. Het risico dat je project bovenstaand lot beschoren is, wordt groter naarmate de betrokken-heid van de gebruikers kleiner is gedurende het project. De eindgebruikers moeten van het begin aan betrokken zijn. Sterker: het moet (zo veel mogelijk) hun project zijn.

Business Intelligence is van de hele organisatie, niet van (alleen) ICT.

5


1.1.3 Voor wie is Business Intelligence?

Business Intelligence is dus van de business, van de beoogde gebruikers. Maar wie zijn die gebruikers? Zijn dat alleen grote bedrijven met grote budgetten? Of kunnen kleine bedrijven er ook van profiteren? Is Business Intelligence iets voor financiële instellingen zoals banken en verzekeraars of kunnen productiebedrijven, fabrieken, er ook baat bij hebben? En daarnaast: zijn er mensen voor wie Business Intelligence bij uitstek is bedoeld? Is het typisch iets voor de directie? Hebben bepaalde management-lagen er met name profijt van? Kunnen ook mensen ‘op de werkvloer’ er hun voordeel mee doen?

Om het antwoord op bovenstaande vragen kort te houden: Business Intelligence is voor iedereen. Microsoft kwam rond de introductie van SQL Server 2005, in het jaar 2005, met de slogan ‘BI for the masses’. Uiteraard is dat niet meer dan een slogan uit de marketingfabriek van een softwaregigant en in dat licht moet je de zin dan ook plaat-sen. Maar desalniettemin markeert Microsoft met deze slogan wel een nieuwe periode binnen het denken over Business Intelligence.

Business Intelligence is voor iedereen. Het is zowel interessant voor grote als voor kleine bedrijven. Het is in elke branche interessant. Binnen een bedrijf biedt het meerwaarde aan alle soorten functies, van hoog tot laag.

In vroegere implementaties, toen de term Business Intelligence nog niet in zwang was, werd er voornamelijk gesproken over Decision Support Systems (DSS). In die tijd duurden projecten vaak lang en waren duur. Daarmee waren Decision Support Systems voornamelijk voorbehouden aan grote bedrijven met grote budgetten. De informatie die uit deze systemen kwam, was vaak hoog geaggregeerd. Je kunt dan bijvoorbeeld denken aan kwartaalomzetten in plaats van aan gedetailleerde informa-tie over individuele orders. Dat maakt dat de informatie die deze systemen leverden eigenlijk alleen bruikbaar was als stuurinformatie hoog in de organisatie. Ze leverden informatie voor het hoger management.

Wat Microsoft bedoelde te zeggen met ‘BI for the masses’, is dat Business Intelligence-projecten geïmplementeerd kunnen worden met SQL Server (het databaseplatform van Microsoft) en alle bijbehorende functionaliteit zoals bijvoorbeeld SQL Server Analysis Services. Dat houdt in dat er geen speciale dure software nodig is, met name in het geval dat het bedrijf in kwestie toch al SQL Server heeft draaien. In kleine omge-vingen, waar alles op één en dezelfde server draait, zijn er zelfs geen extra softwareli-centies nodig. In grote (scale-out) scenario’s gaat dat niet meer op, maar dan hebben we het ook over grotere bedrijven met meer budget. Daarmee komt Business Intelligence binnen het bereik van zo’n beetje elke organisatie, ook de kleinere bedrijfjes met kleine budgetten. Uiteraard zijn er naast Microsoft ook andere leveranciers van betaal-bare software voor Business Intelligence-oplossingen.


6

Naast het feit dat Business Intelligence dus voor alle soorten bedrijven interessant is, zowel inhoudelijk als qua benodigde budgetten en kennis, is Business Intelligence ook al lang niet meer voor alleen het hoger management. Iedereen binnen een organisatie moet wel eens (of heel vaak) een beslissing nemen. Andere beslissingen hebben een ander soort informatie nodig (veel detail of juist niet) maar in alle gevallen zullen de genomen besluiten beter gefundeerd genomen kunnen worden als er betrouwbare informatie aan ten grondslag ligt. Daarmee wordt de organisatie slimmer en beter.En dat is het doel van Business Intelligence. En dus is Business Intelligence voor ieder-een.

1.1.4 Self service BI

De term self service BI is de laatste tijd erg hot. Self service BI komt voort uit de nood-zaak tot acceptatie van de gebouwde oplossing door de gebruikers. Binnen een Business Intelligence-project zul je twee zaken minimaal moeten overwinnen:1. Is de Business Intelligence-oplossing die gebouwd wordt wel wat de gebruikers

nodig hebben?2. Komt de oplossing wel op tijd?

Self service BI, waar de gebruikers zelf maken wat ze nodig hebben, kan hier bij hel-pen.Om de eerste vraag positief te kunnen beantwoorden moet je een goede informatie-analyse doen. Voor het tweede punt moet je voornamelijk snel nieuwe functionaliteit kunnen ontwikkelen. Beide punten zijn makkelijker gezegd dan gedaan, zoals hieron-der duidelijk wordt.

InformatieanalyseEen van de belangrijkste stappen in het hele Business Intelligence-project is het achterhalen van de wensen van de gebruikers (requirements gathering ofwel informa-tieanalyse). Waar heeft welke gebruiker wanneer last van? Je moet altijd een gedegen informatieanalyse uitvoeren. Hoe verloopt een proces, wat zijn de beslispunten bin-nen dat proces en welke informatie hebben de mensen nodig op het moment dat de beslissing genomen moet worden?

Informatieanalyse is het achterhalen wat de behoeftes, wensen en eisen van de beoogde eindgebruikers van een systeem, zijn.

Een voor de hand liggende, en veel toegepaste, manier om informatieanalyse te doen is door middel van interviews. Belangrijk daarbij is het stellen van zgn. open vragen. Dat zijn vragen in de trant van: Wat heb je nodig? Welke informatie gebruik je wanneer, hoe en waarom? Een gesloten vraag zou zijn: heb je een omzetrapportage nodig?Als je geen open vragen stelt, krijg je vaak je eigen ideeën uit het interview weer terug omdat je te sturend bent geweest in je vraagstelling. De respondenten hebben niet de kans gekregen zelf knelpunten aan te geven. Probleem alleen is dat open vragen vaak ook leiden tot open antwoorden. En schiet je daar wel voldoende mee op?

7


Je zou bijvoorbeeld kunnen vragen: Waar ondervind je in het dagelijkse werk proble-men? Waar heb je meer informatie of kennis nodig om je werk goed te kunnen doen? Dit zijn immers open vragen en vanuit jouw perspectief ook zeer relevante. Het ant-woord dat je dan in de praktijk helaas vaak zal terugkrijgen luidt: ik heb geen proble-men, ik kan mijn werkzaamheden prima uitvoeren!

Waarom reageren mensen zo? Daar bestaat een aantal redenen voor, zoals: V toegeven dat je je werk niet optimaal doet is moeilijk;V angst voor het onbekende;V onwetendheid over de mogelijkheden;V miscommunicatie.

Toegeven dat je je werk niet optimaal doet is moeilijk – Bewust of onbewust hebben mensen het idee dat ze moeten toegeven hun werk niet goed te doen als ze iets anders zeggen dan: ik heb geen problemen, ik kan mijn werkzaamheden prima uitvoeren! Ze doen hun werk misschien al jaren op dezelfde manier. Dus nu zeggen dat ze hier of daar meer informatie nodig hebben, is een beetje alsof je moet toegeven al jaren je werk niet goed te doen.

Angst voor het onbekende – De angst voor verandering kan bij veel mensen een rol spe-len. Ik weet waar ik nu aan toe ben, maar straks, als er een nieuw systeem komt, hoe zal mijn werk er dan uitzien? Wordt mijn functie overbodig met het nieuwe systeem?

Onwetendheid over de mogelijkheden – Een andere veelvoorkomende reden dat open vra-gen tot onbevredigende antwoorden kunnen leiden, is dat mensen zich helemaal niet realiseren waar er knelpunten bestaan en/of wat de mogelijkheden zijn.

VoorbeeldOoit hoorde ik iemand zeggen dat een query op een database die acht uur duurt geen enkel probleem is. Deze persoon was zo gewend aan die door-looptijd dat hij ’s avonds om vijf uur, voor het naar huis gaan, de query startte, zodat hij de volgende morgen zijn werk kon doen: de gegevens analyseren. Hier heeft iemand zijn dagindeling en werkwijze aangepast aan de omstandig-heden. Na wat database tuning kon de query worden teruggebracht naar een doorlooptijd van nog geen minuut!

Miscommunicatie – Los van bovenstaande kunnen er nog problemen van een heel andere orde optreden.

VoorbeeldIn een vergadering wordt een request-for-change (verzoek een verandering aan te brengen in een bestaande applicatie) besproken. Degene die komt uitleggen wat precies bedoeld wordt met de gevraagde verandering, vertelt


8

een verhaal in de trant van: en dan klik ik hier en dan klik ik daar. Hij is op dat moment niet in staat uit zijn handeling-denken te komen en het eigenlijke proces goed te verwoorden. De programmeur die bij de vergadering zit en de wijzigingen moet gaan implementeren, antwoordt op zijn beurt in termen als: dan moet ik een variabele bijmaken, dan moet ik de stored procedure aan-passen, ... allemaal technische termen, waarmee ook hij niet loskomt van zijn dagelijkse jargon.Beiden blijven in hun eigen taal praten, die zij van elkaar niet verstaan. Omdat niemand even boven de dagelijkse praktijk uitstijgt ontstaat er onbegrip, bijna ruzie – terwijl het heel goed zou kunnen dat ze het eigenlijk vrijwel eens zijn met elkaar zonder dat ze dat zelf beseffen.

De moraal van het bovenstaande is: zelfs als je de goede vragen stelt, en zelfs als de gebruiker goede antwoorden geeft, er is een (niet geringe) kans dat je elkaar ergens on-derweg niet goed verstaat. Je denkt te begrijpen wat de gebruiker zegt, maar uiteinde-lijk heeft hij of zij iets anders bedoeld. Als dat niet vroegtijdig aan het licht komt, levert de Business Intelligence-oplossing straks de verkeerde informatie op.

Dit alles laat zien hoe belangrijk en moeilijk een goede informatieanalyse is. Stel je wel de juiste vragen en krijg je wel de juiste antwoorden? Het wordt heel anders als de gebruiker naar je toekomt met ‘dit en dit heb ik nodig, kun je dat maken?’ Nog beter is misschien zelfs dat je naar de gebruiker kunt stappen en zeggen ‘ik zie dat u dit en dit gebruikt, zullen we samen aan een meer gestructureerde oplossing werken want ik zie dat u iets succesvols heeft gemaakt?’

Met self service BI kun je bovenstaande (misschien) wel bereiken. Laat de gebruikers zelf beginnen. Zij weten immers het beste wat ze nodig hebben. En tegenwoordig zijn heel veel mensen heel goed in staat met techniek om te gaan. Excel is een uitste-kend voorbeeld van een applicatie waar mooie dingen mee gedaan kunnen worden. Bovendien zijn er veel mensen die met dit programma kunnen werken.

TimingEen ander probleem, naast de hierboven beschreven mismatch tussen wensen en ge-bouwde oplossingen, is het moment waarop de oplossing door de gebruikers toegepast kan gaan worden. Stel dat de hier boven beschreven informatieanalyse helemaal per-fect is verlopen. Alle eisen en wensen zijn op tafel gekomen en alles is precies gemaakt zoals gevraagd. Hoe lang heeft het je gekost om de oplossing te bouwen?De wereld verandert tegenwoordig snel. Veel branches, zoals bijvoorbeeld de gezond-heidszorg, hebben regelmatig met nieuwe wetgeving te maken. Door de economische crisis zijn reorganisaties in gang gezet, hebben overnames en faillissementen plaats-gevonden. Dit soort zaken kan de informatiebehoefte in een organisatie sterk doen veranderen. Vragen die enkele maanden geleden heel relevant waren, zijn ondertus-

9


sen achterhaald. Veel nieuwe zaken hebben de kop opgestoken en daar hoort nieuwe informatie bij.Los van de wereld om ons heen die verandert, is er bovendien sprake van voortschrij-dend inzicht binnen de organisatie zelf. Mensen leren, krijgen meer ervaring, door-zien zaken met meer nuance en beginnen zich andere zaken af te vragen. Zijn dat zaken die je Business Intelligence-oplossing ook kan beantwoorden?

Met self service BI is dit probleem minder groot, tot misschien wel helemaal verhol-pen. Het idee van self service BI is immers dat de mensen in de organisatie zelf hun BI doen. Op het moment dat er nieuwe vragen opkomen, kunnen degenen die met die vragen zitten zelf, op het moment zelf, aan de slag om ze te beantwoorden. Op een later moment kunnen we bekijken of we de ad hoc oplossing die dat oplevert, integreren in de bestaande centrale Business Intelligence-oplossing (in het datawarehouse) of dat het om een eenmalige exercitie ging.

Self service BI draait om het in staat stellen van eindgebruikers om zelf in hun informatiebehoefte te voorzien zonder anderen te vragen oplossingen voor ze te bouwen ten einde de juiste informatie op het juiste moment ter beschikking te hebben.

1.1.5 Waarom Business Intelligence?

Tot nu toe heb ik getracht een definitie te geven van Business Intelligence en een kader te scheppen waarbinnen Business Intelligence valt. Wat is het, van wie en voor wie? Een belangrijke vraag die overblijft is: waarom zou je als organisatie iets met Business Intelligence doen? Dat anderen het doen of dat het ‘hot’ is, zijn redenen om deze vraag te stellen, niet direct redenen om het zelf te gaan implementeren.Hopelijk hebben de vorige paragrafen de vraag indirect al beantwoord. Business Intelligence gaat erom de mensen binnen een organisatie beter hun werk te laten doen, waarmee de organisatie als geheel beter wordt. Een bedrijf moet zich altijd en continu de vraag stellen: Wat is mijn onderscheidend vermogen? Waarin ben ik beter/anders dan de concurrenten? Denk bijvoorbeeld eens aan internetboekhandels. Waarom zou je een bestelling plaatsen bij bol.com en niet bij amazon.com?

VoorbeeldVoor een bedrijf is het niet altijd gemakkelijk ergens voordeel te halen. De prijzen van Nederlandstalige boeken staan bijvoorbeeld vast, dus prijsvoordeel is er niet. Voor de meeste bedrijven is er wel aan kapitaal te komen via banken of investeerders. Daarmee hebben bedrijven gelijke kansen op het gebied van bijvoorbeeld investeren in hardware en software voor hun computerpark. De meeste webshops gebruiken dezelfde pakketservice om de bestellingen nog de volgende dag bij je thuis te bezorgen. Waar zit dan het verschil tussen bedrijf A en bedrijf B?


10

Een voor de hand liggend maar zeer belangrijk verschil tussen twee concurrerende be-drijven wordt gevormd door de mensen die er werken. Misschien is het belangrijkste kapitaal van een bedrijf wel het human capital, de mensen. Naast dat een bedrijf gebaat is bij de beste mensen wat betreft opleiding, potentie, ervaring enzovoort, is het van belang deze mensen in staat te stellen hun werk goed en efficiënt te doen. Dat laatste is wat Business Intelligence tot doel heeft.De vraag naar het waarom van Business Intelligence is daarmee eigenlijk verkeerd. De vraag zou moeten zijn: waarom niet Business Intelligence. Goede, accurate, tijdige informatie kan het verschil maken tussen succes en faillissement. Je zou dus wel gek zijn niet iets met BI te doen.

1.1.6 Conclusie

Deze paragraaf begon met het definiëren van het begrip Business Intelligence. Die definitie bracht ons bij allemaal zaken die de context bepalen van een Business Intelligence-project. Dat allemaal samenvattend zouden we tot de volgende definitie kunnen komen:

Business Intelligence is iedereen in een organisatie op het juiste moment van de juiste informatie in het juiste formaat te voorzien met als doel competitief voordeel te behalen door verbeterde besluitvorming te realiseren.

1.2 Andere terminologie en definities

Nu je weet wat Business Intelligence is en wat het beoogde doel ervan is, wordt het tijd om de belangrijkste componenten van een Business Intelligence-oplossing te introduceren. Het gaat er hier om de begrippen op hoofdlijnen te kunnen plaatsen. De relevante details volgen in latere hoofdstukken.

1.2.1 Datawarehouse

Bijna alle bedrijven die iets doen met Business Intelligence hebben een dataware-house. Een datawarehouse is een centrale database die als doel heeft betere rapporten te kunnen maken en betere (data)analyses te kunnen uitvoeren. De inhoud van het datawarehouse ontstaat door de gegevens van één of meer gegevensbronnen te combi-neren.

Een datawarehouse is een centrale database gevuld met gegevens uit één of meer aparte bronnen met als doel het maken van rapportages en het doen van data-analyse.

11


Het bouwen van een datawarehouse brengt een aantal voordelen met zich mee:V Historische gegevens kunnen worden bijgehouden.V De kwaliteit van de gegevens kan beter worden gecontroleerd.V Gegevens uit verschillende bronnen kunnen worden gecorreleerd.V De performance kan worden geoptimaliseerd voor het doel: rapporteren en analyse-

ren.V Alle rapportages komen nu vanuit één bron wat de eenduidigheid van die rapporta-

ges bevordert.

In de hoofdstukken 3, 4 en 5 leer je meer over het hoe en waarom van datawarehouses.

1.2.2 Extract, Transform, Load

Uit het bovenstaande komt naar voren dat een datawarehouse gevuld wordt met gege-vens uit één of meer bronsystemen. Dat houdt in dat je de gegevens uit deze bronsys-temen moet halen en dat je ze in het datawarehouse moet inlezen. Het proces dat dit verzorgt heet het ETL-proces. De letters ETL staan voor:V Extract: haal gegevens uit bronsystemen.V Transform: pas de gegevens aan aan de eisen die het datawarehouse stelt aan de

gegevens.V Load: laad de gegevens in het datawarehouse.

Met name de middelste stap, de transformaties, de aanpassingen die gedaan moe-ten worden, zijn heel belangrijk. Het ETL-proces zorgt voor de juiste vulling van het datawarehouse en daarmee voor de kwaliteit van de rapportages die je maakt en de analyses die je doet. De aanpassingen die je doet aan de gegevens bepalen deze data-kwaliteit.

Het ETL-proces zorgt voor de juiste vulling van het datawarehouse en daar-mee voor de kwaliteit van de rapportages die je maakt en de analyses die je doet.

In hoofdstuk 6 van dit boek kun je meer lezen over het ETL-proces, welke uitdagingen je tegenkomt, wat voor tools je kunt gebruiken, et cetera.

Figuur 1.1 laat zien hoe gegevens vanuit bronsystemen naar het datawarehouse overge-haald worden ten einde rapportages te baseren op het centrale datawarehouse.


12

Figuur 1.1 Datawarehouse-architectuur

1.2.3 Staging, ODS

In figuur 1.1 lijkt het net of het ETL-proces de gegevens rechtstreeks van de bronsyste-men overhaalt naar het datawarehouse. In theorie is dat mogelijk, zeker met moderne ETL-tools als SQL Server Integration Services. In de praktijk zullen echter de gegevens bijna altijd eerst in een aparte laag, een aparte database, gezet worden. Dit wordt de sta-ging area of staging database genoemd. Bij grote implementaties zijn er misschien zelfs wel meer staging lagen voordat de gegevens het datawarehouse ingaan.

Een staging database is een database waarin gegevens tijdelijk worden opgeslagen tijdens het ETL-proces alvorens ze worden overgehaald naar het datawarehouse.

Net zo goed als dat het lijkt dat de gegevens meteen het datawarehouse in worden gepompt, wordt de indruk gewekt alsof de rapportages hun gegevens rechtstreeks uit het datawarehouse halen. Afhankelijk van je datawarehousestrategie is dat niet het geval. Vaak zal er nog een laag van datamarts gemaakt worden. Dit zijn als het ware kleine datawarehousjes, gemaakt voor specifieke rapporten analysedoeleinden. Er kan bijvoorbeeld een aparte datamart gemaakt worden voor alleen de rapportages die te maken hebben met het inkoopproces. In de volgende hoofdstukken zul je dat nog verder tegenkomen.

Een datamart is een deelverzameling van een datawarehouse die specifiek voor een deelgebied van de te maken rapportages wordt gemaakt.

Een veelgebruikte term naast staging en rapportagedatabase is ODS, Operational Data Store. Een ODS is de eerste plek waar gegevens landen nadat ze uit het bronsysteem zijn gehaald. Het kan dienen als tussenstop voor gegevens die naar het datawarehouse

LOB- applicatie

CRM

OLTP Workload

Rapporten OLAP workload Datewarehouse Financieel

Personeels- zaken

ETL

‘Single version of the truth’

13


gaan. In die zin is het een staging database. Soms worden rapportages gebaseerd op deze ODS. Dan wordt het ook wel een rapportagedatabase genoemd.

1.2.4 Kubussen, modellen

Bij veel Business Intelligence-implementaties kan een datawarehouse niet voldoen aan alle wensen en eisen die er binnen een organisatie leven ten aanzien van Business Intelligence. Er kan nog een aantal problemen optreden:V Er kunnen performanceproblemen optreden omdat achter veel rapporten zware

(lang lopende) query’s schuil gaan.V Veel rapportage- en analysehulpmiddelen (BI-tools) hebben moeite goede query’s te

genereren op databases.V Eindgebruikers willen gemakkelijk en snel op een flexibele, niet vooraf gedefini-

eerde wijze door de gegevens heen kunnen ‘wandelen’ (browsen).

Semantische modellen kunnen helpen bovenstaande problemen op te lossen. Bij het ontwerpen van een database, en dus ook van een datawarehouse, spelen technische afwegingen een voorname rol. Een semantisch model vertaalt die technische database naar voor de eindgebruikers betekenisvolle entiteiten. Betekenis en verbanden wor-den toegevoegd aan de gegevens. Dit stelt zowel mensen als tools in staat gemakkelijk en flexibel met de gegevens te werken.

Een semantisch model is een abstractielaag die betekenis en verbanden toe-voegt aan de gegevens in een database.

Een kubus is een soort database. Een kubus wordt wel een multidimensionele database genoemd. Een kubus is tegelijkertijd een model. Bij het ontwerpen van de kubus wordt rekening gehouden met de betekenis van de gegevens, worden de onderlinge ver-banden beschreven en wordt het jargon van de betreffende organisatie gebruikt. Een kubus is een soort draaitabel in het groot. Een kubus is uitermate geschikt om op een heel gemakkelijke en flexibele wijze met gegevens ‘te spelen’.

Een kubus is een meerdimensionele draaitabel.

In hoofdstuk 7 kun je meer lezen over modellen en kubussen.

Figuur 1.2 laat de logische Business Intelligence-architectuur zien zoals we die tot nu toe besproken hebben.


14

Figuur 1.2 Business Intelligence-architectuur met modellen

1.2.5 Datamining

Volgens Wikipedia is datamining: “het gericht zoeken naar (statistische) verbanden in gegevensverzamelingen met als doel profielen op te stellen voor wetenschappelijk of commercieel gebruik”. Met datamining ga je pas echt goed gebruikmaken van de enorme hoeveelheid gegevens die je hebt. Bedrijven zijn vooral altijd heel goed geweest in het verzamelen van gegevens. Maar wat doen we met die gegevens? Kan dat omgevormd worden tot nuttige informatie?

Datamining is het gericht zoeken naar (statistische) verbanden in gegevens-verzamelingen met als doel profielen op te stellen voor wetenschappelijk of commercieel gebruik.

VoorbeeldEen klassiek verhaal over datamining, en waar het fout kan gaan, is dat van de supermarktketen die aantoonde dat mensen die bier drinken vaak luiers dra-gen. Door alle aankopen te analyseren hadden ze gezien dat dikwijls mensen die luiers kochten ook een kratje bier op de kassabon hadden staan. En dus …

Wat je met datamining bijvoorbeeld goed kan doen, is het zoeken naar correlaties tus-sen verschillende producten op basis van kassabongegevens. Welke producten worden vaak tegelijkertijd verkocht? In een fietsenwinkel wordt vaak een bidon verkocht als er een bidonhouder verkocht wordt. Andersom is het verband veel minder sterk.

Met datamining kunnen ook patronen in gegevens herkend worden. Schadeverzekeringen hebben te maken met een redelijk percentage onterechte claims. Om de onterecht uitgekeerde schade zoveel mogelijk te beperken hebben ze schade-experts in dienst die claims controleren op echtheid. Maar het is te duur om elke claim

15


te gaan controleren en willekeurige steekproeven brengen te weinig fraude aan het licht. Welke claims moeten nu gecontroleerd worden zodat een hoog percentage frau-duleuze claims gedetecteerd wordt met zo min mogelijk mensen?

Met datamining kunnen patronen in claims gedetecteerd worden. Terechte claims blijken overeenkomsten te hebben. Een claim die niet aan het normale patroon vol-doet, is niet per definitie frauduleus. De kans dat er sprake is van fraude is echter wel groter. Zo’n claim is dus een mooie kandidaat voor een controle.

In hoofdstuk 7 zullen we wat dieper ingaan op datamining en de verschillende daarbij horende algoritmes.

1.2.6 Big Data

Een term die de laatste tijd steeds meer gehoord wordt is Big Data. Wat is Big Data en hoe past het in het plaatje van Business Intelligence? Het is moeilijk een precieze defi-nitie van dit begrip te geven, hoewel het woord ‘big’ wel een goede indicatie geeft.Tot nu toe zijn we ervan uitgegaan dat het datawarehouse een relationele database is. Dat wil zeggen dat de gegevens leven in tabellen die beheerd worden door een RDBMS (Relational DataBase Management System). Oracle, SQL Server en DB2 zijn voorbeel-den van RDBMS’en. Een RDBMS levert veel voordelen op rond beheer en consistentie van gegevens. De prijs die we daarvoor betalen is dat er een zekere overhead zit in het werken met gegevens. Overhead betekent performanceverlies. Bovendien moet je een databasestructuur (tabelstructuur) bedenken. Maar veel interessante data is helemaal niet zo gestructureerd!

Big Data refereert aan datasets waarbij bovenstaande een issue wordt. Over het alge-meen zijn er drie aspecten aan Big Data die hiermee te maken hebben. In het Engels spreekt men van de drie v’s: 1. Volume: de hoeveelheid aan gegevens.2. Velocity: de snelheid waarmee gegevens verwerkt moeten worden.3. Variety:- de diversiteit van de gegevens.

Hoewel niet noodzakelijk kun je bij Big Data denken aan informatie op het internet: twitter, Facebook, blogs, forums enzovoort. Het aantal tweets dat verstuurd wordt, is zo immens groot dat het niet meer te doen is die op te slaan in een tabel. De tabel zou zo groot worden dat het beheer ervan een goede DBA (database administrator) hoofd-pijn zou bezorgen. Bovendien is de snelheid waarmee nieuwe tweets binnenkomen enorm. Hoe meer er tegelijkertijd binnenkomen, hoe groter de kans dat veel mensen op dat moment hun timeline bekijken. Dus is tegelijkertijd de lees- en de schrijfdruk op het systeem heel groot. Ten slotte kun je nog concluderen dat er weinig structuur in tweets zit. Er is de zender en de datum. Verder zijn het 140 willekeurige tekens met veel verschillende hashtags.Bovenstaande feiten maken tweets moeilijk om te verwerken in een klassiek data-warehouse. De informatie en potentie ervan is echter enorm. Bioscopen kunnen al op basis van tweets in de week voorafgaand aan een première inschatten hoe druk het


16

in de eerste week gaat worden. Hoe meer positieve tweets over de film, hoe beter hij zal lopen. Goed om te weten als je planner bent: welke film krijgt volgende week de grootste zaal?

Big Data refereert aan datasets waarbij de hoeveelheid aan gegevens, de snel-heid waarmee die verwerkt moeten worden en/of hun diversiteit een pro-bleem worden als de gegevens op een klassieke manier worden behandeld.

Voor dit soort Big Data is de laatste tijd een heel scala aan nieuwe soorten databases ontstaan. Vaak worden die allemaal samengevat onder de noemer noSQL. Dat is een slechte naam. Hij refereert voornamelijk aan het feit dat het niet om een relationele database gaat. Hadoop is hier een voorbeeld van.

1.3 Tot slot

Zoals in de eerste definitie, gegeven op de eerste bladzijde van dit hoofdstuk, al stond aangegeven, is Business Intelligence een parapluterm waar heel veel onder valt. Van een simpel rapporten bouwen tot en met Big Data, van ODS tot en met kubussen en datamining, het maakt er allemaal deel van uit. Het nadeel van een dergelijke samen-bundeling is dat de focus ligt op technische termen. Het maakt Business Intelligence tot een technisch iets.

De twee belangrijkste lessen van dit hoofdstuk zijn:1. Business Intelligence heeft tot doel de processen binnen een organisatie te verbe-

teren door mensen betere en accuratere informatie te geven waardoor zij betere beslissingen kunnen nemen.

2. Business Intelligence is van iedereen, maar met name van degenen die werken aan de primaire processen binnen een organisatie. Business Intelligence is niet iets van alleen ICT.

VerderIn hoofdstuk 2 kun je meer lezen over Business Intelligence-projecten. Wat zijn de ambities van een organisatie en welke doelen wil men met Business Intelligence bereiken? Welke valkuilen kent een BI-project en hoe omzeil je die? Hoofdstuk 3 pakt daarna het verhaal meer technisch op: welke strategieën zijn er om een datawarehouse op te zetten?

Index

compilerenzie vertalen

compliancy 131composite domain 151compressie 106, 117concurrency 51concurrent gebruikers 107conformed dimension 80Corporate Information Factory

(CIF) 90covering index 116CPU-capaciteit 110Customer Data Integration

129

Ddashboard 216Data Analysis eXpressions

(DAX) 190data cleansing 147

met DQS knowledge base 153

Data Dictionary 128Data Flow Task 159data governance 130datakwaliteit 146data latency 138datamart 12, 61datamining 14, 196

in Excel 199soorten 198

data shadow systems 18data steward 36, 133datatype 102Data Vault 92datawarehouse 10, 41

grootte van 106magic quadrant 99

datumdimensie 69bouwen van 72

DAX 190DBA’ers 36

DBMS 51Decision Support Systems 5degenerate dimensie 82detailniveau 65

bepalen van 72dimensie 68

bepalen van 66dimensiematrix 80dimensietabel 63dimensioneel modelleren 61,

63doelgroep 30DOLAP 182draaitabel 176drill-down 209drill-through 209dubbele gegevens 54

Eeindgebruikers 36enterprise structure data 128ETL 125

implementeren 137mapping tabel 145

ETL-proces 11Execute SQL Task 158executive sponsor 37explorers 31, 209

Ffarmers 31, 206feiten, soorten van 84feitentabel 62

soorten van 85filters 224, 225foutieve gegevens 56front end 205functioneel ontwerp 100

GGartner magic quadrant 99gebroken boekjaren 70

229

SymbolenBulk Copy Program (BCP) 167

Aaccumulating snapshot 85actieve dataset 111additief feit 84affinity grouping 198aggregaties 179aggregatietabellen 118Agile Business Intelligence 22alfanumeriek datatype 103alternate key 76ambitie 22ambitieniveau 24analytics 202appliance 112architect 36associaties 93attribuut 68auditing 140

Bbalanced scorecard 32, 215bandbreedte 111berekende kolommen 171beschikbaarheid dataware-

house 107beschrijvende datamining

198Big Data 15bronsleutel 76Business Analytics 203Business Intelligence Compe-

tence Center (BICC) 19Business Intelligence

Maturity Matrix 22

CChange Data Capture 165clustered index 46columnstore index 116


230

gebruikersaantal 107gedegenereerde dimensie 82geheugencapaciteit 111gesloten vraag 6grain 65grain statement 66GROUP BY 118

Hheader

zie kophiërarchie 179

PowerPivot 194HOLAP 182horizontale partitionering

122hubs 93human data warehouses 18

Iimplementatie 25inconsistente gegevens 57incremental loads 163index 106

performancewinst 113indexed view 119indexstrategie 45indicator 31informatieanalist 36informatieanalyse 6, 39informatiebehoefte 30Inmon, Bill 87

kritiek op 90intelligente organisatie 24IT shadow systems 18

Jjunkdimensie 82

KKimball, Ralph 63

kritiek op 87klant 129knowledge base 148knowledge discovery 152

kolomnieuw maken 190sorteren 192

kolomnamen 170kritieke prestatie-indicatoren

(KPI’s) 31, 212kubus 13, 174kwaliteitsproblemen 53

Llatency 138lay-out venster 221life cycle 20links 93logisch ontwerp 100

Mmapping diagram 144Master Data 128Master Data hub 130Master Data Management

126, 129matching policy 154Maturity Matrix 22Maximum Consumption Rate

(MCR) 110MDX 178members 175metadata 127miners 31, 210minimal logging 167mission statement 212MOLAP 181Multi Dimensional eXpressi-

ons (MDX) 178multidimensionele database

13, 174

Nnatuurlijke hiërarchie 180niet-additief feit 84nonclustered index 47normaliseren 64

dimensioneel 61van database 43

noSQL 16numeriek datatype 103

OObject Bench

zie objectenbankODS 12OLAP-kubus 174OLAP workload 44OLTP workload 42ontbrekende gegevens 55ontdubbelen van records 154ontwikkelaars 36open vraag 6Operational Data Store (ODS)

12operationeel niveau 26opslagcapaciteit 111organisatiestructuur 24

Ppage size 104parameters 218partitionering 121partition switching 166performance 172

features 113performanceproblemen 42platgeslagen tabel 75PowerPivot 183

veldenlijst 186Power Users 208Power View 208

rapporten 220primary key 72projectleider 35

Qquery

performance 173schrijven van 48simpele, gemiddelde en

moeilijke 107

Index

231

Rrapport 218rapportagedatabase 13RDBMS 15record

aantal per tabel 101gemiddelde lengte 102

redundantie 43referenced architectures 112reference data 128Relational DataBase

Management System (RDBMS) 15

Report Builder 208return value

zie retourwaarderoadmap 26ROLAP 182row-based security 219

Ssatellites 94schijfruimte 112scope

beperken van 39 van een project 27

scorecard 214Scrum 24security 219self service BI 6semantisch model 13, 169semi-additief feit 85

slicer 226Slowly Changing Dimension

(SCD) 60, 77SMART 29, 212smart key 72snowflake 80solid state disks (SSD) 112source code

zie broncodesource key 76spreadmarts 18SPSS 210SQL 146SQL Server Reporting Services

207staging database 12, 141state

zie toestandstermodel 61

tekortkomingen 169Storage Area Network (SAN)

50, 112strategie van een organisatie

212strategisch niveau 25strategy map 215surrogate keys 76

Ttactisch niveau 26technisch ontwerp 100term-based relation 151

timing 8tourists 31, 207transacties 93transaction activity data 128transaction audit data 128transaction structure data 128Twitter 15twitter, datawarehouse 15

UUnified Dimensional Model

(UDM) 181unknown member 83

Vveldenlijst 189verticale partitionering 121view 119viewfilter 225visualisatiefilter 225volwassenheidsmodellen 17voorspellende datamining

198

Wwarehouse keys 76weeknummer 71workload 107

123

978 90 395 2755 9 9 789039 527559

Leerboek Business Intelligence bespreekt Business Intelligence van A tot Z. Het begint met het definiëren van het begrip: Wat is het en waarom zou je het moeten toepassen? Wat zijn de doelen? In de volgende hoofdstukken komen alle onderdelen van Business Intelligence aan bod. Wat is een datawarehouse? Hebben we dat nodig? Hoe vullen we een datawarehouse met gegevens en waar moet je dan rekening mee houden? Wie gebruiken het datawarehouse en hoe doen ze dat dan? Daarbij komen ook ETL, Analytics en het front end uitgebreid aan de orde.

Om de relatie met de praktijk te leggen worden diverse voorbeelden uitgewerkt. De daarvoor gebruikte bestanden en scripts kunnen gebruikers van het boek

downloaden via de hbo-portal www.AcademicX.nl. Daar vinden studenten ook online vragen met feedback om hun kennis te toetsen.

Het Leerboek Business Intelligence is geschreven voor studenten die in aanraking gaan komen met Business Intelligence, niet alleen voor de bedrijfskundige studies, maar ook voor bedrijfskundige informatica en informatica. Omdat het boek zowel op technische als niet-technische lezers is gericht, is het ook geschikt voor professionals in het bedrijfsleven die een beter begrip willen krijgen van Business Intelligence.

Peter ter Braake is zelfstandig SQL Server docent/consultant. Hij is MCT sinds 2002 en SQL Server MVP sinds begin 2012. Hij werkt sinds 2004 met Microsoft SQL Server Business Intelligengence en is auteur van het boek Aan de slag met Reporting Services 2012.

ter braake Leerboek Business Intelligence

Leerboek Business Intelligence Peter ter Braake

Documents

Business Intelligence van A tot Z. Het begint met het … · iii Voorwoord Voor je ligt het Leerboek Business Intelligence. Business Intelligence is een zeer populair vakgebied. Jarenlang