Biml en Data Vault

Sander van der Hoeff

• Microsoft BI Specialist

• Zelfstandig

• (trail)Runner

• The Future Group =Maatschap van ZZP'ers

Wat is Data Vault

Data Vault

• Architectuur voor Datawarehouse laag

• Schaalbaar

• Parallellisme wordt aangemoedigd

• Kan nieuwe domeinen absorberen

Core Components Data Vault

• Hub = Business Key

• Link = Verbinding Business Keys

• Satellites = Attribute information

Wat is Biml

Business Intelligence Markup LanguageFrom Wikipedia, the free encyclopediaBusiness Intelligence Markup Language (Biml) is a domain-specific XML dialect for defining business intelligence (BI) assets. Biml authored BI assets can

currently be used by the BIDS Helper add-on for Microsoft SQL Server Business Intelligence Development Studio(BIDS) and the Varigence Mist integrated development environment; both tools translate Biml metadata into SQL Server Integration Services (SSIS) and SQL Server Analysis Services (SSAS) assets for the Microsoft SQL Server platform. However, emitters can be created to compile Biml for any desired BI platform.

While Biml’s declarative design is sufficient to author BI assets, BimlScript extends the language by enabling authors to embed C# orVB.NET code within Biml, similar to how ASP.NET includes .NET code within static HTML markup.[3] BimlScript is used to merge changes into existing Biml assets, automatically generate Biml code, and apply changes across multiple Biml files during compilation.

Waarom Generen

• Veel Tabellen

• Veel Packages

• Minder fouten

• Standaard Tabellen

• HULPMIDDEL, kan ook zonder

Waarom Genereren

Data Vault

Veel en

Standaard

Tabellen

Sounds Familiar?

ProjectProject

ProjectProject

Project

SRC DWHDMT

DMTDMT

ProjectProject

ProjectProject

Project

ProjectProject

ProjectProject

Project

Opties tot genereren

• TSQL

• MIST (Varigence)

• BiXPress (Pragmatic Works)

• Quipu

• DWHDeck

• Others

SSIS vs tSQL

• Standaard Logging

• Standaard Monitoring

• Standaard Fout Afhandeling

Tables

• tSQL

• Metadata tabellen

• Ontstaan vanuit Templates

Waarom Biml

• Gebruikt SSIS

• XML Based

• Exception Driven

• Open Source

• Geen Api kennis vereist

• Kennis van SSIS noodzakelijk

• BIDSHelper

Exception based

Bronlaag (Navision)

Per Bedrijf (1000+) een set van 3500 tabellenMeerdere databases?Partieel laden?

Hubs

• Meervoudige keys concateneren

• Naamgeving uniform door Views

• Een package voor alle hubs

• Serieel laden (niet Data Vault standaard)

Hubs

• meerdere bronnen

• Alles varchar

• Select key from order

• Select key1_key2 from Orderregel

• Onderhouds issue

Een package of package per Hub?

Links

• Naamgeving standaardiseren door views

• Een package voor alle links

• Niet parallel

Satellites

• Verschilvergelijking dmv Hashbyteso In de package met een task of in een stored

procedure?

• Iedere satellite is verschillend

• Package per satellite

• Package is standaard op Attribuutvelden na

Datamart

• Transformatie tot Bussines logic

• Copy Paste

• View laag op DWH, een op een transfer van data naar Datamart laag

DatamartPackage Biml

• Logging en config management ontbreken

Logging en Packageconfig toevoegen

Meer Lezenhttp://bimlscript.com/

http://biml101.blogspot.nl/

http://varigence.com/