Pentaho Data Integration Klebstoff und Schweizer Taschenmesser Pentaho Data Integration ¢â‚¬â€œ Klebstoff

  • View
    0

  • Download
    0

Embed Size (px)

Text of Pentaho Data Integration Klebstoff und Schweizer Taschenmesser Pentaho Data Integration...

  • Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser

    Jens Junker – IT Integration

    26.03.2019

  • 2 © VNG 2019

    Gliederung

    1. VNG Handel & Vertrieb

    2. Gashandel

    3. Pentaho DI bei VNG H&V

    4. Regulatory Reporting

    5. Valuation Archivierung

    6. Ausblick

  • 1. VNG Handel & Vertrieb

  • 4 © VNG 2019

    Geschichte

    - 1. Juli 1958 Gründung Technische Leitung Ferngas (TLFG)

    - 29. Juni 1990 Gründung VNG AG

    - April 2016 EnBW Mehrheitseigner

    - Q2/2017 VNG AG vollkonsolidiertes Unternehmen

    - April 2018 Ausgliederung VNG Handel & Vertrieb GmbH

  • 5 © VNG 2019

    VNG Gruppe

  • 2. Gashandel

  • 7 © VNG 2019

    VNG Handel & Vertrieb GmbH – Märkte Europa

    Gaspool

    NCG

    NBP

    ZEE

    TTF

    ZTP

    TRF

    PSV

    CEGH

  • 8 © VNG 2019

    VNG Handel & Vertrieb GmbH – Deutschland

  • 9 © VNG 2019

    Produkte

  • 10 © VNG 2019

    Trading

  • 11 © VNG 2019

    Handelstag

    Handel (08:30 - 18:00 Uhr)Nominierung (untertätig zur Handelszeit)

    Export Forecast (21:00 -22:00 Uhr)

    EH Valuation (12:00 und 16:00 Uhr)

    Import Marktpreise (23:00 – 07:30 Uhr)

    Valuations (03:00 – 05:30 Uhr)

  • 3. Pentaho DI bei VNG H&V

  • 15 © VNG 2019

    Pentaho DI bei VNG H&V

    - 2011 Auswahl ETL Tool (Pentaho, SAS, Talend und Informatica in Auswahl)

    - 2012 Einsatz Pentaho DI

    - löste OWB und PowerMart ab

    - MicroStrategy BI Tool

    - 2014 Einführung Inubit

    Aktuell:

    - Version 8.2.0.2-491 Enterprise

    - Enterprise Repository auf Oracle DB

    - Windows Server 2016

  • 16 © VNG 2019

    Integration Pentaho

    - Integration von Pentaho über ClassEvents und Pentaho Webservices

  • 17 © VNG 2019

    Integration Pentaho

  • 4. Regulatory Reporting

  • 19 © VNG 2019

    Regulatory Reporting

    - EMIR - Regulierung des außerbörslichen Derivatehandels

    - REMIT - Überwachung des Strom und Gas-Großhandels

    - UTI Generierung (EMIR)

    - Report Austausch Börse -> eTM (REMIT)

  • 20 © VNG 2019

    UTI Generator

    - Generierung der UTI (Unique Transaction Identifier) aus Feldern eines Reports der Clearing Bank

    - Automatischer Prozess (täglich) von Abruf des Reports, Generierung der UTI, schreiben ins ETRM System Allegro und Benachrichtigung des Fachbereichs

    ECC MIC Code

    UTI Type Indicator

    Trade Date

    Product ID

    Transaction ID Number

    Transaction ID Suffix Number Order ID

    Buy Code

    Clearing Leg Indicator UTI

    000XECC00 0 E

    2016100 6 G3BQ 00000D54Z 0 000003IKU2EWY S T

    000XECC000E20161006G3BQ00000D54Z0000003IKU 2EWYST

  • 21 © VNG 2019

    UTI Generator

  • 22 © VNG 2019

    UTI Generator

  • 23 © VNG 2019

    UTI Generator

  • 24 © VNG 2019

    Schnittstelle Börse -> eTM

    - Verschlüsselte XML von Börse (FTPS) laden

    - XML entschlüsseln

    - SOAP Request generieren

    - Versand an Webservice

  • 25 © VNG 2019

    Schnittstelle Börse -> eTM

  • 26 © VNG 2019

    Schnittstelle Börse -> eTM

  • 5. Valuation Archivierung

  • 28 © VNG 2019

    Valuation Archivierung

    - 2014 Allegro Einführung

    - Wachsende Daten durch Valuations

    - Eine Valuation ca. 5,3 Millionen Rows

    - Pro Tag 7,6 Mio Zeilen à 125 Spalten

    - Vorgehen:

    - 1. Archivierung via DB Link

    - 2. Partitioning

    - 3. Archivierung mit Komprimierung und Dateiablage

    März AprilFebruar + 12 Jahre- 1 Jahr

    monatlich täglich täglich täglich monatlich

    Valuation Granularität

  • 29 © VNG 2019

    Valuation Archivierung

  • 30 © VNG 2019

    Valuation Archivierung

  • 31 © VNG 2019

    Valuation Archivierung

  • 32 © VNG 2019

    Valuation Archivierung

  • 33 © VNG 2019

    Valuation Archivierung

    Produktion Demo

    Zeilen (Mio) 5,25 0,4

    DB Tabelle (MB) 3228 264

    ZIP (MB) 282 50

    XML (MB) 9319 712

    Kompressionsrate (%) 91,26 81,06

  • 6. Ausblick

  • 35 © VNG 2019

    Ausblick

    - Integration von NTLM Authentifizierung

    - Integration von Python Skripten

    - Konsolidierung IT-Landschaft (Pentaho Instanzen)

    - Azure Anbindung/Interaktion (MS Dynamics)

    - Pentaho als Webservice Endpoint (PDI-17855)

  • 36 © VNG 2019

  • 37 © VNG 2019

  • 38 © VNG 2019

    Braunstraße 7 04347 Leipzig www.vng-handel.de

    VNG Handel & Vertrieb GmbH

    Jens Junker

    +49 341 443-1231

    jens.junker@vng-handel.de

    Ansprechpartner

  • Vielen Dank!

Recommended

View more >