Modul Quest1 Episode2 v2

Modul Quest 1 Episode 2

Quest 1 Episode 2 Business Intelligence Development StudioObjective: Mendesain Projek ETL dengan menggunakan microsoft BIDS Membuat Projek ETL dengan mengerti dan mampu membuat data warehouse (dengan membuat database baru) dan men-create table yang merefer ke database AWDW, studi kasus Adventure Works Mengetahui SQL yang digunakan untuk membaca CSV dan memasukkannya pada tabel

-

A. BIDS (Business Intelligence Development studio)Business Intelligence Development Studio (BIDS) menyediakan sebuah lingkungan pengembangan yang berorientasi grafis (GUI) yang digunakan sebagai solusi dalam Business Intelligence dan pengembangan analisis data dengan memanfaatkan Microsoft SQL Server Analysis Services, Reporting Services dan Integration Services melalui tools, controls and projects dari Microsoft Visual Studio dalam pembuatan ETL dataflows, reports, OLAP cubes dan data mining structure. BIDS yang digunakan untuk mendesain, membuat, dan mengetes package yang bisa dilakukan dengan metode drag-and-drop. SSIS (SQL Server Integration Service) adalah sebuah tools BIDS yang digunakan untuk melakukan proses Extract, Transform, and Load (ETL) dan diklasifikasikan sebagai fitur Business Intelligence (BI). ETL adalah proses untuk mengumpulkan data dari berbagai sumber (Extract), membersihkannya (Transform), untuk kemudian menyimpannya ke dalam sistem yang lain (Load). Membuat Project Baru Menggunakan BIDS 1. Buka Microsoft Visual Studio 2008, sebelumnya pastikan bahwa database AWDW sebelumnya telah berfungsi dengan benar. 2. Klik New Project.

Gambar 1 Buat Project Baru

1

Modul Quest 1 Episode 2 3. Selanjutnya pilih Integration Service Connection Project untuk membuat project SSIS. Ubah nama project sesuai keinginan, spesifikasikan lokasi dan solusi yang dibuat dan pastikan Create directory for solution telah dicentang. Klik Ok.

Gambar 2 New Project Integration Services

4. Selanjutnya akan muncul halaman baru, dimana Anda dapat mendesain SSIS package Anda. Drag and drop Control Flow Toolbox untuk persiapan proses ETL. Jika Package.dtsx tidak terbuka, double-click pada window Solution Explorer.

Gambar 3 Persiapan Proses ETL

2


B. Data Source (CSV, SQL Server ADO, ODBC)Pada saat proses ETL, data source yang digunakan dapat berupa CSV, SQL Server ADO, maupun ODBC. 1. CSV (Comma Separated Value) Comma Separated Values atau CVS adalah suatu format data dalam basis data di mana setiap record dipisahkan dengan tanda koma (,) atau titik koma (;). Selain sederhana, format ini dapat dibuka dengan berbagai text-editor seperti Notepad, Wordpad, bahkan MS Excel. Berikut ini adalah cara mengambil data source CSV: 1. Pengambilan data source dilakukan pada saat proses Execute Task yaitu dengan memilih EXCEL pada ConnectionType

Gambar 4 Connection Type CSV

2. Selanjutnya padaconnection pilih new connection untuk mengambil data CSV. Klik browse untuk mengambil data source CSV yang akan digunakan.

3


Gambar 5 Excel Connection Manager

3. Kemudian memilih data source CSV yang akan diambil untuk proses ETL.

Gambar 6 Select file CSV

2. SQL Server ADO (ActiveX Data Object) ADO adalah akses data yang pada hierarkinya berada diatas OLE DB. ADO bersifat berorientasi pada obyek karena ADO menyembunyikan kerumitan OLE DB dalam mengakses sebuah basisdata. ADO terdiri dari obyek yang fleksibel karena obyek tersebut terdiri dari properti, metode dan event sendiri. Jadi, penggunaan properti, event dan metode yang ada pada obyek-obyek ADO jauh lebih mudah daripada harus memanggil OLE DB yang akan digunakan. ADO sendiri baru pertama kali ada pada SQL Server 2008. Seperti langkah pada data source CSV, untuk data source SQL Server ADO ini pilih ConnectionType ADO. Maka sumber data yang akan digunakan adalah sumber data dari

4

Modul Quest 1 Episode 2 SQL Server. Selanjutnya untuk mengkoneksikan sumber data yang dimaksud pada SQL Server, pilih data connections pada SQL Server seperti berikut :

Gambar 7 Konfigurasi ADO Connection

*localhost.master sebelumnya sudah dibuat dengan cara klik New. 3. ODBC Anda dapat menggunakan Data Source Open Database Connectivity (ODBC) untuk mengakses data dari berbagai sistem manajemen database. Misalnya, jika Anda memiliki program yang mengakses data dalam database SQL, Data Sources (ODBC) akan membiarkan Anda menggunakan program yang sama untuk mengakses data dalam database Visual FoxPro. Tidak seperti menggunakan data source CSV ataupun SQL Server ADO,untuk melakukan ini, Anda harus menambahkan komponen perangkat lunak yang disebut driver untuk sistem anda. Data Sources (ODBC) membantu Anda menambahkan dan konfigurasi driver ini. Driver dapat diunduh disini http://dev.mysql.com/downloads/connector/odbc/ Langkah2 untuk connect menggunakan ODBC Untuk membuka Data Sources (ODBC), klik Start, click Control Panel, kemudian klik Performance and Maintenance. Klik Administrative Tools, selanjutnya double-click Data Sources (ODBC)

5


Gambar 8 Konfigurasi Koneksi ODBC

Klik OK untuk mengkoneksikan BIDS dengan Mysql. Selanjutnya database pada Mysql dapat digunakan untuk proses ETL.

C. Transformation ComponentIntegration Services yang disediakan didalam SQL Server 2008 memberikan kemudahan dalam memindahkan data (data source menuju data destination). Transformation yang dilakukan dengan dengan mengcopy database OLTP (OnLine Transaction Process) dan mengubah lokasinya kedalam data mart. Melalui proses pengcopyan kita dapat mentransformnya dari format OLTP menjadi format OLAP yang dibuat. Integration Services package dalam BIDS terdiri dari Control Flow Designer Tab untuk mendefinisikan keseluruhan operasi proses dari package dan Data Flow Designer Tab untuk mengimplementasikan proses. Control Flow dibuat dengan melakukan dragging item pada toolbox menuju Control Flow Designer Tab. Control Flow bisa mengandung banyak Data Flow Task yang didetailkan dengan menggunakan Data Flow Designer Tab.

6

Modul Quest 1 Episode 2 Control Flow Designer Tab Data Flow Designer Tab Event Handlers Designer Tab Package Explorer Tab

Connection Tray

Gambar 9 Microsoft Visual Studio Window

Maintenance Plan Tasks & Control Flow Item Toolbox

1. Control Flow Designer TabControl flow adalah level tertinggi dari proses kontrol yang dapat digunakan untuk mengatur aktivitas proses data flow dan proses lainnya di dalam sebuah package, yang didalamnya terdapat task dan container. Task adalah elemen control flow yang merupakan sebuah unit kerja. Sebuah package terdiri dari satu atau lebih task. Setiap Integration Services package terdiri dari suatu control flow yang mendefinisikan keseluruhan operation untuk package dengan mendrag item dari Toolbox pada Control Flow Designer tab. Data flow task yang terbentuk perlu dilakukan drill down untuk menentukan komponen dari data flow. Hal ini dapat dilakukan dengan double-click pada data flow tasknya. Ilustrasinya bisa dilihat:

7


Gambar 10 Ilustrasi Komponen Data Flow Task

Control Flow Item Digunakan untuk mengulangi segment dari control flow, sama halnya seperti fungsi for. For Loop Container mengeksekusi SQL Task dan Data Flow Task beberapa kali. Jumlah pengulangan dikontrol oleh 3 properties For Loop Container yaitu InitExpression, EvalExpression, dan AssignExpression. Sama halnya dengan For Loop Container yang juga menyediakan cara dalam mengulangi segmen aliran kontrol hanya saja Foreach Loop container mengiterasi sekali untuk setiap item. Sequence Container membantu dalam mengorganisasikan task dalam package dan mempermudah pula dalam debugging. Memungkinkan untuk membuat script dalam VBScript atau Jscript. Script tersebut dapat digunakan untuk mengimplementasikan transformation atau business logic yang tidak bisa dibuat menggunakan Integration Services tasks lainnya. Memungkinkan untuk menjalankan suatu statement di Analysis Service Server, seperti DDL (Data Definition Language) Query yang memungkinkan untuk membuat, memodifikasi, dan memproses obyek Analysis Service seperti Cube dan Dimensions.

8

Modul Quest 1 Episode 2 Memproses cube, dimensi, atau mining model Analysis Services. SQL Server

Memungkinkan dalam menyalin text file secara cepat kedalam tabel SQL Server. Bulk Insert adalah cara tercepat dalam memindahkan sejumlah data. Mengeksekusi data flow untuk ETL. Mengeksekusi predictive query terhadap data-mining model di Analysis Services. Merupakan fitur baru di SSIS 2008 yang digunakan untuk mendapatkan profil data yang disimpan di SQL Server untuk mengidentifikasi masalah yang dapat timbul pada kualitas data. Mengeksekusi package lain yang ataupun File System terdapat di SQL Server

Mengeksekusi program/aplikasi yang terdapat di komputer

Mengeksekusi SQL Statement atau stored procedure. Mengeksekusi program/aplikasi yang terdapat di komputer Digunakan untuk melakukan fungsi-fungsi yang tidak dapat dilakukan dengan task-task bawaan SSIS dengan menggunakan script di lingkungan Visual Studio. Apabila pada versi 2005 bahasa pemrograman yang bisa digunakan adalah Visual Basic, maka pada versi ini kita juga dapat menggunakan C# Mengirimkan e-mail melalui SMTP dsb

Membuat Task Pada Control Flow1. Untuk menambahkan sebuah task ke dalam Control Flow, klik item yang ada pada toolbox dan drag menuju ke Control Flow Designer.

9


Gambar 11 Toobox pada control flow

2. Setelah task yang dipilih muncul di Control Flow, kita dapat melakukan pengaturan propertinya dengan cara mengklik ganda pada task atau klik kanan pada task lalu pilih Edit.

Gambar 12 Mengedit Execute SQL Task

3. Kemudian Isi propertinya dengan cara membuatkan Connection dengan Database yang tersedia dan isi SQL Statementnya. Misalkan Delete Data, maka SQL Statement yang diberikan delete from dbo.FactPenjualan where IDTanggal = (select IDTanggal from DimTanggal where tanggal = '2009-01-01'). lalu klik OK.

Gambar 13 Mengeset properti Execute SQL Task

10


2. Data Flow Designer TabSetiap detail dari data flow task dikonfigurasikan menggunakan Data Flow Designer Tab. Data Flow tab Toolbox dibagi tiga area: data flow sources, data flow transformations, dan data flow destinations. Sources Data: Untuk setiap Data Flow Source memungkinkan berasal dari banyak sekali sumber yang bisa digunakan. Diantaranya yang disediakan oleh SQL Server yaitu ADO.NET Source, Excel Source, Flat File Source, OLE DB Source, Raw File Source dan XML Source. No 1 2 3 4 Data Source OLE DB Source Excel SOurce Flat File Source Raw File Source Fungsi Untuk mengambil data dari OLE DB seperti SQL Server, Access, Oracle, atau DB2 sebagai contoh Mengambil data dari Excel. Komponen ini juga mempermudah SQL query terhadap Excel Mengambil data dari file text Mengambil data yang dihasilkan dari Raw File Destination. Format file-nya berbeda dengan Flat File dan biasanya digunakan untuk membaca data dengan cepat Mengambil data dari document XML Komponen baru yang menggantikan Data Reader Source di SSIS 2005 dan digunakan untuk mengambil data dari koneksi ADO .NET

5 6

XML Source ADO NET Source

Setelah sebelumnya workflow telah dibuat menggunakan Control Flow Designer Tab, maka selanjutnya berfokus pada desain dan implementasi proses yang mengekstrak data dari banyak sources, kemudian mentransform dan mencleanse datanya dan pada akhirnya adalah meload data tersebut kedalam destination source dengan Data Flow Designer Tab. Membuat Data Flow Source (Extracting Data) 1. Pada Control Flow Designer Tab, pilih Data Flow Task dari Toolbox, hubungkan Execute SQL Task dengan Data Flow Task lalu edit Data Flow Task. Ketika muncul Data Flow Designer Tab, lalu drag Flat File Source(atau item source lainnya) dari Toolbox.

Gambar 14 Menambahkan Flat File Source

11

Modul Quest 1 Episode 2 2. Klik ganda pada Flat File Source untuk melakukan pengaturan propertinya. Setelah layar pengaturan muncul, klik tombol New untuk membuat koneksi baru ke sebuah file csv.

Gambar 15 Mengedit properti Flat File Source

3. Pada bagian general, isi nama koneksinya, dan isi nama file dengan tempat file csv berada, dan beri tanda centang pada pilihan Column names in the first data row.

Gambar 16 Mengedit properti koneksi

Pilih tab Columns untuk mengatur penanda kolom dan baris lalu klik OK. Klik OK sekali lagi untuk menutup properti Flat File Source.

12


Gambar 17 tab Columns pada koneksi

4. Selanjutnya untuk tranformasi yang dibuat pada tabel fact akan terbentuk misalnya dengan mengisikan Cabang_ID dengan ID yang terdapat pada DimCabang. Untuk melakukan transformasi pilih Item Destinationnya misaljan Lookup dari Toolbox lalu hubungkan output dari Flat File Source dengan Lookup (Gambar 18). Kemudian buatlah file koneksi pada Lookup dengan cara yang sama seperti diatas.

Gambar 18 Data Flow Task Flat File Lookup

13

Modul Quest 1 Episode 2 Mendesain Project ETL Menggunakan BIDS (Studi Kasus Adventure Works) A. Create Database dan Tabel 1. Setelah sebelumnya membuat project baru. Lakukan Prepare Database yaitu mengecek apakah database sudah ada. Bila ada, maka Drop Database terlebih dahulu. Drop database dilakukan di awal karena database yang telah dibuat sebelumnya pada SQL Server harus dihapus untuk menghindari penumpukan database. Sequence Container sebaiknya dibuat untuk membuat aliran kontrol terpisah, sehingga debug package control flow dapat mudah dikelola.

Gambar 19 Prepare Database

2. Selanjutnya buat koneksinya melalui Connection Manager (local).master. Koneksi master adalah koneksi yang mengacu pada AWDW didalam SQL Server 2008. Klik kanan Connection Manager Tray dan pilih New OLE DB Connection (Gambar 19). Klik tombol New.

Gambar 20 Membuat OLEDB Connection

14

Modul Quest 1 Episode 2 3. Lalu, pada window Connection Manager, ketikkan (local) pada drop-down list Server name dan pilih master pada drop-down list Select or enter database name. Kemudian klik OK.

Gambar 21 Koneksi local.master

4. Pada Item Execute SQL Task Drop database masukkan SQLStatement drop database, dengan memilih SQL Source Type Direct Input.

Gambar 22 Direct Input SQL Statement

SQLyang mungkin bisa dilakukan adalah seperti berikut:

15


Gambar 23 SQL Statement Drop Database

Maksud dari SQL statement diatas, adalah ketika database dengan nama AWDW Finance masih ada saat project dijalankan, maka drop database tersebut, sebab project yang dibuat kemungkinan akan mengalami beberapa kali pengetesan (running) sehingga pengecekan ini perlu dilakukan untuk menghindari penumpukan 5. Setelahnya, buat database baru dengan membuat SQL Task Create DB.

Gambar 24 Create Database AWDW Finance

Koneksikan kedua task Drop dan Create tersebut dengan membuat precedence arrow (garis hijau) sebagai constraint dimana satu task dijalankan setelah lainnya. Create Database baru adalah dengan memasukkan SQLStatement bisa jadi seperti berikut ini dengan nama database baru yang dibuat adalah AWDWFinance:

Gambar 25 SQL Statement Create Database

6. Kemudian buat SQL yang digunakan untuk mengeset karakteristik database untuk setiap database yang dibuat.

16


Gambar 26 Execute SQl Set DB option

Option ini unik untuk setiap database, bisa dengan menggunakan SET clause atau ALTER DATABASE statement. Statement yang digunakan adalah kurang lebih seperti berikut ini.

Gambar 27 SQL Statement Set DB Option

Jalankan Execute. Seluruh kontainer yang berwarna hijau sebagai pertanda database baru telah dibuat, apakah database telah terbentuk bisa dicek pada SQL Server Management Studio.

Gambar 28 Execute Prepare DB

17

Modul Quest 1 Episode 2 7. Dan pada progress tab akan menunjukkan bahwa semua proses telah finished.

Gambar 29 Status Finished pada Progress Tab

8. Setelah database dibuat kemudian buatlah tabelnya dengan menggunakan control flow item yang telah tersedia. Tetapi sebelumnya pastikan Script untuk membuat tabel Fact Finance beserta dimnya telah dibuat. Sesuai dengan data mart yang dibuat pada episode sebelumnya, tabel FactFinance adalah tabel utama dengan schema data berikut:

Gambar 30 Schema Data Fact Finance

Maka buatlah beberapa tabel dimensi seperti diatas, dengan tambahan DimTime.

18


Gambar 31 SQL Script Tabel Fact dan Dim

Untuk membuat tabel, suatu container yang bernama Foreach Loop Container perlu dibuat.

Gambar 32 For Each Loop Container

Kemudian isikan keterangan executionnya, dengan memasukkan lokasi folder file script yang telah dibuat tadi pada Folder Enumeration Configuration, dan pada Files, isikan dengan CreateTable-*.sql (nama yang sama dengan script .sql yang telah dibuat). Pastikan Retrieve File Name Fully qualified telah dicentang. Kemudian klik OK.

Gambar 33 Mengedit Properti Foreach Loop Editor

9. Pilih Tab Variable Mapping dan masukkan variable baru didalamnya CreateTableScriptFileName dan masukkan value 0.

dengan nama

19


Gambar 34 Add New Variable

10. Lalu isikan Expressions pada Foreach Loop Editor dengan Property Directory

Gambar 35 Property Expressions Editor

kemudian masukkan nilai Expressionnya dengan mengklik icon browse disamping dan ketikkan Expression seperti tampak pada gambar 35.

20


Gambar 36 Menambahkan Variable Expression Foreach Loop Container

11. Kemudian buat script SQL untuk mengcreate tabel, kemudian tambahkan New File Connection.

Gambar 37 New File Connection pada Execute SQl Task Create Table

12. Pada File Connection Manager Editor, pilih Usage Typenya dengan Existing File, dan masukkan directorynya pada C:\Windows\System32\aclui.dll yang berfungsi sebagai file contoh yang nantinya akan direname dengan nama Create Table Scripts

21


Gambar 38 Memasukkan File .dll

13. Edit propertinya dengan menghapus Connection String dan mengganti nama aclui.dll dengan CreateTableScripts,

Gambar 39 Edit Properti Connection .dll

setelahnya tambahkan properti Expression dengan Connection String, dan masukkan expression kurang lebih seperti berikut ini.

22


Gambar 40 Property Expression Execute SQL Task

14. Edit SQL Editor, dan masukkan koneksinya dengan database yang telah dibuat, dengan SQL Source Type File connection, isi dengan CreateTableScripts.

Gambar 41 Edit Properti Connection Execute SQL Task

15. Lalu jalankan execute maka tabel telah selesai dibuat. Cek Database dan Tabel yang telah dibuat pada SQL Server Management Studio.

Gambar 42 Hasil Eksekusi Create Database dan Table

23

Modul Quest 1 Episode 2 B. Insert Data (Bulk Insert dan Data Flow) 16. Buatlah bulk insert untuk setiap dim yang dibuat. Bulking adalah proses memindahkan data dalam jumlah besar dengan proses yang cepat. Bulking dapat dilakukan dengan metode manapun bisa berasal dari file excel berformat .csv

Gambar 43 Bulk Insert Dim Account

Untuk setiap bulk insert dim, pilih Data Flow Task, hubungkan Execute SQL Task dengan Data Flow Task (pada gambar diatas adalah Bulk Insert DimAccount) lalu edit Data Flow Task. Ketika muncul tab Data Flow, pilih Flat File Source. 17. Dengan File Connection Manager Editor pilih Existing File, dan masukkan lokasi folder .csv yang akan digunakan.

Gambar 44 Browse File .csv

24


Gambar 45 Dim.csv yang diperlukan dalam Bulk Insert

18. Pada DimAccount masukkan DimAccount.csv. Connection yang terbentuk kurang lebih akan sama seperti berikut ini.

Gambar 46 Properti Connection untuk Bulk Insert

19. Execute, dan cek isi datanya pada SQL Server Management Studio.

Gambar 47 Execute Bulk Insert DimAccount

20. Kemudian buatlah Bulk Insert yang sama untuk tabel dim lainnya dan juga tabel FactFinance.

Gambar 48 Bulk Insert Tabel Dim dan Fact

25

Modul Quest 1 Episode 2 21. Dengan cara yang sama seperti diatas, execute packagenya, Pembuatan bulk insert yang telah selesai menandakan data telah mengalami proses Extract dan Transform, dapat dicek melalui SQL Server Management Studio. Akan terdapat database baru, tabel factfinance beserta dimnya masing-masing.

Gambar 49 Execute Package hingga Bulk Insert

22. Selanjutnya buat Data Flow DimCurrency.

Gambar 50 Create Data Flow Currency

23. Klk kanan, Edit data flow DimCurrency, dan akan memunculkan Data Flow Designer Tab, tambahkan OleDB Source. Source untuk dimensi Currency adalah pada Adventure Works, maka masukkan koneksinya dengan cara klik kanan edit.

Gambar 51 Tambahkan OLEDB Source

26

Modul Quest 1 Episode 2 24. Koneksi OLEDB pada DimCurrency adalah mengacu pada database OLTP (local).AdventureWorks, maka buat koneksinya. Kemudian masukkan statement SQL Command yang digunakan untuk mengambil data.

Gambar 52 OleDB source Editor DimCurrency

25. Klik preview, jika querynya berhasil, maka akan muncul result sebagai berikut:

Gambar 53 Preview Query Result

26. Selanjutnya buatkan OleDB Destinationnya.

27

Modul Quest 1 Episode 2 27. Edit Connectionnya, destination adalah pada database yang telah kita buat. Pilih Data access mode dengan tabel [dbo].[DimCurrency]

Gambar 54 OleDB Destination pada DimCurrency

28. Setelahnya pilih tab Mapping, akan muncul Column Source dan Destination yang tersedia, mappingkan sesuai dengan kolomnya masing-masing, bisa dilakukan dengan mendrag atau memilih source dan destination pada list coloumn.

Gambar 55 Mapping DimCurrency

28

Modul Quest 1 Episode 2 29. Execute Packagenya.

Gambar 56 Execute Package Bulk Insert dan Data Flow

30. Selanjutnya lakukan hal yang sama untuk membuat data flow task DimDepartment. 31. Tahap yang terakhir adalah dengan menambahkan primary key, indexes key dan foreign key mengingat data AWDW sangatlah banyak, sangatlah penting untuk membuat index table. Kemudian jalankan projectnya hingga semua data flow berwarna hijau.

32. Tambahkan dengan SQL Statement :

Gambar 57 SQL Statement Add Primary Key

29


Gambar 58 SQL Statement Add Foreign Key

30


Gambar 59 SQL Statement Add Index

59. Execute dan hasilnya akan tampak seperti berikut:

Gambar 60 Execute Finisih

Jika semua data telah berhasil berjalan dengan benar (ditandai dengan tidak adanya error), maka pada SQL Server Management Studio database yang telah dibuat tabel dim dan factnya akan mengandung konten yang sebagai berikut:

31

Documents

Modul Quest1 Episode2 v2