Upload
dimas-joe
View
50
Download
0
Embed Size (px)
DESCRIPTION
data ware houhe untuk materi pembelajaran komputer dan jaringan
Citation preview
Pustaka Data (Data Warehouse) menyimpan, mengelola dan memberikan data untuk mendukung pengambilan keputusan strategis.
Data Warehouse bersifat informasional: bertujuan untuk menyampaikan informasi untuk keperluan analisa.FAKULTAS TEKNOLOGI INFORMASI*PERANCANGAN BASISDATA - 3 SKSData Warehouse
PERANCANGAN BASISDATA - 3 SKS
Data proses-bisnis harian (order, inventory, payroll, account) dari aplikasi OLTP: OnLine Transaction Processing
Karakteristik:Sebagian besar operasi adalah update - berupa transaksi per satuan data (record)Bersifat rekaman sesaat (snapshot)Orientasi ke aplikasiHanya data rinci (transaction level)*PERANCANGAN BASISDATA - 3 SKSTransactional (vs Informational) DataFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Data tentang bisnis - data untuk perencanaan dan analisa (aplikasi OLAP: OnLine Analysis Processing)Karakteristik:Sebagian besar operasi adalah simpan dan bacaQuery relatif panjang dan kompleks, melibatkan banyak satuan dataBersifat historisBerorientasi topik bisnis (subject oriented)Juga berisi rangkuman/gabungan dataMencakup sumber data lain yang berhubungan dengan manajemen dan perencanaan *PERANCANGAN BASISDATA - 3 SKSInformational (vs Transactional) DataFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
TransaksionalUntuk otomasi proses bisnisSasaran: efisiensi Menentukan proses bisnisDigerakkan oleh event transaksiOptimasi proses transaksi*PERANCANGAN BASISDATA - 3 SKSTransactional vs Informational DesignInformasionalMendukung pengambilan keputusanSasaran: keefektifanDisesuaikan dengan situasi bisnisMengantisipasi event transaksiOptimasi query (pengambilan data)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
2009 Fakultas Teknologi Informasi Universitas Budi LuhurJl. Ciledug Raya Petukangan Utara Jakarta Selatan 12260Website: http://fti.bl.ac.id Email: [email protected]
Data Warehouse:Pusat koleksi yang lengkap dan konsisten data perusahaan yang dikumpulkan dari berbagai sumber untuk memberikan informasi yang dapat dipahami dan dipergunakan dalam konteks bisnis --Barry Devlin, IBM.PERANCANGAN BASISDATA - 3 SKS*DW DefinitionFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
2009 Fakultas Teknologi Informasi Universitas Budi LuhurJl. Ciledug Raya Petukangan Utara Jakarta Selatan 12260Website: http://fti.bl.ac.id Email: [email protected]
Data Warehouse:
Sistem terstruktur berskala besar untuk meng-analisa data statis yang telah ditransformasikan dari berbagai aplikasi asalnya agar sesuai dengan struktur bisnis, terkumpul dalam waktu yang lama, direpresentasikan dalam terminologi bisnis, dan terangkum untuk memudahkan analisa.--Vivek Gupta, System Services Corp.PERANCANGAN BASISDATA - 3 SKS*DW Definition (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Karakteristik Data Warehouse:Menyeluruh dan terangkum (integrated)Historis (time varying)Statis (non-volatile)Terorganisasi menurut topik analisa (subject oriented)Ditujukan untuk pemakai bisnis sebagai pendukung pengambilan keputusan.*PERANCANGAN BASISDATA - 3 SKSDW CharacteristicsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Update secara append onlyVolume data amat besar (terakumulasi)Periode update yang terjadwal sesuai dengan siklus bisnisHarus dipisahkan dari data operasional:Alasan skema: Struktur dan definisi data berbeda dengan OLTP.Alasan kinerja: Pemrosesan query OLAP yang intensif dapat membebani OLTP.*PERANCANGAN BASISDATA - 3 SKSDW Characteristics (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
*PERANCANGAN BASISDATA - 3 SKSBI Component FrameworkORDERSSHIPPINGINVENTORYDATAWAREHOUSEData Warehouse EnvironmentAnalytical EnvironmentExtractCleanTransformTransferLoadQueryReportAnalyzeMineVisualizeFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Proses-proses, alat-alat bantu, dan teknologi untuk mengubah data menjadi informasi, dan informasi menjadi pemahaman serta rencana untuk menggerakkan aktivitas bisnis yang efektif -- The Data Warehouse Institute
*PERANCANGAN BASISDATA - 3 SKSBI DefinitionBI Learning Cycle:FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
ArsitekturVirtual (query driven)Terpusat (centralized)Tersebar (federated)*PERANCANGAN BASISDATA - 3 SKSData Warehouse ArchitectureFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Akses langsung ke basis data OLTP*PERANCANGAN BASISDATA - 3 SKSvirtual DWOLTP systemsresult setsDBMSdata accessDBMSDBMSdata accessdata accessinformation access(filtering, staging, merging)analytical toolsqueriesVirtual DWFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Keuntungan: Murah (TCO rendah, tidak ada duplikasi data).Data selalu paling mutakhir.Data yang sangat lengkap dari berbagai sumber.Cocok untuk kebutuhan informasi yang tak terduga/terencana.*PERANCANGAN BASISDATA - 3 SKSVirtual DW AdvantagesFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Kelemahan: Tidak memiliki data historis.Tidak efisien dan lambat (proses pembersihan, transformasi dan penggabungan untuk setiap query).Dapat menggangu kinerja OLTP: produktifitas perusahaan.*PERANCANGAN BASISDATA - 3 SKSVirtual DW DisadvantagesFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Akses ke basis data warehouse pusat*PERANCANGAN BASISDATA - 3 SKSDBMSdata accessDBMSDBMSdata accessdata accessinformation accessETL (staging)data warehousedata accessCentralized DWOLTP systemsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Keuntungan:Kinerja pemrosesan query yang tinggiTidak mengganggu kinerja OLTPMemenuhi persyaratan DW
Kelemahan:Informasi yang dihasilkan belum tentu mutakhirDuplikasi data dengan OLTP*PERANCANGAN BASISDATA - 3 SKSCentralized DW TradeoffsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Akses ke basis data federated Data Marts.Sebagai konsekuensi dari desentralisasi dari pengambilan keputusan.Skope Data Mart (DW departmental) pendukung: personal, proyek, departemental/divisional, fungsional/perusahaan.*PERANCANGAN BASISDATA - 3 SKSinformation accessmarketingcustomer carefinanceFederated DWData MartData MartData Martdata accessFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Keuntungan: Sama dengan DW terpusatKeandalan dan ketersediaan tinggi (basis data terdistribusi)
Kelemahan: Sama dengan DW terpusatStruktur data marts pendukung belum tentu sesuai dengan kebutuhan di tingkat pusat: Sudut pandang rancangan data mart bersifat divisional - tidak utuh.*PERANCANGAN BASISDATA - 3 SKSFederated DW TradeoffsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Terpusat (pendekatan Top-Down): Ideal tetapi membutuhkan waktu pengembangan yang lama dan skala proyek yang besarResiko kegagalan proyek pengambangan tinggi
Tersebar (pendekatan Bottom-Up): Memungkinkan prioritasi, pengembangan bertahap sambil mendaki learning curveDibutuhkan koordinasi melalui team yang mengatur standarisasi kode, penamaan, dan definisi data.*PERANCANGAN BASISDATA - 3 SKSCentralized vs FederatedFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Kinerja adalah Faktor Keberhasilan DW:Kecepatan memuat data baru dalam skala giga bytes atau ratusan ribu records per jam, secara periodik.
Waktu untuk data staging: transformasi, penyaringan, konversi format, test kelengkapan data, dsb. termasuk dalam perhitungan kecepatan memuat data.*PERANCANGAN BASISDATA - 3 SKSPerformance Issue: Data LoadingFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Query throughput adalah ukuran kesuksesan DW. Banyaknya query yang terjawab (termasuk yang ad-hoc) akan mendorong analis untuk mendapatkan query yang lebih kreatif dan jitu.Optimasi: skala response time dalam detik. Merupakan fungsi dari kompleksitas query bukan ukuran basis data.User scalability. Mampu melayani ratusan pemakai secara bersamaan tanpa perlambatan yang berarti.*PERANCANGAN BASISDATA - 3 SKSPerformance Issue: Query ProcessingFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Media penyimpanan basis data arus mampu menyimpan data dalam skala tera bytes.
DBMS harus juga mampu menangani data dalam skala tera bytes.*PERANCANGAN BASISDATA - 3 SKSScalability Issue: Storage CapacityFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Tujuan ETL:Mengumpulkan, menseleksi, mengolah dan menggabungkan data relevan dari berbagai sumber untuk disimpan dalam Data Warehouse.
Hasil ETL: Data yang memenuhi kriteria DWHistoris, terpadu, terangkum, statis, dan memiliki struktur yang dirancang untuk keperluan analisa.
Bagian terpenting: menyerap 50%-70% total kerja proyek Data Warehousing.*PERANCANGAN BASISDATA - 3 SKSExtraction Transformation LoadingFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Sumber-sumber data umumnya sangat bervariasi (heterogeneous):
Platform mesin dan Operating System yang berlainanMungkin melibatkan sistem kuno dengan teknologi basis data yang sudah ketinggalan jamanMutu data yang berbeda-bedaAplikasi sumber data mungkin menggunakan nilai data (representasi) internal yang sulit dimengertiInkonsistensi definisi data, dan tidak adanya mekanisme/prosedur penyeragaman.*PERANCANGAN BASISDATA - 3 SKSETL ProblemsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Perencanaan ekstraksi data melibatkan identifikasi:
Sumber data: sistem OLTP, basis data eksternal, dsb.Metoda ekstraksiFrekuensi ekstraksiWaktu/penjadwalan ekstraksiTahapan proses ekstraksiPenanganan kejanggalan (anomali) dalam ekstraksi, misal: prosedur operasi manual*PERANCANGAN BASISDATA - 3 SKSData ExtractionFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Ekstraksi Data Statis
Ekstraksi Data Terjadwal/TertundaBerdasarkan time stampBerdasarkan perbedaan antara file lama dan baru
Ekstraksi Data SeketikaDengan mekanisme log transaksiDengan mekanisme database triggerOleh aplikasi sumber*PERANCANGAN BASISDATA - 3 SKSData Extraction MethodsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Ekstraksi statisUmumnya dilakukan pada saat off-line: pemuatan data awal atau full refresh periodik Ekstraksi non-statisUmumnya dilakukan sering secara periodik untuk updating DW dengan data terbaruSelektif: hanya mengambil data yang telah berubah sejak ekstraksi terakhir
*PERANCANGAN BASISDATA - 3 SKSData Extraction MethodsFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Metoda tertunda (batch):Berdasarkan perbedaan waktu time-stampBerdasarkan perbedaan image file data
Metoda seketika (real-time):Dengan mekanisme transaction logDengan mekanisme database triggerLangsung oleh aplikasi sumber*PERANCANGAN BASISDATA - 3 SKSNon-Static Data ExtractionFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
*PERANCANGAN BASISDATA - 3 SKSBatch Data Extractionsource operational systemssourcedatabasesDBMStime-stampbasedextractionprogramextractfiledatastagingareatodaysfileyesterdaysfileextractfilefilecomparisonprogramFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
*PERANCANGAN BASISDATA - 3 SKSReal-Time Data Extractionsource operational systemssourcedatabasesDBMS
applicationgeneratedextractfiledatastagingareaextractfiletransactionlog filetrigger- driven procedureFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Dapat memakan waktu lamaDibutuhkan sistem DBMS dengan kinerja tinggi atau fasilitas bulk loading
Harus dilakukan secara otomatis Misal dengan cron jobs (Unix), job control service (Windows)*PERANCANGAN BASISDATA - 3 SKSBatch Extraction ScheduleFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Data dari sistem-sistem OLTP perlu diproses sebelum disimpan dalam data warehouse
Langkah-langkah utama:Pembersihan dataKonversi dan pengubahan struktur dataMelengkapi kolom-kolom kosongPenggabungan dataPerangkuman data (penghitungan agregat)*PERANCANGAN BASISDATA - 3 SKSData Staging: TransformationFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Pemeriksaan validitas dataPembuangan atau koreksi data yang invalid atau inkonsisten
Pembuangan detail yang tidak perluPembuangan duplikat-duplikat data*PERANCANGAN BASISDATA - 3 SKSData CleansingFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Prekalkulasi:Penghitungan nilai-nilai derivatPenghitungan agregat (rangkuman)
Restrukturisasi data:Splitting: pemecahan kolom data menjadi beberapa kolomMerging: perangkuman beberapa kolom data menjadi satu kolom
Penggabungan atribut-atribut (denormalisasi):Pemberian kunci global (surrogate keys)*PERANCANGAN BASISDATA - 3 SKSTransformation TypesFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
*PERANCANGAN BASISDATA - 3 SKSDenormalizationsurrogate key
KeyNIPNamaJabatanProyek01001818283EddyPengawasP020101002818283EddyManajerP041101003818824EmmySekretarisP041101003818824EmmyStafP0201
NIPNamaAlamatKelamin818283EddyJl Duren 11L818824EmmyJl Pisang 2P818835DoddyJl Mangga 7L818812NaniJl Nangka 1P
KodeProyekNamaLokasiP0201AnalisaSistemCabangBalikpapanP0411TrainingCabangManadoR0391PerbaikanInfrastrukturPusatR0402Pengembangan JaringanPusat
PERANCANGAN BASISDATA - 3 SKS
Masalah penyeragaman data yang dikumpulkan dari berbagai sumber (sistem aplikasi OLTP):
Perbedaan terminologi akibat perbedaan konvensi, struktur/manajemen organisasi, dsb.Perbedaan kodifikasi nilai data. Misal: L/P atau P/W untuk jenis kelamin.Perbedaan periode siklus bisnis: mingguan, bulanan, kuartalan, dsb.*PERANCANGAN BASISDATA - 3 SKSData TranslationFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Perbedaan nilai default untuk missing valuesDefinisi/representasi nilai data yang hanya dimengerti oleh kalangan pemakai sistem aplikasi sumber sajaPerbedaan format data, misal: jumlah digit atau huruf.*PERANCANGAN BASISDATA - 3 SKSData Translation (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Translasi data:Pengubahan format (tipe data dan panjangnya)Translasi (decoding) nilai dataKonversi character setKonversi satuan ukuranKonversi format tanggal dan jam*PERANCANGAN BASISDATA - 3 SKSTransformation Types (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Permasalahan:
Skop identitas dari entitas yang terbatas hanya selama satu transaksi, danIdentifikasi entitas yang sama dalam basis-basis data atau sistem-sistem yang berlainanDiperlukan kriteria matching
Adanya beberapa sumber untuk elemen data yang samaDiperlukan ranking prioritas sistem-sitem sumber*PERANCANGAN BASISDATA - 3 SKSIntegration & Consolidation IssuesFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Metoda pemuatan data berdasarkan tipe:
Skala transaksiMisal: Total pembelian oleh konsumen P pada hari H di kios KDisimpan ke dalam DW dengan operasi write
Skala periodik (periodic snapshot)Misal: Saldo bulanan nasabah tabunganDisimpan ke dalam DW dengan memeriksa batas waktu periode data, operasi penjumlahan, dan operasi update*PERANCANGAN BASISDATA - 3 SKSLoading Methods by Data TypeFAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS
Metoda pemuatan data berdasarkan tipe:
Skala kumulatif (accumulating snapshot)Misal: Total biaya pengobatan pasien rawat jalan (periode tidak tetap/pasti)Disimpan ke dalam DW dengan operasi penjumlahan dan update*PERANCANGAN BASISDATA - 3 SKSLoading Methods by Data Type (2)FAKULTAS TEKNOLOGI INFORMASI
PERANCANGAN BASISDATA - 3 SKS