Mari Berkenalan dengan Data Warehouse!
Hah? Data warehouse? Apa sih itu? Cekidot!!
Nama: Muhammad Syakurrahman
NIM: 1905551077
Dosen: I Putu Agus Eka Pratama, S.T., M.T.
Mata Kuliah: Data Warehouse
Program Studi: Teknologi Informasi, Fakultas Teknik, Universitas Udayana
Pernahkah kalian berpikir tentang bagaimana bank menghimpun dan mengolah data jutaan penggunanya? Atau bagaimana perusahaan besar menganalisa data yang sedemikian banyaknya untuk menentukan langkah ke depan?
Mungkin inilah saatnya kita berkenalan dengan data warehouse. Namun sebelum itu, perlu kita refleksi terlebih dahulu akan salah satu dasar dari data warehouse, yaitu database.
Database: The Basic of Data Warehouse
Database merupakan kumpulan data yang disimpan secara sistematis dan saling berhubungan yang dikelola sedemikian rupa untuk menghasilkan sebuah informasi. Kembali ke pertanyaan awal, sebenarnya hanya dengan database biasa dapat digunakan untuk mengakomodir informasi dan kebutuhan transaksi data, tetapi tidak dengan analisa data. Kenapa begitu?
Database berfokus pada data transaksional, dimana melihat berdasarkan data yang terbaru, sedangkan analisa data hanya dapat diakomodir menggunakan data historis, yaitu melihat data dari perubahan awal-terakhir. Permasalahan lalu muncul ketika data transaksional mulai banyak dan masing-masingnya berdiri sendiri.
“Bagaimana cara mengolah data perusahaan untuk mengambil keputusan atau menganalisa secara menyeluruh? “
“Bisakah data yang banyak dan berdiri sendiri tersebut dijadikan satu kesatuan dalam satu wadah yang terintegrasi?”
Kenalin nih, Data Warehouse!
Data warehouse merupakan kumpulan data dari berbagai macam sumber, bentuk dan format, baik dari masa sekarang dan masa lalu, yang dijadikan perhatian pentingdan ditujukan untuk keperluan analisa dan pengambilan keputusan dalam perusahaan, sehingga dapat dikatakan bahwa data warehouse berfokus pada data historis. Data yang ada di dalamnya saling terintegrasi dan tersusun dengan pendekatan bottom up dan top down.
Kebutuhan akan data setidaknya mengarah kepada beberapa hal seperti analisa, pengambilan keputusan, penentuan strategi, dan report sehingga perlu menggudangkan data dari berbagai macam sumber. Data kemudian dikumpulkan, diselaraskan formatnya, dan dianalisa. Data warehouse juga dapat disebut sebagai gabungan dari beberapa data mart, yaitu bagian dari data warehouse yang berada pada level departmen yang menangani business process. Selain itu, ada beberapa skema yang digunakan dalam pembentukan data warehouse, yaitu snowflake, relational, star, dan lain sebagainya.
Data warehouse merupakan gudang data terintegrasi
Sumber-sumber data yang dikumpulkan (database, cloud, apps, CRM, ERP, storage) akan terlebih dahulu melalui proses ETL (extract transform load), yaitu proses integrasi data yang menggabungkan data dari berbagai sumber ke dalam satu penyimpanan konsisten berupa gudang data.
Proses pertama yaitu ekstraksi (extract), data terstruktur dan tidak terstruktur akan diimpor dan dikonsolidasikan ke dalam satu wadah penyimpanan.
Selanjutnya pada proses transformasi (transform), data dipindahkan ke sistem perantara untuk diproses lebih lanjut. Langkah ini sangat penting karena memastikan data yang akan diolah sepenuhnya siap dan kompatibel.
Proses ini terbagi menjadi beberapa bagian, yaitu:
1. Pembersihan : data yang tidak konsisten dihilangkan.
2. Standardisasi : memasang aturan pemformatan ke kumpulan data.
3. Deduplikasi : data yang sama dibuang atau dikecualikan.
4. Verifikasi : data yang tidak dapat digunakan dihapus dan anomali ditandai.
5. Pengurutan : data diatur menurut jenisnya.
6. Tugas lainnya — aturan tambahan yang dapat meningkatkan kualitas data.
Langkah terakhir yaitu memuat data (loading), dimana data yang sudah ditransformasi dan kompatibel kemudian dimuat ke dalam data warehouse secara sekaligus (full load) atau terjadwal (incremental loading). Hasil akhirnya berupa data yang dapat digunakan sebagai bahan reporting, ad-hoc reporting, dan OLAP analysis.
The Multidimensional of Data Warehouse
Inti sebenarnya dari data warehouse adalah data multi dimensi. Jika database diibaratkan sebagai bangun datar (dua dimensi) yang hanya terdiri dari kolom dan baris, maka data warehouse ibaratnya bangun ruang karena terdiri dari kumpulan bangun datar (multi dimensi) yang saling berhubungan membentuk satu kesatuan.
Berdasarkan susunan data di atas, kita secara mudah dapat memperoleh jawaban atas pertanyaan “Berapakah jumlah produk 3 terjual di Jawa Tengah pada tahun n-2?”
Apa Sih Pentingnya Data Warehouse?
Setidaknya ada 4 sektor yang menjadi peran penting sebuah data warehouse, yaitu laporan (report), analisa data, pengambilan keputusan, dan penentuan strategi. Keempat hal inilah yang terangkum dalam OLAP, yaitu (online analyisis processing) yang pada akhirnya dapat mengarahkan ke business intelligence. OLAP dapat dipelajari menggunakan HOLAP, MOLAP, dan ROLAP.
Keempat sektor tersebut dapat diimplementasikan ke dalam peran data warehouse di beberapa bidang berikut, yaitu: perbankan (transaksi, report), industri (ERP), pemerintahan (smart city), bisnis (analisa & laporan bisnis). Khusus di bidang perbankan, peran data warehouse mulai digantikan oleh big data dan cloud.
Trend perkembangan teknologi terkini dari data warehouse yang semakin meningkat ada kaitannya dengan munculnya beberapa teknologi terkait basis data seperti big data, visualisasi data, machine learning, dan integrasi sistem.
Referensi
I Putu Agus Eka Pratama. Handbook Data Warehouse. Penerbit Informatika. Bandung. 2017.
Kusuma, Alfian Dharma. Apa itu Database? Contoh Produk dan Fungsinya. Retrieved from https://www.dicoding.com/blog/apa-itu-database/.
Lestiawan, Heru. Data Warehouse, Data Mart, OLAP, dan Data Mining: CHAPTER 6. Retrieved from https://repository.dinus.ac.id/docs/ajar/DATA_WAREHOUSE.pdf.
Dewi, Nur Rosita. ETL (Extract Transform Load): Pengertian Dan Cara Kerjanya. Retrieved from https://www.ekrut.com/media/etl-adalah.
