Relevansi Data Warehouse di Era Big Data

Fikri Hafiya
Sep 7, 2018 · 3 min read
source: www.astera.com

Apa pentingnya data?

Industri yang kini making mengandalkan AI dalam banyak hal, tentu membutuhkan data dalam jumlah besar. Data digunakan untuk men-training AI agar semakin cerdas. Semakin banyak data, semakin banyak yang dapat dipelajari dan menambah capability dari AI itu sendiri. Selain itu, tentunya data dapat pula diolah dan dianalisis untuk menjadi bahan pertimbangan dalam mengambil keputusan.

Hal sepenting data perlu disimpan pada tempat penyimpanan yang tepat. Sebuah gudang data, atau istilah umumnya, Data Warehouse.

Namun seiring perkembangan teknologi pula, kita mengenal Big Data, sebagai alternatif teknologi untuk menyimpan dan mengelola data. Dengan semakin banyaknya data yang disimpan dari kegiatan bisnis setiap harinya, apakah penggunaan Data Warehouse masih relevan pada era ini? Terlebih di era Big Data ini, banyak teknologi baru yang mendisrupsi cara mengelola data?

Tantangan Teknologi Data Warehouse Saat Ini

  1. Data didapat dari sistem yang didukung relational database
  2. Banyak yang pindah ke platform Cloud menjadi model SaaS
  3. Sumber data tidak hanya satu jenis, namun data juga di-generate berbagai sensor, mesin, social media, audio, video, yang tidak tergolong ke kategori data-data tradisional seperti pada database umumnya.
  4. Interaksi tidak lagi lewat relational platform, tapi lewat API, JSON, dan XML.

Perkembangan jenis data dan cara interaksi dengan data pada era ini membuat teknologi yang diusung Data Warehouse (DW) tradisional sulit mengelola data. Jumlah data yang senantiasa bertambah secara masif dan cepat membuat kurang cocok dengan relational database yang menjadi core dari DW. Selain itu, data-data tersebut tidak memiliki ownership jelas dan sulit untuk dikelola dan disesuaikan dengen struktur yang rigid.

Teknologi yang Kerap Digunakan Saat Ini

Teknologi baru saat ini seperti Hadoop & NoSQL sangat cocok untuk mengelola data-data jenis baru pada era ini. Penggunaan teknologi baru yang pada praktiknya sering mengesampingkan prinsip-prinsip yang diusung oleh DW tradisional karena dianggap kuno dan tidak sesuai. Namun, di ujungnya ternyata menyebabkan masalah, seperti data governance buruk, interoperability tidak berjalan, struktur yang terlalu organik dan governance yang tidak jelas membuat data quality dan data stewardship pada data-data yang dikelola buruk. Prinsip-prinsip dasar pada DW tradisional sebenarnya dapat diterapkan pada teknologi baru yang marak digunakan kini.

Mengutip tulisan pada www.dbta.com:

The concepts behind data warehousing become critical as they apply to big data systems: Analytic systems still need data governance; concepts of data quality and data stewardship are absolutely critical; and conformed master data and interoperability between applications matter.

Jadi?

Data Warehouse dapat dibilang masih relevan, jika teknologinya dikembangkan dan disesuaikan dengan kebutuhan pengelolaan data saat ini. Data Warehouse memiliki karakteristik rigid, namun data-datanya termasuk highly-governed. Hal ini membuat DW tradisional tidak dapat menyelesaikan semua masalah yang ada. Maka DW tradisional saat ini perlu dikembangkan untuk dapat diintegrasikan dengan teknologi baru, agar dapat mengelola beragam data sesuai kebutuhan, namun tetap dengan prinsip-prinsip data quality dan data stewardship yang baik.

M. Fikri Hafiya (STI 2015)

Sekolah Teknik Elektro & Informatika — Institut Teknologi Bandung

(dibuat dalam rangka pemenuhan tugas mata kuliah Kapita Selekta STI)

Referensi

Fikri Hafiya

Written by

Learning to live, living to learn.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade