Data Engineering BootCamp

Apache Sqoop : Transfer data RDBMS ke HDFS

jadi kita sudah punya apps ( microservice ) dan punya big data

Hadoop Architecture

sekarang kita balik lagi ke HDFS+MapReduce

Sejarah Big Data

sekarang kita kilas balik dulu ya sejarah big data

nah.. sebenarnya sejarah big data berawal dari sejarah apache hadoop

ada seseorang yg namanya Doug Cutting iseng2 membuat search engine. kayaknya tertantang sama kesuksesan google atau emang…

Messaging : RabbitMQ vs Kafka

kafka dan rabbitmq sebenarnya fungsinya sama.. messaging

messaging ini beda konsep dengan REST API

REST API blocking dan request response harus nunggu server ngasih balikan

Why ETL/ELT in Big Data ?

sekarang pertanyaan nya kenapa kita butuh ETL ?

kenapa tidak pake event based publish subscribe dengan messaging seperti rabbitmq or kafka

ETL dibutuhkan karena

Data Engineer di Big Data

yaitu membuat data pipeline dari source data sampai ke hadoop dan transformasi di hadoop sampai dapat disajikan di…

Hadoop and ELT

klo untuk data yang sangat besar… jelas Hadoop is the king

Untuk penyimpanan dan pemrosesan data yang sangat besar… sudah jelas Hadoop is the king. No Question Asked.

Vertical vs Horizontal Scaling

ETL biasanya single large server ( MAHAL )

ETL vs ELT

Kembali kita membahas ETL vs ELT

Perbedaan utamanya adalah adalah pada ELT ini kita memanfaatkan power of big…