Hadoop Architecture

sekarang kita balik lagi ke HDFS+MapReduce

architecture yang baru sekarang adalah HDFS + YARN .

HDFS utk storage

YARN utk manage processing nodes

di atas YARN ini bisa di jalankan MapReduce program

Spark juga bisa dijalankan di atas YARN

ini sekilas aja ya … klo belum ngerti gpp..

di HDFS itu ada beberapa component besar.. NameNode, DataNode

jadi setiap kali kita menulis file ke HDFS, kita akan tulis ke beberapa tempat/direplicate

jadi klo ada satu server yang down, ada beberapa replica yg masih hidup

ini menyebabkan architecture HDFS sangat reliable

yg berikut kita bahas adalah YARN

ada resource manager dan node manager

jadi klo ada program map reduce lagi jalan, dia akan dijalankan sebagai YARN application

jadi si YARN ini nanti yang akan bagi2 resource, memory, cpu storage dsb

kenapa hal ini menjadi sangat penting di ketahui ? karena nanti kalau ada terjadi masalah di production atau pas development, gampang nge trace nya

jalanin program spark.. trus lihat deh di YARN applications