ติดตั้ง Cloudera บน AWS อย่างไร จึงจะประหยัดค่าใช้จ่ายมากที่สุด ?
หลายคนอาจจะประสบปัญหาปวดหัวในการติดตั้ง Cloudera บน AWS ซึ่งมีค่าใช้จ่าย ทำให้ควบคุมค่าใช้จ่ายในการติดตั้งได้ยาก โดยในวันนี้เรามีวิธีง่าย ๆ ในการติดตั้ง Cloudera แบบประหยัด นั่นคือ การทดลองติดตั้งผ่าน Virtual Box
เริ่มแรก Download Virtual Box มาติดตั้ง ซึ่งสามารถกด Download ได้
จากนั้น Download ไฟล์ Cloudera Quickstarts ซึ่งจะมีให้เลือกทั้งแบบ Virtual Box, VMWare, KVM หรือ Docker Image ในที่นี้เราจะใช้รูปแบบบน Virtual Box
กด Download
ทำการสร้าง Virtual Box กดที่ปุ่ม สร้าง ทำการตั้งชื่อเครื่องและเลือกชนิดของระบบปฏิบัติการ (OS)
ปรับตั้งค่าหน่วยความจำ (RAM) ในที่นี้เครื่องหลักมีหน่วยความจำ 8 GB จึงตั้งค่าเครื่อง VM ที่ 4 GB
ขั้นตอนต่อไประบบจะให้สร้างพื้นที่เก็บข้อมูล (Hard disk) ให้ทำการเลือกไฟล์ Cloudera Quickstart ที่ Download ไว้ก่อนหน้าเป็นพื้นที่เก็บข้อมูล
ตั้งค่าระบบเครือข่าย เมนูเชื่อมต่อกับ: ให้เลือกเป็น แผงวงจรแบบบริดจ์
จากนั้นกดที่ start เพื่อเริ่มการทำงานของ VM จะได้เครื่องที่พร้อมใช้งาน Cloudera
ในที่นี้เราจะใช้ผ่านเครื่องคอมพิวเตอร์หลัก การเรียกใช้งานต้องทราบ IP ของเครื่อง VM ที่ติดตั้ง Cloudera
ทำการตรวจสอบ IP เครื่อง Cloudera โดยเปิด Terminal และพิมพ์คำสั่ง ifconfig จะปรากฏ IP ของเครื่องดังรูป
*หากไม่มี IP เครื่องปรากฏ ให้เปลี่ยนใช้งาน user ที่เป็น root โดยพิมพ์ su และใช้คำสั่ง dhclient -r เพื่อ release IP เดิมทิ้ง และพิมพ์ dhclient อีกครั้ง เพื่อให้เครื่อง VM ทำการรับ IP ใหม่ (DHCP)*
ทำการเรียกใช้งานจากบนเครื่องหลัก เปิด browser และพิมพ์
http://ipเครื่องหลัก:8888
ใช้ user และ password เป็น cloudera
ทำการเข้าใช้งานเครื่อง Cloudera แบบ SSH
เข้าใช้งาน pyspark ในการเขียนภาษา python บน Spark
ซึ่งบทความนี้นำเสนอการติดตั้งและใช้งาน Cloudera ในการพัฒนาได้อย่างง่ายดาย ลดเวลาและเรื่องปวดหัวกับเรื่องค่าใช้จ่ายบน AWS
เหมาะสำหรับท่านที่สนใจหัดใช้งาน Cloudera หรือต้องการพัฒนาโปรแกรมก่อนนำขึ้นไปใช้งานจริงบน Server ของ AWS
ส่วนลำดับถัดไป
ตอนที่ 2 : จะนำเสนอการติดตั่งและใช้งาน Cloudera Quickstart บน Docker image
ตอนที่ 3 : การติดตั้ง Cloudera ผ่าน Cloudera Manager
ขอขอบคุณ Dr.Ratthaslip Ranokphanuwat สำหรับรายวิชา BD520 Cloud Processing เป็นอย่างสูงครับ
