Cloud Hadoop 1.4 버전 신규 릴리즈 알아보기
이번 시간에는 Cloud Hadoop 1.4 버전으로 클러스터를 생성하여 Apache Ambari UI를 통해 간단히 확인 해보고, 커버로스 인증 구성된 환경(Dedicated KDC)을 간략히 테스트한 뒤 Apache Ranger UI에 접속해 보겠습니다.
이번 신규 Cloud Hadoop 1.4 버전 릴리즈로 오픈소스 Apache Hadoop 3.1 기반 환경을 제공하며, 커버로스 인증 구성, Apache Ranger 등을 제공합니다.
참고로 커버로스는 “Ticket”을 기반으로 동작하는 컴퓨터 네트워크 인증 암호화 프로토콜로서 비보안 네트워크에서 통신하는 노드가 보안 방식으로 다른 노드에 대해 식별할 수 있게 허용합니다.
- MIT Kerberos 세부 정보 : Link
Apache Ranger는 보안 정책을 일관성있게 정의/관리/운영할 수 있도록 중앙화된 프레임워크를 제공하는 오픈소스입니다.
▶Cloud Hadoop 상품은 Hadoop, HBase, Spark, Hive, Presto 등의 오픈 소스 프레임워크를 손쉽게 구축할 수 있습니다.
※더욱 자세한 서비스 소개는 아래의 링크에서 확인 가능합니다!
Cloud Hadoop: https://www.ncloud.com/product/analytics/cloudHadoop
Cloud Hadoop 클러스터 생성 및 둘러보기
- Console에서 Cloud Hadoop 상품에 접속하여 클러스터 버전을 Cloud Hadoop 1.4를 선택하여 클러스터를 생성합니다.
2. 클러스터 생성이 완료되면, 생성된 클러스터를 선택하고, Application 별 보기 버튼을 누르면 발생되는 팝업에서 Ambari Web Console 접속용을 눌러 접속합니다.
3. 클러스터 생성시 관리자 계정 및 패스워드를 입력하여 로그인 합니다.
4. About을 확인하면 Apache Ambari 2.7.3.0 버전을 제공하는 것을 확인할 수 있습니다.
5. Hosts를 눌러 HDP-3.1 설치된 사항을 확인할 수 있습니다.
6. YARN의 경우 TIMELINE SERVICE V1.5를 제공합니다.
Kerberos 간단 테스트
- 먼저 Ambari에서 Kerberos 설정을 합니다.
Cloud Hadoop의 Kerberos 설정은 Secure Hadoop을 참고 합니다.
설정이 완료되면 아래 화면 과 같이 Keberos security is enabled 상태로 표시됩니다.
2. Keberos 설정 완료 후 kadmin -p admin/admin -q “listprincs” 을 실행하여 Hadoop Service principal 이 생성된 것을 확인 할 수 있습니다.
3. hadoop fs 명령어를 바로 실행하면 오류가 발생됩니다.
4. kinit 으로 admin계정 티켓 획득 후 hadoop fs 명령어를 실행하면 정상적으로 접근이 가능합니다.
Apache Ranger 접속
- Cloud Hadoop 콘솔에서 생성된 클러스터를 선택하고, ‘Application 별 보기’ 버튼을 눌러 발생하는 ‘Ranger 접속용’ 링크를 누르거나 6182 포트에 접속하여 Apache Ranger 에 접속합니다.
2. Ranger의 Username은 ‘admin’을 입력하고, Password는 Cloud Hadoop 생성시 입력한 클러스터 관리자 계정 패스워드를 입력합니다.
3. Ranger에 로그인한 모습이며, 리소스 기반 보안 정책을 수립할 수 있습니다.
4. 다시 Apache Ambari UI로 돌아와서 Ranger를 선택합니다.
5. HDFS, YARN, Hive Ranger Plugin을 모두 ON 으로 변경하고 Save 및 재시작합니다.
6. Apache Ranger 플러그인이 설치 되었으며, 사용자에 대해 세분화된 SQL 기반 권한을 활성화하도록 Ranger 정책을 사용할 수 있습니다.
7. Ranger에 접속하면 HDFS, YARN, HIVE에 서비스가 등록된 것을 확인할 수 있습니다.
마무리
이상으로 신규 릴리즈된 Cloud Hadoop 1.4 버전 확인, Kerberos 인증 환경 구성 간단 테스트, Apache Ranger 접속 및 확인을 해보았습니다.
