[이렇게 사용하세요!] 클라우드 위에 빅데이터 분석 플랫폼 구축하기

NAVER Cloud
NAVER Cloud
Published in
11 min readOct 26, 2021

나만의 빅데이터 분석플랫폼을 네이버 클라우드 플랫폼에서!

모든 서비스 개발 및 운영 환경에서 수집되는 빅데이터를 활용하여 학습을 통해 인공지능 데이터에 적용할 수 있다면 의미있는 엣지 데이터로 활용할 수 있을 것입니다.

R 플랫폼은 통계적인 컴퓨팅과 그래픽을 위한 R 언어를 통해 대용량의 데이터를 분석 알고리즘 및 통계에 의한 적절한 해답을 제시해 주고 있습니다.

아래와 같이 R Environment 에 대해 정의를 하고 있습니다.
(출처 : https://www.r-project.org/about.html)

[figure 1] What is R? (https://www.r-project.org/about.html)

The R environment
R is an integrated suite of software facilities for data manipulation, calculation and graphical display. It includes an effective data handling and storage facility, a suite of operators for calculations on arrays, in particular matrices, a large, coherent, integrated collection of intermediate tools for data analysis, graphical facilities for data analysis and display either on-screen or on hardcopy, and a well-developed, simple and effective programming language which includes conditionals, loops, user-defined recursive functions and input and output facilities.

R 플랫폼의 상세한 설명은 해당 URL을 통해 확인하실 수 있으며, 본 포스팅에서는 상세한 기능 및 설명에 대해서는 설명을 생략하였습니다. (https://cran.r-project.org/manuals.html)

이러한 R 플랫폼과 네이버 클라우드 플랫폼을 활용하여, 나만의 R Server 서비스를 구축하고 활용하는 방법에 대해서 살펴보고자 합니다.

R Studio 제품군에는 여러 종류가 있으며, 아래와 같이 Web Application과 같이 사용이 가능한 제품군도 있어서, R Platform을 활용하여 웹 서비스 개발에 많은 도움을 주고 있습니다.

[figure 2] What is R Studio? (https://www.rstudio.com)

R Server 설치 전 서버 이미지 생성 및 설정방법은 어떻게 되나요?

R Server 설치에 앞서 네이버 클라우드 플랫폼을 활용하여 VM 이미지를 설치하고, 설정하는 방법을 간략하게 설명드리고자 합니다.

이미 다른 포스팅에서도 단계별로 설치 및 설정 방법을 공유드려서, 상세한 내용은 사용자 가이드와 함께 참고하시면 쉬운 인프라 구성이 가능합니다.

(1) 네이버 클라우드 플랫폼 서버 상품 사용방법

— 아래의 VM 이미지 생성 사용자 가이드를 참고하시면 됩니다.
(http://docs.ncloud.com/ko/compute/compute-1-1-v2.html)

[figure 3] 네이버 클라우드 플랫폼 VM 이미지 생성 가이드

- Jenkins 연동을 위한 서버 이미지 생성 방법은 아래와 같습니다.
(http://docs.ncloud.com/ko/devtools/devtools-1-1.html)

[figure 4] 네이버 클라우드 플랫폼 Jenkins VM 이미지 생성

- MySQL Database 연동을 위한 서버 이미지 생성 방법은 아래와 같습니다.
(http://docs.ncloud.com/ko/database/database-1-1.html)

[figure 5] 네이버 클라우드 플랫폼 MySQL DB VM 이미지 생성

(2) R Server 이미지 생성

네이버 클라우드 Console 접속 후 서버 이미지를 생성합니다. 추후 R Package 배포 시 Jenkins 사용을 예상하고, Jenkins 서버 이미지를 생성합니다.

[figure 6] Jenkins VM 이미지 생성

아래와 같이 CentOS의 Jenkins 서버 이미지를 선택하여 설치를 진행합니다. 설치 시 팝업창의 내용을 숙지하신 후 접속 시 패스워드를 확인하고, 반드시 수정 후 사용을 권고합니다.

[figure 7] Jenkins VM 이미지 선택

스토리지, Zone, Hostname 등 서버 기본 정보를 입력합니다.

[figure 8] Jenkins VM 정보 입력

추후 원활한 사용을 위해서는 신규 인증 키를 생성하는 것을 권고합니다.

[figure 9] Jenkins 서버 인증키 설정

기존 생성된 ACG를 활용하거나, 신규 ACG를 생성해서 사용할 수 있습니다. RServer 사용을 위해서는 8787 포트를 생성하여 오픈할 예정입니다. 사용자가 원하는 포트를 선정 후 추가 및 수정할 수 있습니다.

[figure 10] Jenkins 서버 ACG 설정

입력한 최종 정보를 확인 후 R Server 이미지 서버를 생성합니다.

[figure 11] Jenkins 서버 정보 최종 확인

아래 그림과 같이 생성한 서버의 정보를 확인할 수 있습니다.

[figure 12] Jenkins 서버 생성 확인

R Server 접속을 위해 공인 IP를 신청 및 설정 합니다.

[figure 13] Jenkins 서버 Public IP 설정

터미널 프로그램 접속을 위한 포트 포워딩 설정을 합니다. 기본적으로 내부포트는 22번이며, 외부 접속을 위한 포트를 설정합니다.

[figure 14] Jenkins 서버 Port Forwarding 설정

아까 생성한 인증키 Key File(.pem)을 불러온 후 해당 비밀번호를 확인합니다.

[figure 15] Jenkins 서버 관리자 비밀번호 설정

아래와 같이 ssh로 공인 IP를 설정한 서버로 접속을 시도하여, 정상적으로 접속이 되는지 확인을 합니다.

[figure 16] Jenkins 서버 터미널 접속 및 확인

R Server 설치 설정방법은 어떻게 되나요?

Fedora Project 의 EPEL(Extra Packages for Enterprise Linux) 을 설치해야 R 패키지 설치 및 설정을 할 수 있습니다. R Server 설치를 위해 아래와 같이 EPEL 설치 및 업데이트를 진행합니다.

$ sudo su -c ‘rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm'

해당 서버에는 이미 설치가 되어 있어서, 아래와 같이 설치 패키지가 충돌한다는 메시지를 출력하며, 최초 설치시에는 다운로드 후 정상적으로 설치가 되었다는 메시지가 표시됩니다.

[figure 17] 기존 최신 버전이 설치된 서버

위의 과정 완료 후 [R Server]를 설치합니다. 아래와 같이 가장 마지막줄에 “Completed.” 메시지를 출력합니다.

[figure 18] R Server Installation

설치가 완료 되었다면, “R”명령어를 실행하여 R Platform을 실행합니다.
$ R

“demo()” 명령어를 수행하면 아래와 같이 R Demo가 실행됩니다.
$ demo()

[figure 19] R 명령어 실행

R Server 실행을 위해 R Studio를 다운로드 한 후 저장합니다.
$ wget http://download2.rstudio.org/rstudio-server-0.98.490-x86_64.rpm

[figure 20] R Studio 다운로드

저장된 파일을 아래와 같이 설치합니다.
$ sudo yum install — nogpgcheck rstudio-server-0.98.490-x86_64.rpm

[figure 21] R Studio 설치 명령어 실행
[figure 22] R Studio 설치 완료 화면

R Server 설치를 확인합니다.
$ sudo rstudio-server verify-installation

[figure 23] R Server 설치 유효성 확인

R Server 실행 완료 후 아래와 같이 Web Browser를 통해 접속을 확인할 수 있습니다. RServer Login 실행은 기존 설치된 OS의 접속(접근)계정과 패스워드를 통해 접속이 가능합니다.

[figure 24] R Server 접속 및 로그인

(* ROOT 계정의 경우 접속이 제한되오니, 참고하시기 바랍니다.)

아래와 같이 웹 브라우저에서 실행된 R Studio를 확인할 수 있습니다.

[figure 25] R Server 접속 및 R Studio 실행(1)

명령어를 실행하고 해당 입력 값 및 결과값 등을 확인할 수 있습니다.
이후 R Studio 사용은 기존 Local에서 실행하는 것과 동일하게 사용하실 수 있습니다.

[figure 26] R Server 접속 및 R Studio 실행(2)

네이버 클라우드 플랫폼 상품 및 서비스는 어떻게 사용할 수 있나요?

네이버 클라우드 플랫폼의 MySQL Database 설치형 상품 및 서비스 플랫폼을 사용하기 위해서는 네이버 클라우드 플랫폼 포털 사이트 및 사용자 가이드를 참고하시면 쉽게 사용하실 수 있습니다.

- 네이버 클라우드 플랫폼 포털
: https://www.ncloud.com
- 네이버 클라우드 플랫폼 사용자 가이드
: http://docs.ncloud.com/ko
- 서버 상품 가이드
: http://docs.ncloud.com/ko/compute/compute-1-1-v2.html
- 로드밸런서 사용 가이드 : http://docs.ncloud.com/ko/networking/networking-4-2.html

글을 마무리 하며…

네이버 클라우드 플랫폼의 서버 또는 Jenkins 설치형 상품 및 서비스를 활용하여, R Server를 구축하는 방법에 대해서 살펴보았습니다.

빅데이터 시대를 맞이하여, 설치 및 설정부터 실제 사용하기 까지 많은 어려움이 있었던 “R Studio” 서비스를 네이버 클라우드 플랫폼을 활용하여 쉽게 구성할 수 있도록 설명하였습니다.

네이버 클라우드 플랫폼의 인프라 서비스와 플랫폼을 활용하여 쉽게 빠르게 빅데이터 분석 플랫폼을 활용해 볼 수 있지 않을까 기대해 봅니다.

끝까지 읽어 주셔서 감사합니다.

--

--

NAVER Cloud
NAVER Cloud

We provide cloud-based information technology services for industry leaders from startups to enterprises.