[AWS Summit 세션] 스마트한 클라우드 스토리지 비용 관리 전략
이번 AWS Summit 둘째날에는 기술 난이도별로 세션이 진행 되었는데요, 클라우드 전문 엔지니어는 아니지만 입문 난이도 정도라면 저도 들어볼 수 있을 것 같아 이번에 세션에 참석 해 보았습니다.
그 중에서도 클라우드 이용 시 가장 많이 쓰일 것으로 생각 되는 스토리지 및 그에 따른 비용 전략에 대해 알아보고자 ‘스마트한 클라우드 스토리지 비용 관리 전략’ 세션을 참여 하였고, 해당 내용을 정리하여 공유 드립니다.
세션제목: 스마트한 클라우드 스토리지 비용 관리 전략
발표자 : AWS 백승용 솔루션즈 아키텍트, AWS 정원진 테크니컬 어카운트 매니저
데이터는 점점 증가하고 있습니다. 2022년 한 해, 101ZB(Zettabyte)의 데이터가 생성 되었다 기록 되었는데요, 그간 십 수년간 데이터는 꾸준히 증가 추세에 있었고, 이에 따라 여러 도전 과제들도 나타나게 되었습니다.
손실에 대한 위험, 그리고 가치창출의 필요성 대두 등 도전과제 해결을 위해 스토리지 선택이 더욱 중요해 졌는데요, AWS는 모든 워크로드를 위한 스토리지 서비스를 구축 하고 있습니다.
또한 스토리지별 비용 최적화 기술로 스토리지 사용에 맞추어 비용을 최적화 하여 사용 하실 수 있도록 나누고 있고, 적용 되어 있는 서비스도 다릅니다.
먼저, 오브젝트 스토리지에 대해 살펴 보겠습니다.
Amazon S3는 가장 대표적인 스토리지 서비스로 가장 사용하기 단순하며, 높은 내구성을 가지고 있습니다. 또한 수십만개의 데이터 Lake Storage로 사용 하고 있습니다.
Amazon S3의 스토리지 클래스는 위와 같이 분류되며, 워크로드에 맞게 사용 하는 것을 추천 하고 있습니다.
어떤 스토리지 클래스를 사용하면 좋을지 그 기준을 잡기가 어려우신 분들도 많으실 듯 한데요, AWS에서는 먼저 액세스 패턴에 맞는 전략을 선택하여 비용을 최적화 하시길 추천 드립니다.
이미 알고 있거나 예측 가능한 액세스 패턴의 데이터의 경우에는 S3데이터 수명 주기를 사용 하여, 저장 기간에 기초하여 실행 합니다. 예를들어 병원 의료 기록과 같은 경우 처음에는 열람이 자주 일어나기때문에 처음에는 스탠다드에 저장 해 두었다가, 90일 이상 오래된 경우 Glacier Instant Retrieval로 이동시키고, 365일 이상 오래된 경우에는 Glacier Deep Archive로 이동 시키는 등 수명 규칙을 이용해 비용을 절감하는 방법이 있습니다.
알 수 없거나 예측이 불가능한 액세스 패턴의 데이터의 경우에는 S3 인텔리전트 티어링을 추천 드립니다. 해당 기능은 2018년에 출시 되어 빠른 접근의 성능 개선 및 비용 최적화를 가능하게 하였습니다.
Shutterstock사의 경우, 20만개 이상의 이미지가 업로드 되는 곳으로,해당 기능을 사용하여 최대 60%의 비용을 절감 하였다고 합니다.
그리고 비용 최적화를 위해 Amazon S3 Storage Lens를 사용 하는 것도 추천 드립니다.
Amazon S3 Storage Lens는 여러개의 계정에 대한 포괄적 분석이 가능하며, 불필요한 비용을 절감 할 수 있습니다. S3버킷별 검색 비율을 분석하여 거의 검색이 없는 것들은 클래스를 변경하여 비용을 줄이기도 합니다.
다음으로 블록 스토리지에 대해 살펴 보겠습니다.
Amazon Elastic Block Store, 이른바 Amazon EBS서비스는 비용과 성능의 균형을 맞춘 서비스입니다.
LifeCycle Manager를 통해 스냅샷 및 백업 보존 기간의 관리 자동화를 진행 할 수 있으며, 스냅샷 아카이브 기능이 포함되어 있어 약 75%의 비용 절감이 가능합니다.
다음으로 파일 스토리지 서비스를 보게 되면, 파일 워크로드의 경우 굉장히 광범위한 스펙트럼을 가지고 있습니다.
이에 3가지 유형에 따른 파일 스토리지 솔루션을 AWS에서는 제시합니다.
먼저 Amazon Elastic File System (Amazon EFS)의 경우 EC2 또는 클라우드 컴퓨팅 액세스가 가능합니다.
탄력적인 파일 스토리지로 위의 그림과 같은 5S 특징을 가지고 있습니다.
EFS는 수명 주기 관리 정책도 가능한데요, 1일부터 90일 단위까지 설정 가능합니다. 1일 기준 단위는 작년 하반기부터 가능하게 되었다고 하네요.
해당 수명 주기 관리의 포인트는 인프리퀀트액세스 (자주 액세스 하지 않는 파일을 위한)를 잘 활용하는 것이 핵심 인데요, 해당 정책의 경우 액세스 시 마다 비용이 발생되니 이 점 주의 하시길 바랍니다. (스탠다드 클래스에서는 액세스 시 마다 비용 발생 하지 않습니다.)
그리고 참고 사항으로 해당 그림에서 1Z로 기재 된 것은 1 zone으로 한 개의 영역이라는 의미이고, 멀티 AZ는 멀티 가용 영역 이라는 의미입니다.
EFS 인텔리전트 티어링을 통해 자주 접근하지 않는 파일은 EFS One Zone으로 이동하거나 자주 접근하는 파일을 스탠다드로 이동 시킬 수 있습니다.
스토리지 티어간 자동 전환이 가능하지만, 전환 시 마다 비용이 발생 하니 이 점에 대해서도 주의 해 주세요.
다음으로는 FSx 형태에 대해 살펴 보겠습니다.
먼저, Amazon FSx for NetApp ONTAP의 경우, 이미 온프레미스에서 파일 스토리지로 많이 사용 하고 있는 서비스 입니다.
이를 클라우드로 옮겨와, 기존 NetApp ONTAP과 동일한 기능을 제공합니다.
해당 서비스는 AWS 관리형 서비스로 기존 ONTAP유저가 해야만 했던 작업 들을 이제 AWS에서 수행 하므로 유저가 신경 쓸 부분이 적어진 점이 특징입니다.
인텔리전트 티어링과 함께 중복제거 & 압축 기능을 사용 하여 극대화된 비용 절감 효과를 기대할 수 있으며, 모두 적용 시 전체적으로는 88%의 절감 효과가 있다는 결과도 있습니다.
마지막으로 Amazon FSx for Windows File Server에 대해 말씀 드리겠습니다.
기존 Windows 파일서버를 AWS에서 사용 할 수 있는 것으로 마이그레이션 시에 유용하다고 알려져있습니다.
다양한 Windows 프로그램을 사용 가능하며, 이 기능 역시 AWS관리형 서비스 입니다.
데이터 중복 제거 기능은 성능 영향을 최소화 하기 위해 파일 저장 후 중복 제거 (post-processing)로 진행 되며 중복된 컨텐츠는 제거하고, 공통된 컨텐츠는 압축 실행 하여 공간을 더 늘리는 효과가 있습니다.
이상으로 스토리지 비용 관리 전략에 대해 알아 보았는데요, 비용 절감을 위해 어떤 노력을 먼저 할 수 있을까 생각 해 보았을 때, 비용/수명 관리 주기를 잘 설정해야 한다는 점과 현재 데이터 액세스 빈도가 어느정도 인지 체크하는 것이 첫 걸음이 아닐까 하는 생각이 들었습니다.
앞으로 점점 더 데이터 자체에 대한 증가와 활용은 높아지고, 그에 따른 비용도 증가하게 되기 마련인데요, 데이터 관리에 드는 비용을 절감하고 싶으신 고객 분들이라면, AWS 클라우드의 도입과 함께 스토리지 관리 전략에 대해 한번 더 고민 해 보시는 계기가 되었으면 합니다.
참고 자료 : 해당 세션의 전체 자료는 하기 링크에서 보실 수 있습니다.
https://www.slideshare.net/awskorea/aws-summit-seoul-2023-257792917
