AI 경량화를 툴킷 하나로, OwLite -1/2
AI 경량화, 꿈같은 AI를 현실 세계로 가져오기
AI,AI,AI.
세상을 뒤덮는 AI 관련 소식을 보면 AI가 본격적으로 우리의 생활에 가까워지고 있다는 실감이 납니다.
다양한 서비스가 AI를 활용해 새로운 사용자 가치를 제공하고자 노력하고 있습니다. AI 역시 IT 서비스를 이루는 다른 구성 요소처럼 비용이나 보안 등 여러 제약에서 자유로울 수 없는데요, 많은 컴퓨팅 리소스를 필요로 하는 AI의 특성상 이러한 문제에 더 민감하다고 할 수 있습니다.
하루가 다르게 쏟아져 나오는 AI 관련 연구의 꿈 같은 가능성을 비즈니스로 전환하기 위해서는 비용, 시간 같은 현실적 제약을 만족하기 위한 AI 경량화가 필수적입니다.
AI 경량화를 통해 해결할 수 있는 대표적인 문제들은 다음과 같습니다.
- 비용 절감: Cloud GPU를 이용하며, 성능을 유지하면서도 비용 절감이 필요하거나 Edge device에서 AI를 구동하며 하드웨어 비용 절감이 필요한 경우
- 보안: 개인정보 등의 사유로 Cloud가 아닌 Edge device에서 AI 모델을 실행, 제약적인 리소스 하에서 특정 성능을 달성해야 하는 경우
- 사용자 경험 개선: 사용하고자 하는 모델의 Latency나 Model Size가 커서, 실제 사용에 제약이 있거나 지연 등으로 사용자 경험이 좋지 못한 경우
이러한 문제들은 하나같이 AI 기반 비즈니스의 성립을 판가름할 만큼 중요한 문제로, 이를 효과적으로 해결하기 위해 어느 비즈니스든 MLOps 파이프라인에 AI 경량화를 포함하는 것이 어느 때 보다 더욱 강조되고 있는 상황입니다.
스퀴즈비츠는 AI 운용 비용 절감과 하드웨어 리소스 최적화를 목표로 한 심도 깊은 경량화 기술력을 실제 산업에 적용하기 위해 설립되었습니다. 스퀴즈비츠의 주요한 역량은 다양한 AI 모델의 데이터들을 32bit float에서 8bit로, 더 나아가 4,2,1bit로 경량화 하면서도 성능을 높은 수준으로 유지할 수 있는 기술력에 있습니다.
이러한 기술력을 주목한 다양한 고객사에서 현재 사용 중이거나 사용 예정인 AI모델의 경량화를 요청해 주셨고, 스퀴즈비츠의 경량화 팀은 직접 해당 모델을 분석하고 실험하여 각 고객사의 배포 환경이나 성능 목표에 부합할 수 있도록 개선하는 맞춤형 전문가 서비스를 성공적으로 제공해 왔습니다.
스퀴즈비츠의 엔지니어가 직접 참여하는 전문가 서비스를 통해 AI 경량화를 달성해 나가는 과정은 분명 보람찼지만 한 가지 질문을 안겼습니다.
우리 기술을 보다 많은 고객들에게 제공하려면 어떻게 해야 할까?
AI 경량화, 적용은 쉽지 않습니다
많은 고객사에서 AI 기반 비즈니스의 성립을 위해 경량화를 적용하는 것이 필수라는 것을 인지하고 스퀴즈비츠에 연락을 주고 계십니다. 여러 초기 미팅을 통해 저희는 많은 고객사에서 아래와 같은 여러 제약으로 인해 경량화를 적극 적용하는 데에 어려움을 겪는 문제를 확인할 수 있었습니다.
- 모델 선정, 학습, 평가 등 AI 모델 배포 파이프라인의 다른 부분에 인력과 업무가 집중되어 경량화를 위한 리소스가 부족한 경우
- 경량화 업무가 익숙하지 않아 사내 인력으로 경량화 업무를 수행할 수 없는 경우
- 현재 사용 중인 모델과 배포 환경 등 여러 조건이 경량화를 적용할 수 있는 상태인지 파악이 어려운 경우
스퀴즈비츠와 함께 경량화를 진행한 고객사의 경우에도, 아래와 같이 서비스의 특성에 따라 전문가 서비스를 통해서는 지속적으로 AI모델을 경량화 하기 어려운 경우도 있었습니다.
- 모델의 재 학습이 자주 일어나거나, 새로운 모델의 적용이 잦아서 스퀴즈비츠의 외주로 만들어진 솔루션을 사용하기 어렵게 된 경우
- 서비스 특성에 따라 짧은 시간 내에 AI경량화를 적용시켜야 해서, 계약서 작성, 경량화, 검증과 같은 스퀴즈비츠의 전문가 서비스 타임라인보다 짧은 시간 내에 결과물이 필요한 경우
- 높은 성능을 유지하는 경량화를 위해서는 데이터셋이 필요한데, 이를 외부로 반출하기 어렵거나 불가능한 경우
여러 경험을 통해 우리는 경량화 니즈를 가진 분들이 느끼는 기술적 어려움을 낮추고, 쉽고 편하게 AI 경량화를 적용할 수 있는 툴이 필요하다는 것을 깨달았습니다. 또한 쉽고 편한 사용성에서 한발 더 나아가 AI를 경량화하면서도 우수한 성능을 유지할 수 있는 스퀴즈비츠의 기술력을 결합한다면 유용하고 강력한 툴이 될 수 있을 것이라고 생각했습니다.
AI 경량화를 도와주는 툴킷, OwLite의 시작
- Lite: 경량화 툴킷으로 모델을 가볍게 할 수 있음
- All Right: 스퀴즈비츠의 기술력으로 AI를 경량화 한 후에도 성능을 우수한 수준으로 유지할 수 있음
두 가지 단어의 발음과 의미를 담아 스퀴즈비츠의 경량화 툴킷에 OwLite라는 이름을 짓고, 앞서 마주한 니즈를 바탕으로 다음과 같은 목표를 설정했습니다.
- 우수한 경량화 성능: 모델 성능을 유지하면서도 우수한 경량화 결과를 얻어낼 수 있는 스퀴즈비츠의 기술을 반영하여야 함
- 높은 접근성과 자동화: 전문가 서비스보다 간소화된 절차와 절감된 비용으로 경량화를 적용해 볼 수 있어야 함
- 엔지니어 친화적 경험: 머신러닝 엔지니어의 기존 작업 파이프라인에 손쉽게 적용될 수 있어야 함
아직 구체화된 사례가 없는 “경량화 툴킷” 프러덕트의 추상적 가치를 실현하기 위해 경량화 엔지니어들의 빛나는 아이디어와, 이를 담아낼 수 있는 직관적이고 편리한 인터페이스 개발이 시작되었습니다.
다음 글에서는 OwLite를 만들기 위해 이뤄졌던 기술, 기획 관점의 고민들을 이야기하며 이를 통해 OwLite가 어떤 사용자 가치를 담고자 했는지 소개하겠습니다.
2편은 아래에서 이어집니다.
—
지금 바로 OwLite 에 대해 알아보고 싶다면 여기를 방문하세요!
