Snowflake Arctic의 기술적 진보

어제 저녁 스노우플레이크는 자신만의 새로운 LLM을 발표했습니다. 많은 기술적 진보가 엿보이는 스노우플레이크의 새로운 LLM에 대해 알아보겠습니다. 이 글은 Snowflake Arctic 발표를 참고하여 작성되었습니다.

Snowflake AI 연구팀은 비용 효율적으로 훈련된 기업 중심의 대형 언어 모델인 Snowflake Arctic를 오픈소스로 공개했습니다. 큰 2개의 특징은 아래와 같습니다.

• 효율적인 지능: Arctic은 SQL 생성, 코딩 및 지침 따르기 벤치마크와 같은 기업 작업에서 뛰어난 성능을 발휘하며, 상당히 높은 컴퓨팅 예산으로 훈련된 오픈 소스 모델들보다도 우수한 성능을 보입니다. Arctic은 기업 니즈에 맞는 고품질 맞춤형 모델을 저렴한 비용으로 만들 수 있는 새로운 기준을 세웠습니다.
• 진정한 개방성: Arctic은 Apache 2.0 라이선스를 통해 가중치, 코드, 데이터 레시피 및 연구 통찰력에 대한 제한 없는 액세스를 제공합니다.

Snowflake Arctic은 오늘 Hugging Face에서 이용 가능하며, 향후 며칠 동안 Snowflake Cortex, Amazon Web Services(AWS), Microsoft Azure, NVIDIA API 카탈로그, Lamini, Perplexity, Replicate 및 Together를 통해서도 제공될 예정입니다.

믿을 수 없을 정도로 낮은 훈련비용으로 구현한 기업용 지능

Snowflake는 새로운 지표인 ‘기업 지능(Enterprise Intelligence)’을 소개합니다. 이 지표는 코딩(HumanEval+와 MBPP+), SQL 생성(Spider) 및 지침 따르기(IFEval)의 평균을 내어 계산됩니다. 이 지표를 근거로 훈련 비용을 비교해보면 Arctic은 다른 LLM과 비교하여 현저히 낮은 비용을 높은 인공지능을 확보했습니다. 특히 데이터브릭스와 비교해서 1/8 정도의 비용으로 더 나은 모델을 개발했습니다.

Arctic은 고유한 Dense-MoE 하이브리드 아키텍처를 활용하는데, 이는 10B 밀집 트랜스포머 모델과 잔차 128x3.66B MoE MLP를 결합하여 총 480B, 상위 2개의 게이팅을 통해 선택된 17B 활성 매개변수로 구성됩니다. 다시 말해 Arctic은 128개의 세분화된 전문가에 걸쳐 480B 매개변수를 펼치고, 상위 2개의 게이팅을 사용하여 17B의 활성 매개변수를 선택하도록 설계되었습니다. 최근의 전문가 수가 적은 MoE 모델과 비교하면, Arctic은 더 많은 매개변수와 전문가를 활용하여 최상위 수준의 지능을 발휘합니다.

하지만 Arctic은 약 200만 달러 미만의 훈련 컴퓨팅 비용(3,000 GPU 주 미만)으로 최상위 성능을 달성했는데, 이는 전문가들이 압축되어 있고 아키텍처/시스템 공동 설계 및 기업 중심 데이터 커리큘럼으로 훈련되었기 때문입니다.

효율적인 추론

작은 배치 크기에서 Arctic(활성 매개변수 17B)은 Code-Llama 70B보다 최대 4배, Mixtral 8x22B(활성 매개변수 44B)보다 최대 2.5배 적은 메모리 읽기가 가능합니다. FP8 양자화를 사용하면 Arctic을 단일 GPU 노드에 탑재할 수 있습니다. 아직 완전히 최적화되지는 않았지만, 배치 크기 1에서 Arctic의 처리량은 초당 70개 이상의 토큰으로 효과적인 대화형 서비스가 가능합니다. 배치 크기가 상당히 증가하면 Arctic은 CodeLlama 70B와 Llama 70B보다 4배 적은 컴퓨팅만 필요합니다.

진정한 개방성

Snowflake의 개방성은 단순히 가중치와 코드의 공개를 넘어섭니다. Snowflake는 사전 훈련, 미세 조정, 모델링, 데이터, 시스템 등에 대한 연구 통찰력을 공유하는 포괄적인 ‘Cookbook’을 공개하여 효율적으로 세계 수준의 MoE 모델을 구축할 수 있도록 돕습니다.

요약하자면, Arctic은 기업 사용 사례에 맞는 개방적이고 비용 효율적이며 우수한 성능의 언어 모델을 대표하는 중대한 진전입니다.