Get Study with Me
안녕하세요, 스퀴즈비츠의 ML Engineer 박은익입니다. 이번 글에서는 약 4개월간 진행되었던 첫 사내 스터디, ‘Tiny ML and Efficient Deep Learning Study’ 를 소개하고자 합니다.
🧐 왜 스터디를 시작하게 되었는가?
요즘 인공지능 분야에서는 하루가 다르게 새로운 개념과 기술이 쏟아지고 있습니다. 하드웨어와 컴파일러부터 알고리즘까지, 또 음성, 비전, 생성, 언어 등 다양한 분야에 대해 수많은 혁신들이 쏟아지고 있는 나날이죠. 스퀴즈비츠는 이런 경량화 및 가속화 기술의 최전선에 서기 위해 많은 노력을 기울이고 있습니다.
그래서 스퀴즈비츠는 대학원에서 부터 경량화 기법을 연구해오시던 분, 경량화된 AI를 실제 어플리케이션에 배포하시는 분, NPU 회사에서 하드웨어 가속을 하시던 분 등 여러 배경지식을 가진 분들과 함께하고 있습니다. 그리고, 저는 그 안에서 AI 모델에 갓 입문한 주니어 엔지니어로 일하고 있습니다.
이런 분위기와 환경이 제 성장에 정말 많은 도움이 되기는 하지만, 주니어 엔지니어 입장에서 제가 맡은 분야를 잘 따라가는 것도 힘든데 다른 팀과 소통할때나, 새로운 프로젝트에 투입되면서 잘 알지 못하는 분야를 공부해야 할 때 머리가 지끈지끈거리는 일이 있었던 것도 사실입니다.
새로운 분야를 ‘나중에 공부해야지…’ 하면서 미루다보니 결국 공부할 내용이 산처럼 쌓여 있게 되었고, 그래서 특단의 조치로 저와 비슷한 어려움을 겪는 분들과 함께 모여 사내스터디를 진행하게 되었습니다.
🛫 스터디를 시작하며…
이번 스터디의 목표는 다양한 분야에서 활용되고 있는 경량화 기법을 알아보고 공유하는 것이었습니다. 이를 위해 대표님이 추천하신 MIT Song Han 교수님의 6.S965 TinyML and Efficient Deep Learning Computing를 활용하기로 하였습니다.
이 강의는 다양한 어플리케이션에서 사용되는 경량화 기법과 이를 활용하기 위한 시스템 디자인, 최적화 방법을 다루고 있어 스터디 목표에 딱 알맞는 강의였습니다 (읽고 계신 여러분께도 강력 추천합니다!).
스터디 방향성이 정해지고 나서, 사람의 의지가 가장 충만한 1월을 노려 스터디에 참여할 인원을 모집하였고 올해의 목표가 ‘자기 계발’인 많은 분들이 모여 스터디를 진행하게 되었습니다.
🧑💻 스터디 진행 방식
강의는 주로 리소스가 제한된 상황에서 빠르고 가벼운 추론과 학습을 위한 소프트웨어적 방법과 이를 잘 활용하기 위한 엔진 설계 방법에 대해 소개하고 있습니다. 강의 자료와 영상이 공개되어 있어 공부하기도 굉장히 편한 환경입니다. 스터디는 매주 한 강의를 보고난 후, 스터디 인원들이 돌아가면서 발표자를 맡아 강의 요약을 진행하며 궁금한 점이나 더 알고 싶은 내용, 같이 공유 했으면 좋을 정보를 나누는 방식으로 진행되었습니다.
강의 내용을 요약하면서 진행 중인 프로젝트와 관련이 있거나 이전에 사용한 기술에 대한 경험을 공유하며, 실제 현장에서 수업의 내용이 어떻게 활용되는지 엿볼 수 있었습니다.
발표가 끝난 뒤에도 스터디는 끝나지 않는다!
그 날 나눈 이야기 중 추가 내용이 있거나 더 조사하면서 알게 된 점 등을 슬랙을 통해 공유하고 토론하며 더 심도 깊은 내용을 다루기도 하였습니다. 스터디 자체보다도 오히려 이런 토론에서 더 많이 배울 수 있었던 것 같습니다.
스터디를 마치며
이번 사내 스터디는 전체 커리큘럼을 다루면서 한 명도 낙오하는 일 없이 성공적으로 진행되었습니다. 개인적으로는 AI 모델 경량화에 관련해서 기본적인 개념들을 확실히 할 수 있어서 정말 좋은 경험이었다고 생각합니다. 스터디 종료 후에, 다음 스터디를 구성하는데 활용하기 위해서 스터디원들의 소감을 모아 봤습니다. 좋았던 점과 아쉬웠던 점들을 모았었는데요, 그 중 몇 가지를 공유 해 보자면 이렇습니다.
👍 좋았던 점
A1. 같이 공부하며 제가 헷갈리거나 애매한 부분을 같이 토론하는 부분이 좋았다. 개념이 좀 더 명확하게 잡히는데 도움이 많이 되었다.
A2. 관련된 프로젝트를 공유하며 수업에는 없는 기술을 실제 적용했을 때 경향, 추가로 고려해야할 점 등 실무에 도움이 되는 내용을 추가로 얻을 수 있었다.
A3. 혼자 공부했다면 강의 끝까지 보는 게 정말 힘들었을 텐데, 스터디 때문에 반강제적으로 한 강의를 마무리할 수 있었다.
👎 아쉬웠던 점
A1. 스터디의 적극성을 높이기 위해 강의를 보고 오지 않은 참여자는 다과 제공이라는 벌칙을 정했는데, 후반으로 갈수록 중요 업무와의 우선순위 관리가 어려워 강의를 듣고 오지 않는 사람이 많아졌다. 스터디 현장이 다과회장으로 변신하기도…
A2. Q&A나 그 당시 의논했던 내용을 기록하지 않은 점이 아쉽다. 스터디에서 나온 내용이 어렴풋이 떠올라 자료를 찾으려 해도 그 기록이 남아있지 않는 경우가 있었다.
이렇게 저희의 첫 사내 스터디에 관해 소개해 드렸습니다. 주니어로써 성장할 방향을 찾는게 어려울 때도 있는데요, 이번 스터디를 통해 동료와 함께 성장할 좋은 기회를 얻게 된 것 같습니다. 첫 사내 스터디인만큼 보완할 부분이 많지만, 끊임 없이 성장하는 Efficient AI 분야의 선두를 위해 계속해서 공부하고 노력하는 한 걸음이라는 것에 의미를 둡니다. 저희의 성장에 동참해 보시는 것은 어떨까요?
