Success with VESSL — 01. KAIST VML
Success with VESSL은 VESSL을 사용하시는 고객분들의 이야기로,
AI와 MLOps가 활용되는 다양한 곳의 이야기를 들려드립니다.
AI in Graphics
첫 번째 Success with VESSL의 손님은 KAIST의 Visual Media Lab(이하 VML)입니다. AI를 활용하여 그래픽스 기술의 혁신을 연구하고 계시는 KAIST의 VML에서는 어떤 연구를 진행하고 계시는지 또, VESSL은 어떤 도움이 되고 있을지 알아보는 시간을 가져보았습니다. VML에서 AI를 활용해 그래픽스를 연구하고 계시는 4분을 만나보았습니다.
안녕하세요. 자기소개 부탁드리겠습니다.
정선진 님 — 안녕하세요. 저는 카이스트 VML에서 박사과정에 있는 정선진이라고 합니다.
서광균 님 — 안녕하세요. 저도 VML에서 박사과정 중인 서광균이라고 합니다.
서창욱 님 — 안녕하세요. 저도 박사과정 중인 서창욱이라고 합니다. VML에서 랩장을 맡고 있습니다.
최종우 님 — 안녕하세요. 저는 현재 VML에서 학부생 인턴으로 연구하고 있는 최종우라고 합니다.
KAIST — VML 소개 부탁드립니다.
서창욱 님 — 카이스트 VML은 노준용 교수님 지도하에 그래픽스와 비전 전반에서 새로운 기술 새로운 콘텐츠 창작을 더 유용하게 해주는 기술을 연구하는 연구실입니다. 주로 비주얼과 시각 데이터들을 활용해서 새로운 기술적 방법론들을 만들어내는 연구를 주로 하고 있습니다.
4분의 연구 분야에 대한 설명 부탁드리겠습니다.
최종우 님 — 저는 시네마그래프 생성에 관한 연구를 하고 있습니다. 어떤 영상이 있으면 특정 부분만 계속 반복적으로 움직이는 영상을 생성하는 인공지능 모델을 연구하고 있습니다. 자연 풍경 시네마그래프를 어떻게 생성할지와 같은 주제들을 연구하고 있습니다.
서창욱 님 — 저는 AI가 주어진 키워드로 아티스트가 그린 것과 유사한 그림을 그릴 수 있게 하는 자동 이미지 생성 기술을 연구하고 있습니다.
서광균 님 — 저는 영상 생성연구를 하고 있습니다. 자세히 설명해 드리자면 “얼굴 영상의 편집을 AI를 활용해 더욱 쉽고 편리하게 할 수 있는 방법”과 같은 연구를 하고 있습니다.
정선진 님 — 3D 컴퓨터 애니메이션 관련한 연구를 하고 있습니다. 그중에서도 3D 캐릭터의 스피치 애니메이션을 만드는 연구를 합니다. 음성 정보만을 인풋으로 캐릭터의 입 모양을 생성하는 스피치 인공지능 연구를 하고 있습니다. 과거에는 성우가 더빙한 말들과 3D 애니메이션 캐릭터의 입 모양이 맞지 않았는데, AI를 활용해 실제 사람이 말하는 것과 같은 방식과 입 모양으로 말할 수 있는 방식을 연구하고 있다고 이해하셔도 될 것 같습니다.
연구 분야에 AI가 어떤 역할을 하고 있는지 설명 부탁드립니다.
서광균 님 — 저는 주로 얼굴 이미지, 영상과 관련된 연구를 많이 하고 있습니다. 최근에 진행한 연구로는 “StyleGAN”이라는 생성 모델을 활용한 연구가 있습니다. 이 모델이 얼굴을 사실적으로 생성해주는 역할을 하게 되는데, 이 모델로 기존에 있는 얼굴을 어떻게 잘 바꿀 것인가에 대해 연구하였습니다. 또 “StyleGAN”을 렌더링 엔진으로 사용하고, “렌더링 전 단계의 이미지 데이터들을 ‘StyleGAN’이 잘 이해할 수 있도록 어떻게 처리해야 될 것인가” 또 그러기 위해서는 “어떤 AI 알고리즘/모델을 사용해야 할 것인가”를 연구하고 학습하고 있다고 생각하시면 될 것 같습니다.
서창욱 님 — 많은 그림 데이터들을 수집해서 아티스트들이 그렸던 그림의 통계적인 공통점(feature)을 찾아내게 됩니다. 이 공통점(feature)들을 분석하여 더 중요한 정보에 가중치를 주는 weight들을 찾고, 저장하는 데 AI를 사용하고 있습니다. 조금 더 정리하자면 큰 용량의 이미지 데이터들을 다루는 데 AI를 사용하고 있습니다.
최종우 님 — 저도 “StyleGAN” 생성 모델 기반으로 연구를 진행하고 있습니다. 이미지를 input으로 하여 움직임을 생성해내야 하는 연구이다 보니, 이미지를 보고 어떤 움직임을 생성할 수 있을지에 대한 연구에도 AI를 활용하고 있습니다.
정선진 님 — 저는 스피치 애니메이션 관련 연구를 하고 있습니다. 기존에는 각각의 언어별로 rule-based 기반으로 문제를 풀다 보니 언어때문에 발생하는 제약사항이 많았습니다. 예를 들면 언어가 한국어인 경우에는 한국어의 연음규칙을 적용해야 하고, 영어의 경우에는 영어에 대한 언어규칙을 적용해야 하는 경우가 많아 어려움이 있었습니다. 그런 어려움이 없도록 어떤 오디오가 들어와도 언어에 상관없이 소리만으로 정확한 입 모양을 예측할 수 있게 하는 방법론을 연구하는 데 AI를 사용하고 있습니다.
Q. 그렇다면 알고리즘이나 네트워크는 어떤 것을 쓰시는 걸까요.
정선진 님 — 저는 CNN 기반의 네트워크를 활용하고 있습니다.
실제 AI를 활용해서 진행하신 프로젝트 중 기억에 남으신 일을 말씀해주세요.
서창욱님 — 교통표지판 인식해서 화살표 정보와 색, 텍스트 정보를 인식하는 프로젝트가 기억이 납니다. 정밀 데이터를 작업해서 처리하는 문제였는데, 딥러닝을 활용해서 문제를 해결했던 프로젝트였습니다.
서광균님 — 현재에도 다양한 회사들과 연계하여 연구를 진행하다 보니 아직은 비밀 유지를 해야 하는 연구들이 많이 있습니다. 🙂
이전에 연구를 진행하며 가장 불편했던 점과 VESSL을 도입하면서 더 편리해진 점이 궁금합니다.
정선진, 서창욱, 최종우 님 — 사용하는 사람의 입장에서 말씀드리자면, GPU가 항상 모자랐습니다. 그런데 베슬을 쓰고 나서 보니 GPU가 남는다는 것을 알게 됐습니다.🙂
Q. VESSL 도입 이전에는 어떻게 관리를 진행하셨나요.
정선진, 서창욱 님 — 구글 시트로 관리를 했었습니다. 문서를 지속해서 현행화하고, 업데이트하는 일이 항상 번거롭고, 어려웠습니다. 항상 실제 사용량이나 현황과 다른 경우가 많이 있었습니다.
서광균 님 — 누가 어떤 클러스터를 쓰는지 정리해놓아도, 실질적으로 안 쓰는 경우가 많이 있었습니다. 24시간 사용하지 않더라도, 일자별로 GPU를 예약하는 시스템이다 보니 비효율적으로 일해야 하는 경우가 많았습니다. 머신의 저장공간도 문제가 되었습니다. 이와 관련된 규칙을 정했지만, 여전히 파일이 다 흩어져있고 관리가 안 되는 이슈들이 많았습니다. 실험을 더 하고 싶은데 GPU가 부족해서 못 하는 경우도 많았습니다. 그런데, VESSL을 도입하면서 사용자들의 실험 상태를 다 알 수 있어서, 실험 자원분배를 잘 할 수 있는 부분이 좋았습니다. 또 의존성 이슈들도 관리하기가 훨씬 용이해졌습니다. 이전에는 학습환경에 대한 규칙이 고정되어 있지 않다 보니, 베어 머신(bare-machine)에 시스템 권한으로 패키지들을 설치하여 의존성 이슈가 종종 발생했습니다. 그런데 VESSL은 쿠버네티스와 도커 기반으로 동작하다 보니까 의존성 이슈가 발생할 만한 패키지들이 한 번에 관리가 돼서 확실히 업무를 처리하기가 편해지고, 속도도 많이 올랐습니다.
SIGGRAPH에 참가하신 것으로 들었는데, SIGGRAPH는 어떤 학회인지 설명 부탁드립니다.
서창욱 님 — SIGGRAPH는 그래픽스 전반에 대해서 연구자들과 기업에서 최신 기술을 소개하고, 앞으로의 시장의 트렌드들을 공유할 수 있는 학회입니다.
Q. 학회장을 둘러보시면서 흥미롭거나 기억에 남았던 전시 혹은 논문이 있으실까요.
서창욱 님 — 딥러닝을 활용해서 사람이 그리는 것과 유사한 형태의 라인 드로잉을 선사하는 기법을 선보였었던 발표가 기억에 남는데요. 기존의 연구들은 좋은 퀄리티의 그림이나 이미지만 추구했었는데, 진짜 사람이 그린 것 같은 라인 드로잉들을 그려낼 수 있는 기법이 굉장히 인상 깊었습니다.
학회에서는 어떤 내용을 발표하고 오셨는지 궁금합니다.
서창욱 님 — 연구실에서 진행하고 있는 프로젝트 2가지와 연구실 소개를 위한 부스 전시를 하고 왔습니다.
Q. 전시에 오신 분들이 VML에 대해서 어떤 것들을 많이 물어보셨나요.
서창욱 님 — 연구실에 관해서 가장 많이 물어보셨습니다. 또, 지금 연구실에서 하는 프로젝트가 창작자들이 쉽게 AR/VR 콘텐츠들을 만들 수 있게 해주는 툴킷(tool-kit)을 만들고 있는데, 어떤 방식으로 또는 어떤 기술을 활용해서 진행하고 있는지에 대한 질문을 많이 주셨습니다.
Q. VR/AR 콘텐츠들을 쉽게 만들 수 있는 툴킷이라면, 3D 콘텐츠들이 더 쉽게 AR/VR 환경에 잘 안착할 수 있게 하는 툴킷이라고 이해하면 되는 걸까요?
서창욱님 — VR/AR에 필요한 3D 콘텐츠들을 더욱 쉽게 만들 수 있게 해주는 툴킷이라고 보시는 것이 더 정확하실 것 같습니다. 예를 들어서 설명해 드리자면 3D MAX 같은 툴을 만드는 것입니다.
마지막으로 AI, 그리고 Graphics의 연구에 깊은 관심을 가지고 진로를 설정하고 있는 분들께 한 말씀 부탁드립니다.
최종우 님 : 분야를 떠나서, 본인이 연구를 하고 싶은지에 대한 생각이 중요한 것 같습니다. 실험하고 구현해나가는 과정이 재밌고 좋아한다면 그 분야를 연구하는 대학원에 진학해서 연구하는 것을 추천해 드립니다.
서창욱 님 : Art & Technology는 이제 떼려야 뗄 수가 없게 되었습니다. 기존에 생각하던 예술이 굉장히 다른 분야로 많이 바뀌고 있습니다. 이런 분야에서 선도적인 연구를 하고 싶다면 VML이 정말 좋은 연구실이 될 것 같습니다.
서광균 님 : 그래픽스, AI와 같은 분야를 떠나서 전반적인 대학원을 진학에 관해 이야기를 드려봐도 좋을 것 같습니다. 학부 공부를 잘한다고, 혹은 잘했다고 해서 대학원에서 공부를 잘한다고 보장할 수 없는 것 같습니다. 대학원은 전문분야를 정하는 곳이니 만큼, 그래픽스 전반에 걸쳐서 전문분야를 쌓고 싶다면 와서 공부하면 큰 도움이 될 것이라고 생각됩니다. 내가 하고 싶은 분야를 공부하는 것이나, 나를 위한 공부와 일을 하는 시간을 가지고 싶다면 분야를 막론하고 대학원을 오는 것을 추천드립니다.
정선진 님 : 대학생 때는 연구와 공부의 차이를 잘 모를 수 있는 것 같습니다. 기존에 있던 것을 보고 익히는 것이 아니라 새로운 나만의 생각으로 새로운 것을 만들어내는 관심이 많고 도전 정신과 창의력이 많으신 분, 새로운 것을 탐구해나가는 관심이 많으신 분은 오셨으면 좋겠습니다. 그래픽스가 단순히 코딩만 하는 것은 아니기 때문에 비주얼적으로 결과물이 예쁘게 나온다. 이런 것에 관심이 많으시다면 저희 KAIST 문화기술 대학원, VML에 진학하시면 좋을 것 같습니다.
VESSL AI에서는 더 나은 머신 러닝 연구 환경을 위해 대학 연구실을 대상으로 VESSL을 무료로 제공하고 있습니다. “VESSL for Academics”를 확인해보시고 문의 사항이 있으시면 언제든지 growth@vessl.ai로 연락주시기를 바랍니다.
Doeun, Growth at VESSL AI
