팀 BEIAI와 AI웹툰 제작법을 공개합니다.

안녕하세요. LOOOL의 AI웹툰 제작을 하고 있는 팀 베이아이(BEIAI)의 지도를 겸하고 있는 빌리버 양병석 대표입니다. 베이아이팀은 SW개발 같은 AI기술 개발보다는 스테이블디퓨전을 활용하여 웹툰을 직접 제작, 편집하는 AI웹툰 콘텐츠 제작 팀입니다. SW개발을 전공하고 웹툰PD경력이 있던 저와 달리 모두 웹툰 전공자들로 구성된 인력들로 AI웹툰을 하는 이유는 그림을 못 그려서가 아닙니다.

팀원 소개

대표 눈치 보지 마시고 작품을 하면서 소감과 소개 한마디씩 부탁드립니다.

1. 썬 : 이번 작품을 하면서 Stable Diffusion을 처음 다뤄봤습니다. AI로 이런 것도 되는구나, 또는 이런 것도 안돼? 등의 다양한 경험을 하며 흥미롭게 작업했습니다. 캐릭터 구현이나 후보정 과정을 주로 했습니다.
2. 워니 : ai를 처음으로 다뤄봤는데 생각보다 쉬우면서 어려우면서… 특별한 경험인 것 같습니다. 생각보다 ai는 많이 똑똑하지 않더라구요…^^ 저는 콘티와 캐릭터 추출, 식자 등을 주로 했습니다.
3. 구피 : 캐릭터의 포즈나 표정이 생각하는 대로 나오지 않아 좀 많이 힘들게 작업했던 거 같습니다. 콘티와 캐릭터 추출,리터칭을 주로 했습니다.

제작 환경

저희는 Rtx4090이 달린 300만원 초반대의 용산의 조립 컴퓨터와 와콤원을 사용하고 있습니다. 작업자들이 쓰는 rtx4090그래픽카드는 고가로 PC가격의 대부분을 차지 합니다 .신티크를 드리고 싶었으나 빌리버에서 웹툰 교육을 하며 사둔 와콤원이 많아서 해당 기기를 사용하고 있습니다. 돈 벌어서 큰 신티크 사드리겠습니다.

이 기기 외에 빌리버에서는 Rtx3090이 달린 작은 PC가 서버실에 다수 존재하는데, 빌리버의 AI교육 플랫폼에 사용하기 위한 기기로 AI이미지들을 뽑는데도 사용합니다.

AI웹툰 제작에는 비디오 메모리가 중요하므로 Rtx3090와 Rtx4090을 추천합니다. 높은 해상도의 이미지를 뽑거나 직접 모델을 훈련해야 하는 분들은 꼭 참고 하시는게 좋습니다 .

제작 방법

향후에 좀 더 자세히 공개할 예정이지만 웹툰 제작 과정에 대해 간략히 소개를 드립니다. 이미 커뮤니티에는 많은 정보들이 흩어져 있고 유투브에는 저희도 익히지 못한 좋은 활용 방법들이 있습니다.

하지만 이 모든 자료들은 웹툰 제작에 최적화는 되어있지 않습니다. 보다 많은 분들이 본 제작방법을 참고로 AI웹툰 제작에 쉽게 접근하셨으면 좋겠어서 현재까지 정리한 방법을 간략히 공유 드리며 더 많은 분들이 AI웹툰 제작에 접근해보셨으면 합니다.

먼저 저희의 제작과정은 웹툰의 그림 콘티가 있다는 것을 가정하고 시작합니다. 현재 글 콘티까지는 글작가님과 진행하고 있고, 내부에서는 그림 콘티제작과 그 이후의 작업을 진행 중입니다.

제작하기로 한 웹툰 분위기에 적합한 기본 모델 제작

스테이블 디퓨전의 가장 큰 장점은 다양한 모델들이 공개되어있다는 점입니다. https://civitai.com/ 은 대표적인 AI모델 공유 사이트로서 해당 사이트에서 제작할 웹툰과 가장 유사한 모델들을 선택합니다.

한개를 선택해도 되고 다수를 선택해서 섞어도 됩니다. 저희의 경우에는 개성있는 모델을 만드는 것을 원했기 때문에 여러 모델들을 섞었습니다. 이 때 만들어지는 모델은 배경과 캐릭터를 뽑는 기본 모델로 사용하게 되어 작품 전체의 분위기를 결정하게 됩니다.

프롬프트를 통한 캐릭터 컨셉 제작

팀에서 논의된 캐릭터의 특징들을 프롬프트로 만들어 캐릭터의 외형을 잡아갑니다. 특히 작품의 분위기를 잘 살리고 캐릭터의 특징을 잘 나타내는게 중요합니다

ex ) <이거마시면 우주가는 거다>의 캐릭터 베리의 프롬프트

prompt : Purple Hair, girl, 1girl, Solo, Cute, Simple Background, White background, Beautiful eyes, Purple eyes, Beautiful skin, Clean skin, High Quality, Masterpiece, (Bobbed Hair:1.2), Natural Hair, Beautiful delicate eyes, old, K-pop style, Korean Webtoon Style, full bangs , long eyes to nose, Mature, Long face shape, Adult, Straight Hair, Short hair, Focus on face, Left tear dot, Dot under the left eye, Apron

negative : easynegative , ng_deepnegative_v1_75t, Long Hair, young, Curly Hair, Low Quality

캐릭터 드림부스 모델 제작

원하는 분위기가 나오는 프롬프트가 정리되면 여러각도의 캐릭터 얼굴을 만들고, 각 캐릭터의 얼굴은 잘라서 512x512의 이미지들로 업스케일 하고 드림부스로 훈련할 이미지들을 만듭니다.

캐릭터 베리 모델 제작에 활용된 정규화 이미지들

512x512로 정규화된 이미지들을 밀어넣고, 캐릭터의 키워드를 정한 후 드림부스 모델을 생성합니다. 드림 부스의 자세한 훈련 방법은 유투브에 검색해보시면 잘 나옵니다. 드림부스 모델 생성시 기본 모델은 앞단계에서 만든 기본 모델을 사용하여 일관성을 유지시켜줍니다.

만들어진 모델은 여러가지 키워드로 테스트를 해봅니다. 이때, 드림부스 캐릭터 이미지를 만들 때 드림부스 모델을 단독, 혹은 과적합 된 기분이 들면 기본 모델을 좀 더 섞어서 캐릭터용 모델을 고정합니다. 계속 사용될 모델이니 잘 만들어둬야 합니다.

콘티에 기반하여 사진 및 3d모델을 이용하여 컨트롤넷을 이용한 캐릭터 및 배경 제작

현재 저희는 수작업으로 그린 콘티를 기반으로 작업하며 캐릭터와 배경을 한꺼번에 뽑아내고 있지는 않습니다. 후처리 과정이 들어가는 번거로움이 있지만, 분업화에 용이하고 기존 웹툰 제작 프로세스와 똑같이 접근했기 때문입니다.

이때 주로 사용하는것은 OpnePose로서 사진을 찍어서 포즈를 만들거나, 3D캐릭터를 이용하여 포즈와 구도를 선정하고, 이를 이용하여 캐릭터들을 뽑습니다.

배경의 경우에는 스케치업을 이용하여 구도를 잡고 img2img 로 배경을 만듭니다. 이때 사용되는 스테이블디퓨전 기능은 컨트롤넷으로 역시 유투브를 검색해보시면 잘 나옵니다. 컨트롤넷의 활용도는 계속 커지고 있으므로 잘 익혀두시는게 좋습니다.

컷과 말풍선 배치 및 후처리

컷과 말풍선 배치는 일반적인 웹툰 제작 프로세스와 동일합니다.

합성된 이미지의 그림자를 넣어줍니다. 배경과 한번에 작업하지 않았으나 AI이미지의 밀도가 매우 높기 때문에 그림자와 빛을 적절히 넣어야 배경과 캐릭터가 어색하지 않게 붙을 수 있습니다.

특히 이상하게 추출된 부분을 수정하거나, 중요하지 않은 부분은 가우시안 블러나 채도를 낮춰주는 식으로 중요한 부분을 상대적으로 강조 시킵니다.

AI웹툰의 특징은 전체적으로 다 밀도가 높게 나와 오히려 후처리로 중요하지 않은 부분을 날려주는 것이 매우 중요합니다.

옷의 고정

LoRa훈련을 통해 옷을 어느정도 고정할 수 있으나, LORA는 비교적 훈련 데이터를 많이 필요로 하여 아직까지는 LORA제작을 해보지는 않았으며, 현재는 Cutoff플러그인을 통해 옷 색깔의 출력을 고정하는 일까지 해봤습니다.

회차의 연재를 통해 만들어진 유니폼은 뽑은걸 모아서 다시 LORA로 만들면 편리하지 않을까 싶어 기술을 검토 예정입니다.

현재 가장 큰 고민

1. 의도한 이미지 출력 확률을 높이는 체계 만들기
   아직은 많은 횟수의 이미지를 생성하여 적절한 캐릭터와 배경을 뽑는데, 이때 확률을 높이기 위해서는 자체 생성한 모델의 품질 관리, 그리고 작업자의 프롬프트관리가 중요해지는 것 같습니다. 특히 팀작업의 경우 프롬프트를 공유하는 것이 중요하다 보니 이에 대한 관리도 필요하며, 잘 나온 컷과 데이터를 다시 관리하여 활용할수 있는 체계 구축이 중요한 것 같습니다.
2. 캐릭터와 배경 작업 과정의 고도화
   현재 캐릭터와 배경을 따로 뽑아 붙히다보니 후처리의 업무가 많고 AI의 장점인 높은 퀄리티와 자연스러움이 덜한 것 같습니다. 이에 캐릭터와 배경을 한번에 뽑는 방식으로 바꾸기 위한 방안들을 추가 고민해볼 예정입니다.

맺음말

저희 방법이 AI웹툰 제작의 최선이라 할 수는 없습니다. 하지만 현재 쉽게 한번에 프롬프트만으로 판매가 가능한 수준의 AI웹툰을 제작하는 방법은 없습니다. 무엇보다도 저희는 이런 AI웹툰을 이렇게 만들 수 있다는 것을 보여드리고 싶었으며, AI를 웹툰 제작에 활용하고 싶은 분들께 도움이 되었으면 좋겠으며 앞으로도 종종 좋은 방법을 찾으면 소개해드리도록 하겠습니다.

AI웹툰은 LOOOL에서 보세요.

loool.io:

LOOOL — Get premium AI generated webcomics site in VR

Discover high quality free AI webtoons and VR webtoons with illustrations of beautiful girls and boys made by AI. Romance/BL/Adult Meet everyone on LOOOL, a new AI webtoon platform where you can watch various genres.