AI웹툰은 오픈소스(스테이블디퓨전)로 만든다

Luke (Yang Byoung Seok)
loool
Published in
9 min readJun 1, 2023

안녕하세요. AI웹툰 플랫폼과 콘텐츠를 제작하는 빌리버의 양병석 대표입니다. 빌리버는 2017년 코믹스브이라는 VR웹툰을 시작했던 웹툰 기술스타트업이었습니다. 하지만 VR의 만화를 3D나 별도의 툴 없이 ‘그린다’는 개념으로 접근했던 웹툰 플랫폼은 생각보다 잘 되지는 않았습니다.

여러가지 이유가 있었겠지만, VR에서 사용되는 360도 이미지 형식은 세로 웹툰 대비하여 그리기는 어려웠고, 시장은 협소했던 것이 실패의 가장 큰 이유였습니다. 이에 대한 대안으로 사진을 AI기술을 이용하여 작가님의 그림체를 학습하고 VR웹툰 형식으로 바꾸는 특허 등록을 하고, 아주대학교와 협업 하여 인공지능 채색 연구를 하는 등 다양한 기술 개발 노력을 했으나 생존에 급급했던 코믹스브이의 사정상 기술 투자는 더딜 수 밖에 없었습니다.

다행히 VR웹툰에서 사용되던 웹에서 몰입형환경을 보여주던 WebXR기술은 코로나기간 동안 비대면의 실감 기술로서 다시 한번 활용될 수 있어서 빌리버라는 기업으로 피봇하여 성장할 수 있었습니다.

세계를 그림으로 정복할 스테이블 디퓨전을 만나다

그러다 저는 2022년 8월 스테이블 디퓨전의 개발 소식을 듣게 됩니다. 스테이블 디퓨전은 Stability AI에서 오픈소스 라이선스로 배포한 인공지능 모델로서 2022년 8월 22일 출시했습니다. 저는 네이버웹툰 PD라는 경력을 가지고 있지만, 그 전에 앞서 네이버의 인공지능 개발자의 경력도 가지고 있었기에, 당시 스테이블 디퓨전을 처음 실행해보고 발전된 인공지능의 성능에 놀라운 충격을 받았습니다. 2022년 부천국제만화 축제(2022년 9월말) 당시 저희는 버튜버를 실험해보고 있었고, 저는 부스 구석에서 노트북에 스테이블 디퓨전을 설치하여 빌리버의 캐릭터인 베리의 이미지를 출력해보고 있었습니다. 그리고 이 후에는 스테이블 디퓨전에서 만들어진 캐릭터를 가지고 버튜버를 만들고자 하는 기술 시도까지 해보았습니다.

스테이블 디퓨전 + 아바타리파이로 만들고 실험해본 버튜버, 2022년 10월 6일 빌리버 인공지능 사내강의>

이때 까지만해도 스테이블 디퓨전으로 웹툰을 만들겠다는 생각까지는 하지 못했는데 원하는 구도를 만들기 어려웠기 때문입니다.

그러다 그 이후에는 섹슈얼한 느낌의 인공지능 이미지가 온라인에서 화재가되는 것을 흥미롭게 지켜봤습니다. 과거 인터넷의 큰 변화는 성인 콘텐츠가 끌고 나갔던 경험에 의하면 이때부터 뭔가 심상치 않은 변화가 일어나고 있구나라는 생각을 했습니다.

출처 : https://twitter.com/ChromedSets/status/1575373919816921088

그러다 2023년 2월 스테이블 디퓨전이 폭발적으로 발전하기 시작하면서 한국에서 ‘대유쾌 마운틴’이라는 용어가 등장하면서, 인공지능이 사람들의 거부감을 넘어 호감으로 바뀌고 있다는 것을 확신하게 됩니다.

무엇보다도 웹툰에 대해 확신하게 된 것은 스테이블 디퓨전의 확장기능인 Controlnet의 등장으로 의도한 대로의 자세를 잡을 수 있게 되었으며, 가장 확신을 갖게된 계기는 스테이블 디퓨전의 github기반의 확장 환경을 살펴보고 나서 입니다.

출처 : https://github.com/Mikubill/sd-webui-controlnet

스테이블 디퓨전을 움직이는 오픈소스의 힘

이 사이에 노벨ai해킹 사건 등 다양한 일들이 있었지만, 이러한 변화의 중심에는 오픈소스라는 강력한 힘이 작용하고 있었습니다. 오픈소스는 컴퓨터를 발전시켜온 근원적인 힘이었으며 우리가 일상적으로 사용하는 휴대폰과 인터넷 서비스 부터 대부분의 컴퓨터의 기능들이 오픈소스의 영향력을 받지 않은 것이 없습니다.

무료로 SW의 소스를 공개하고 함께 고치고 발전 시키자는 이 오픈소스의 정신은 초창기에는 저작권의 반대 개념처럼 등장했던 CopyLeft란 개념에서 시작했습니다. 카피레프트는 “1984년 미국리처드 스톨먼 이 시작한 운동으로 자본력으로 정보 및 프로그램을 독점에 반대하여 모든 프로그램과 정보는 자유롭게 공유되고 서로 발전 시킬 수 있어야 한다고 주장하는 운동이며 대표적인 운동의 결과물이 오픈소스입니다.

다양한 확장 기능을 제공하는 스테이블 디퓨전, github링크만으로 새로운 오픈소스 기능을 추가 가능

그런 점에서 보면 오픈소스는 처음부터 시작은 독점을 보장하는 저작권의 반대 개념에서 시작했는지도 모르겠네요. 저작권은 작가를 보호하기 위한 개념이기도 하지만, 지적재산권의 독점을 보장함으로서 발명자 혹은 발명 기업, 작가의 경제적 권리를 보장하는 권리로 작용하고 있습니다. 특히 소프트웨어의 경우 발명에 대해 대규모 자본과 노력이 들어가는 경우가 많으므로 이에 대한 운동이 자연스럽다고 할 수 있으며, 공개 개발을 통해 다 같이 발전시키자는 개념은 더 많은 사람들을 이롭게 할 수 있다는 취지에서 시작되어 기술 발전을 촉진하는 도구로 작용하고 있습니다.

소프트웨어는 복제의 비용이 매우 싸고, 인터넷을 통한 전달 비용이 매우 싸기 때문에 그 전파속도도 무시무시합니다. 이러한 스테이블 디퓨전은 이러한 오픈소스로 배포되면서 많은 개발자들이 기능을 개선하기 시작했습니다. 이렇게 스테이블 디퓨전이 오픈소스로 발표되어 누구나 에게 열려 있는 기술 환경이 펼쳐지자, 관련 프롬프트를 공유하는 lexica.art 다양한 모델을 공유하는 civitai.com가 등장하였고, arca.live 와 같은 커뮤니티에서는 이러한 공개 기술을 활용한 ai이미지의 생성과 공유가 쏟아지기 시작합니다. 그리고 이 모든 일이 벌어진지 채 1년이 지나지 않았습니다.

인공지능의 용어중에 ‘인공지능 특이점’이라는 용어가 있습니다. 인공지능 특이점은 인공지능이 인간의 능력을 넘는 특정 시점을 지칭한 용어입니다. 과거의 애니메이션과 미디어에서 인공지능이 발달하면 우주소년 아톰처럼 인간과 함께 살아가는 모습을 그렸습니다. 그리고 그들은 ‘인간의 속도’로 성장하는 모습을 보여주었죠. 하지만, 학자들은 인공지능의 발전 속도는 ‘인간의 속도’와 다를 것이라고 얘기하며 그 순간은 마치 스쳐지나가듯 할 수 있다고 합니다. 어쩌면 지금이 일부 영역에서는 ‘특이점’을 지나가고 있는 것이고, 이미지의 영역에 한해서는 어느 정도 통과하고 있다고 보여집니다.

출처 : https://www.sramanamitra.com/2017/07/05/man-and-superman-life-near-an-approaching-technology-singularity/

이러한 속도의 근원은 소프트웨어는 누적 발전하고, 전달 비용이 매우 싸기 때문입니다. 현재 스테이블 디퓨전 웹UI의 과외선생님은 약 1만 5천명이 있으며, 이 친구에게 꽤 관심있는 친구가 7만 7천명이 있습니다. 그 친구 중 한명이 저 인것 같습니다.

스테이블 디퓨전 웹UI 오픈소스의 관심을 두고 있는 전세계 개발자 현황

저렇게 많은 개발자들이 저렇게 관심을 가지고 있고 인공지능을 가르치고 있으니 여기에 모인 지식의 힘이 얼마나 엄청날지 상상을 해볼 수 있을 겁니다. 그리고 저 중 한 명의 개발자가 대단한 것을 발견하거나 발표하면 그 즉시 세상으로 빠르게 퍼져나가며 저 개발자들의 컴퓨터에 깔려 있는 모든 스테이블디퓨전이 업그레이드 됩니다. 이 글을 읽고 계신 이 순간에도 어떤 개발자는 스테이블 디퓨전을 고치고 있을겁니다.

개인적인 의견이지만, 이미 스테이블디퓨전 인공지능은 이미지와 디자인의 AI생태계의 한 축이 되어버렸다고 할 것 같습니다. 어떠한 글로벌 기업도 단시간에 이걸 뛰어넘기는 쉽지 않을 겁니다. 왜냐하면 이는 단순히 성능의 문제가 아니라 사람들의 네트워크가 가진 힘이기 때문이죠. 미드져니나 다양한 생성이미지 소프트웨어들이 있지만, 저는 선언적으로 한가지는 확신할 수 있습니다.

스테이블 디퓨전은 이미지 창작 생태계의한 축이 되는 것은 확정이다.

이는 요즘 크게 화두가 되고 있는 ChatGPT보다 더 확실할 수 있으며, 이 같은 우려는 구글 개발자들도 하고 있습니다.

출처 : TTIMES https://www.ttimes.co.kr/article/2023051718117797384?ref=face&fbclid=IwAR3sqPUUeLJCUHa4c3nQGUfHDtfJL_EXa9d31AKQti2h286MV6-6HRYJV_M

그리고 이러한 오픈소스가 주도하는 인공지능의 발전은 사실은 인공지능이 우리 인류의 지적 자식임을 의미합니다. 이 친구가 얼마나 미련하고 어떤 사고를 칠지 모르겠지만, 이미 세상에 나온 이상 돌이키기는 어렵습니다. 그리고 우리는 이러한 새로운 시대를 살아가야 합니다. 저희가 과감하게 AI웹툰 플랫폼과 콘텐츠를 스테이블디퓨전으로 제작하여 공개한 이유입니다

AI웹툰은 LOOOL에서 보세요..

loool.io:

LOOOL — Get premium AI generated webcomics site in VR

Discover high quality free AI webtoons and VR webtoons with illustrations of beautiful girls and boys made by AI. Romance/BL/Adult Meet everyone on LOOOL, a new AI webtoon platform where you can watch various genres.

--

--