🥑아보카도 의자가 바꾼 세상 — Generative AI의 역사와 트렌드 정리 한바닥

Published in

CURG

20 min readDec 10, 2022

막막한 인공지능업계의 한줄기 빛은 아보카도 의자였다..!

written by Bosung Park, CURG & D3LAB DAO

2021년 1월, 전 세계의 IT 업계 종사자들에게 흥미롭게 다가온 그림 한 장이 있다. ‘Avocado Armchair’ 라고 입력하면 수 많은 다른 아보카도 의자 사진을 보주는 이 그림은 바로 Open AI의 DALL-E의 기능을 잘 설명하기 위한 예시였다.

필자는 이 당시 미래전략과 관련된 업무를 하며 다양한 AI, 블록체인 트렌드를 팔로업하고 있었고 자연스럽게 이 사진을 접하게 되었다.

‘신기하긴 한데 이 기능은 어디에 쓰는거지?’

정도의 느낌이 굉장히 강했던 기억이 있다. 2%부족하다는 느낌을 들게했던 이미지 Generative AI 기술은 1년 반 정도 흐른 뒤 부터 큰 변화를 일으켰다. 지금은 테크크런치에 일주일에 5번 이상 언급되고 사진&영상 앱스토어 1위를 찍는 어플리케이션을 만들어내기도 하는 엄청난 기술 트렌드가 되었다.

이 글에서는 새로운 기술트렌드이자 AI 업계의 방향성이라고 언급되고 있는 ‘Generative AI’의 개념, 구조, 역사, 트렌드에 대해 파헤쳐보겠다. 한국어로 Generative AI 관련한 내용들을 자세히 설명하는 글이 없는듯하다. 이 개념을 처음 접하는 분들, 한국 IT 업계 종사자들에게도 유용하게 읽히면 좋겠다.

(CURG에 AI 관련글이 참 오랜만이라 생소할 수도 있다. 하지만 CURG는 원래 AI, 그리고 블록체인을 함께 다루는 학회이다)

Generative AI가 도대체 뭔데?

Generative AI의 전반적인 이해를 돕기 위해서 기본 개념과 지금까지의 발전 역사에 대해 살펴보겠다.

Generative AI의 개념

지금까지의 AI vs 지금부터의 AI

지금까지의 인공지능 기술은 주어지는 데이터를 바탕으로 다음을 예측하거나, 추천을 해주는 Analytical AI 향으로 발전해왔다. (Traditional AI) 유튜브, 구글, TikTok 등의 플랫폼에서 추천해주는 다양한 광고도 여기에 해당한다.

작년까지만 해도 AI가 사람들이 하는 ‘창작’ 행위를 지금의 수준까지 할 수 있으리라 상상하기는 어려웠던것 같다. 당연히 DALL-E2 이전의 DALL-E도 존재했고 인공지능을 기반으로 ‘작곡' 행위를 하는 등의 사례도 나타나긴 했지만 사람이 여전히 더 잘할 수 있는 영역이라는 확신이 들 정도로 기술이 뛰어나지는 않았다. Generative AI 관련 기술이 점점 고도화되면서 사람 고유의 영역이라고 생각했던 새로운 컨텐츠 창조, 창작 마저도 AI가 할 수 있는 일이 되어가고 있다.

Generative AI Models Landscape

현재 다양한 어플리케이션이 많이 등장하고 있는 영역이 ‘이미지 (visual)’ 영역이기 때문에 Generative AI를 떠올리면 Art AI와 같은 개념이라고 연관시키기 쉽다. 하지만 Generative AI는 다양한 형태의 컨텐츠 인풋(input)을 바탕으로 새로운 형태의 컨텐츠 결과물(output)을 만들어내는 것을 뜻하기 때문에 텍스트, 이미지, 3D, 비디오, 코드, 스피치, 오디오 등 거의 모든 컨텐츠 포맷을 포함한다.

위 그림과 같이 현재까지 다양한 포맷의 콘텐츠 영역에서 Generative AI 모델들이 등장했다. 너무나 잘 알려져 있는 초거대 언어모델인 GPT3, Bloom도 Generative AI의 가장 핵심적인 모델로 자리잡고 있다.

Generative AI의 포맷과 관련해서 많은 분들이 각 컨텐츠 포맷 안에서 인공지능 모델이 자체적으로 발전할 수 있다고 오해하는 경우가 많은것 같다. 물론 Image-to-Image와 같은 형태도 가능하긴 하지만 더 다양한 크리에이터와 콘텐츠 발굴을 위해서는 Text기반의 Generative AI 모델이 중심을 잡아주는게 중요하다는 점을 강조하고 싶다.

위 Landscape 그림에 있는 콘텐츠 레이어들도 각각을 뜻하기 보다 다음과 같이 Text-to-X로 볼 수 있다.

① Text :Text-to-Text

가장 대표적으로 OpenAI가 Large-language-models (LMMs) 기반으로 하고 있는 GPT2, GPT3, ChatGPT와 같은 다양한 시도가 여기에 해당한다. 2022년 11월 30일에 등장한 ChatGPT는 대화를 통해 검색결과를 얻을 수 있는 언어모델이다.

② Image : Text-to-Image

현재 글로벌 IT 업계를 가장 뜨겁게 달구고 있는 영역이 이 이미지 관련 Generative AI 이다. 자연어를 프롬프트에 입력했을때 그 언어를 이해하고 결과 이미지를 내보내는 GPT3기반 DALL-E2, Midjourney, Stable Diffusion 등이 여기에 해당한다. 추후에 더 자세히 살펴보겠다.

③ Speech : Text-to-Speech

텍스트를 입력했을때 그 콘텐츠에 적절한 목소리의 오디오를 만들어주는 영역이다. Hugging Face의 오픈소스 모델들 기반으로 실시간 text-to-voie를 가능하게 해주는 Wellsaid와 같은 서비스들이 등장하고 있다.

④ Video: Text-to-Video

Text-to-Image에서의 Image가 움직이는 느낌이라고 이해하면 된다. 신기하게도 이 영역은 Google, Meta와 같은 Tech Giants들이 Phenaki, Make-a-Video와 같은 모델을 공개하며 선점하기 위한 노력을 하고 있다.

결국 사람들이 입력한 텍스트에 대한 이해를 바탕으로 아예 새로운 텍스트, 이미지, 스피치, 비디오 콘텐츠를 만들어내는것이 현 Generative AI의 핵심이다. 언어모델을 고려하지 않은 Generative AI는 (물론 용도에 따라 의미가 있을수는 있겠지만. ex. 웹툰 채색) 현재 트렌드에서의 핵심은 아니라고 생각한다.

알고가면 좋은 Generative AI의 발전과정

필자는 처음에 Generative AI를 이 워딩으로만 접했을때는 되게 새로운 개념, 공부할게 아주아주 많은 분야처럼 느껴졌었다. 하지만 이 발전과정 역사를 쭉 살펴보니 훨씬 이해하기가 쉬웠다. 이 글의 제목도 이 과정을 거치면서 뽑아내게 되었다. 핵심에 대한 이해를 돕고자 역사 한판을 정리해본다.

2021년 1월, DALL-E의 등장과 함께 아래와 같은 MIT Technology Review 기사가 아보카도 의자 사진과 함께 나온다. 그리고 ‘This avocado armchair could be future of AI’ 라는 이 기사의 제목은 현실이 되었다.

Generative AI Model의 역사를 아래와 같이 정리해봤다. 현재까지 다양한 어플리케이션이 나온 영역이 이미지와 텍스트이기 때문에 이 두개의 콘텐츠 포맷 위주로 발전과정이 정리되어 있다.

현재 글로벌 테크업계를 놀래키고 있는 DALL-E2, Stable Diffusion, Midjourney 는 절대 독자적인 모델로 발전한 것이 아니다. 1980년도 부터의 RNN, 그리고 CNN 에 대한 언어 이미지 연구가 발전하여 나오게된 결과물이다. DALL-E도 Art AI에 특화된 새로운 모델이 아닌, GPT3와 같은 언어모델을 기반으로 하고 있다.

source: 본 콘텐츠 제작을 위해 Consumer Startups Newsletter를 참고하여 직접 만든 그림

(2014~) GAN, Generative Adversarial Networks : 사람들에게 본격적으로 Generativa AI에 대한 존재가 알려지기 시작. 다수의 이미지에서 패턴을 추출해 새로운 이미지를 만들어내는 기술. 진품/가품 판정하는 영역에도 활용 가능. GAN과 관련된 과거 CURG 콘텐츠도 존재.
(2017~) LLMs, Large Language Models : Transformer 영역에서의 발전이 시작됨. GPT3, LaMDA, Gopher 등의 초거대형 언어모델의 발전이 시작한 시점.
(2019.08.29) GPT2의 등장
(2020.07.20) GPT3의 등장
(2021.01.05) DALL-E와 CLIP의 첫 등장 : ‘OpenAI has extended GPT-3 with two new models that combine NLP with image recognition to give its AI a better understanding of everyday concepts.’ CLIP (Contrastive Language-Image Pre-training)은 텍스트를 이미지와 연결시켜주는, GPT3와 DALL-E의 연결고리가 되는 기술.
(2022.04) DALL-E2의 등장 : DALL-E2의 등장 직후 Midjourney, Stable Diffusion 연이어 등장.
(2022.07) Midjourney의 등장
(2022.08) Stable Diffusion의 등장

발전과정을 살펴보다 보니 텍스트 → 이미지 Generative AI로 이어지는 흐름 위주로 담게 되었다. 이 이후에는 당연히 비디오, 스피치, 3D 영역에서의 기술 발전도 계속될 것이다.

이미지 Generative AI 대표모델 전격 비교분석

이미지 Geneartive AI의 대표 3대장으로 불리고 있는 OpenAI, Stability AI 그리고 Midjourney에 대해서 한번 살펴보겠다. 정말 말도 안되게 신기한건 올해 4월부터 등장한 모델들이 몇 개월만에 굉장히 큰 영향력을 보여주고 있다는 것이다.

자세한 내용을 보기 전에 이미지 모델이다 보니 이미지가 어떻게 나오는지에 대한 느낌을 살펴보는게 좋을것 같다. 아래 그림은 ‘Pixar movie scene of a dark skill wizard fighting against Kermit the frog as a gladiator, incredible render, Presto’ 라고 똑같은 명령어를 입력했을때 세 개의 모델에서 어떻게 다른 이미지 결과물이 나오는지 보여준다. 아래 그림만 딱 봐도 세 모델이 지향하는 그림체가 다르다는걸 알 수 있다.

source: https://analyticsindiamag.com/stable-diffusion-vs-midjourney-vs-dall-e2/

위와 같은 명령어를 봤을때는 자연어를 그림으로 나타내는것이 얼마나 Generative AI에서 중요한건지 이해하기 힘들수도 있다. 하지만 아래 Midjourney 결과물과 같은 그림은 그 중요성을 충분히 보여준다. 오른쪽의 말도 안되게 추상적이고 형용사 가득한 설명을 Midjourney 모델에서 충분히 이해하고 왼쪽과 같은 결과물을 내놓은 것이다.

Generative AI 가 발전하면 할 수록 인공지능 모델이 이해할 수 있는 자연어를 잘 풀어내어 원하는 결과물을 낼 수 있게 도와주는 Prompt Engineering, 그리고 관련 직업이 더욱 더 흥할 것이다.

source: Vox Youtube (https://www.youtube.com/watch?v=SVcsDDABEkM&t=634s)

(2022.04) DALL-E2

DALL-E2는 Open AI 에서 2020년에 공개했던 기존 DALL-E를 업그레이드하여 공개한 모델이다.

아래 그림만 봐도 기존 DALL-E 모델에서 나온 ‘아보카도 의자’보다 훨씬 업그레이드 된 의자들이 DALL-E2를 통해서는 구현 가능함을 확인할 수 있다.

DALL-E2는 컨셉, 특징, 그리고 스타일을 융합하여 그림을 창작할 수 있다. (can combine concepts, attributes, and styles) 많은 업계전문가들은 이 모델이 등장한 시점이 Generative AI가 불편한 골짜기 (Uncanny Valley)를 넘어선 시점이라고 본다.

그 원조 답게 Stable Diffusion(SD), Midjourney(MJ)와 이미지 결과물을 비교했을때도 훨씬 사실적인 모습을 보여준다. 실사의 모습을 잘 반영하기에는 DALL-E2모델이 가장 적합하다고 보여진다.

source: https://www.youtube.com/watch?v=mKjATdA_n_g

Stable Diffusion

Stable Diffusion은 Stability AI에서 올해 8월에 공개한 모델이다. 공개된지 3–4개월 밖에 안된 시점에서 지금과 같은 파급력을 보여주고 있다는 사실이 새삼 대단하게 느껴진다.

Stable Diffusion은 3대 이미지 Generative AI 모델중에서는 가장 모던한 그래픽 아트에 가까운 느낌이다.

다른 두 모델과 가장 차별적인 부분은 바로 오픈소스라는것이다. 다른 모델은 유료로 이용할 수 있지만 오픈소스화 시키며 수 많은 어플리케이션을 만들어내고 있다. Github와 같은 개발자 커뮤니티에서도 많은 언급이 되고 있으며 포토샵에 Stable Diffusion을 삽입하는 플러그인, 실물 셀카 기반의 아바타 제작 서비스 등 다양한 서비스들이 등장하고 있다.

“I wanted to meet creative professionals where they were and I wanted to empower them to bring AI into their workflows, not blow up their workflows,”
_ Cantrell, developer of the plug-in

Stable Diffusion이 많은 개발자, 디자이너들이 쉽게 이미지 Generative AI 모델을 적용할 수 있는 환경을 만들어주면서 생태계 확장에 정말 많이 기여하고 있는게 아닌가 생각이 든다. 지금의 손에 잡히는 Generative AI 글로벌 트렌드가 만들어지는데에 주역 역할을 했다고 본다.

다만, 그 만큼 포르노, 전쟁과 같은 자극적인 이미지 생성에도 취약하게 노출되어 있기도 하다.

Midjourney

Midjourney는 기업이 아닌 비영리 연구단체에서 올 7월에 공개한 모델이다. 사진보다는 미술에 가까운 그래픽을 보여준다. 다음과 같은 Midjourney에 대한 언급들이 그 컨셉을 잘 보여주는듯하다.

“I feel Midjourney is an art student who has its own style. And when you invoke my name to create an image, it’s like asking an art student to make something inspired by my art”
_ Midjourney Artist
“Perfect photos make me a little uncomfortable right now, though I do see legitimate reasons why you might want something more realistic.”
_ Midjourney Developer

가장 큰 특징은 아래와 같이 디스코드를 통해 모델을 활용할 수 있게 제공하고 있다는 점이다.

원하는 텍스트를 아래와 같이 입력하면 디스코드 채널 내에서 결과물 이미지가 생성된다. 디스코드를 기반으로 하다보니 Midjourney 중심의 커뮤니티 빌딩도 쉽게 시도하고 있다.

일부 무료로 사용하다가 돈을 내야 하는 구조이며 모델을 공개한지 1–2달만에 벌써 꽤 많은 매출을 만들어내고 있다는 얘기도 들었다.

이미지 Generative AI 어플리케이션의 발전 방향성

최근 트렌드

어플리케이션단의 use-case들이 많이 등장하고 있다. 인공지능 업계 역사상 이렇게 기술 트렌드가 다양한 어플리케이션까지 이어진 경우는 처음이 아닌가 싶다. 인공지능을 포함한 딥테크 분야에서도 이와 같은 케이스는 이례적이다.

수 많은 어플리케이션이 등장하고 있지만 유저의 선택을 받은 두 서비스를 간단히 살펴보겠다.

Dream by Wombo

Dream by Wombo는 인공지능 그림을 편리하게 모바일로도 생성해낼 수 있는 생성 툴이다.

NFT그림을 편집하는 기능을 더하며 아티스트들의 관심을 불러일으킨 이 툴은 올해 Google Play에서 Best App으로 선정되기도 했다.

텍스트를 입력했을때 그림을 생성해주는것 뿐만 아니라 자신이 보유하고 있는 이미지파일 혹은 소유하고 있는 NFT이미지를 넣어서 새로운 느낌으로 만드는 기능도 제공해주고 있다.

Lensa AI ‘Magic Avatar’

한국언론에서도 슬슬 보도하기 시작한 Lensa AI의 Magic Avatar기능은 Stable Diffusion 모델 기반으로 유저 사진 기반의 캐릭터를 생성해주는 것이다.

Data.ai (구 App Annie) 기준으로 2022년 12월 3일 기준 액티브 유저 수는 550만명을 훌쩍 넘어서 상황이다.

Top Grossing App으로 미국, 캐나다, 영국, 독일, 프랑스에 상위 랭크를 하게 되면서 수 많은 언론의 관심을 받고 있기도 하다.

필자는 2019년 동안 거의 매일 Techcrunch를 보고 있다. 지금까지 이틀 연속 Techcrunch에 등장한 서비스는 Lensa AI가 처음이다.

실제로 ‘Magic Avatar’ 기능을 사용해보면 다음과 같은 과정들을 거치게 된다. 성

단순하게 말하면 셀카 10–20개를 넣고 10,000원 정도의 돈을 내면 두 시간 동안 50–100개의 아바타를 생성해주는 기능이다. 결과 이미지는 아래와 같다.

굉장히 다양한 그림체의 아바타를 생성해준다. 인스타그램이나 기타 SNS에 업로드하기에도 퀄리티가 괜찮아서 유저들에게 많은 관심을 받고 있는게 아닌가 싶다. 현재 Lensa AI의 인스타그램 팔로워수도 28만명이다.

필터카메라로 찍은 셀카도 가짜얼굴.. Lensa AI도 가짜얼굴.. 가짜와 가짜가 합쳐져 엄청난 가짜얼굴을 만들어낸것 같다.

가장 언급이 많이 되는 시장.. (당연) 포르노

인류가 지금까지 성장해온 역사, 기술이 발전해온 역사, Youtube/Facebook과 같은 서비스가 발전해온 역사를 봐도 포르노는 그 중심에 있었던것 같다. Generative AI 도 예외는 아니다.

Stable Diffusion이 있으니, Unstable Diffusion도 등장한것일까.. 포르노 사진을 생성해내는 모델이 디스코드에 등장하기도 했다.

source: Techcrunch, “Meet Unstable Diffusion, the group trying to monetize AI porn generators”

Lensa AI의 ‘Magic Avatar’기능도 이 테크트리(?)를 그대로 따라가고 있다.

source: Techcrunch, “UPDATED: It’s way too easy to trick Lensa AI into making NSFW images”

Generative AI의 미래

글로벌 테크기업들의 움직임, Text-to-Video

Meta는 올해 9월에 text-to-video를 가능하게 해주는 Make-a-Video라는 모델을 공개했다. (마크저커버거도 굉장한 흥미를 보인..)

이미지 Generative AI 모델들은 텍스트를 이미지로 바꿔준다면, 이 모델은 텍스트 혹은 이미지를 결합하여 비디오를 만들어준다. 재밌는 짤 생성에도 굉장히 유용한 모델이라 Giphy와 같은 서비스와 결합되는 그림도 굉장히 재밌지 않을까 생각이 든다.

Meta에 질 수 없는 Google Research에서는 Phenaki라는 text-to-video 모델을 공개했다.

테크 자이언트들의 ‘너희가 이미지를 한다면 우리는 비디오를 하겠다' 라는 움직임인가 싶기도 하다. 앞으로도 스타트업, 연구단체 뿐만 아니라 테크자이언트들도 Generative AI를 어떻게 발전시켜 나가는지 보면 또 다른 인사이트를 발견할 수 있지 않을까 싶다.

Generative AI, 이미지 그 다음은?

아래 그래프는 각 기술 등장에 따른 깃허브 스타 수(좋아요 수)를 나타난 것이다. Ethereum, Spark, Bitcoin과 비교가 안되는 속도로 Stable Diffusion 관련된 깃허브 스타 수가 급증하고 있다. Ethereum도 오픈소스였다는 점에서 그 파급력의 차이가 느껴지는것 같다.

개발자, 디자이너 커뮤니티에서 흥하는 기술은 더욱 더 롱런할 수 있을거라고 기대된다.

이번 글에서는 지금까지의 Generative AI 발전과정을 살펴보는게 목적이었기 때문에 어플리케이션이 많이 등장한 이미지 Generative AI위주의 글이 되었다.

장기적으로는 Generative AI가 제작기간, 복잡도 측면에서 콘텐츠 제작 비용이 가장 큰 영역의 혁신을 가능하게 하지 않을까 싶다. 그런 관점에서는 아래 a16z에서 제공한 그래프에서 확인할 수 있는것 처럼 콘텐츠의 종합예술인 게임 시장을 가장 긍정적인 방향으로 이끌 것이다.