[XRCLOUD] 메타버스에 야놀자AI, LLAMA3연결해보기

BELIVVR
BELIVVR
Published in
3 min readApr 22, 2024

안녕하세요. 빌리버 루크입니다. XRCLOUD는 웹 서비스와 매우 쉽게 확장가능한 inline view에셋을 런칭 준비하고 있다고 말씀드렸습니다. 최근 메타에서 개인 PC에서 돌려볼수 있는 AI기술인 LLAMA3가 나왔습니다. 한국의 숙박 스타트업인 야놀자에서도 한국어 AI커스텀 모델인 EEVE-Korean모델이 나와 이제 쉽게 누구나 AI모델을 올려볼 수 있습니다.

이에 해당 AI모델을 연결 테스트를 퀵하게 해보고 방법을 소개 드립니다.

애니메이션 캐릭터를 놓고, inlineview를 넣기

먼저 캐릭터를 하나 XRCLOUD의 Room메뉴로가서 Spoke 공간에 스케치팹에서 애니메이션 하나를 다운 받아왔습니다. 멋진 헤어스타일을 뽐내는 장송의 프리렌의 젠제씨가 수고해주시겠습니다.

인라인뷰 에셋은 이미지 파일을 하나 받게 되어있는데, 투명 png를 하나 올렸습니다. 그리고 링크는… AI모델을 구동할 수 있는 ollama 를 올려서 호스팅까지는 하지 않고 테스트와 캡쳐를 위해 PC에서 구동시켰습니다. 제 PC에는 rtx3090이 설치되어있습니다. 먼저 아래는 한글 모델인 EEVE-Korean모델을 올렸고, prompt형식으로 페이지를 만들었습니다. 아쉽게도 AI를 캐릭터에 맞게 커스텀 하지 않았기 때문에 던진 질문에 대해 꼭 맞는 답변을 하지는 않습니다.

야놀자AI EEVE-Korean모델과 XRCLOUD(메타버스) 연동 영상

한국어 모델 답게 한국어로 잘 대답하는군요. 처음 langchain을 이용해 만들어봤는데 prompt 타입이 아닌 chat형식은 네트워크 에러로 시연해보지 못했습니다.

이번엔 LLAMA3:8B 모델을 올려봤습니다.

역시 한글로 대답은 잘 못하는군요. 그래서 Do you know kimchi, Do you know GangnamStyle을 물어봤더니 잘 대답합니다. 놀랍네요. 이 만한 AI를 로컬에서 실행 시킬 수 있다니.

이제 이걸 이용하면 AI를 캐릭터로 커스터마이징 한 후에, 애니메이션의 트리거 문구가 발생시 room의 객체에 애니메이션을 동작하게 한다던지의 구현이 가능할 것 같습니다. ai와 메타버스의 시너지는 이제 시작입니다.

메타버스에서 AI에 대한 실험을 해보고 싶다면 XRCLOUD를 찾아주세요

#XRCLOUD #메타버스 #AI #ollma #LLAMA3 #모질라허브

--

--

BELIVVR
BELIVVR
Editor for

A digital romantic creating a new analog era