생성형 검색: 데모에서 서비스로
2023년 LLM 기반 검색이 다양한 데모와 베타 형태로 세상에 첫 선을 보였다면, 2024년은 LLM 기반 검색이 본격적인 제품으로 거듭나는 시기가 될 것으로 예상된다. 제품으로서의 LLM 검색은 비용/효율성이나 품질에서 훨씬 높은 수준을 만족시켜야 하는 만큼 데모 개발과는 다른 접근법이 요구될 것이다.
사용자 관점에서 LLM 검색의 성패는 궁극적으로 얼마나 많은 검색 사용자들을 기존 검색에서 LLM 검색 사용자로 전환시킬수 있느냐로 판가름날 것이다. 본 글에서는 생성형 검색이 왜 기존 검색 습관을 바꾸는 것이 간단치 않은지를 설명하고, 실제 검색 사용자의 습관을 바꾸기까지의 로드맵을 제시하려고 한다.
(다른 글과 마찬가지로 본 글도 필자 개인의 의견임을 밝힙니다.)
검색 품질에서 검색 습관으로
사용자가 특정 검색 엔진을 테스트해보고 실제로 습관적으로 사용하기까지의 일반적인 단계를 생각해보자. 우선 검색 결과를 바탕으로 검색 품질에 대한 첫인상이 형성될 것이다. 여기에는 검색 결과의 기본적인 품질 (관련성과 정보량 — precision & recall) 및 검색 결과의 사용성 및 기타 정성 품질이 포함된다.
여기에서 어느 정도 만족한 사용자는 실제로 검색 태스크를 수행할 것이다. 여기서 중요한 것은 개별 결과의 만족도보다는 경험의 전체적인 질과 검색 태스크의 성공 여부일 것이다. 여기서 검색 시점에서의 만족도와 태스크 성공 여부가 꼭 일치하지는 않는데, 예를 들어 그럴듯한 리뷰를 검색해서 찾아간 식당이 형편없다면 과정의 만족도에 관계없이 실패한 태스크일 것이다.
이렇게 몇 번의 검색 태스크를 통해서 전체적으로 만족스러운 경험을 한 사용자는 해당 검색 엔진을 습관적으로 사용하게 될 것이다. 이렇게 자주 검색엔진을 사용하는 사용자는 해당 엔진의 사용에 점차 익숙해지고 (예를 들어 어떤 질의를 넣어야 결과를 얻을 수 있는지) 이는 다른 검색 엔진으로 넘어가는 것에 대한 장벽으로 기능할 것이다.
이렇게 사용자 입장에서 검색 엔진을 바꾸는 것은 이미 자리잡은 환경과 (기본 검색엔진) 습관을 바꿔야 하는 일이기 때문에, 새로운 검색 엔진이 사용자의 주요 검색 태스크에 대해서 기존 엔진 대비 탁월한 경험을 제공하지 않는다면 여간해서는 변경이 일어나지 않을 것이다.
물론 이런 장벽에도 불구하고 실제로 검색 엔진을 바꾸는 사용자가 분명히 있고, 이런 경우 그 이유는 대부분 검색 결과에 대한 불만족에 기인한다. 다른 주요한 이유는 검색 결과의 검증이다. 아래 검색 사용자 만족 및 엔진 Switching에 대한 관련 설문에서 발췌한 검색 사용자의 엔진 교체 이유를 참조하기 바란다.
기존 검색 vs LLM 검색
작년부터 업계의 화두가 된 LLM 기반 검색을 이런 관점에서 기존 검색과 비교해보자. 아래 그림은 검색 프로세스의 각 단계에서 기존 검색과 LLM 검색을 비교한 것이다. 가운데 부등호는 개별 단계의 사용 편의성 면에서의 일반적인 우위를 나타내며, 당연히 이 우위는 개별 검색 태스크에 따라 다를 수 있다.
요약하면 LLM 검색은 검색어의 입력을 위한 노력 / 결과 생성까지의 대기 시간 / 생성 결과에 대한 추가적인 검증이라는 측면에서 기존 검색 대비 약점을 보인다. 물론 이는 LLM에 맞는 검색어 완성 보조 장치, 모델 효율화를 통한 대기시간 감소, 신뢰성 있는 결과 제공 등 기술적으로 해결 가능한 문제이다.
반면에 기존 검색 대비 LLM 검색은 글로 요약된 결과를 제공하여 사용자의 노력을 줄여주는 장점이 있으며, 만약 사용자가 LLM의 요약 결과를 보고 추가적인 탐색이나 검증 없이 태스크를 완료할 수 있다면 이는 다른 약점을 충분히 상쇄할 만한 장점이다. 아래 그림은 이처럼 LLM의 장점을 살리고 단점을 보완하는 방법을 요약한다.
생성형 검색 롤아웃 전략
지금까지 기존 검색 대비 생성형 검색의 장단점, 그리고 장점을 살릴 수 있는 방법을 알아보았다. 향후 생성형 검색 서비스들은 이런 고려사항을 염두에 두고 롤아웃 전략을 수립해야할 것이다. 마지막으로 이런 롤아웃 각 단계별로 고려해야할 사항을 좀더 자세히 알아보자.
우선 첫번째로 고민할 부분은 생성형 검색이 강점을 가지는 부분을 찾아 해당 영역에서 품질 좋은 결과를 제공하는 것이다. 앞에서의 논의를 확장해보면, 사용자가 기다릴 용의가 있고 신뢰성있는 정보원이 있는 경우가 생성형 검색의 장점이 극대화되는 시나리오일 것이다. 예를 들자면 고가의 소비재에 대한 쇼핑이나 전문 정보에 대한 검색이 여기에 속하지 않을까?
이렇게 파악된 시나리오에 대해서 개발이 완료되었다면, 다양한 오프라인 및 온라인 품질 평가를 거쳐 초기 사용자에 대해 어느 정도 만족스러운 경험을 제공할 수 있어야 한다. 이 때 품질도 품질이지만, 초기 사용자가 반복적으로 접속하여 검색을 수행하는지에 대한 리텐션 지표도 중요한 단서가 될 수 있다.
일단 초기 사용자와 파일럿 시나리오가 파악된 이후에는, 이를 지속적으로 넓히는데 분석과 개발 노력을 집중해야 할 것이다. 이 단계에서는 실제 사용자들의 서비스 사용 행태를 분석하고, 이를 바탕으로 새로운 시나리오를 꾸준히 발굴하려는 노력이 필요할 것이다.
