번개장터의 디지털 광고 시스템1: 소개
참고: 해당 글은 2020년 여름에 작성 되었습니다. 현재와는 많은 기술격차가 있을 수 있습니다.
안녕하세요. 번개장터 데이터팀 이명휘입니다.
오늘은 번개장터의 디지털 광고 시스템의 발전 방향에 대해서 적어 보려 합니다. 번개장터의 모든 사용자는 검색 광고를 비롯한 다양한 디지털 광고를 사용할 수 있는 권리를 갖게 됩니다. 광고를 사용하는 판매자는 자신의 상품을 더 많은 고객(Audience)에게 노출 시킬 수 있으며, 이는 빠른 구매와 판매로 이어지게 됩니다.
현대의 디지털 광고는 판매자와 고객에게 모두 최선이 될 수 있도록 발전되었습니다. 광고를 사용하는 판매자만을 위해 단순히 많은 노출 부여하기보다는 구매자의 취향을 반영하는 기술들이 첨가되기 시작했습니다. 이에 따라 퍼포먼스 마케팅이라는 개념들이 생기기 시작하였고, 더 나아가 개인화 및 리타겟팅과 같은 고급 기술들이 녹아들기 시작하였습니다.
번개장터도 신뢰와 편의라는 두개의 핵심 키워드 아래 판매자와 구매자가 최선이 될 수 있도록 하는 다음의 목표를 가지게 되었습니다.
- 판매자를 위해서는 상품의 빠른 판매를 돕는다
- 구매자를 위해서는 원하지 않는 상품의 노출을 최소화한다
- 고객이 원하는 방식으로 쉽고 간단하게 광고할 수 있게 한다
- 최소의 비용으로 최대의 효과를 만들어 낸다
이를 달성하기 위해 다양한 기술들을 적용하고 있으며, 아래의 시스템 흐름을 시작으로 번개장터가 노력하고 있는 부분을 상세히 말씀드리도록 하겠습니다.
시스템 흐름
번개장터의 디지털 광고 시스템은 모바일 광고 생태계의 RTB (Real-Time Bidding) 체계를 따르고 있습니다. 판매자(Advertiser)가 광고 신청 및 입찰가를 설정하면 번개장터 광고 서버는 광고를 등록하고 경매를 활용해 올바른 지면에 노출하게 됩니다.
데이터 저장소에서는 고객의 데모그래피 정보를 제공하여 정교한 타게팅 전략을 세우도록 도와줍니다. 타겟팅 전략은 퍼포먼스 광고 체계에서 매우 중요한 부분으로 작용합니다. 판매자는 구매자의 취향을 반영한 상품들을 노출 시키며 이는 구매자의 빠른 구매로 이어질 수 있습니다. 또한, 중개자인 번개장터의 입장에서는 빠른 판매라는 목적을 달성할 수 있게 됩니다.
하지만 구매자의 취향을 알아내는 것은 그리 쉬운 문제는 아닙니다. 구매자와 연관된 수많은 행동 데이터를 기반으로 취향을 알아내야 하기 때문입니다. 이를 해결하기 위해 고객의 성별, 나이, 디바이스 정보, 위치 등의 정보를 활용한 AI 기반의 클릭 예측(Click Prediction) 시스템을 구현하였습니다. 구매자의 취향을 알아내고 선호할만한 광고 상품을 노출 시켜주게 되는 것입니다. 이에 대한 자세한 내용은 다음 포스트에서 설명해 드리도록 하겠습니다.
광고주의 예산을 올바르게 사용하기 위해서 광고 서버를 이용해 과금 전략을 세우게 됩니다. 전략을 세우기 위해서는 경매체계가 적용되며 이는 취향을 반영한 클릭 예측의 결과와 랭킹 로직에 반영되어 고객에게 적재적소에 노출됩니다. 다음은 디지털 광고에서 쓰이는 경매 이론 및 번개장터가 선택한 경매 체계에 대한 내용입니다.
경매 체계
일반적으로 우리가 알고 있는 일상생활의 경매 방식은 개방(Open) 된 경매 방식입니다. 수산시장, 부동산, 중고차 경매장에서처럼 자신의 입찰가를 소리로 내지르거나 티켓을 보여줌으로 모두에게 공표하는 방식입니다.
하지만 현대의 디지털 광고 경매 방식은 조금 다릅니다. 폐쇄된(Sealed Enveloped) 형태의 경매 방식을 채택하고 있습니다. 디지털 광고를 사용하는 판매자들은 타인의 입찰 가격을 모른다는 특징을 가지고 있습니다.
똑똑한 연구자들은 디지털 경매 분야를 오랜 기간동안 연구해 왔으며 이에 따른 많은 결과물들이 쏟아내기 시작했습니다. 이런 결과로 First Price Auction, Second Price Auction, Vickerey-Clark-Groves 등이 나타났고 대표적인 디지털 경매 방식이 되었습니다.
번개장터에서는 판매자가 입찰가를 가지고 경매를 진행하는데 있어서 다양한 방식을 활용해 왔습니다. 현재 적용 중인 경매 방식을 설명하기 전에 이론적으로 파고들어 보도록 하겠습니다.
First Price Auction
First Price Auction 방식은 가장 큰 입찰 가격을 선정하여 최상위 노출을 진행하게 됩니다. 이때는 판매자 각자의 입찰가격을 모른다는 조건이 붙습니다.
가장 간단하게 이해할 수 있는 방식입니다. 개발자 입장에서도 가장 간단하게 구현할 수 있는 방식입니다. 그냥 입찰가가 큰 순서대로 노출시키면 완료됩니다.
하지만 이 방식은 입찰가 순환 (Bid Cycle)이라는 문제를 야기하게 됩니다. 입찰가 순환 문제는 우리가 알고 있는 ‘눈치 게임’이라고도 볼 수 있습니다.
입찰가 순환 문제는 지속적으로 자신의 지면 확인과 타 판매자의 눈치를 보면서 하위 가격을 선점하려는 행위입니다. 하위 가격을 선점하다면 굳이 최상위 위치를 선점하지 않아도 기회비용 측면에서 이득을 취하기 때문에, 판매자 간 지속적인 눈치게임을 유발하게 됩니다.
아래 차트와 같이 입찰가는 시간이 지날수록 JVM 모니터링에서 볼 수 있는 톱니와 같은 형태가 만들어지는 것을 볼 수 있습니다.
이는 판매자들이 자신의 가격을 낮추기 위해 지속적으로 가격을 조정하려는 행위를 하게 됩니다. 이 때문에 광고를 제공하는 공급자 입장이나 이를 사용하는 판매자 입장 모두에게 좋지 않은 결과를 초래하는 단점이 존재합니다.
GSP(Generalized Second Price Auction)
GSP는 First Price Auction의 문제를 해결할 수 있도록 고안되었습니다. Overture라는 회사에서 처음 만들어 사용한 걸로 알고 있습니다.
위의 그림을 보시면 Bidder B가 240원로 가장 높은 입찰가를 기록하고 있습니다. 하지만 Bidder B의 최종 입찰 낙찰가는 240원이 그대로 적용되는 것이 아닌, 2등(Bidder C) 가격에서 230원이 더 해진 채로 적용된 것을 보실 수 있습니다.
GSP는 자신의 입찰가 바로 하위(두 번째) 가격에서 일정 금액만큼의 간격(Offset)을 더해 상위 입찰 금액을 만들어 나간다는 것이 핵심입니다.
이는 입찰가 순환 문제를 막아준다는 장점을 가지고 있습니다.
그리고 광고 금액에 민감한 판매자 입장에서는 자신이 입찰한 금액이 통째로 빠져나가지 않기 때문에 안도감을 심어줄 수 있습니다. 이말을 조금 어렵게 풀어내면 판매자에게 진실(Truthful)된 시장가치를 제공해줄 수 있다는 장점을 가지고 있습니다.
아래는 이해를 돕기 위해 GSP를 수식화한 결과에 번개장터 광고를 적용한 예시를 만들어 보았습니다. (현재 적용 중인 알고리즘과는 관련 없는 수식입니다)
VCG(Vickerey-Clark-Groves)
마지막으로 GSP를 변형시킨 형태의 VCG 입니다. 해당 경매 컨셉은 특정 경쟁 입찰이 없었을 때 자신의 입찰이 받을 수 있는 긍정적인 영향을 산출하는데 있습니다. 다시말해, 각각의 입찰이 부정적인(높은 가치) 영향을 끼치는 만큼 가격을 올려 과금을 책정하는 방식입니다.
VCG는 어찌보면 상대 판매자들의 전략이 무엇이든 상관없이 항상 판매자에게 최선의 결과를 내포할 수 있는 우월전략(Dominent Strategy)으로 보일 수 있습니다. GSP가 가질 수 없는 장점을 많이 소유한 경매처럼 보이기도 합니다.
우월전략 : 경쟁자가 어떤 전략을 택하든지 더 높거나 동일한 보수를 가져다주는 전략입니다. GSP에서는 우월전략이 존재하지 않습니다.
하지만, VCG는 현재 디지털 (검색)광고에서는 메인으로 사용되지는 않는다고 합니다. 그 이유로는 아래와 같습니다.
- 최적의 전략을 세우는 로직이 많이 복잡합니다. 위의 예제에서는 소수의 광고를 예를들어 설명했지만, 광고수가 수천 수만개가 된다면 엄청나게 많은 변수가 존재하게 됩니다. 판매자 입장에서는 자신의 광고 가치를 올리기 위해 들어가는 코스트가 크게 되는 것도 문제입니다.
- 특유의 가치 계산방식으로 클릭당 가치가 빛을 발하지 못할 수 있습니다. 이는 판매자가 진실된 가격을 활용할 수 없다는 부분과도 연결이 됩니다. 이로인해 클릭당 가치가 증가함에도 경매수입이 오히려 줄어들수도 있다.
현재 추세와 번개장터의 디지털 경매 체계
RTB의 경매에서 GSP이 진실된 시장 가치를 판단해 줄 거라 예상했던 것과 다르게 수많은 Ad Exchange 회사들은 First Price Auction과 GSP를 혼용하여 활용하고 있습니다.
이 부분에서 문제가 발생하게 되는데, First Price Auction를 사용하는 Ad Exchange를 통해 입찰한 최상위 입찰자(Header Bidder)는 GSP를 통해 입찰한 최상위 입찰자보다 항상 유리한 위치를 선점한다는 문제점이 나타났습니다. 글이 좀 어렵게 느껴지기 때문에 아래 그림을 참조해 주시면 될거 같습니다.
위 그림처럼 더 많은 지면에 노출할 용이가 있으며, 그에 맞는 예산을 확보한 판매자(Ad Exchange1의 Bidder A)임에도 매번 First Price Auction에 밀려 지면을 확보하지 못하는 문제점이 생겼습니다. 이에 공평성을 확보하기 위해서 Ad Exchange 회사들은 First Price Auction으로의 전환을 통해 입찰 가격의 투명성을 찾으려 하고 있습니다.
물론 모든 Ad Exchange 회사들이 First Price Auction을 활용하면 광고 자체의 가치를 감소시킬 뿐만 아니라, 많은 최적화 기법들의 영향력이 줄어들게 되는 부작용이 생긴다고 합니다.
세계의 거대한 디지털 광고 생태계와 비교할 바는 아니지만, 현재 번개장터의 디지털 경매 시스템은 하나의 경매 체계가 아닌 여러 경매 전략을 혼용해서 이용하고 있습니다. 정확한 전략은 말씀드리지 못하지만, 번개장터 자체가 C2C에 기반하고 있기 때문에 일반 광고 생태계와는 다른 자체 특성을 고려하였습니다.
과거에는 First Price Auction, GSP를 단일로 활용했지만 충분한 가격의 지불의사가 있는 번개장터 판매자의 니즈를 충족시켜주지 못했으며, 이는 저조한 예산 소진으로 나타나게 되었습니다. 또한, 번개장터 입장에서는 낙찰자가 초기에 제시한 입찰가와 정산가 간의 가격차이로 생긴 손실이 매출의 하락으로 다가왔기 때문에 이를 최소화하려 여러 혼용 방법을 활용했습니다.
광고 품질
광고 품질과 광고 성과는 항상 비례합니다. 품질이 좋은 광고일수록 상위에 노출될 수 있도록 랭킹을 조절합니다. 또한, CTR, 상품명, 태그 등을 이용해 저품질 광고의 기준을 선정 후 기준이 미달하는 광고는 노출을 제한하고 있습니다.
이외에도 광고 상품의 이미지는 품질을 결정하는 중요한 요소이기 때문에, 딥러닝을 활용하여 광고 상품 이미지 검수를 자동화하였습니다. 주로 저품질 상품에서 나타나는 이미지의 특징은 다수의 텍스트가 첨가된 형태입니다. OCR(Optical Character Recognition) 기술을 이용해 이미지에서 텍스트가 차지하는 비율(Text Overlay)을 측정하였습니다. 비교적 많은 저품질 상품을 효율적으로 골라 낼 수 있었으며, 이는 검수 인력이 더 중요한 일에 매진 할 수 있도록 이바지하였습니다.
UI & UX
디지털 광고를 사용하는 판매자는 입찰가 및 예산 등을 지속해서 모니터링하고 조절해야 합니다. 디지털 광고에 익숙지 않은 초보 판매자분들은 이런 일련의 관리 과정을 어려워하시기도 합니다.
해당 문제를 해결하기 위해서 번개장터는 매우 직관적인 UI 및 UX를 구성하려 노력하였습니다. 어려운 설명들보다는 뒷단의 머신에게 모든 과정을 맡길 수 있는 형태의 자동최적화 인터페이스를 구성하였습니다.
원하는 노출 위치를 레버로 조절하여 신청 할 수 있으며, 이에 따른 예산과 입찰가도 자동으로 선정됩니다.
번개장터의 90% 이상의 판매자들은 모바일 기기를 통해서 광고 신청 및 관리를 하시기 때문에 모바일에 최적화된 페이지를 구성한 것도 차별점이라 할 수 있습니다.
번외: Computational Advertising
디지털 광고의 발전과 더불어 복잡성이 높아짐에 따라서 세부적인 분야로 나뉘어서 학문도 발전하게 되었습니다. RTB를 베이스로 판매자에서 시작해 구매자까지 가는 일련의 파이프라인을 광고계에서는 주로 Programmatic Advertising이라고 명명하며, 학계에서는 Computational Advertising이라고 명명합니다. 아래는 학계에서 주로 연구중인 Computational Advertising을 분야별로 나눈 결과입니다.
DSP
- Bid Landscape
- Bidding Strategy / Auto Bidding
- CTR Prediction (Estimation)
- CVR Prediction (Estimation) / Conversion Attribution
- Budget Pacing
- Frequency Capping
- Fraud Detection
SSP
- Ranking Algorithm
- Second Price Auction
DMP
- Massive-scale Technique
- Audience Selection
AD Exchange
- Auction Mechanism
- Game Theory
분야가 워낙 광범위해서 게재되는 저널 및 학회도 각양각색입니다. 디지털 경매 자체에 대한 이론연구들은 경제학에서 주로 다루어지며, CTR Prediction 처럼 머신러닝이 주가 되는 연구는 컴퓨터 공학에서 주로 다루어지고 있습니다.
여담으로 말씀드리면 제가 자주 모니터링하는 학회는 AdKDD입니다. 세계 각지의 글로벌 회사가 참여해 질좋은 광고 관련 논문들이 많이 게재되곤 합니다. 데이터 마이닝 분야에서 위상을 떨친 KDD와 함께 운영되고 있는 것 같습니다.
그 외
번개장터 데이터팀에서는 인재분들을 모시고 있습니다. C2C기반의 Personalized Recommendation, Computational Advertising, Fraud Detection 같은 고도화된 A.I 기술을 연구 및 개발하고 있습니다.
