누구나 실험할 수 있도록 — 한국 비즈니스 실험 심포지엄 발표자료 공유
대규모 검색 서비스의 셀프서브 실험 프로세스 정착기와 실무 적용 사례
25년 7월 12일, 한국경영정보학회가 주최한 국내 최초의 비즈니스 실험 심포지엄에 초대 받아, 윤현영 님과 함께 저희 DnA 팀의 사례를 소개하고 왔습니다.
그동안 DnA 팀원분들이 함께 고민하고 꾸준히 다듬어온 여정의 한 부분을 대신 전할 수 있어, 감사하고도 조심스러운 마음이 컸습니다.
이 글에는 발표 내용과 자료 PDF까지 함께 담았습니다. 각자의 자리에서 실험 문화를 만들어가고 계신 다른 데이터 조직 분들께 작은 참고가 되길 바랍니다.
어떤 행사인가요?
한국경영정보학회(회장 이동원 고려대 교수님)가 주최하는 국내 최초의 비즈니스 실험 중심 심포지엄입니다. 영어로는 Korea Business Experimentation Symposium이라는 이름이 붙었어요.
실무 현장에서 인과추론과 데이터 기반 의사결정을 위해 가장 널리 쓰이는 도구는 A/B 테스트와 현장 실험입니다.
그런데 그동안 국내에서는 기술 중심이나 플랫폼 관점의 행사는 종종 있었지만, ‘실험 조직 문화, 실무적 적용’를 다루는 자리는 드물었습니다. 이번 심포지엄에서는 조직 문화 트랙까지 포함되어 있어 더 반가웠습니다.
저는 특히 아래 두 가지 이유에서 이 행사가 특별하게 느껴졌습니다:
- 데이터 기반 의사결정과 비즈니스 관점에서 A/B 테스트와 인과추론을 이야기하는 점
- 연구자와 실무자들이 함께 모여, 실험 문화와 방향성을 교류한 점
네트워킹에서 평소 뵙지 못했던 다양한 연구자 분들을 만나뵙고 이야기 나눌 수 있어 좋았습니다.
심포지엄 기획진과 운영진분들 덕분에 전체 행사 흐름도 매끄러웠고, 중간 네트워킹 시간에 진행된 빙고 프로그램 덕분에 어색하지 않게 서로 연결될 수 있었던 점도 인상 깊었습니다.
어떤 내용을 공유했나요?
A/B 테스트의 실무적 적용 섹션 아래에서, 대규모 검색 서비스에서 ‘누구나 실험할 수 있는 조직’을 만들기 위한 셀프서브 실험 프로세스 정착기를 담았습니다.
총 4가지 목차에 나누어서 내용을 설명합니다.
1. 셀프 서브 : 실험 설계부터 분석까지 실무자가 주도하는 사이클 도입
검색 서비스에서 실험의 양이 늘어나고 서비스 복잡도가 가중되며, 실무자가 직접 설계하고 분석까지 이끄는 셀프서브 체계가 필요해졌습니다.
저희 팀의 A/B 테스트 플랫폼인 ABT Portal을 중심으로 실험 설계–모니터링–분석–재실험까지 전 과정을 자율적으로 운영할 수 있게 Ecosystem을 함께 꾸려두었습니다.
2. 대규모 검색 서비스의 통합 분석에 특화된 플랫폼
검색 지면은 한정되어 있지만 수많은 서비스가 공존하고 있어, 실험의 성과를 공정하고 다각적으로 측정하기 위한 통합 지표 체계가 필요했습니다.
ABT Metric Store를 통해 실험 목적과 제품 변화 범위, 변화 방식에 따라 지표를 구조화하여, 실무자가 스스로 실험 설계 단계에서 Key Metric을 설정하고 분석할 수 있는 시스템을 마련했습니다.
이외에도 사용자 관심을 여러 블록이 공유하다 보니 발생하는 Cannibalization 이슈에 대응할 수 있는 추가 분석 또한 플랫폼에 담았습니다.
3. 대규모 검색 서비스의 질의 단위 개선에 특화된 플랫폼
검색 서비스는 ‘질의’ 단위로 개선되는 경우가 많아, 실험군 대조군 전체 지표로 집계했을 때에는 성과가 드러나지 않는 경우가 발생합니다.
이 문제를 해결하기 위해 MARS, QIP 등 질의 단위 심화 분석 플랫폼을 구축하고 활용해 왔습니다.
4. 지속적 교육의 중요성
플랫폼이 런칭되어도, 실제로 ‘쓰이게’ 만들기 위해선 맞춤형 교육과 소통이 필수입니다.
파트너 데이, 셀프서브 세미나, 플랫폼 런칭 공유회 등 다양한 규모의 교육을 통해 실험 문화가 조직에 자연스럽게 스며들도록 팀 차원으로 노력해왔습니다.
발표 자료 다운로드
이 자료에 담은 발표 내용은, 수년간 DnA 팀이 검색 서비스라는 복잡한 환경 안에서 ‘누구나 실험할 수 있는 조직’을 만들어가는 과정에서 쌓아온 배움의 기록이기도 합니다.
아직 저희도 그 과정 안에 있지만, 실험과 데이터 기반 의사결정이 일부 전문가만의 것이 아니라, 모두가 활용할 수 있는 일상의 도구가 되기를 바라는 마음으로 자료를 공유드립니다.
발표 자료 전문은 아래에서 확인하실 수 있습니다. 작게나마 다른 팀들의 고민에 닿을 수 있다면 기쁘겠습니다.
