リサーチの試行錯誤 -新規流入ユーザー予測編-

初めに

アクセスいただき、ありがとうございます。

DeNAゲーム事業部の松本祥三と申します。

本記事では、リサーチを用いて、まだ開発（企画アイディア）時点で新規流入ユーザーを予測するために、リサーチで試行錯誤しているお話をさせていただければと思います。

まずは、私の部署の宣伝をさせてください。
ざっくり言うと、マーケティング施策を含むゲームの新規開発の成功確率向上と、ユーザー視点に基づくゲームのUX改善をミッションとした部門です。開発時点なのでユーザー様の行動データがないのでリサーチがファクトとして重要になっています。

本稿が参考になりそうな方

本稿は以下のような方々に楽しんでいただけるのではないかな、と思っています。

・リサーチをやっているが定型が多く、新しいチャレンジを模索している方

・企画提案の際に売上予測や顧客数予測で苦労されている方

・分析手法全般に興味がある方

上記にあてはまらない方も回れ右せずにぜひ読んでもらえると嬉しいですｗ

サマリー

最初にも記載しましたが、今回は、開発（企画アイディア）時点で新規流入ユーザーを予測するために、リサーチで試行錯誤しているお話です。

簡単にまとめると、以下のような内容を記載します。

・今までの考え方は、市場を細分化し、ポテンシャルを測るものだった。
・上記はポテンシャルであり、一部の職人技で補正して新規流入を予測している。
・調査結果からそのまま新規流入が予測できるように調査方法を変えてみた。

これまでのやり方のお話

DeNAでは新規開発のゲームにおいて、企画（コンセプト）段階からそのゲームの売上予測を行います。そのためにリサーチで新規流入ユーザー数を予測していました。

簡単に述べると今までのやり方は以下の通りです。

①コンセプトとターゲットを設定する
②リサーチでターゲットの市場規模とターゲット毎のコンセプト評価をとる
③市場に存在するターゲット人数とコンセプト評価、DeNAのこれまでの知見から新規流入を割り出す。

このプロセスで何が重要になるか。
はい、もちろん、全部重要ですｗ
が、あえて今回の話にフォーカスすると、「DeNAのこれまでの知見」になります。
どんなに精密なターゲット設定とコンセプトによって、よいリサーチ結果が出たとしても「知見」が使えないものだと、予測は大きくぶれます。
しかし、アプリゲーム市場は2012年ごろから盛り上がってきた8年程度の市場です。
そのうえ、日本のゲーム会社が海外にゲームを出すようになってからはどの程度でしょう？
しかも、「知見」は当然ながらDeNAのゲームに限られます。
そう、とっっても少ないのです。事例が。
しかも事例が限られるうえに、一言でゲームといっても、様々なゲーム、国があります。
・RPGと格闘ゲーム、リズムゲームは同じ知見で考えていいのか？
・初めてゲームを出す国はどう考える？
などなど、課題がありました。

結果的に、市場ポテンシャル（ターゲットの最大人数規模）はリサーチで精度高くわかるが、新規流入を予測することは難しい、というのが分析としてもスタンスでした。
（とはいえ、なんとかいろんなデータなどを組み合わせて新規流入を予測するのですが）

課題

前項でも触れておりますが、これまでのやり方の大きな課題は、「調査結果から新規流入数の予測は一部の職人技に依存する」うえに「その精度が不明瞭」であることです。

つまり職人の退職など属人的なリスクがありますし、精度（およびその向上）も職人に依存します。
組織として理想的とは言えない状況ではないでしょうか。
ということで何とかしたいと思い、改めて課題感をまとめてみることにしました。

そもそも、なぜ新規流入ユーザー数を予測する必要があるのか？
→その企画に投資する価値があるかどうかを判断するため

新規流入ユーザー数を予測できればいいのか？
→獲得方法もセットで考えられないとリリース（上市）前には役に立たない

つまり、すべての企画で同じ方法で予測されているため、横比較ができる状態で意思決定することができ、その予測に現実を近づけるための情報を取る必要がある、と考えました。（改めて書くと当たり前なのですが、これが難しいのです。）

新しいやり方への挑戦

では、新しいやり方のお話です。上記の課題に答えるためには、職人の介在余地をなくさなければなりません。

つまり、これまでのような市場ポテンシャル（ターゲットの最大人数規模）だけでなく、新規流入ユーザー数までリサーチで完結する必要があるのです。

当時検討した方法は以下３つです。
・アンケート回答者ごとに新規流入確率を算出する
・論理式（獲得数＝プロモーション量×質）で算出する
・購買フローに則って分析していく

それぞれメリットデメリットがあるのですが、「アンケート回答者ごとに新規流入確率を算出する」を採用しました。（この経緯は割愛。反響があれば書くかもしれませんｗ）

イメージはこんな感じです。

「アンケート回答者ごとに新規流入確率を算出する」の考え方は以下の通りです。

従来はコンセプト評価が同じ人は同列に扱っていた。
しかし、普段のゲームをやっている本数や新しいゲームを始める頻度などに応じて、同じ回答でも、コンセプトで提示しているゲームをインストールするか否かは異なるのではないか。
上記の仮説のもと、回答者ごとの背景に応じて、新規流入するか否かを予測すれば精度があがるのではないか？
この考えのもと、あとはひたすら変数と係数を考える作業です。
つまり、
アンケート回答者がゲームを始めてくれるかどうかは、コンセプト評価と「○○」、「××」、「△△」が影響している。
というところの記号部分とその記号ごとが与える影響度です。

ここから先は社外秘の情報も多いので、出せない情報もございます。
そのため、わかりにくいかもしれませんがご容赦いただけますと幸いです。

さて、スマートフォンゲームを遊ばれる方にはぜひ想像いただきたいのですが、何が影響していると思いますか？
私が考えたものの一部を公表させていただきます。
・スマートフォンゲームを遊ぶ頻度
・新しいスマートフォンゲームをインストールする（遊ぶ）頻度
・情報感度（ゲームの情報にどの程度触れているか）
などなど10個くらい変数を設定しました。
ここからが難題です。それぞれの係数（どの程度影響しているか）をどのように設定するか。

どうやったか。ぶっちゃけた話、最初は感覚でしたｗ
しかし、それでは職人技と変わりません。
そのため、この「感覚値」を「実績」に近づける必要があります。
ということで、もうすぐリリース（上市）されるゲームでこの方法の実験を行いました。
その後、そのゲームがリリース（上市）されたあとに、実際にインストールしたか（遊んだか）を追跡調査しました。
その結果やこれからの結果などをもって係数はアップデートしている最中です。

もちろん、最初に述べた通り、いろんなゲームジャンルやここでは触れていない各国ごとのアンケート回答ごとの特性を補正するなど、様々な試みがこの中には含まれております。
とはいえ、圧倒的事例不足により、残念ながら道半ばであるのが正直なところですが…
とはいえ、この方法によって、すべての企画で同じ方法で予測されているため、横比較ができる状態（精度向上中）までいたりましたとさ。めでたしめでたし。です。

嘘です。

先ほどの課題で記載した「その予測に現実を近づけるための情報」に触れてないですね。
ここに関しては実は特別変わったことはしておりません。そのため簡単に記載します。
・普段ゲームの情報はどこから入手しているのか
・ゲームをインストールする（遊ぶ）きっかけはなにか
といったユーザーのインストール（遊び始める）までの導線をアンケートやインタビューにて明確化するためのフローを整備した、という感じです。
（すでに結構な長さなので、詳細は割愛します。反響があれば、、、）
これでようやく、本当にめでたしめでたしです。

最後に

ここまでお付き合いいただき、ありがとうございました。

少しでも読んでいただいた方の参考になったり、知的好奇心を刺激できていたりすれば、こんなにうれしいことはありません。
ここまで偉そうに書いてきましたが、途中にも記載した通り事例が圧倒的に少ないのです。
昨今のスマートフォンゲームは企画からリリース（上市）まで3年以上かかることも多いです。この方法もPDCAサイクルが回っているとはいい難いです。
そのため、これも完ぺきとは言えないかもしれません。
実際、変数や係数でまだまだ試行錯誤を繰り返しています。
ただDeNAではリサーチャー発信で会社の意思決定を向上させるために日々格闘しているということが伝わっていれば幸いです。

改めてお付き合いいただき、ありがとうございました。