DNNにおける「予測の不確実性」をとらえる手法

7/19のarXivTimes輪講では、DNNにおいて「予測の不確実性」をモデリングする手法について取り上げました。不確実性を呼び起こす要因をモデル化することで、医療診断や自動運転、またトレードなどで致命的な失敗が起こる可能性をハンドリングすることがモチベーションとなります。

Uncertainty in Deep Learning

不確実性をモデリングする場合、通常はBayesian的な手法を使います。DNNではBayesian DNNといった形で実装が可能ですが、この場合最適化が難しいという問題があります。

この研究では、端的には「普通のDNNでもDropout等の確率的な正則化を加えることでBayesianとみなせる」ということの証明に取り組んでいます。本研究では以下2つの不確実性を定義していますが、DNNの予測結果これら2つを推定する方法までが書かれています。

• Epistemic uncertainty: 「未学習」による失敗。学習すれば改善する
• Aleatoric uncertainty: 環境自身の不確かさで、学習しても改善しない

Deep and Confident Prediction for Time Series at Uber

こちらは、上記の不確実性のモデリングを実際に活かしてみたといった形になります。対象となっているのは、Uberにおける利用回数の予測です。

モデルの不確実性(Epistemic)はMC Dropoutで(ちなみにこの手法を提案しているのも上述の論文の著者Yarin Galさんです)、データの不確実性(Aleatoric)は実際/予測の二乗誤差を分割したデータセットごとに計測し、その平均から推定しています。これにより、予測した結果が推定した「不確実性」の幅からどれくらい出ないかを検証しています。

At the End

arXivTimesでは、論文輪講のメンバ及びarXivTimesへの投稿をお待ちしております(投稿上でのディスカッションなどもできればと思っています)。興味をお持ちの方は、Twitterのメンションでぜひご連絡ください。

arXivTimes (@arxivtimes) | Twitter