詳解ディープラーニング 著者巣籠さん質問会

詳解ディープラーニングという本の読書会が行われていたのだが、その最後に著者の巣籠さんへの質問会があった。

詳解 ディープラーニング ~TensorFlow・Kerasによる時系列データ処理~

その中で、Deep Belief NetsとStacked Denoising Autoencodersの歴史に触れてくださった。

DBNとSdAは事前学習のフェーズがあり、以前は流行っていた。

しかしその後Dropoutや、ReLU、Adamなどの手法が生まれ、DBNやSdAを用いずとも精度が出るようになった。またSdAは計算量が多い。

ただ最近、AutoencoderはVariational Auto Encoders(VAE)という形で用いられており、復活しているとのことだった。

AILの授業でもSdAを途中から用いなくなっていたが、その背景を伺えて良かった。