【DeepLearning】cs231nで紹介されていたRegularization

cs231nの動画をちょくちょく見ているのだが、Lecture7でRegularizationについて紹介されていて、初めて聞く手法があったのでメモ。

• Dropout
• Batch Normalization
• Data Augmentation
• Drop Connect : Dropoutと似ているが、ニューロン単位でオフにするのではなく、コネクト単位でランダムにオフにする
• Fractional Max Pooling:Max Poolingをする際に、そのregionをランダムに変更する。
• Stochastic Depth:layerをランダムに削除する。テストの際には全てのlayerを用いる。

batch normalizationは使うべき。それだけで十分なことが多いが、十分でなければ他も追加すべき、とのこと。