【DeepLearning】DropoutとInvertedDropout

DropOutとは

DropoutはDeepLearningの学習時に、各隠れ層のユニットの何割かランダムに削除しする手法。（何割残すかを keep_prob というパラメータで示すことが多い）

これを行うことで、Varianceを減らすことができる。様々な構造のネットワークで学習していることになるため、一種のアンサンブル学習と言える。

AtCoderで自分が解いた問題を一覧化してくれるサイト

時折AtCoderを解いてます。AtCoderをやっていると、自分が解いてない問題はどれか、わからなくなることがあると思います。

自分が解いた問題を一覧化してくれるサイトがありました。

プログラミングテスト Codility

Web上で受けることができるCodingテスト、Codilityのサンプルを解いてみた。下記から解くことができる。

考える技術・書く技術

名前は知っていたが、読んでなかった書籍「考える技術・書く技術」を購入した。

機械学習の理論と実装力

ある企業で研究開発されてる方に、研究開発職として働く方には、最新の理論の知見、実装力またはその両方が備わっていることが多い、というお話を伺った。

どちらかというと実装寄りで進めつつ、最新理論についても把握はしている、というようになりたいな。

ということで実装しないと。月1プロダクト作ることを目標にしよう・・・かな。12月はBTC Botになりそう。

CourseraのNeural Networks and DeepLearning修了

Andrew先生の授業の1つ目のCourseを終えた。

np.zerosとnp.random.randnの引数を間違える

同じ5行5列を作ろうとしても、引数が違うという。

> np.zeros([3,3])

array([[ 0.,  0.,  0.],
       [ 0.,  0.,  0.],
       [ 0.,  0.,  0.]])

np.zeros は引数をリストで渡す。

> np.random.randn(3,3)

データを取得するたびにレコード数が増減し困った

当然なのですが、気づくのに時間がかかったためメモ。

今、機械学習を用いたbotを作成している。その過程は、

1. APIでデータ取得
2. データの整型
3. 整型したデータを用いてモデルの学習
4. 学習済みモデルを用いて予測