尤度関数とクロスエントロピー誤差関数

巣籠先生の「詳解 ディープラーニング」 を読んでます。

numpy.einsum

numpyにはeinsteinの縮約記法で計算を行う、 np.einsum がある。

Pythonの高速化にはNumba(jitコンパイラライブラリ)が良いらしい

ある会社さんが企画している、Kaggle勉強会に参加してきた。参加者は未経験の方が多かった。

1人でTitanicをゼロからやってみたが、3時間程度で、0.77ぐらいの精度まで行けた。以前と比べたら少しはスキルが身についたな、という印象。

そこで伺った話で興味深かったのが、”Numba”というライブラリ。

確率分布の選び方

代表的な確率分布についてまとめる。

ポアソン分布

• 離散
• ゼロ以上、上限特になし
• 平均≈分散

二項分布

• 離散
• ゼロ以上で有限の範囲
• 分散は平均の関数

PCAとは

PCAとは、主成分分析（Principal Component Analysis)のこと。

様々な分野で使用されている教師なし線形変換法であり、最も用いられるタスクは次元削減

PCAの目的は、高次元データにおいて分散が最大となる方向を見つけ出し、元の次元と同じか、それよりも低い次元の新しい部分空間へ射影すること。

単純なステップは下記

1. d次元のデータセットを標準化する（特徴量を標準化しないと、等しい重要度が割り当てられない）

Tensorflow/magentaのPerformance RNNを試した

久しぶりにTensorFlow magentaを触った。PerformanceRNNというのが出てたので試して見た。

出来上がったのは下記。

固有値、固有ベクトルとは

昨日PCAについて調べていて出てきた固有値・固有ベクトルというキーワードについて調べてみた。というか、この辺一度は勉強したはずなのに忘れてるな。。

またもや、kenmatsu4さんのQiitaの記事。動画にしてくださっててありがたい。

Fine Tuningとは

Fine Tuningとは、他のデータセットですでにトレーニングされたモデルのWやbなどを用いることで、より早く学習を進めること。

大きなデータセットでトレーニングされたものだと、隠れ層で最初からすでに一般的な視覚的な刺激に対して十分な特徴量を抜き出せると期待できる。

また、共変量シフトが抑えられるため、重み更新が共変量シフトの追従に費やされなくなり、より精緻な係数の設定が進む。

参考

分散共分散行列について

まず共分散について。

あるたくさんのxについて、それぞれ特徴量aとbがあった際に、共分散は

1/n * Σ_i (a -μ_a)(b-μ_b)

で計算できる。

そして、分散共分散行列は、あるたくさんのxのd個の特徴量について、全ての組み合わせで共分散を求め、それをd×dの行列に収めたもの。