ニューラルネットに1x1 Convolutionを入れる意味

大きく2つの意味があるようだ

• 次元削減
• ネットワークに非線形の追加

参考資料は下記。

PyData.Tokyo meetup #13 数理モデリングから始めるPython数理最適化

数理モデリングから始めるPython数理最適化 に参加してきた。

転移学習

転移学習というキーワードを目にすることが多い。よくわからないので、まとめてみる。

下記のページを参考にさせて頂いた。本ページより下記のページを見るのが良い。

Sequence to Sequence Model とは

ある翻訳元の単語列を入力とし、異なる長さの翻訳先の単語列を出力する手法。

まず、翻訳元の単語列をLSTM(Encoder)で読み取り、隠れ変数を計算する。

その隠れ変数をDecoderに設定し、<EOS>を入力して1単語目を獲得。

<EOS>が出るまで、n-1番目の単語を入力してn単語目を獲得。

AIL第1回講義の松尾先生の資料より。DeepLearningの勉強の進め方の抜粋

入り口:「人工知能は人間を超えるか」(拙著)

読み物:「人間さまお断り―人工知能時代の富と仕事の手引き」(Jerry Kaplan, 近刊)

教科書:「深層学習」(岡谷貴之)

教科書:”Deep Learning” (Y. Bengioら、MIT pressから来年出版。翻訳を出版予定)

Kaggleに挑み始めている

が、進まない。

• どのようなモデルを組めば良いか、あまり思いつかない
• 思いついてもそれを実装しようとして、メモリ不足に陥り手が止まる

といったことが起きている。

ただここで基礎を固めようとして書籍読み始めるといつまでたっても取り組めない気がするので、引き続き挑み続けたいと思う。

タブラとタップダンスで共通して感じたこと

• ある特定の動作に対して、固有の名称がついてない
• それらが紙に落とされておらず、口伝

これらによって、学習コストが上がっている気がする。

名称がついてないのは記憶するという点できつい、個人的に名前をつけたほうがいいんじゃないかという気さえしている。

紙に落とすのはきついのかな、せめて映像撮らせてくれれば楽なんだけども。

ショッタノンド・ダス・バウルさんのライブ

先日、インド ベンガル地方のアーティスト、ショッタノンド・ダス・バウルさんのライブにいってきた。

書籍「現場ですぐ使える時系列データ分析」を読んで、ビットコインデータに当てはめてみる

下記の書籍を読んだ。