優化演算(1): mini-batch gradient descent

小批次梯度下降 (mini-batch gradient descent)

若拿整個訓練集做梯度下降演算法時，必須處理過所有的訓練資料，才能踏出梯度下降的一小步，然後你必須再處理過整個訓練集。例如有五百萬筆資料，每處理完五百萬筆，才能再踏出梯度下降的另一小步。

一個更快的方式是，把訓練集分割成比較小的， 一堆小小的資料集，我們稱他們稱為 "mini-batches"…

正則化神經網絡(1): Regularization

如果懷疑設計的神經網路overfitting(high variance問題)。第一件事情應該
要做的可能是正則化。得到更多資料也行，但代價可能很貴。

Activation Function: ReLU & Maxout

在deep network中，以往我們常用Sigmoid來做activation function。Sigmod是為了讓網絡對於，輸入變化不要太敏感，並增加網路的非線性。但如果網絡太深，我們常常會遭遇到梯度消失問題。

Hyperparameter tuning

超參數調校順序，依吳恩達所建議，排列如下:

• α：學習因子
• β：動量梯度下降因子
• mini-batch size：批量訓練樣本包含的樣本個數
• learning rate decay：學習因子下降參數
• hidden units：各隱藏層神經元個數

下單時注意事項

下單時須注意的細節： 公司股票代號 買入或賣出 想要購買/賣出的股數 確定成交價格 有無附加條件

美股交易的4種形式：

1、Market Order 市價單：以當下的市場價格買賣。

2、Limit Order 限價單：提供一個成交價格，不保證交易一定成功。分為Buy和Sell兩種。

怎麼開始學AI

從2017年底開始自學AI，到報考學校學習至今。在這個時間點，我感覺終於有些領悟了。記錄一下當前的心得，也分享一些建議給和我一樣想學的人。

首先，透過完整網路課程自學，絕對是首選方法。但怎麼選擇適合的課程？

1. 我建議先專心聽講師的第一堂課再決定:
   通常第一堂是概論。基本上就像工作五年後去面試一樣，我覺得10分鐘內馬上就知道是否合適。不喜歡換就是了，網路上的評價再高也一樣。
2. 接著上個兩週進度的課程，感受一下老師對於課程安排的用心。如…