優化演算(1): mini-batch gradient descent

小批次梯度下降 (mini-batch gradient descent)

若拿整個訓練集做梯度下降演算法時，必須處理過所有的訓練資料，才能踏出梯度下降的一小步，然後你必須再處理過整個訓練集。例如有五百萬筆資料，每處理完五百萬筆，才能再踏出梯度下降的另一小步。

一個更快的方式是，把訓練集分割成比較小的， 一堆小小的資料集，我們稱他們稱為 "mini-batches"…

正則化神經網絡(1): Regularization

如果懷疑設計的神經網路overfitting(high variance問題)。第一件事情應該
要做的可能是正則化。得到更多資料也行，但代價可能很貴。

Activation Function: ReLU & Maxout

在deep network中，以往我們常用Sigmoid來做activation function。Sigmod是為了讓網絡對於，輸入變化不要太敏感，並增加網路的非線性。但如果網絡太深，我們常常會遭遇到梯度消失問題。

Hyperparameter tuning

超參數調校順序，依吳恩達所建議，排列如下:

• α：學習因子
• β：動量梯度下降因子
• mini-batch size：批量訓練樣本包含的樣本個數
• learning rate decay：學習因子下降參數
• hidden units：各隱藏層神經元個數

下單時注意事項

下單時須注意的細節： 公司股票代號 買入或賣出 想要購買/賣出的股數 確定成交價格 有無附加條件

美股交易的4種形式：

1、Market Order 市價單：以當下的市場價格買賣。

2、Limit Order 限價單：提供一個成交價格，不保證交易一定成功。分為Buy和Sell兩種。