ML入門（十二）SGD, AdaGrad, Momentum, RMSProp, Adam Optimizer

Published in

程式設計之旅

8 min readSep 24, 2019

簡單回顧

在ML入門（十）Gradient Descent有介紹什麼是SGD，就是只對一個example的loss做計算，求梯度最小值。也介紹什麼是Adagrad，就是每次更新的𝜂就是等於前一次的𝜂再除以𝜎^t，而 σ^t則代表的是第 t 次以前的所有梯度更新值之平方和開根號(root mean square)。

RMSProp

從下面這張可以看到，沿著同一個方向的梯度變化是非常大的，只用AdaGrad是不行的。這邊介紹的方法叫做RMSProp，每一次更新learning rate時，分母所除的σ都與前一次的有關係，調整上面多了一個參數 𝛼，可以自由調整新舊gradient的比重（影響力）。

Momentum

momentum就是慣性或動量的意思，利用物理的概念做更新。如下圖所示，藍色線是位移，而綠色線代表就是momentum，它可以解決停在local minimum的問題。如第二張圖所示，當球滾到最右邊的時候，gradient告訴我們的方向是往左，可能會卡在local minmum的地方，但是如果加上momemtum是有可能可以往右前進，突破local minmum。

Adam

Adam其實就是加了momentum的RMSProp，下圖的公式mt代表的是momentum，就是前一個時間點的movement（可以參考上面momentum的介紹），vt就是RMSProp裡的σ，式子雖然看起來很複雜，但其實跟RMSProp很類似，每次更新都會調整新舊gradient的比重。所以Adam繼承兩者的優點，適合大部分的狀況，為目前最常使用的優化方法。

簡單實作

f(x, y) = 0.1x² + y²

import matplotlib.pyplot as pltfrom sklearn 
import datasetsimport numpy as npfrom sklearn.preprocessing 
import StandardScalerfrom sklearn.model_selection 
import train_test_splitfrom sklearn.svm import SVC
from sklearn.metrics import accuracy_score
from matplotlib.colors import ListedColormapdef plot_decision_regions(X, y, classifier, test_idx=None,   
      resolution=0.02):
      markers = ('s', 'x', 'o', '^', 'v')    
      colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')    
      cmap = ListedColormap(colors[:len(np.unique(y))])      x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1              
      x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1 
      xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),          
                 np.arange(x2_min, x2_max, resolution))      z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)         
      z = z.reshape(xx1.shape)    
      plt.contourf(xx1, xx2, z, alpha=0.4, cmap=cmap)      
      plt.xlim(xx1.min(), xx1.max())    
      plt.ylim(xx2.min(), xx2.max())      X_test, y_test = X[test_idx, :], y[test_idx]    
      for idx, cl in enumerate(np.unique(y)):        
          plt.scatter(x=X[y == cl, 0], y=X[y == cl, 1], alpha=0.8,   
          c=cmap(idx), marker=markers[idx], label=cl)      if test_idx:
          X_test, y_test = X[test_idx, :], y[test_idx]           
          plt.scatter(X_test[:, 0], X_test[:, 1], c='', alpha=1.0,           
                      linewidth=1, marker='o', s=55)      def main():    
          iris = datasets.load_iris()    
          X = iris.data[:, [2, 3]]    
          y = iris.target    
          X = np.array([m for m, n in zip(X, y) if n != 2])      
          boolarr = y != 2    
          y = y[boolarr]     
          
          X_train, X_test, y_train, y_test = train_test_split(         
                      X, y, test_size=0.3, random_state=0)     
          sc = StandardScaler()    
          sc.fit(X_train)    
          X_train_std = sc.transform(X_train)    
          X_test_std =   
          sc.transform(X_test)          svm = SVC(kernel='linear', C=1.0, random_state=0)       
          svm.fit(X_train_std, y_train)    
          y_pred = svm.predict(X_test_std)     
          print("Misclassified smaples: %d" 
                % (y_test != y_pred).sum())    
          print("Accuracy: %0.2f" % accuracy_score(y_test, y_pred))         
          X_combined_std = np.vstack((X_train_std, X_test_std))       
          y_combined_std = np.hstack((y_train, y_test))      
          plot_decision_regions(X=X_combined_std, y=y_combined_std,    
              classifier=svm, test_idx=range(50, 100))       
          plt.xlabel('sepal length [standarlized]')      
          plt.ylabel('petal length [standarlized]')      
          plt.legend(loc='upper left')    
          plt.show()