化學資訊學入門與實作:線性回歸模型的介紹與應用(續篇)
在「化學資訊學入門與實作:線性回歸模型的介紹與應用」文章中,我們建立了使用線性模型來預測化合物的溶解度。特別是
- 當特徵較多時,OLS (Ordinary Least Squares) 很容易對訓練資料進行過擬合 (over-fitting)。
- 正則化可以抑制過擬合 (over-fitting) ,其模型包括 Ridge 回歸和 Lasso 回歸。
- 若要控制正規化程度,請變更超參數 α
這次,我們會介紹如何使用一種稱為 Elastic Net 的線性模型來建立更有效率、更可靠的模型,該方法結合了 Ridge 和 Lasso 正則化方法。
什麼是 Elastic Net
Elastic Net 是一個結合了使用 Ridge 回歸的 L2 正規化和使用 Lasso 迴歸的 L1 正規化的模型。 成本函數為
- α 為正規化程度
- r 是 L1 正規化和 L2 正規化的混合比例
兩者都是 Elastic Net 的超參數。
我們可以使用 scikit-learn 中的 sklearn.linear_model 找到 Elastic Net 模型。
利用 RDKit 與 scikit-learn 中 Elastic Net 模型進行 QSPR 建模
先導入需要用到的一些 library 並將 ESOL 數據集載入為 pandas.DataFrame。然後利用 PandasTools.AddMoleculeColumnToFrame 把 DataFrame 中 smiles 格式的分子轉換回 Mol 的形式。
from rdkit import rdBase, Chem
from rdkit.Chem import AllChem, Draw, PandasTools
from rdkit.Chem.Draw import IPythonConsole
import pandas as pd
import numpy as np
df = pd.read_csv('esol.csv')
PandasTools.AddMoleculeColumnToFrame(frame=df, smilesCol='smiles')
接著我們得將分子轉換成數值的形式,才能進行建模。我們利用 RDKit 來計算 Morgan fingerprint 。子構造範圍設定為 radius = 2,向量長度為 1024 位元。然後將資料分割成 training data 和 test data。
from sklearn.model_selection import train_test_split
morgan_fps = []
for mol in df.ROMol:
fp = [x for x in AllChem.GetMorganFingerprintAsBitVect(mol, 2, 1024)]
morgan_fps.append(fp)
morgan_fps = np.array(morgan_fps)
target = df['measured log solubility in mols per litre']
X_train, X_test, y_train, y_test = train_test_split(morgan_fps, target, random_state=0)
由於 Elastic Net 的兩個超參數 ( α 和 r ) ,不像 Lasso 和 Ridge 只有一個超參數,我們需要更有效率的方法來找到好個超參數。
同時搜尋多個超參數最加值的的方法之一稱為 grid search。就我們這次要處理的 Elastic Net 而言,
- α 為正規化程度
- r 是 L1 正規化和 L2 正規化的混合比例
這兩個是超參數,因此我們將使用二維 grid search 進行搜尋。例如,如果我們嘗試 α 的 m 值和 r 的 n 值,將獲得 mn 精度,如下所示。
使用 scikit-learn 進行交叉驗證和 grid search 來找到 Elastic Net 的最佳超參數
我們先來測試一下 scikit-learn 的 K-fold 交叉驗證 (K-fold cross validation)。這將 Train data 分成 k 等分,在每個等分中,使用 validation data 進行評估,其餘資料進行訓練。一邊改變 validation 資料組,一邊重複 k 次。下圖展示了分為 5-fold 的情況。
我們可以使用 cross_val_score 函數執行 K-fold 交叉驗證。透過給參數 cv 指定一個數字來指定分割數。在下面的範例中,我們使用 Elastic Net 建立模型,其中固定超參數 α=0.01 和 r=0.5。
from sklearn.linear_model import ElasticNet
from sklearn.model_selection import cross_val_score
elastic = ElasticNet(alpha=0.01, l1_ratio=0.5, max_iter=100000)
scores = cross_val_score(elastic, X_train, y_train, cv=5)
print(scores)
print(scores.mean())
我們可以看到各次分割的結果,與平均的精度大約是 0.617。
[0.67382501 0.55513782 0.5889573 0.63374234 0.63322449]
0.6169773933600153
接下來,我們使用 scikit-learn 的 GridSearchCV 輕鬆執行 grid search。使用 param_grid 指定要搜尋的超參數組合。
在下面的程式碼中,指定了 6 種 alpha 值和 5 種 l1_ratio 值。我們對每個組合使用 5-fold 交叉驗證,因此我們總共建立模型 150 次。scikit-learn 的 GridSearchCV 可以像其他 scikit-learn 模型一樣使用 fit 進行訓練。
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import ElasticNet
param_grid = {'alpha': [0.001, 0.01 , 0.1 , 1 , 10 , 100 ],
'l1_ratio':[0 , 0.25, 0.5, 0.75, 1 ]}
grid_search = GridSearchCV(ElasticNet(), param_grid, cv=5)
grid_search.fit(X_train, y_train)
可以使用 best_estimator_ 屬性存取訓練模型中給出最佳結果的模型。
此外,grid search 中的每個結果都可以透過 cv_results_ 獲得。下面的程式碼可取得平均交叉驗證分數,並取得按 alpha 和 l1_ratio 值排列的 6 x 5 numpy 陣列。
grid_scores = pd.DataFrame(grid_search.cv_results_)
scores = np.array(grid_scores.mean_test_score).reshape(6,5)
print(scores)
[[ 0.46681848 0.48502001 0.49381307 0.49249807 0.47911603]
[ 0.62415735 0.62453279 0.61697739 0.59958666 0.58493841]
[ 0.53461051 0.41932138 0.33465974 0.26738956 0.21386826]
[ 0.2368658 0.02011901 -0.01353982 -0.01353982 -0.01353982]
[ 0.03143361 -0.01353982 -0.01353982 -0.01353982 -0.01353982]
[-0.00859139 -0.01353982 -0.01353982 -0.01353982 -0.01353982]]
由於陣列的結果不好確認,我們對每個 grid 的分數進行可視化,然後可以發現,
- 無論 l1_ratio 如何,較大的 alpha 值都會導致較低的分數。
- 從best_estimator_可以看出,alpha=0.01,l1_ratio=0.25 的效果最好。
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
mat = ax.matshow(scores,cmap='Reds',alpha=0.8)
fig.colorbar(mat)
ax.set_xticks(range(5))
ax.set_xticklabels([0, 0.25,0.5,0.75,1])
ax.set_xlabel('alpha')
ax.set_yticks(range(6))
ax.set_yticklabels([0.001, 0.01,0.1,1,10,100])
ax.set_ylabel('l1_ratio')
使用 scikit-learn 的 ElasticNetCV 類別進行 grid search
上述使用 GridSearchCV 進行超參數篩選是一種通用方法,可用於任何機器學習模型。
另一方面,scikit-learn 也提供了一些函數,可以對某些機器學習演算法使用交叉驗證自動篩選超參數。透過使用 ElasticNetCV ,可以自動執行交叉驗證來篩選 alpha 和 l1_ratio ,找到最佳超參數。
在下面的程式碼中,我們設定 6 個 alpha、5 個 l1_ratios,並使用 cv=5 執行交叉驗證。獲得的最佳超參數可以分別透過 alpha_ 和 l1_ratio_ 存取。它還將自動建立一個使用這些超參數使用所有資料進行訓練的模型。
from sklearn.linear_model import ElasticNetCV
elastic_cv = ElasticNetCV(alphas = [0.001, 0.01 , 0.1 , 1 , 10 , 100],
l1_ratio = [0 , 0.25, 0.5, 0.75, 1],
cv=5)
elastic_cv.fit(X_train, y_train)
print(elastic_cv.alpha_, elastic_cv.l1_ratio_)
print('train score: {:.3f}'.format(elastic_cv.score(X_trainval, y_trainval)))
print('test score: {:.3f}'.format(elastic_cv.score(X_test, y_test)))
0.01 0.25
train score: 0.791
test score: 0.625
結語
這次,我們用 ESOL 數據簡單地構築了 QSPR 模型,並使用交叉驗證來優化 Elastic Net,也介紹完了各種線性回歸的基本概念。之後,我們會開始介紹一些常用的非線性模型,來建構更好的 QSPR 模型。