【AIプログラミング】Lasso回帰でパラメータを変化させてみる

Lasso回帰でもalphaというパラメータが存在していて、この値を大きくすると、過学習を防ぐように働くとのことです。alphaの値が大きいと、どのように重みが変化しているのかをボストンの住宅価格データでみてみました。また、以前行った手動での特徴量選択と比較してみたいと思いました。

特徴量選択については、こちらの記事もご参考ください。

こんな人の役にたつかも

・機械学習プログラミングを勉強している人

・scikit-learnのLasso回帰の勉強をしている人

・scikit-learnnのLassoCVについて知りたい人

プログラムで確認してみよう

今回、Lasso回帰がどんな風に特徴量を削減していくのか、という点をみてみようと思いましたので、特徴量選択を行わないボストン価格データを「X」とします。

また、訓練データとテストデータに分割後、特徴量を手動で選択したものを「X_train_select」と「X_test_select」としています。分割後に特徴量選択を行うように変更したのは、「X_train」と「X_train_select」が同じtrain_test_splitのデータを元にするようにしたかったからです。

Lasso回帰には「X_train」を使用、線形回帰には「X_train_select」を利用することで、それぞれの特徴量選択の比較ができます。

from sklearn.datasets import load_boston
from sklearn import linear_model
from sklearn.model_selection import train_test_split

panda_box = load_boston()

X = panda_box.data
y = panda_box.target

#訓練データとテストデータに分割(テストデータ25%)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25)

#0:CRIM 1:ZN 2:INDUS 3:CHAS 4:NOX 5:RM 6:AGE 7:DIS 8:RAD 9:TAX 10:PTRATIO 11:B 12:LSTAT
X_train_select = X_train[:,[0, 1, 2, 3, 5, 8, 10, 11, 12]]
X_test_select = X_test[:,[0, 1, 2, 3, 5, 8, 10, 11, 12]]

alpha=0.1

まずは、Lasso回帰のalpha=0.1です。パラメータのmax_iterはこのくらいの数値を入れておくと警告が出ません。

#Lasso回帰 alpha 0.1
lasso = linear_model.Lasso(alpha=0.1, max_iter=100000).fit(X_train, y_train)
print("===　Lasso alpha=0.1　===")
print("決定係数")
print(lasso.score(X_test, y_test))
print("重み")
print(lasso.coef_)

===　Lasso alpha=0.1　===
決定係数
0.6967882475601533
重み
[-8.22265817e-02  4.10828350e-02 -3.71980472e-02  2.23185861e+00
 -0.00000000e+00  3.83914061e+00  2.66533305e-03 -9.74606827e-01
  2.79279627e-01 -1.38420212e-02 -7.22910881e-01  8.62771049e-03
 -6.11339673e-01]

alpha=1

次に、alpha=1にした時です。

#Lasso回帰 alpha 1
lasso = linear_model.Lasso(alpha=1, max_iter=100000).fit(X_train, y_train)
print("===　Lasso alpha=1　===")
print("決定係数")
print(lasso.score(X_test, y_test))
print("重み")
print(lasso.coef_)

===　Lasso alpha=1　===
決定係数
0.6617980086838072
重み
[-0.04641981  0.04459293 -0.          0.         -0.          1.08708663
  0.03612284 -0.47122791  0.25858992 -0.01442261 -0.66288517  0.0079368
 -0.80925382]

影響が少ないと判断された、INDUSとCHAS、NOXが0になりました。

0:CRIM 1:ZN 2:INDUS 3:CHAS 4:NOX 5:RM 6:AGE 7:DIS 8:RAD 9:TAX 10:PTRATIO 11:B 12:LSTAT

alpha=10

次にalpha=10です。

#Lasso回帰 alpha 10
lasso = linear_model.Lasso(alpha=10, max_iter=100000).fit(X_train, y_train)
print("===　Lasso alpha=10　===")
print("決定係数")
print(lasso.score(X_test, y_test))
print("重み")
print(lasso.coef_)

===　Lasso alpha=10　===
決定係数
0.5215105502822736
重み
[-0.          0.02630739 -0.          0.          0.          0.
  0.         -0.          0.         -0.00785992 -0.          0.00822231
 -0.59952539]

かなり多くの特徴量が０となってしまいました。手動で選択した特徴量「RM」はかなり有力な特徴量だと思いましたが、ここでは０となっています。また、決定係数は52％となり、精度もかなり悪くなってしまいました。

手動で特徴量選択した線形回帰

reg = linear_model.LinearRegression().fit(X_train_select, y_train)
print(reg.score(X_test_select, y_test))
print(reg.coef_)

決定係数
0.6500767863376524
重み
[-0.06375633 -0.00733977 -0.01818399  4.23596306  4.56992751  0.10473634
 -0.87730867  0.00865738 -0.56134587]

今回は、手動で特徴量選択をしたものより、alpha=0.1のLasso回帰の方が決定係数がよくなりました。

LassoCVというものもある

Ridge回帰の時もRidgeCVという、複数のパラメータ全ての交差検証を行っていちばん精度の良いパラメータ設定にしてくれるsciit-learnの便利機能がありました。

Lasso回帰にも存在していて、これも同じように利用することができます。先ほど個別にalphaを0.1〜10と三回に分けて記載していたものが次のように短縮できます。

l_cv = linear_model.LassoCV(alphas=[0.1, 1, 10], cv = 5, max_iter=100000).fit(X_train, y_train)

#一番よかったalphaの決定係数
print("{:.4f}" .format(l_cv.score(X_test, y_test)))
#一番よかったalpha
print(l_cv.alpha_)
#重み
print(l_cv.coef_)
#切片
print(l_cv.intercept_)

一番よかったalphaの決定係数
0.6968
一番よかったalpha
0.1
重み
[-8.22265817e-02  4.10828350e-02 -3.71980472e-02  2.23185861e+00
 -0.00000000e+00  3.83914061e+00  2.66533305e-03 -9.74606827e-01
  2.79279627e-01 -1.38420212e-02 -7.22910881e-01  8.62771049e-03
 -6.11339673e-01]
切片
23.139614734437025

一番よかったalpha=0.1で精度が69%と先ほどの結果に一致しています。いくつかのLasso回帰パラメータで一番良いものを選択したい場合、このように簡略化することができます。