AIプログラミング– category –

分類問題にも、多項式回帰で勉強した特徴量の増加をしてみたらどうなるか、やってみました。 確かに、境界線が二次元関数のように曲がると、良さそうだね。 回帰問題で、多項式回帰という物を学びました。これは特徴量の二乗、三乗を考えて、特徴量を増や...

多項式回帰、もう少し色々とやってみました。 前回はテストデータへの精度も出していなかったね。 前回、多項式回帰について勉強して、グラフにするところまではやっていましたが、肝心のテストデータへの精度を求めることはしていませんでした。今回は、...

ビニングに続きて、特徴量を増やしてモデルを複雑にする、多項式回帰について学びました。 Xの二乗とかでも回帰できると便利だね。 今回は、ビニングに続いて、一つの特徴量でより複雑なモデルを構築するための手法の一つである、多項式回帰について学びま...

細かくビニングしたらどうなるかとか、色々試したら、衝撃の事実が・・・ 何か問題があったのかな？ ビニングのプログラムを色々といじっていました。前回のボストン住宅価格データの「RM」を題材に、もっと細かく分割したら精度が上がるのかな・・・とか...

ビニングなるものに出会いました。 ビニングはbinningで、特徴量をいくつかのビンに分けるんだね。 機械学習で、データ自体を色々いじって新しい特徴量を作り出したりすることを、特徴量エンジニアリングというらしです。今回は、ビニングという手法を勉強...

Lasso回帰でパラメータのalphaを変化させるとどんな風に特徴量が選択されていくのか見てみました。 特徴量が選択されて削減されると言っても、どの特徴量が削られていくか気になるね。 Lasso回帰でもalphaというパラメータが存在していて、この値を大きく...

リッジ回帰とは違った過学習を防ぐ手段を備えたLasso回帰を勉強したよ RidgeとLassoはセットで覚えるみたいだね Ridge回帰は線形回帰の重みを0に近づける方向に補正をかけることで、回帰モデルの複雑化を抑制するというものでした。これは、L2ノルムという...

リッジ回帰のパラメータによって学習曲線がどんな風に変わるか確認してみたよ パラメータの違いを視覚化するのも大事だね 前回は、リッジ回帰のalpha=10のときの学習曲線を描きました。リッジ回帰のパラメータを変化させることによって、学習曲線にどんな...

学習曲線というものをしりました。 アルゴリズムのチューニングに役立つね。 機械学習アルゴリズムのチューニングをするにあたって、訓練データへの精度と未知のテストデータへの精度がサンプル数においてどのように変化しているのかを知ることができる、...

回帰でも交差検証を使わないとですね。 そうだね、リッジ回帰には交差検証もやってくれるRidgeCVっていうものもあるらしいね。 前回までの回帰問題に対しては、train_test_splitでデータを分割するのみでした。分類の時も交差検証という方法で訓練データと...

リッジ回帰という過学習を抑える回帰方法を勉強しました。 数学的に勉強しようとすると難しくなってくるところだね。 今回、リッジ回帰というものを勉強しました。正直、何となく数学的な計算イメージはわかるのですが、いろいろ調べると統計学の深いお話...

特徴量には、多重共線性という問題が発生する場合があるみたい。 マルチコリニアリティ、マルチコ、と呼ばれるらしいね。 前回の記事で、特徴量の選択は、目的変数（ボストン住宅価格データの場合価格データ）に相関が強いものを選択することを学びました...