https://pydocument.hatenablog.com/entry/2024/04/13/000527

リッジ回帰は、多重共線性や過学習といった線形回帰の問題に対処するための強力な手法です。この記事では、リッジ回帰の理論的な背景から、scikit-learnを用いたPythonでの実装、さらには適切なパラメータ(alpha)の選択方法などを解説します。

リッジ回帰とは

リッジ回帰は、線形回帰モデルの一種です。線形回帰は、目的変数（予測したい値）と説明変数（予測に使う値）の間に線形関係を仮定し、その関係を最もよく表す直線を求める手法です。しかし、説明変数間に強い相関（多重共線性）がある場合、線形回帰は不安定になり、予測精度が低下することがあります。

例えば、家の価格を予測する際に「家の広さ」と「部屋数」という変数を使うとしましょう。広い家は部屋数も多い傾向があるため、これらは互いに強い相関を持つ可能性があります。このような場合、通常の線形回帰モデルは、どちらの変数が価格に影響を与えているのかを正確に判断するのが難しくなります。また、モデルが過学習を起こし、新しいデータに対して予測精度が低くなるリスクも高まります。

リッジ回帰は、モデルの係数（各変数の影響度）が極端に大きくなるのを防ぐ「正則化」という手法を取り入れることで、これらの問題を緩和します。具体的には、係数の大きさにペナルティを課すことで、モデルがよりシンプルで汎化性能の高いものになるように調整します。

リッジ回帰で値を予測するPythonの実装

リッジ回帰を使って値を予測する基本的なPythonコードを以下に示します。まずは、必要最低限のシンプルなコードから始め、徐々に機能を加えていきます。

最低限の実装（サンプルコード）

ます、リッジ回帰モデルを使った予測の基本的な実装を見ていきます。この例はは、リッジ回帰モデルを使って、非常にシンプルなデータセットに対して予測を行う例です。2つの説明変数(X)と1つの目的変数(y)の関係をリッジ回帰モデルで学習し、新しいデータ点に対する予測値を計算します。ここでは、alphaを1.0に固定したリッジ回帰モデルを使用しています。

import numpy as np
from sklearn.linear_model import Ridge

# 1. データの準備
X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])  # 説明変数
y = X[:, 0] + X[:, 1] # 目的変数 (Xの各列の和)

# 2. リッジ回帰モデルの作成
model = Ridge(alpha=1.0)  # alphaは正則化の強さを調整

# 3. モデルの学習
model.fit(X, y)

# 4. 予測の実行
y_pred = model.predict([[3, 5]])
print(y_pred)  # 出力例：[8.0]に近い値

コードの詳細の解説とコードの補強

次に、サンプルコードの流れに沿って説明をしながら、コードに修正を加え、実際のデータ分析で利用できるコードに少しずつ近づけていきます。

1. ライブラリのインポート

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

ここでは、以下のライブラリをインポートしています。

ライブラリ	説明
`numpy`	数値計算を効率的に行うためのライブラリです。ここでは、データ作成に使用します。
`sklearn.linear_model.Ridge`	scikit-learnライブラリに含まれるリッジ回帰モデルのクラスです。
`sklearn.model_selection.train_test_split`	データを学習用とテスト用に分割する関数です。モデルの汎化性能を評価するために使用します。
`sklearn.metrics.mean_squared_error`	モデルの予測性能を評価するための平均二乗誤差を計算する関数です。

2. データの準備

ここでは、numpyのrandom.rand関数を使って、分析に使うダミーデータを作成しています。

X = np.random.rand(100, 10): 100行10列の行列を作成します。各要素は0から1の間のランダムな値です。通常、各列が説明変数、各行がサンプルに対応します。
y: yはXの最初の2列に線形な関係を持つように生成し、ノイズを加えています。

# ダミーデータの生成
np.random.seed(42)  # 乱数シードを固定
X = np.random.rand(100, 10)  # 100行10列のランダムな特徴量 (説明変数)
# 各行はサンプル、各列は特徴量に対応。値は0から1の間のランダムな値
y = X[:, 0] * 2 + X[:, 1] * 3 + np.random.randn(100) * 0.1 # 100個のランダムな目的変数
# yはXの最初の2列に線形な関係を持つように生成。
# np.random.randn(100) * 0.1 でノイズを追加

3. データセットの分割

train_test_split関数を使って、データセットを学習用とテスト用に分割します。

X, y: 分割したい説明変数と目的変数を指定します。
test_size=0.2: データセット全体のうち、テストデータに20%を割り当てる設定です。残りの80%は学習データとして使用されます。
random_state=42: 乱数生成のシード値を固定します。これにより、コードを何度実行してもデータ分割の結果が同じになり、実験の再現性が保たれます。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

4. リッジ回帰モデルの学習

リッジ回帰モデルを作成し、学習を行います。

ridge_reg = Ridge(alpha=1.0): Ridgeクラスを使ってリッジ回帰モデルのインスタンスを作成します。alphaパラメータは正則化の強さを指定します。alpha値を大きくすると正則化が強まり、係数がより小さく抑えられます。
ridge_reg.fit(X_train, y_train): 作成したリッジ回帰モデルに学習用データ (X_train, y_train) を与えて学習させます。モデルは、学習データに基づいて係数を調整し、予測精度を高めます。

ridge_reg = Ridge(alpha=1.0)
ridge_reg.fit(X_train, y_train)

5. モデルの評価

学習済みモデルの性能をテストデータで評価します。

y_pred = ridge_reg.predict(X_test): 学習済みモデルにテスト用の説明変数 X_test を与え、目的変数の予測値 y_pred を算出します。
mse = mean_squared_error(y_test, y_pred): テストデータの実際の目的変数 y_test と予測値 y_pred を mean_squared_error 関数に与え、平均二乗誤差を計算します。平均二乗誤差は、予測値と実際の値のずれの大きさを表す指標で、値が小さいほどモデルの予測精度が高いと判断できます。
print("Mean Squared Error:", mse): 計算した平均二乗誤差をコンソールに出力します。

y_pred = ridge_reg.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
print("Mean Squared Error:", mse)

リッジ回帰のパラメータ `alpha` について

リッジ回帰モデルのalphaパラメータは、正則化の強度を調整する重要な役割を果たします。

alphaが大きい場合: 正則化が強く働き、モデルの係数はより0に近づきます。これにより、多重共線性による過学習を抑制する効果が期待できます。モデルは複雑なデータよりもシンプルな構造を優先するため、未知のデータに対する汎化性能が高まる可能性があります。しかし、alphaが大きすぎると、モデルがデータの特徴を十分に学習できず、予測精度が低下する可能性があります。
alphaが小さい場合: 正則化の効果は弱まります。モデルはより学習データに適合しようとするため、学習データに対する予測精度は高くなる可能性があります。しかし、多重共線性があるデータでは過学習を引き起こしやすく、未知のデータに対する汎化性能が低下する可能性があります。alphaが0の場合、リッジ回帰は通常の線形回帰と同じになります。

適切なalpha値は、データセットや問題設定によって異なります。交差検証（例えば、k分割交差検証）などの手法を用いて、最適なalpha値を探索することが一般的です。scikit-learnには、交差検証を組み込んだリッジ回帰のクラス(sklearn.linear_model.RidgeCV)も用意されています。

alphaとモデルの挙動の可視化 (参考)

alphaの値を変化させたときの、各係数の値の変化や、学習データとテストデータに対する予測誤差の変化をグラフで示すと、alphaの役割を視覚的に理解する助けになります。(ここではコード例は省略します)

リッジ回帰が効果を発揮する場面

リッジ回帰は、特に以下のような状況で効果を発揮します。

場面	説明
多重共線性が疑われるデータ	説明変数間に強い相関がある場合、リッジ回帰は係数の過剰な増大を抑制し、モデルの安定性を向上させます。例えば、身長と体重から体脂肪率を予測する場合、身長と体重は相関が高い可能性があります。
高次元データ	説明変数の数が多いデータセットでは、過学習が起こりやすいですが、リッジ回帰は正則化により過学習を抑制します。例えば、遺伝子データから疾患リスクを予測する場合、数千、数万の遺伝子情報を扱うことがあります。
ノイズが多いデータ	データにノイズが多い場合、リッジ回帰はノイズに過剰に反応するのを防ぎ、よりロバストなモデルを構築できます。例えば、センサーデータから何らかの状態を推定する場合、センサーの計測誤差などがノイズとなります。
線形関係が仮定できる場面	リッジ回帰は線形モデルであるため、目的変数と説明変数間に線形関係がある程度仮定できる場合に有効です。目的変数と説明変数の間に強い非線形関係がある場合は、他のモデル（例えば、多項式回帰、決定木、ニューラルネットワークなど）を検討する必要があります。

具体例

金融分野: 株価予測において、過去の株価、経済指標（例えば、GDP成長率、失業率）、金利など多くの変数を考慮に入れたい場合。経済指標間には多重共線性が存在する可能性が高く（例えば、GDP成長率と失業率は負の相関があることが多い）、リッジ回帰が有効です。
医療分野: 患者の様々な臨床データ（年齢、性別、検査結果、既往歴など）から病状を予測する場合。患者データは高次元になりがちで、かつ、検査結果間には相関があることも多く（例えば、肝機能に関する複数の検査値）、リッジ回帰が過学習を防ぎます。
マーケティング: 顧客の属性情報（年齢、購買履歴、Webサイトの閲覧履歴など）から購買行動を予測する場合。顧客データはノイズが多く、かつ、Webサイトの閲覧履歴データなどは高次元になりがちなため、リッジ回帰はロバストな予測モデルを構築するのに役立ちます。

他の正則化手法との比較

Lasso回帰: Lasso回帰も正則化線形回帰の一種ですが、L1正則化を使用します。L1正則化は、不要な変数の係数を完全に0にする傾向があるため、変数選択の効果があります。
Elastic Net: Elastic Netは、リッジ回帰（L2正則化）とLasso回帰（L1正則化）を組み合わせた手法です。

まとめ

リッジ回帰は、線形回帰に正則化を加えることで、多重共線性や過学習の問題に対処する強力な手法です。scikit-learnライブラリを利用すれば、Pythonで手軽に実装でき、様々な分野で応用が可能です。特に、多重共線性や高次元データに悩む場面で、その効果を実感できるでしょう。適切なalpha値を設定し、データに合わせたモデル構築を行うことで、より精度の高い予測モデルを開発することができます。