https://htn20190109.hatenablog.com/entry/2026/01/10/160807

・CAM(Class Activation Map)
画像分類を対象とする可視化手法
畳み込み層の最後の層以降を使用して重み付き特徴マップの和を計算する
GAP(Global Average Pooling)層を含むネットワーク構造にのみ適用可能
計算処理は比較的軽いが、可視化結果の解像度は粗い

特徴マップ
$\displaystyle f_k$

クラス活性化マップ
$\displaystyle M_c= \sum_k w_k f_k$

・Grad-CAM(Gradient-weighted Class Activation Map)
任意のCNNに適用可能
特定の出力クラスに対する特定の層の勾配を計算する

クラス活性化マップ
$\displaystyle L_c= \mathrm{ReLU} \left( \sum_k \alpha_k^c f_k \right)$

・大域的な解釈
モデルそのものが各特徴の影響度を示す
決定木、線形回帰

・局所的な解釈
特定の予測に対してどの特徴が影響しているかを示す
LIME、SHAP

・LIME(Local Interprtable Model-Agnostic Explanations)

説明モデル
$\displaystyle g(z) = \phi_0 + \sum_{i=1}^{M} \phi_{i} z_{i}$

目的関数
$\displaystyle min_{\phi}\sum_{z \in Z} |g(z) - f(x')|_2^2 + λ \sum_{i=0}^{M} | \phi_{i}|_1$

・SHAP(SHapley Additive exPlanations)
下記の「寄与度を一意に求める際の3条件」を満たす、協力ゲーム理論に基づくシャープレイ値を寄与度とする解釈手法
①局所正確性: 特定のデータに対して予測モデルの出力と説明モデルの出力が一致する
②欠損性: 指定されていない特徴は影響度がない
③一貫性: モデルの出力値が減少しない特徴について、寄与度も減少しない

Shapley値の定義
$\displaystyle \phi_i(f, x)= \sum_{S \subseteq M \setminus \{i\}} \frac{|S|! \, (|M| - |S| - 1)!}{|M|!} \left[ f(x_{S \cup \{i\}}) - f(x_S) \right]$