1. バッチ正規化
各チャネルごとに、ミニバッチ内の全データを用いて計算を行う
適用例:
線形層, 畳み込み層
利点:
学習の進行が早くなる
初期値への依存度が低くなる
過学習を抑制する
欠点:
ミニバッチ合図が小さい場合、適切に機能しない
系列データへの対応が難しい
2. レイヤー正規化
一つのデータに対して全チャネルを用いて計算を行う
適用例:
RNN, トランスフォーマー
利点:
系列データのような時間ステップごとに異なる統計量を必要な場合に対応可能
欠点:
各チャネルの部分的な情報を保持しにくい
3. インスタンス正規化
一つのデータと一つのチャネルを用いて計算を行う
適用例:
画像のスタイル変換
4. グループ正規化
一つのデータに対して複数チャネルを用いて計算を行う
レイヤー正規化とインスタンス正規化の中間
適用例:
物体検出タスク
