ResNet
→ 勾配消失対策としてスキップ接続を使用したニューラルネットワーク
Conv - BN - ReLU
WideResNet
→ ネットワークを深くせずに、チャネル数を増やし、ドロップアウトを実装することで、学習効率改善したResNet
BN - ReLU - Conv
スキップ接続: 特定の層を超えて、入力を後続の層に直接伝える接続
残差ブロック: 2層の畳み込み層とスキップ接続を一つにまとめたもの
ボトルネック構造: 1x1の畳み込み層で一度次元を小さくしてから、復元する構造。計算量を削減できる
