・RNN
ジョルダンネットワーク
エルマンネットワーク
LSTM
GRU
・LSTM
入力ゲート
出力ゲート
忘却ゲート
・GRU
更新ゲート
リセットゲート
・エルマンネットワーク
1990年
ジェフリー・L・エルマン
初期RNN
コンテキスト層を使って、過去の中間層情報を記憶
・ジョルダンネットワーク
1986年
マイケル・I・ジョーダン
初期RNN
コンテキスト層を使って、過去の出力層情報を記憶
・CEC(Constant Error Carousel)
LSTMブロックに使用される、長期的な情報を蓄える機構
誤差を内部にとどめて、勾配消失を防ぐ
・教師強制
RNN学習時に入力として、前の時間の正解値（目標値）を利用する
・積層オートエンコーダ
入力層から逐次的に層を重ね、順番に学習する手法
主にニューラルネットワークの事前学習に使用される
・変分オートエンコーダ
データを潜在空間で確率分布として扱い、その分布からサンプリングして出力を生成
データ生成時はデコーダを使用する
β-VAE
VAE/GAN
InfoVAE
VQ-VAE
・β-VAE
通常のVAEの目的関数におけるKLダイバージェンスの項にパラメータβを追加
潜在変数の独立性を促進
・InfoVAE
潜在変数と入力データ間の相互情報量を最大化
・VQ-VAE
エンコーダで潜在表現を取得後、離散的ベクトルに変換
離散的データを効果的に学習できる
・バッチ正規化
ミニバッチ内の全データで、チャネル毎
・レイヤー正規化
ミニバッチ内のデータ毎に、全チャネル
・インスタンス正規化
ミニバッチ内のデータ毎に、チャネル毎
・グループ正規化
ミニバッチ内のデータ毎に、複数チャネルのグループ毎
・テキストデータのデータ拡張
Paraphrasing
Noising
Sampling
・画像データのデータ拡張
RandAugment
Random Flip
Random Erasing
Cutout
Random Crop
Mixup
CutMix
Random Rotation
・グローバルアベレージプーリング(GAP)
特徴マップのチャネルごとの平均値
・BPTT(Backpropagation Through Time)
誤差逆伝播法を時間方向に拡張したもの
・位置エンコーディング
PE(pos,2i) = sin(pos/10000^(2i/d) )
PE(pos,2i+1) = cos(pos/10000^(2i/d) )
