RMSProp (Root Mean Square Propagation)

勾配の二乗に指数関数的な重みをつけた移動平均で学習率を調整する

RMSProp の更新式

$\displaystyle \mathbf{g}_t = \nabla_{\boldsymbol{\theta}} L(\boldsymbol{\theta}_t)$
$\displaystyle \mathbf{G}_t = \gamma \, \mathbf{G}_{t-1} + (1-\gamma) \, (\mathbf{g}_t \odot \mathbf{g}_t)$
$\displaystyle \boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta \, \frac{\mathbf{g}_t}{\sqrt{\mathbf{G}_t} + \epsilon}$

以上の内容はhttps://htn20190109.hatenablog.com/entry/2025/08/25/233716より取得しました。
このページはhttp://font.textar.tv/のウェブフォントを使用してます

不具合報告/要望等はこちらへお願いします。
モバイルやる夫Viewer Ver0.14