強化学習について学んでみた。（その27）

昨日は、前方観測的見方と後方観測的見方が等価であることを示した。

今日は、Sarsa法に適格度トレースの考えを適用したSarsa()法について説明する。

Sarsa()法

といっても、もう準備は終わっていて、強化学習について学んでみた。（その25） - いものやま。で示した更新方法を使う。

もう一度書いておくと、適格度トレースを

TD誤差を

としたとき、

と更新する。

あとはSarsa法と同じことをやればいいだけ。

具体的なアルゴリズムは、以下のとおり：

1. を任意に初期化。
2. 以下を繰り返す：
   1. すべての、について、とする。
   2. を初期化。
   3. から導かれるソフト方策を用いて行動を選択する。
   4. 各ステップについて、以下を繰り返す：
      1. 行動を行い、報酬と次状態を観測する。
      2. から導かれるソフト方策を用いて行動を選択する。
      3. 
      4. 
      5. すべての、について：
         1. 
         2. 
      6. 、とする。
      7. が終端状態なら、繰り返しを終了。

Q()・・・？

ところで、Sarsa法はこれでいいとして、Q学習は？という話。

Q学習に適格度トレースの考えを適用したアルゴリズムとしては、2つの方法が提案されているらしく、それぞれ、WatkinsのQ()、PengのQ()と呼ばれているみたい。

ただ、WatkinsのQ()については、あまり適格度トレースの恩恵を受けること出来ないみたいで、学習速度はQ学習からあまり改善されないらしい。
一方、PengのQ()はSarsa()法と同程度の性能は出るものの、実装が複雑らしい。

なので、ここでは省略。
気になる人は、本を参照。

今日はここまで！