Unityで強化学習するけど脱サンプルするためにサンプル以下の物を作った話

Academy

今回の使い方だけだったらクラス名だけ更新してAcademyを継承すれば良い。

Agent

受け取った値をどう反映させるかを決める。入力値はぶっ飛んだ値が来ることもあるので値域の制限とかも入れている。
報酬系もここで定義して今回であれば、倒れたら報酬-1にしたりしている。

Decision

Heuristicで実行する時はDecisionを継承したもので作るけど今回はPlayerとInternalとExternalなのでいらない。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class FurikoAgent : Agent {
	[Header("Specific to Furiko")]
	public GameObject stick;
	private Rigidbody rb;

	public override List<float> CollectState()
	{
		List<float> state = new List<float> ();
		state.Add (gameObject.transform.localPosition.x);
		state.Add (stick.transform.localRotation.z);
		state.Add (stick.GetComponent<Rigidbody> ().angularVelocity.z);
		return state;
	}

	public override void InitializeAgent(){
		rb = GetComponent<Rigidbody> ();
	}

	public override void AgentStep(float[] act)
	{
                // アクションを受け取って値の範囲を決める。
		if (brain.brainParameters.actionSpaceType == StateType.continuous) {
			float action_x = act [0];
			if (action_x > 1f) {
				action_x = 1f;
			}
			if (action_x < -1f) {
				action_x = -1f;
			}
			if ((gameObject.transform.localPosition.x < 10f && action_x > 0f) ||
			    (gameObject.transform.localPosition.x > -10f && action_x < 0f)) {
　　　　　　　　　// ベースを左右に動かすところ
				gameObject.transform.Translate (action_x, 0, 0);
			}
		}

                // 報酬を決める。継続していたら+0.01、一定角度以上になったら-1にして停止
		if (done == false) {
			reward = 0.01f;
		}

		float angle_z;
		angle_z = stick.transform.localRotation.eulerAngles.z;
		if ((angle_z > 60f) && (angle_z < 300)) {
			done = true;
			reward = -1f;
		}
	}

	public override void AgentReset()
	{
                //エージェントの状態をリセットする
		gameObject.transform.localPosition = new Vector3 (0f, -3f, 0f);
		stick.transform.localPosition = new Vector3(0f, 0f, 0f);
		stick.transform.localRotation = Quaternion.Euler(0f, 0f, 0f);
		stick.GetComponent<Rigidbody>().velocity = new Vector3(0f, 0f, 0f);
		stick.GetComponent<Rigidbody> ().angularVelocity = new Vector3 (0f, 0f, Random.Range (-0.5f, 0.5f));
	}
}