② 機械学習の概要／ 9. 強化学習

行動価値関数とは

行動価値関数とは、状態sで行動aを選んだ場合に、将来得られる報酬の期待値を表す関数Q(s,a)です。行動の良し悪しを数値化できるため、強化学習の中心的な概念になっています。

この用語はG検定シラバスの「9. 強化学習」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

「この状況でこの行動をとると、将来どれだけ報酬が得られそうか」を表す関数です。

なぜ中心概念なのか

Q(s,a)が分かっていれば、ある状態でQが最大になる行動を選ぶだけで最適に近い振る舞いができます。

つまり価値さえ求まれば方策が決まるのです。この性質を利用したのがQ学習やSARSAといった価値ベースの手法です。

状態価値関数V(s)は状態だけの価値でした。Q(s,a)は行動まで含めて評価します。

引数を見れば区別できます。V(s)は引数が1つ、Q(s,a)は引数が2つ——この覚え方が確実です。

状態と行動の組ごとにQ値を表として持つ方法は、状態の数が増えると破綻します。画像を状態とする場合、組み合わせは事実上無限です。

そこでQ値を表ではなくニューラルネットワークで近似する発想が生まれました。これがDQNであり、深層強化学習の出発点になっています。

用語	ポイント
行動価値関数 Q(s,a)	状態と行動の組の価値。行動選択に直接使える
状態価値関数 V(s)	状態のみの価値。単独では行動を選べない