⑤ ディープラーニングの応用例 ／ 29. 深層強化学習
連続値制御とは
連続値制御とは、行動が離散値ではなく、連続値（角度・速度・力など）で表される制御問題です。ロボットアーム制御や自動運転で必須となり、PPO・DDPG・SACなどの手法が用いられます。
この用語はG検定シラバスの「29. 深層強化学習」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
「右か左か」ではなく「何度回すか」のように、連続した値で行動を決める問題です。
価値ベース手法が使えない
Q学習やDQNは「全行動のQ値を比べて最大を選ぶ」という仕組みでした。
行動が連続値だと選択肢は無限にあり、すべて比べることができません。ここが根本的な壁になります。
方策を直接学ぶ
そこで方策勾配法の系統が用いられます。行動の確率分布を直接出力するため、連続値でも扱えます。
代表的な手法がPPO・DDPG・SACです。ロボット制御ではsim2realや残差強化学習と組み合わせて使われます。
探索の難しさ
離散なら全行動を試せますが、連続値ではすべてを試すことは原理的に不可能です。
そのため、確率分布の広がりを使って効率よく探索する工夫が必要になります。連続値制御は探索の面でも難しいと理解しておきましょう。
🎯 G検定での押さえどころ
- 行動が連続値（角度・速度・力など）
- 価値ベース手法（Q学習・DQN）はそのままでは使えない
- PPO・DDPG・SACなどが用いられる
⚠️ よくある誤りの選択肢
- 「連続値制御にはDQNがそのまま適用できる」→ 誤り。行動が無限にあるため適用できません
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「方策勾配法とActor-Critic」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。