マルコフ決定過程（MDP）とは
MDPとは、状態・行動・報酬・遷移確率から構成される強化学習の数学的な枠組みです。次の状態は現在の状態と行動だけで決まるというマルコフ性を仮定し、ほぼすべての強化学習アルゴリズムの理論的基盤になっています。
この用語はG検定シラバスの「9. 強化学習」に含まれます。 章全体の用語は用語解説②（全62語）にまとまっています。
一言でいうと
強化学習の問題を「状態・行動・報酬・遷移確率」で表した数学的な枠組みです。
4つの構成要素
- 状態：いま置かれている状況
- 行動：その状態で選べる選択肢
- 報酬：行動の結果として得られる評価値
- 遷移確率：行動によって次にどの状態へ移るかの確率
これらを持つ主体がエージェントで、その外側が環境です。
マルコフ性とは
マルコフ性とは、次に何が起こるかは「今の状態」と「今の行動」だけで決まり、そこに至るまでの経緯には依存しないという仮定です。
過去の履歴をすべて覚えておく必要がなくなるため、問題が扱いやすくなります。この仮定こそがMDPの核心です。
バンディット問題との違い
バンディットアルゴリズムでは、行動を選んでも状態が遷移しません。毎回同じ状況で選択を繰り返すだけです。
MDPは状態遷移を含むため、「いま得をする行動」と「後で得をする行動」を区別して考える必要があります。この違いはG検定で取り違えやすいポイントです。
現実では状態が見えないこともある
MDPは現在の状態を完全に観測できることを前提にしています。しかし現実には、センサの限界などで状態の一部しか分からない場面が多くあります。
そうした設定は部分観測マルコフ決定過程（POMDP）と呼ばれ、より難しい問題として区別されます。MDPは理想化された枠組みだと理解しておくとよいでしょう。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| MDP | 状態遷移がある。将来を見据えた行動選択が必要 |
| バンディット問題 | 状態遷移がない。同じ状況での選択を繰り返す |
🎯 G検定での押さえどころ
- 状態・行動・報酬・遷移確率で構成される
- マルコフ性＝次の状態は現在の状態と行動のみで決まる
- バンディット問題との違いは状態遷移の有無
⚠️ よくある誤りの選択肢
- 「MDPでは過去の全履歴が次の状態に影響する」→ 誤り。現在の状態と行動のみで決まります（マルコフ性）
- 「バンディット問題はMDPと同じく状態遷移を扱う」→ 誤り。状態遷移はありません
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「強化学習の基礎 — 用語と枠組み」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。