バンディットアルゴリズムとは
バンディットアルゴリズムとは、複数の選択肢から、限られた試行回数で報酬を最大化する問題設定です。各選択肢の報酬分布が未知であるため、探索と活用のバランスが重要になります。G検定ではMDPとの違い（状態遷移がない）を取り違えないよう注意しましょう。
この用語はG検定シラバスの「9. 強化学習」に含まれます。 章全体の用語は用語解説②（全62語）にまとまっています。
一言でいうと
当たりの確率が分からない複数の選択肢から、なるべく多く報酬を得るための問題設定です。
探索と活用のトレードオフ
複数のスロットマシンがあり、どれが当たりやすいか分からない状況を想像してください。
- 活用：今のところ最も良さそうな選択肢を選び、確実に報酬を得る
- 探索：まだ試していない選択肢を試し、より良いものを見つける
活用ばかりでは本当の当たりを見逃し、探索ばかりでは報酬を取り逃がします。このバランスをどう取るかが問題の核心です。代表的な方策がε-greedy方策とUCB方策です。
MDPとの違い
最大の違いは状態遷移がないことです。どの選択肢を選んでも状況は変わらず、毎回同じ条件で選択を繰り返します。
一方MDPでは行動によって状態が移り変わるため、将来を見据えた行動選択が必要になります。この違いは押さえておきたいポイントです。
文脈付きバンディット
基本のバンディット問題では、どの選択肢が良いかは常に同じと考えます。
しかし実際の広告配信では、利用者の属性や時間帯によって最適な広告は変わります。こうした状況（文脈）を考慮する拡張が文脈付きバンディットで、実サービスで広く使われています。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| バンディット問題 | 状態遷移なし。同じ条件で選択を繰り返す |
| MDP | 状態遷移あり。将来を見据えた行動選択が必要 |
🎯 G検定での押さえどころ
- 探索と活用のトレードオフが核心
- 状態遷移がない点がMDPとの違い
- 広告配信・A/Bテスト・推薦システムで実用化されている
⚠️ よくある誤りの選択肢
- 「バンディット問題では行動によって状態が遷移する」→ 誤り。状態遷移はありません
- 「バンディット問題では探索は不要である」→ 誤り。探索と活用のバランスが核心です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「強化学習の基礎 — 用語と枠組み」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。