UCB 方策（Upper Confidence Bound）とは
UCB方策とは、現在の平均報酬に加えて「不確実性」を考慮して行動を選択するバンディットアルゴリズムです。試行回数が少ない選択肢ほど探索の価値が高く評価される点が特徴で、G検定ではε-greedy方策との比較が重要です。
この用語はG検定シラバスの「9. 強化学習」に含まれます。 章全体の用語は用語解説②（全62語）にまとまっています。
一言でいうと
「今の評価」だけでなく「まだよく分かっていない度合い」も足して行動を選ぶ方策です。
2つの要素を足して選ぶ
UCBでは各選択肢について、次の2つを足した値を計算し、最も大きいものを選びます。
- 平均報酬：これまでの実績（活用の要素）
- 不確実性の項：試行回数が少ないほど大きくなる（探索の要素）
あまり試していない選択肢は不確実性の項が大きいため、実績が平凡でも一度は試されることになります。試すうちに不確実性は小さくなり、本当に良い選択肢だけが残っていきます。
ε-greedyより効率的な理由
ε-greedyの探索はランダムなので、すでに明らかに悪い選択肢も同じ確率で選ばれます。
UCBは不確実性が高いものを狙って試すため、無駄な探索が減ります。広告配信や推薦システムで、未知の商品を適度に試しながらクリック率の最大化を狙う場面で活用されています。
楽観的に見積もるという発想
UCBの考え方は「不確かなものは、とりあえず良い方に見積もる」と要約できます。
まだ分からない選択肢を高く評価しておけば自然と試されます。試した結果が悪ければ評価は下がり、良ければ選ばれ続けます。探索を確率任せにせず理屈で組み込んでいる点が、ε-greedyとの本質的な違いです。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| UCB方策 | 不確実性を考慮して狙って探索する |
| ε-greedy方策 | 確率εで完全にランダムに探索する |
🎯 G検定での押さえどころ
- 平均報酬＋不確実性で行動を選ぶ
- 試行回数が少ない選択肢ほど探索されやすい
- ε-greedy（ランダム探索）より効率的
⚠️ よくある誤りの選択肢
- 「UCB方策はランダムに行動を選ぶ方策である」→ 誤り。不確実性を計算して選びます
- 「UCB方策では試行回数が多い選択肢ほど探索されやすい」→ 誤り。少ない選択肢ほど探索されます
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「強化学習の基礎 — 用語と枠組み」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。