⑤ ディープラーニングの応用例 ／ 29. 深層強化学習
RLHFとは
RLHFとは、AIの出力に対して人間が評価を与え、それを報酬モデルとして学習し、強化学習によってAIの振る舞いを人間の好みに近づける技術です。ChatGPTなどLLMの安全性・有用性向上に不可欠で、PPOと組み合わせて最適化されます。
この用語はG検定シラバスの「29. 深層強化学習」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
人間が「良い・悪い」を評価し、その好みに沿うようAIを調整する技術です。
なぜ必要なのか
大量のテキストで学習しただけのモデルは「もっともらしい続き」を書くだけです。指示に従うとは限らず、有害な内容を出すこともあります。
「何が良い応答か」は数式で定義できません。そこで人間の判断を報酬として使うという発想が生まれました。
3つの段階
- 教師あり微調整：人が書いた模範的な応答を学習させる
- 報酬モデルの学習：人が複数の応答を比較評価し、その好みを予測するモデルを作る
- 強化学習：報酬モデルのスコアが高くなるようPPOで本体を調整する
人間が直接すべてを評価するのは不可能なので、いったん報酬モデルという形に学習させておくのがポイントです。
報酬ハッキング
報酬モデルは完璧ではないため、報酬モデルを高得点にするだけの不自然な出力を学習してしまうことがあります。
これは報酬ハッキングと呼ばれ、代理指標を最適化することの危うさを示す例として重要です。
🎯 G検定での押さえどころ
- 人間のフィードバックを報酬に用いる
- PPOと組み合わせて最適化される
- LLMの安全性・有用性向上に不可欠
⚠️ よくある誤りの選択肢
- 「RLHFでは人間がすべての出力を直接評価し続ける」→ 誤り。報酬モデルを学習して代替します
- 「RLHFは事前学習の段階で行われる」→ 誤り。事前学習のあとの調整段階です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「方策勾配法とActor-Critic」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。