⑤ ディープラーニングの応用例 ／ 27. 自然言語処理
PaLMとは
PaLMとは、Googleが開発した大規模言語モデルで、5400億パラメータを持つ超巨大なTransformerモデルです。Pathwaysと呼ばれる分散学習基盤を用いて学習されました。
この用語はG検定シラバスの「27. 自然言語処理」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
Googleが開発した5400億パラメータの巨大言語モデルです。
規模を支えた仕組み
このサイズのモデルは1台の計算機では扱えません。Pathwaysという大規模な分散学習基盤を用いることで学習が可能になりました。
単一モデルで多様なタスクを同時に学習できる設計思想を持ちます。
示した能力
- 文脈理解・論理推論
- 算術推論
- プログラミングコードの生成
- few-shot learning：少数の例を示すだけでタスクを解く
単に文章を作るだけでなく推論に近い振る舞いを見せたことが注目され、近年の大規模言語モデル研究の方向性を決定づけた1つとされています。
スケーリングの実証
PaLMは規模を大きくすることで推論能力が向上することを大規模に実証したモデルの1つです。
ただし莫大な計算資源を必要とするため、開発できる組織は限られます。基盤モデルをめぐる集中の問題とも関わります。
🎯 G検定での押さえどころ
- Googleが開発
- 5400億パラメータの超巨大モデル
- Pathwaysによる分散学習／few-shot能力
⚠️ よくある誤りの選択肢
- 「PaLMはOpenAIが開発したモデルである」→ 誤り。Googleです
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「GPT-n」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。