④ ディープラーニングの要素技術 ／ 24. オートエンコーダ
事前学習とは
事前学習とは、大規模データを用いてモデルをあらかじめ学習させ、その重みを別のタスクに転用する手法です。転移学習などに応用され、学習の高速化や少量データでの精度向上に有効です。
この用語はG検定シラバスの「24. オートエンコーダ」に含まれます。 章全体の用語は用語解説④（全60語）にまとまっています。
一言でいうと
大量のデータで先に学ばせておき、その成果を別の課題に使い回す手法です。
なぜ有効なのか
画像であればエッジや形、文章であれば文法や語の関係——こうした基礎的な特徴は多くのタスクで共通です。
それを大規模データで先に学んでおけば、個別のタスクでは差分だけを学べば済みます。手元のデータが少なくても高い精度が出せるのはこのためです。
関連する用語の整理
- 事前学習：大規模データで先に学習しておくこと
- ファインチューニング：その重みを初期値として、対象タスクで全体を再調整すること
- 転移学習：学んだ知識を別タスクへ活かす考え方の総称
もともとは積層オートエンコーダで層ごとに事前学習する手法として使われていました。現在はTransformer系の大規模言語モデルが代表例です。
大規模化という流れ
近年の大規模言語モデルは、事前学習の規模を極端に大きくする方向で性能を伸ばしてきました。
膨大なテキストで事前学習しておけば、個別タスクの学習をほとんど行わなくても指示を与えるだけで対応できるようになります。事前学習という考え方が現在のAIの中心にあるといえます。
🎯 G検定での押さえどころ
- 大規模データで学んだ重みを別タスクに転用
- 少量データでも精度が上がる
- ファインチューニング・転移学習との関係を整理する
⚠️ よくある誤りの選択肢
- 「事前学習は対象タスクのデータのみで行う」→ 誤り。大規模な別データで行います
- 「事前学習を使うと学習に必要なデータ量が増える」→ 誤り。少量でも精度が出せるようになります
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「転移学習」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。