⑥ AIの社会実装と数理・統計 ／ 36. データの収集・加工・分析・学習
コーパスとは
コーパスとは、自然言語処理の研究や学習のために収集・構造化された、大規模なテキストデータの集合体です。規模と品質が言語モデルの性能を大きく左右します。
この用語はG検定シラバスの「36. データの収集・加工・分析・学習」に含まれます。 章全体の用語は用語解説⑥（全52語）にまとまっています。
一言でいうと
言語処理の学習に使う、大量のテキストを集めたデータの集まりです。
何に使われるか
言語モデル、機械翻訳、感情分析、文書分類などの学習に用いられます。
翻訳の学習には同じ内容を2言語で書いた対訳コーパスが必要になるなど、用途によって求められる形式が異なります。
規模と品質の両方が必要
大規模言語モデルは膨大なテキストで学習されます。しかし量さえあればよいわけではありません。
誤情報や偏りを含むテキストで学習すれば、モデルもそれを再現します。近年はデータの選別（フィルタリング）が性能を左右する重要な工程になっています。
日本語コーパスの難しさ
英語に比べ、日本語は公開されている大規模コーパスが限られてきました。単語の区切りが明示されないという言語構造上の事情もあります。
近年はWebから収集した大規模な日本語データを整備する取り組みが進み、日本語に対応した大規模言語モデルの開発を支える基盤になっています。
🎯 G検定での押さえどころ
- 自然言語処理のための大規模テキスト集合
- 規模と品質の両方が性能を左右する
- 用途によって必要な形式が異なる（対訳コーパスなど）
⚠️ よくある誤りの選択肢
- 「コーパスは量が多ければ品質は問わない」→ 誤り。品質も性能を左右します
この用語を覚えたら
チェックは章ページと「試験内容解説」TOPの進捗にも反映されます
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。