⑤ ディープラーニングの応用例／ 30. データ生成

文章生成とは

文章生成とは、与えられた文脈から、意味的に整合した自然な文章を生成する自然言語生成タスクです。Transformerや大規模言語モデルにより高精度な生成が可能になりました。

この用語はG検定シラバスの「30. データ生成」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

文脈に合った自然な文章を作り出すタスクです。

次の単語を予測し続ける

基本的な仕組みは「次に来る単語を予測する」ことの繰り返しです。予測した単語を入力に加え、また次を予測します。

GPT-nがこの方式の代表例です。単純な仕組みですが、大規模化によって驚くほど自然な文章が生成できることが明らかになりました。

事実と異なる内容をもっともらしく生成してしまう点が最も重要な課題です（ハルシネーション）。

モデルは「正しさ」ではなく「もっともらしさ」を学習しているためです。出力をそのまま信用せず、事実確認を行う運用が欠かせません。RLHFなどで改善が図られています。

常に最も確率の高い単語を選ぶと単調で不自然な文になります。そこで確率的に選ぶ工夫が使われます。

ただしランダム性を上げすぎると一貫性が失われます。この調整が生成の質を左右します。