⑤ ディープラーニングの応用例／ 27. 自然言語処理

GLUEとは

GLUEとは、自然言語理解モデルの性能を多角的に評価するための標準ベンチマークです。文分類・含意認識・文類似度評価など複数のタスクから構成され、総合的な言語理解能力を測定します。

この用語はG検定シラバスの「27. 自然言語処理」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

言語理解モデルの実力を複数の課題でまとめて測る、標準的な評価セットです。

なぜ複数タスクなのか

1つのタスクだけでは、そのタスクに特化しただけのモデルが高得点を取ってしまいます。

複数の異なる課題をまとめて評価すれば、本当に汎用的な言語理解能力があるかを見極められます。含まれるのは文の分類、2文の含意関係の判定、文どうしの類似度の評価などです。

同じベンチマークで測ることで、研究どうしを公平に比較できます。BERTの登場時もGLUEでの大幅な性能向上がその実力を示す根拠になりました。

のちに、より難しい課題からなる後継版も作られています。モデルが強くなるほどベンチマークも更新されるという関係です。

モデルがベンチマークで高得点を取っても、実際の運用でうまくいくとは限りません。

ベンチマークに特化した最適化が進むと指標が実力を反映しなくなるという問題も指摘されています。評価指標との付き合い方は常に論点になります。