① 人工知能の基礎と動向／ 2. 人工知能分野で議論される問題

統計的機械翻訳とは

統計的機械翻訳とは、大量の対訳データから確率モデルを学習して翻訳する手法です。文法規則を人手で書かない点が特徴で、ルールベース機械翻訳とニューラル機械翻訳の間の世代にあたります。

この用語はG検定シラバスの「2. 人工知能分野で議論される問題」に含まれます。章全体の用語は用語解説①（全54語）にまとまっています。

対訳データを大量に集め、「この語はこう訳される確率が高い」を統計的に学習する翻訳手法です。

仕組みの考え方

同じ内容を2言語で書いた文書（対訳コーパス）を大量に用意し、「原文のこの表現は、訳文のこの表現に対応しやすい」という確率的な対応関係を学習します。

人間が文法規則を記述する必要がないため、ルールベース機械翻訳の弱点であったルール作成コストを回避できました。

この3世代の順番はG検定対策で押さえておきたいポイントです。

統計的機械翻訳は、単語や短いまとまりごとの対応を積み上げて訳文を作ります。そのため文全体の自然さや長い文脈を扱うのが苦手でした。

この弱点を克服したのがニューラル機械翻訳で、文全体を扱えるようになったことで訳文の流暢さが大きく向上しました。