医療AIラボ|無料シミュレータ

小さな言語モデルの中身

ChatGPTなどの生成AIは、「次に来る単語の確率」を計算し、そこから1語ずつ選んで文章を作っています。同じ仕組み(Transformer)のごく小さな模型を、ブラウザの中で動かして確かめられます。

  • 本物の計算をその場で実行
  • 語彙66語・パラメータ8,202個
  • インストール不要
まず試してほしいこと 下の「文の終わりまで」を何度か押して、文が作られる様子を見てください。次に、温度を 2.0 まで上げて同じことをすると、「薬剤師 は 講義 を 依頼する 。」のような、形は正しいのに内容がおかしい文が増えてきます。

1. 1語ずつ文をつくる

この模型は、「医師 は 薬 を 処方する 。」のような短い文だけでできた人工の小さな言語を学習しています。下の棒グラフは、模型が計算した「次の単語の確率」です。単語を押すと、その単語を自分で選べます。

書き出しを選ぶ:
次の単語の確率(上位12語)

青い棒=現在の設定での確率。黒い線=温度1.0・絞り込みなしのときの確率(模型がもともと出した値)。灰色=候補から外れた単語。

Attention:次の単語を決めるとき、どの単語を見ているか

色が濃いほど、その単語を強く見ています。この模型には「ヘッド」が2つあり、それぞれ別の単語に注目します。動詞を選ぶ場面(「を」の直後)では、多くの場合、ヘッド1は目的語を、ヘッド2は主語と目的語の両方を見ています。「誰が」「何を」が分からないと、動詞を決められないためです。

2. たくさん作って、正しさを数える

この人工の言語には、「医師は薬を処方する」「患者は薬を飲む」のように、誰が・何を・どうするの組み合わせの規則があります。模型が作った文を、規則と照らして3つに分けます。

学習データにあった文模型が学習のときに見た文と同じもの。
初めての文(規則どおり)学習データには無かったが、規則には合っている文。丸暗記ではなく、規則を身につけた証拠です。
規則に合わない文文の形は正しいが、組み合わせが誤っている文など。生成AIの「もっともらしい誤り」にあたります。

この模型がしていること

  1. 単語を数字の列に直す。「医師」「薬」などの単語を、それぞれ24個の数字(ベクトル)に置き換えます。何番目の単語かという位置の情報も足します。
  2. Attentionで、関係のある単語から情報を集める。次の単語を決めるのに役立つ単語を、それまでの文の中から探して重みを付けます。自分より後ろの単語は見ません。
  3. 集めた情報を変換する。小さなニューラルネットワーク(MLP)を通します。
  4. 全単語のスコアを出し、確率に直す。66語それぞれにスコアを付け、合計が100%になるように変換します(softmax)。このとき、スコアを温度で割ります。
  5. 確率にしたがって1語選ぶ。選んだ単語を文の末尾に足し、1に戻ります。

1〜5は、大規模な生成AIでも同じです。違うのは規模で、実際の生成AIは語彙が数万〜数十万、パラメータが数十億〜数千億、Attentionの層が数十段あります。Attentionの計算を1ステップずつ追いたい方は、Self-Attention可視化ツールもあわせてご覧ください。

温度・top-k・top-pで何が変わるか

  • 温度:低くすると確率の差が強調され、1位の単語がほぼ必ず選ばれます。高くすると差がならされ、確率の低い単語も選ばれやすくなります。
  • top-k:確率の高い順にk個だけを候補に残します。1にすると、いつも1位を選ぶ(毎回同じ文になる)設定です。
  • top-p:確率の高い順に足していき、合計がpに届いたところまでを候補に残します。候補がはっきりしている場面では少数に、迷っている場面では多めに残るのが特徴です。

上の「温度ごとに比べる」で確かめられるとおり、温度を上げるほど規則に合わない文が増え、top-pで確率の低い候補を切ると減ります。

医療で生成AIを使うときに、ここから分かること

  • 生成AIは、正しいかどうかを確かめてから答えているわけではありません。計算しているのは「次に来そうな単語の確率」です。この模型は規則を教わっておらず、文の例から確率を身につけただけです。それでも大半は規則どおりの文を作りますが、誤った文も同じ調子で出てきます。
  • 誤りは、形が正しいほど見つけにくくなります。「薬剤師 は 講義 を 依頼する 。」は文としては自然で、規則を知らなければ誤りだと気づけません。医療の文章でも、用語や書式が整っていることは、内容が正しいことの根拠になりません。
  • 温度を下げても、誤りがゼロになるとは限りません。温度を下げると誤りは大きく減りますが、この模型では温度0.5でも、数百文に1文ほど規則に合わない文が出ます。
  • 同じ質問でも、答えは毎回変わりえます。確率にしたがって選ぶためです。一度うまくいったことは、次もうまくいく保証になりません。

医療現場での生成AIの使い方については、ブログ記事「病院での生成AI活用」「患者情報を生成AIに入力してはいけない理由」でくわしく扱っています。

この模型について

  • 学習に使ったのは、本ツールのために規則から作った640文のうちの512文です。残りの128文は学習に使わず、「初めての文を作れるか」を確かめるために取り分けました。実在の文章やデータは使っていません。
  • 構成は、単語の埋め込み(24次元)、自己注意1層(2ヘッド)、MLP、出力層で、パラメータは8,202個です。
  • ブラウザ側の計算は、学習に使ったPythonのプログラムの計算と突き合わせ、出力が一致することを確認しています。
  • この模型の振る舞いは、仕組みを理解するための例です。実際の生成AIの性能や誤りの頻度を示すものではありません。
スポンサーリンク

本ツールは、生成AIの仕組みを学ぶための教材です。ここで扱う文は人工的に作ったもので、医療上の助言や、実在の職種の業務内容を示すものではありません。ご利用は免責事項をご確認ください。不具合や要望はお問い合わせからお知らせください。