← ブログ一覧へ

JACIII 30(4)

脳の言語理解を調べるとき、複雑な AI 表現ほどよいのか？

二種類の言語特徴を比較し、脳活動の「予測」と「復元」の意味を整理します。

Muxuan Liu · 約 5 分で読めます

単語を数値にして脳活動と比べる

言語モデルは単語を数値のベクトルで表します。単語ごとのデジタルカードを想像すると分かりやすいでしょう。比較的固定されたカードもあれば、周囲の文によって内容が変わるカードもあります。

こうした特徴と、人が物語を聞いているときの脳活動を比較できます。本論文の問いは、文脈を取り入れた複雑な表現が、この比較でも必ず優れているのか、というものです。

二種類の特徴と二つの方向

比較するのは入力埋め込みと隠れ状態です。入力埋め込みはモデルが最初に取り出す単語の表現、隠れ状態は処理を経て文脈の影響を受けた表現と考えられます。本研究の隠れ状態は、決められた時間区間と最終層を用いて抽出しており、その条件の下で結果を読む必要があります。

エンコーディングは言語特徴から脳活動を予測すること、デコーディングは逆に脳活動から言語特徴を予測することです。ここで復元するのは数値表現であり、頭の中の文章を直接生成する課題ではありません。

どのように比べたか

三名が同じ物語を繰り返し聞いた際の fMRI データを使い、複数の言語モデル系列を比較しました。対応づけには、比較的単純な線形回帰と、系列情報を利用できる双方向 LSTM を用いました。

繰り返し測定することで、どの脳信号が安定しているかを推定できます。論文では説明可能分散を用いて信頼性を調べ、安定した信号を持つ脳領域も別に分析しています。予測の良し悪しを見る前に、そもそも信頼できる信号がどの程度あるのかを確かめる考え方です。

主な発見：単純な特徴も強い比較対象になる

入力埋め込みは十分に競争力があり、条件によっては隠れ状態を上回りました。文脈情報が増えても、限られたデータで脳活動との対応を学習しやすくなるとは限りません。

系列モデルは一部の脳領域で改善をもたらしましたが、すべての条件で優れるわけではありません。信号の安定性も大切です。一つの指標が改善しただけで、言語内容を確実に復元できたとは言えません。論文は予測性能と解釈のしやすさの両方を検討しています。

どこまで言える結果なのか

文脈が脳にとって重要でない、あるいは入力埋め込みが常に優れる、という結論ではありません。抽出方法、層の選択、対応づけの手法、脳信号の質が結果に影響します。

参加者は三名で、一つの物語の繰り返し記録を扱っています。別の繰り返しをテストに使うことと、未知の物語で評価することは異なります。また、予測が良くても、モデルと脳が同じ計算をしていると直接証明されたわけではありません。

研究を読むときのヒント

まず単純な比較対象をしっかり作り、複雑さを増すことで何が得られるのかを確かめることが大切です。点数だけでなく、信号の信頼性、データの分け方、予測対象も確認すると、「AI と脳が似ている」という主張の意味が見えやすくなります。