arXiv · 2026 · Preprint
MindAlign：脳信号と言語の間に橋を架ける
言語モデルを固定したまま、二段階で脳活動から説明文を生成する試みです。
Muxuan Liu
心の中で言ったことを文章にできるか
画像を見るとき、全体ではなく一つの細部を心の中で説明することがあります。MindAlign は、その説明を脳活動から捉えられるかを調べます。参加者は fMRI 撮像中に画像を見て、日本語の説明を無声で思い浮かべます。自由な場面で思考を読み取るのではなく、条件を定めた課題です。
基本の考え方は二段階の橋渡し
脳活動と言語モデルは、異なる数値表現を扱います。第一段階では、参加者ごとの脳活動を、意味を要約した小さな表現へ変換します。学習では画像と言語の表現を手がかりに、この対応を作ります。
第二段階では、その「意味のスケッチ」と画像特徴を、LLaVA を導く短い数値のプロンプトに変換します。言語モデルの重みは固定し、間をつなぐ投影・融合モジュールを学習します。個人の脳信号を解釈する部分と、言語生成を導く部分を分ける設計です。
脳信号の効果をどう確かめるか
五名の参加者について、脳信号のみ、脳信号と画像、元の LLaVA に画像のみを与える条件、画像を残して脳入力をランダムノイズに置き換える条件を比較します。参照文には撮像後に書いてもらった説明を使います。
画像だけでも自然な説明文は作れます。そのため、文章の流暢さだけでは脳信号の貢献は分かりません。実際の信号とランダム入力の比較が、この点を調べる手がかりになります。
結果から見えること
脳信号と画像を合わせると、脳信号のみよりも文章の類似度指標がおおむね改善しました。参加者ごとの集計では、実際の脳信号がランダム入力も上回りました。例えば LD0006 の BERTScore は、実際の信号で 0.7800、ランダム入力で 0.7364 でした（表 2）。
BERTScore は生成文と参照文の表現の近さを測ります。0.78 は「読心の正解率 78%」ではなく、思い浮かべた単語をすべて復元できたことも意味しません。意味のずれや誤った細部が生じる例もあります。
別の人にも使い回せるか
ある参加者の第一段階のエンコーダーと、別の参加者の第二段階の投影器を組み合わせる実験も行っています。結果は、意味から言語につなぐ部分に一定の再利用可能性があることを示唆します。
ただし、脳信号を意味表現にする部分は参加者ごとの学習が必要です。まったく適応していない新しい人に、そのまま使えるシステムではありません。
この研究をどう位置づけるか
主要なマルチモーダル条件では画像も入力されます。参加者数は少なく、課題は無声の画像説明に限定され、参照文は撮像後の報告です。自然に生じる内言への一般化には、こうした条件を考慮する必要があります。
MindAlign は arXiv のプレプリントです。限られた脳データを既存の言語モデルにつなぐモジュール構成と、各入力の貢献を調べる実験が中心です。コードはまだ利用できないため、ここでは論文へのリンクのみ掲載します。