← 返回博客

arXiv · 2026 · Preprint

MindAlign：为脑信号搭一座通向语言的桥

分两步连接脑活动与语言模型，探索怎样生成接近心中描述的句子。

Muxuan Liu

如果能把默默想的话写出来呢？

看一张图片时，你可能在心里描述其中某个细节，而不是整幅画面。MindAlign 研究的是：脑活动记录能否帮助还原这段描述？实验中，参与者观看图片，在心里用日语描述，同时接受 fMRI 扫描。这是一个受控的描述任务，并不是任意场景下的自由读心。

核心想法：分两步搭桥

脑活动记录和语言模型使用的是很不一样的数字表示。第一步，MindAlign 为每位参与者学习一种转换方法，把脑活动变成紧凑的“意思草图”。训练时，图片和语言的表示帮助模型建立这种对应。

第二步，把这份草图与图片特征一起转换成一小段数字提示，交给 LLaVA 生成句子。语言模型本身的参数保持不变，训练的是连接两端的映射和融合模块。这样，理解某个人的脑信号与引导语言模型生成就被分开了。

怎样检查脑信号是否真的有帮助

研究包含五名参与者，比较了只用脑信号、脑信号加图片、原始 LLaVA 只看图片，以及保留图片但把脑信号换成随机噪声等条件。参考文本来自扫描后参与者写下的描述。

最后一个对照很关键：模型只看图片，本来就能写出通顺的说明。要判断脑信号是否有用，就需要进一步检查真实信号是否比随机输入带来更好的结果。

实验发现了什么

脑信号与图片结合后，论文报告的文本相似度指标总体优于只用脑信号；在按参与者汇总的结果中，真实脑信号也优于随机输入。以 LD0006 为例，真实信号的 BERTScore 为 0.7800，随机输入为 0.7364，见论文表 2。

BERTScore 比较生成文本和参考文本的表示相似程度。0.78 不是“读心准确率 78%”，也不能说明逐字恢复了心中的话。有些生成结果仍会偏离原意或出现错误细节。

换一个人，还能复用吗？

论文还把一个人的第一阶段编码器与另一个人的第二阶段映射器组合起来测试。结果支持语言生成这一端具有一定复用能力。

不过，脑信号到语义的部分仍然需要针对参与者训练。因此，这不是面对一个完全没有适配过的新参与者就能直接使用的系统。

怎样理解这项工作的意义

主要的多模态系统同时接收图片与脑活动，实验人数有限，任务也限定在无声看图描述，参考文字还是扫描后报告的。这些条件都限制了结果能推广到什么范围。

MindAlign 是 arXiv 预印本。它探索了一种模块化方法，把有限的脑数据连接到已有语言模型，并用对照实验检验不同输入的贡献。目前尚无代码链接，因此这里只附论文。