← 返回博客

JACIII 30(4)

研究大脑理解语言时，越复杂的 AI 表示越好吗？

比较两种语言特征，理解“预测脑活动”和“从脑活动还原特征”分别意味着什么。

Muxuan Liu · 阅读时间约 5 分钟

把词语变成数字，再和脑活动比较

语言模型会把词语表示成数字向量。可以把它想成一张数字化的词语卡片：有的卡片比较固定，有的会随着句子上下文变化。比如同一个词出现在不同句子中，后一类表示会有所不同。

研究者可以把这些数字和人在听故事时的脑活动进行比较。这篇论文问了一个看似简单的问题：加入上下文、处理得更复杂的表示，就一定更适合这项任务吗？

两种特征、两个方向

论文比较输入嵌入和隐藏状态。输入嵌入可以理解为模型最初查到的词语表示；隐藏状态则是经过模型处理、受到上下文影响的表示。本研究的隐藏状态提取使用特定时间片段和最后一层，结论要放在这个设置下理解。

“编码”是用语言特征预测脑活动；“解码”是反过来，用脑活动预测语言特征。这里的解码目标是数字表示，并不是直接生成一个人脑中正在想的句子。

实验怎么安排

研究使用三名参与者反复听同一段故事时的 fMRI 数据，比较多个语言模型家族。映射方法有两种：一种是较简单的线性回归，另一种是能利用序列信息的双向 LSTM。

同样的故事被重复播放，可以帮助估计哪些脑信号比较稳定。论文通过可解释方差来分析这种可靠性，并单独考察较稳定的脑区。可以把它理解为先问“这部分信号本身有多可信”，再判断模型预测得好不好。

主要发现：简单表示值得认真比较

输入嵌入是很有竞争力的基线，在部分设置下甚至优于隐藏状态。这提醒我们，加入上下文后的表示虽然包含更多信息，却不一定更容易在有限数据下与脑信号建立对应。

更复杂的序列模型在部分脑区带来改善，但并非所有条件下都更好。使用稳定的脑信号尤其重要：一个指标变好，也不代表模型已经可靠地还原了语言内容。论文因此同时关注预测表现和结果是否容易解释。

这项研究没有证明什么

这些结果不意味着上下文对大脑不重要，也不意味着输入嵌入总比隐藏状态好。表示提取方式、模型层数、映射方法和脑信号质量都会影响比较。

实验只有三名参与者，且围绕同一故事的重复记录展开。把不同重复记录划分为训练和测试，与测试一个从未听过的新故事并不是同一件事。更好的预测也不能直接证明语言模型和大脑使用了相同的计算机制。

读完可以带走的想法

研究 AI 与大脑的联系时，先把简单基线做好，再判断复杂模型增加了什么。除了看分数，还应检查信号可靠性、数据划分和预测目标。这样才能理解“模型与大脑相似”到底指哪一层意义。