传统脑编码被淘汰?NeurIPS新模型:少样本实现精准脑预测

香港中文大学、港大联合哈佛、卡内基梅隆这些顶尖高校,最近搞出个大新闻。

他们的新模型BraInCoRL登上了NeurIPS2025,只用100张图就能预测人的脑活动,还不用反复微调。

这事儿放在以前,神经科学界的人想都不敢想。

传统想做脑编码模型,得给每个人扫几千张图的脑活动数据。

我之前查过fMRI设备,一台就要上千万,扫一次还得半个多小时。

被试得盯着几千张图不动,累不说,次数多了数据还容易不准。

更麻烦的是,每个人的大脑精细功能都不一样,别人的模型换个人就没用,还得重新扫重新训。

有神经科医生朋友说,临床想用上这技术,光数据采集就卡了大半的路,毕竟没多少患者能扛住多次扫描。

就是因为这些麻烦,港中文的喻牧泉、港大的罗逸飞这些学者才想着搞个新方法。

他们牵头的团队,把每个脑体素都当成独立的任务来处理,这思路一开始听着挺怪,后来发现是真的妙。

传统脑编码:又费钱又费时间的“老大难”

人类的高级视觉皮层,比如管认人脸的FFA区、管认场景的PPA区,位置大致差不多,但精细结构差太多。

想给某个人做精准的脑编码模型,就得用fMRI扫几千张图,记录他的神经响应。

如此看来,这不仅费钱,还特别费时间。

之前有研究团队做实验,一个被试的数据集采集完,前后得花好几个月。

更无奈的是,就算花了这么多功夫,这个模型也只能给这一个人用,换个人就得重来。

主流的“图像特征+线性回归”方法,看着好用,跨被试泛化能力是真差。

后来也有Transformer架构的模型尝试解决,但还是得微调,没摆脱对大量数据的依赖。

这就像定制衣服,每个人都得重新量尺寸裁布料,效率低得不行。

临床场景里,癫痫患者术前需要定位脑功能区,总不能让他们反复做扫描。

3TfMRI设备的扫描过程本身就有一定压迫感,多次扫描只会增加患者的不适感,数据质量也难以保证。

这也是为什么传统脑编码模型喊了这么多年,却一直没能大规模落地临床。

BraInCoRL逆袭:100张图+不用微调的神操作

就在大家都头疼的时候,BraInCoRL横空出世,直接把这个“老大难”问题给解决了。

这个模型的核心思路,是把每个脑体素当成一个独立的任务。

本来想,这么多体素,不得训到天荒地老,后来发现他们用了元学习和上下文学习的结合。

训练的时候,模型从很多人的脑数据里,学那些通用的视觉和神经映射规律。

等到用的时候,只需要给100张新被试的图像和对应的脑活动数据当参考,不用任何微调,直接就能生成专属的编码器。

这操作就像老师教了通用的解题方法,学生做几道例题就能解新题,不用再从头学起。

模型的架构分了三部分,视觉特征编码器用了CLIP的预训练模型,上下文推理模块靠Transformer找规律,最后体素级预测器针对性输出,三者配合得是真默契。

三阶段训练策略也很有讲究,先预处理多被试数据去除噪声,再随机采样体素任务训练共性,最后优化上下文学习能力。

这套流程走下来,模型的稳定性和泛化能力都得到了保障。

它在NSD数据集上的表现,是真的亮眼。

只用100张图,预测精度就和传统用9000张图训出来的差不多,不管是认人脸、认场景还是认食物的脑区,预测效果都很稳定。

更难得的是跨设备能力,在BOLD5000数据集上,就算扫描仪和刺激协议和训练集不一样,也能准确预测。

这意味着不同实验室的设备数据可以互通,不用再为了统一设备而额外投入。

通过UMAP可视化,能看到体素权重按语义聚类,人脸归人脸,食物归食物,多个被试都能复现这种规律。

分析注意力机制的时候发现,预测人脸区域响应,模型会自动关注人脸图像,这逻辑和人脑的反应是一致的,可解释性拉满了。

最让我觉得惊喜的是,它还支持自然语言驱动。

比如输入“一张人脸的照片”这样的文本,通过CLIP转换成图像嵌入,就能零样本预测整个视觉皮层的激活图。

毫无疑问,这给脑科学研究打开了新思路,不用再费劲找大量图像,用文字就能探查大脑活动。

研究人员想知道大脑对“奔跑的动物”的响应,不用再辛苦搜集几百张相关图片,只需要输入对应的文本提示,就能快速得到激活图。

这个模型的意义远不止在实验室里。

它大幅降低了个体化脑编码模型的构建门槛,不管是视觉假体还是脑机接口,都能更快适配用户。

之前了解到,元学习在脑机接口领域已经有应用,这次BraInCoRL把它拓展到视觉皮层编码,相当于给相关研究提供了可复用的方法论。

临床方面,脑损伤患者的功能评估也能受益,通过文本指令快速预测脑活动,判断损伤区域和功能保留情况,减少扫描次数对患者来说就是实实在在的福利。

BraInCoRL首次把上下文学习引入计算神经科学,不仅解决了传统模型的数据依赖问题,还提升了可解释性和泛化能力。

能在NeurIPS这样的顶会上发表,足以证明它的含金量。

随着技术的进一步完善,相信用不了多久,我们就能在更多临床和科研场景中看到它的身影。

脑科学的个体化应用时代,怕是要提前到来了,而这一切,都源于科研人员对“少样本、高效率”的不懈追求。

展开阅读全文

更新时间:2025-11-24

标签:科技   精准   样本   模型   传统   数据   上下文   视觉   患者   千张   图像   皮层   能力

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020- All Rights Reserved. Powered By bs178.com 闽ICP备11008920号
闽公网安备35020302034844号

Top