ai, neuroscience,

一分钟读论文:《SemVideo从大脑活动重建视频》

Unbug By Unbug Follow · 1 min read
一分钟读论文:《SemVideo从大脑活动重建视频》
Share this

发表于 arXiv 的论文《SemVideo: Reconstructs What You Watch from Brain Activity via Hierarchical Semantic Guidance》提出 SemVideo 系统,用分层语义引导从 fMRI 大脑活动中重建连贯视频,在 CC2017 与 HCP 两个公开数据集的 10 个评估指标中有 8 项超过此前方法,达到新的最先进水平。

SemVideo 分层语义引导重建流程

从静态图片到动态视频

从大脑活动重建视觉信号分为三个等级:分类(判断在看猫还是狗)、识别(判断看的是哪张图)和重建(直接还原画面)。前两级已有不错结果,视频重建则是数量级更高的挑战。fMRI 依赖血液动力学响应(BOLD 信号),需要数秒才能反映一次神经活动变化,而视频以每秒数十帧更新,信号采样节奏完全跟不上画面节奏。既有方法要么把视频拆成独立图片逐帧重建,导致物体在帧之间乱跳;要么时间连贯性差,画面跳变、运动方向错误。视频重建的难点因此不在单帧画质,而在如何从稀疏、缓慢的脑信号中补足帧与帧之间的动态信息。

分层语义引导的架构

SemVideo 不直接重建像素,而是先用语义信息引导整个过程。其 SemMiner 模块把原始视频拆解为三层描述:静态锚点描述第一帧的视觉内容,运动叙事描述动作与动态变化,整体概要总结全局语义,再由这三层信息指导重建,对应人描述电影时先说画面、再说动作、最后概括主题的方式。

系统由三个组件构成。语义对齐解码器(SAD)负责把 fMRI 信号解码成语义特征:先用受试者特定投影层把不同人大脑激活体素数不一的 fMRI 信号映射到统一潜在空间,再经共享编码器对齐到 CLIP 文本特征空间。运动适应解码器(MAD)负责从脑信号重建连贯的动作序列,核心是三方注意力融合架构:空间自注意力捕捉帧内结构,时间自注意力建模帧间依赖,语义引导的交叉注意力把语义先验注入注意力计算。条件视频渲染器(CVR)融合语义特征与运动潜变量生成最终视频,按静态、动态、整体的顺序分阶段注入三类语义。

八项指标刷新纪录

在 CC2017 与 HCP 数据集上,SemVideo 语义层面的 2-way-V 分数为 0.865,50-way-V 为 0.264;像素层面的色调皮尔逊相关 Hue-PCC 达 0.849,为各方法最高;时空层面的 CLIP 相似度 0.526 最高、端点误差 EPE 4.788 最低。10 个指标中 8 项超越此前方法,覆盖语义、像素、时空三个评估维度。

可解释性分析给出神经科学层面的佐证:静态锚点组件主要激活视觉皮层,运动组件激活 MT、MST 等运动处理区,整体组件在视觉与运动区均衡激活,说明模块分工与人脑视觉处理机制吻合,也反过来印证了人脑确实不是逐像素处理视频,而是提取语义与运动信息。这类脑与模型的双向验证与CATS Net 从感官体验形成概念思路相通:前者把画面还原自脑信号,后者把人脑的概念组织装进网络。局限也很明确,fMRI 设备庞大昂贵,重建质量距原片仍有明显差距,可重复性有待更多验证;若能稳定反向工作,则对盲人视觉辅助与神经疾病研究有潜在价值。

References


Related
Featured