VASTRA:按查询复杂度控制流程的智能体视频 Top-K 检索系统
VASTRA 是一个智能体视频检索系统,它按查询复杂度决定执行流程,而不是采用开放式推理循环:简单查询直接从预摄取摘要中排序,困难查询只在相关性不确定处做定向验证。
VASTRA 是一个智能体视频检索系统,它按查询复杂度决定执行流程,而不是采用开放式推理循环:简单查询直接从预摄取摘要中排序,困难查询只在相关性不确定处做定向验证。
HintErase 把叠加层定位结果当作提示而非待填充的孔洞,模型同时接收完整未遮挡视频和提示通道,训练时按真实定位器的失败方式破坏提示、监督仍对齐真实叠加层,从而去除提示漏掉的笔画与整帧叠加层、保留提示误覆盖的背景和真实场景文字。作者还给出面向全长视频的流式管线,处理隔行源、镜头切换、漏检与抖动提示、回贴和音频,内存占用与视频长度无关;视频对比结果见项目页。
研究团队构建 DisasterVLG 大规模多任务数据集,包含来自 142 个国家的 124 万张灾害图像和 3300 万条结构化标注,覆盖密集描述与定位、事件评估、关系场景描述和灾害视觉问答(VQA)。
推荐理由:该数据集把灾害场景的视觉定位与证据式问答统一起来,并给出人工核验测试集,便于评估模型在真实不确定性下的推理能力。
研究团队提出 Blueprint2CAD 基准,用于判断正交线工程图与另一视角的着色渲染图是否对应同一零件,其数据层 BlueCAD-30K 基于 29,925 个 Zero-to-CAD 模型生成六视角图纸与渲染。
推荐理由:该基准把视角变化与骨干网络的影响分开考察,并给出冻结编码器和零样本 VLM 的具体表现,便于读者判断工程图检索任务的真实难点。
研究提出 BMT,一个分层 Vision Transformer,通过共享编码器将 SAR-to-optical 转换与 SAR 语义分割耦合,采用多尺度 one-hot 条件、门控 LocalViTBlock、颜色校准生成头与 ControlNet 式零初始化注入。
作者提出 MMEarth-Bench,包含五个环境任务、12 种模态和全球分布数据,并提供随机与地理两种测试划分。基准测试显示多模态预训练在少标注下更稳健,但地理泛化仍较差,数据充足时随机初始化的多模态模型也具竞争力。作者进一步提出模型无关的 TTT-MMR 方法,在测试时用全部可用模态做重建辅助任务,在两个划分上均提升各模型表现,数据集、代码与可视化工具见项目页。
推荐理由:材料给出五个新任务、12 种模态和地理切分,并指出地理泛化仍是短板,读者可据此判断多模态地球观测模型的真实能力边界。
作者提出 AVI-HT,将第一视角图像与手套上的 6-DoF IMU 信号联合建模,用于跟踪 3D 手部姿态,在遮挡严重的手-物交互场景中提升精度与可用性。方法包含同步采集的视觉-IMU 与动捕真值配对训练数据,以及跨传感器深度注意力机制,自适应调节对视觉和各 IMU 传感器的信任权重。
研究团队发布 Ropedia Xperience 2,包含 1,589 个已公开的米制尺度 3D 扫描,以及覆盖 74 项任务、共 131 小时的 4,230 段自我中心录制。
推荐理由:该数据集同时提供环境扫描与人类行为演示,并给出转成机器人学习数据的流程,可供关注具身智能数据规模化的人参考。
第 8 届 LSVOS 挑战赛 MUMU 赛道要求单一统一模型在 0.5B 参数、8 GB 峰值推理内存预算内同时完成多概念图像打标、开放词表目标检测和简短图像描述。
UniSpark-9B 是一个约 9B 参数的统一多模态模型,采用 Mixture-of-Transformer-Experts 主干,结合全注意力与 GatedDeltaNet 线性注意力,联合支持视觉问答、文生图、指令引导编辑和交错图文预测。
作者发布 Cat Royale Comprehensive Dataset(CRCD),基于 Cat Royale 艺术与研究项目中超过 500 小时的视频,包含 20000 张带实例分割掩码的图像、5000 张多主体姿态坐标图像、800 余段带动作类别的视频片段和 800 余段带详细文本描述的视频片段。
作者提出 NSDL,让小型视觉语言模型只判断场景状态与任务分工并写成计划草图,再由确定性求解器展开为可执行的联合计划,模型在训练中调用检测器与求解器两个工具。
推荐理由:论文把多机器人任务规划拆成视觉判断与确定性求解两部分,并在两个基准上对比端到端方案,还开源了代码与基准。
作者提出 Reins 框架,让现成的前沿多模态模型借助 3D 感知工具和可报告接触与抓取状态的原子动作,操作双臂机器人完成长程、接触密集的操作任务。在五个真实任务上,GPT-6.1 Sol 在自然语言提示、无任务专用代码的条件下成功率为 88%;不使用该框架时,它在所有 shell game 任务上均失败,耗时是前者的 8 倍。
推荐理由:作者提出让前沿多模态模型通过工具与原子动作驱动双臂机器人的框架,并给出真实机器人长程任务的成功率对比。
该研究提出双域SSL融合方法,将语音、环境声、歌声、音乐等异构音频映射到统一的二值真伪空间,以EAT-large与wav2vec 2.0 XLS-R-300M作为互补特征源,通过逐层加权融合与token级融合整合多层级伪造痕迹。系统在AT-ADD Track 2评测集上取得95.58% Macro-F1,在挑战赛中排名第二。
BWM-Forge 是一个代码驱动的机器人视频生成框架:给定机器人资产与任务描述,编码智能体构建可编辑的 Blender 场景程序,指定物体、机器人运动与相机,再由视频生成模型补充视觉细节。
研究团队提出互惠世界模型(RWM)并发布 Duo v1,一个持续感知音视频输入、同时实时回应用户的全双工世界模型。RWM 把智能与物理现实视为同等基础,划分出提供交互认知的 Intent 与生成连贯音视频行为的 Realization 两项能力。
推荐理由:提出把意图推理与音视频生成统一进世界模型的双模块框架,并给出三项训练设计,可供多模态交互研究参考。
MemCrafter 通过迭代式智能体提示词优化提升文本生成视频的记忆度,其核心是构建基于皮层区域的神经记忆信号,从估计的神经响应预测视频记忆度,同时提供优化目标和可解释的区域级信息。配套的敏感度感知反馈模块基于对优化目标的概念性敏感度分析,在保持语义保真度的同时给出可操作的提示词改进指导。实验显示该方法在维持语义对齐与感知质量的同时持续提升预测的视频记忆度。
研究团队提出免训练方法 Visual Position Re-Anchoring(VPR),在问题处理前将缓存中的视觉 key 旋转相位向短上下文参考位置偏移,直接作用于现有 KV cache,不提取注意力图也不增加前向计算。
作者提出 COMBS,将隐藏物体搜索统一为 concealment-adaptive mixed-observability MDP(CA-MOMDP),并用分层转移系统把环境抽象为房间与物体节点进行规划。
研究者在 Gemini 3 Flash 和 Gemma 4 两个骨干上对多种智能体视频推理框架做受控评测并核算 token 与成本,发现多数现有框架未能稳定优于原生视频推理且常增加开销。
推荐理由:在统一骨干与成本核算下比较多种智能体视频推理框架,并给出更简单的 SAVE 方案,便于判断复杂度是否值得。
研究者提出 MOSAIC,一个可接入预训练 VLA 策略的模块化空间与障碍感知框架,通过预测目标物体、目标区域和周围障碍的角色专属掩码,并结合 3D 场景重建深度生成几何 token 注入动作专家。在 RoboPRO 基准上,MOSAIC 使杂乱场景成功率提升 5.1%,视觉扰动下提升 9.7%,最困难环境提升达 25.0%。
DiFiT 提出用分布保真度引导视觉 token 剪枝,通过双视角蒸馏对齐完整 token 与剪枝后的词表概率分布,并用可学习打分器与可微 Top-K 选择保留的视觉证据。在 Qwen2.5-VL-7B 上,10% 保留率下其采样导致的负翻转比 FastV 减少 30.3%,30% 保留率下在 MME 上保留基线性能的 98.74%。
针对冻结视觉语言模型能匹配描述中的概念却不尊重否定(如"没有烤面包机的厨房"反而偏好含烤面包机的图像)的问题,作者提出否定感知证据评分 NAES,借助轻量文本分解器 NegSplit 把否定描述改写为肯定查询并按描述结构组合证据。
研究系统分析三个 7-8B 开源 VLM 在五个加入干扰图像的感知基准上的表现,发现即使模型正确识别出相关图像,干扰图像仍会拉低准确率,说明仅做图像选择并不够。
作者提出 RSLiveBench-UAV,一个由持续采集真实无人机影像驱动的视觉语言基准,采用只收录上一版本发布后拍摄图像并延迟公布答案的更新协议。基准包含来自10个场景的35,491条问题记录、覆盖2D感知、3D感知、跨视角感知与推理共17项任务,全部使用确定性评分而非模型评判。
推荐理由:该基准用持续采集的真实无人机影像更新题目,并给出30个模型的横向评测结果,可供读者判断航空空间智能的评测现状。
研究团队提出 Reality Perception Gap(RPG)基准,包含 1 万段来自前沿生成器和部分合成编辑的视频,并经过跨平台转发压缩处理,同时搭配带有相机端光学伪影的真实素材。在 18 个检测器上,当误报率为 1% 时,没有一个检测器能识别出超过 15% 的伪造视频。对照实验和重编码扫描显示,生成器与内容偏移在压缩前就已削弱检测能力,而转发压缩会抹掉基于伪影的检测器所依赖的低层痕迹。
推荐理由:该基准把转发压缩与硬件伪影纳入评测,18 个检测器在 1% 误报率下漏检率极高,为视频取证评测提供了更贴近部署的设定。
研究提出 Embodied-Corrector,通过子任务边界注入扰动构建失败恢复数据,并以 Judge-Cause-Sub-Fine 监督和 OPD 训练模型理解执行偏差并修正规划。实验显示,冻结 VLA 时复合任务成功率提升 6.1 个百分点,固定 GPT-5.5 执行时操作与导航任务提升 13.9 个百分点。
推荐理由:论文针对具身智能体执行偏差,提出失败定位与纠正框架,并在冻结 VLA 和固定 GPT-5.5 执行两种设置下给出成功率提升。
研究提出物理引导的多模态框架,用 Laplacian 方差、Sobel 统计量和残差噪声方差等 5 个核心物理特征构建结构化文本描述,结合 LoRA 微调的 CLIP ViT-L 14 检测 AI 生成图像,推理时仅需输入图像。
研究将罗马帝国硬币描述重构为图像到文本生成任务,基于开源视觉语言模型 Qwen3-VL-8B-Instruct 微调出四个低秩适配器,分别完成正反面铭文转录与图像描述。团队把约 3 万条拍卖记录转为结构化图文对,在单张 20GB GPU 上分任务训练。适配后模型在四项任务上均优于未适配基座模型和 GPT-4.1,铭文转录的归一化编辑距离相对 GPT-4.1 降低超 40%。
BirdDreams 是一个自回归驾驶世界模型,同时生成透视视频和示意性 BEV 视频,把场景布局纳入预测结果,从而无需未来车辆轨迹作为输入。模型用两个视频扩散 Transformer 分别处理两路视频,并通过联合注意力互相传递信息;预测的 BEV 还作为几何接口,按输入自车轨迹平移旋转最新帧,实现自车控制。
推荐理由:论文把 BEV 布局纳入预测目标,省去未来轨迹输入,并用双流联合注意力生成透视与 BEV 视频,为驾驶世界模型提供可对照的轨迹控制方案。
研究者提出 Bind-WAM,一种以语言-物体绑定不确定性为信号、选择性触发未来视觉与动作联合生成的世界动作模型(WAM)。该方法用完整演示离线标注任务相关物体并检测参考错配、不可见与身份漂移,再以伪标签训练轻量路由器从当前观测和语言指令预测绑定不确定性。仿真与真实实验显示,绑定不确定性可作为选择未来想象时机的强且可解释信号。
研究提出 Platonic brain bridge 假设,认为同时处理视频、音频和文本的全能模型与大脑共享可双向利用的类脑表征。
推荐理由:论文把大脑皮层网络结构作为多模态大模型的架构先验,并给出双向验证与配套基准,可供关注脑启发建模的读者参考。
研究提出 MoTE(Mixture of Task Experts)解码器架构,将大语言模型的前馈网络转为任务专属专家,同时保持多模态主干共享。基于该设计构建的 VideoLLM-MoTE 在五个 COIN 基准上评测,五专家模型每样本激活约 2B LLM 参数,平均 top-1 准确率高于近期 VideoLLM 基线,并优于稠密全专家激活与学习式稀疏路由对照组。
Omni-JEV 将文本或按角色索引的用户与助手参考语音映射为五种交互动作的概率,用于判断全双工语音助手何时应答、保持说话、打断或恢复被打断的回复。其对齐语音到语音理解骨干分别编码声学角色,并与文本输入共享候选读出。Gaussian Omni-JEV 在测试集上语音准确率 84.08%、文本准确率 96.55%。
论文提出 LOFT 低秩正交微调框架,将正交 PEFT 中的适配子空间与子空间内变换显式分离,并统一了坐标、butterfly、Householder 及主子空间等正交 PEFT 方法的乘性核心。一阶分析表明适配支持应由下游训练信号决定,据此设计的任务感知支持选择在语言理解、视觉迁移、数学推理和多语言分布外适配中,于相同可训练参数与变换设置下提升性能。该工作已被 NeurIPS 2026 接收。
研究提出 MVC-ZigAL,一个面向少步文本到多视图(T2MV)扩散模型的强化学习微调框架,用于改善单视图保真度与跨视图一致性。其核心设计包括联合建模所有生成视图并用联合视图奖励评估整体质量的 MDP 形式、利用自精炼采样相对标准采样的性能增益来增强学习信号的优势学习策略,以及结合拉格朗日对偶与自适应原始-对偶更新的多视图约束优化框架。该工作已被 CVPR 2026 接收,代码已开源。
作者提出 Decomposed JEPA(D-JEPA),把潜变量分解为对齐的共享核心与各模态私有的纤维,以替代仅做跨模态对齐的目标。论文证明了对齐冗余界:仅最小化对齐 Dirichlet 能量最多保留冗余信息原子,会抹去模态私有结构与跨模态协同信息。
SpaceMCP 让 VLM 通过结构化函数调用查询实时构建的场景图,获取距离、物体位置和相机参数等信息,无需训练即在 VSI-Bench、MMSI-Bench 和 VSTI-Bench 上取得 SOTA,比基座 VLM 提升 15-22 分。场景图由前馈 3D 重建恢复度量几何、结合开放词汇分割定位物体得到,论文被 NeurIPS 2026 第二届具身空间推理(ESR)研讨会接收。
作者提出 DASH,将 VLA 策略拆成慢速视觉语言模型(System 2)与快速 flow-matching 动作头(System 1),两者通过 LCM 协议并发运行,使控制频率只由动作头决定。
推荐理由:论文把 VLA 策略拆成慢速视觉语言模型与快速动作头两个并发进程,并在计入推理延迟的基准上比较不同规模骨干的控制频率与成功率。
研究团队提出 VideoEditor-MoE,一个面向复杂视频编辑的开源混合专家框架,在稀疏 MLP-MoE 层之外用 MoE-Attention 通过路由 key-value 专家扩展注意力容量,同时保留视频 token 间的全局交互。
推荐理由:论文给出 MoE-Attention 的路由设计与 14B、56B 两档扩展结果,并对比 Explicit-MoE 与 MLP-MoE 两种基线,可供判断专家路由在视频编辑中的作用。