跳到正文
今天11月13日周五102 条
  1. arXiv · cs.CV52

    HintErase 提出定位鲁棒的视频叠加层去除方法

    HintErase 把叠加层定位结果当作提示而非待填充的孔洞,模型同时接收完整未遮挡视频和提示通道,训练时按真实定位器的失败方式破坏提示、监督仍对齐真实叠加层,从而去除提示漏掉的笔画与整帧叠加层、保留提示误覆盖的背景和真实场景文字。作者还给出面向全长视频的流式管线,处理隔行源、镜头切换、漏检与抖动提示、回贴和音频,内存占用与视频长度无关;视频对比结果见项目页。

  2. arXiv · cs.CV72

    DisasterVLG 发布 124 万张灾害图像多任务数据集,覆盖视觉定位与证据式推理

    研究团队构建 DisasterVLG 大规模多任务数据集,包含来自 142 个国家的 124 万张灾害图像和 3300 万条结构化标注,覆盖密集描述与定位、事件评估、关系场景描述和灾害视觉问答(VQA)。

    推荐理由:该数据集把灾害场景的视觉定位与证据式问答统一起来,并给出人工核验测试集,便于评估模型在真实不确定性下的推理能力。

  3. arXiv · cs.CV60

    Blueprint2CAD 基准发布:评测视觉模型能否匹配工程图与 CAD 渲染图

    研究团队提出 Blueprint2CAD 基准,用于判断正交线工程图与另一视角的着色渲染图是否对应同一零件,其数据层 BlueCAD-30K 基于 29,925 个 Zero-to-CAD 模型生成六视角图纸与渲染。

    推荐理由:该基准把视角变化与骨干网络的影响分开考察,并给出冻结编码器和零样本 VLM 的具体表现,便于读者判断工程图检索任务的真实难点。

  4. arXiv · cs.CV72

    MMEarth-Bench:面向全球地球观测的多模态测试时训练基准

    作者提出 MMEarth-Bench,包含五个环境任务、12 种模态和全球分布数据,并提供随机与地理两种测试划分。基准测试显示多模态预训练在少标注下更稳健,但地理泛化仍较差,数据充足时随机初始化的多模态模型也具竞争力。作者进一步提出模型无关的 TTT-MMR 方法,在测试时用全部可用模态做重建辅助任务,在两个划分上均提升各模型表现,数据集、代码与可视化工具见项目页。

    推荐理由:材料给出五个新任务、12 种模态和地理切分,并指出地理泛化仍是短板,读者可据此判断多模态地球观测模型的真实能力边界。

  5. arXiv · cs.RO58

    AVI-HT:面向 3D 手套手部跟踪的自适应视觉-IMU 融合方法

    作者提出 AVI-HT,将第一视角图像与手套上的 6-DoF IMU 信号联合建模,用于跟踪 3D 手部姿态,在遮挡严重的手-物交互场景中提升精度与可用性。方法包含同步采集的视觉-IMU 与动捕真值配对训练数据,以及跨传感器深度注意力机制,自适应调节对视觉和各 IMU 传感器的信任权重。

  6. arXiv · cs.CV78

    Ropedia Xperience 2 发布:1,589 个 3D 扫描与 4,230 段自我中心行为记录

    研究团队发布 Ropedia Xperience 2,包含 1,589 个已公开的米制尺度 3D 扫描,以及覆盖 74 项任务、共 131 小时的 4,230 段自我中心录制。

    推荐理由:该数据集同时提供环境扫描与人类行为演示,并给出转成机器人学习数据的流程,可供关注具身智能数据规模化的人参考。

  7. arXiv · cs.RO67

    NSDL:用神经符号分工做多机器人任务规划,7B 模型在 VIKI-L2 达 97.0% 分布外准确率

    作者提出 NSDL,让小型视觉语言模型只判断场景状态与任务分工并写成计划草图,再由确定性求解器展开为可执行的联合计划,模型在训练中调用检测器与求解器两个工具。

    推荐理由:论文把多机器人任务规划拆成视觉判断与确定性求解两部分,并在两个基准上对比端到端方案,还开源了代码与基准。

  8. arXiv · cs.RO78

    Reins:前沿多模态模型零样本驱动真实机械臂完成长程任务

    作者提出 Reins 框架,让现成的前沿多模态模型借助 3D 感知工具和可报告接触与抓取状态的原子动作,操作双臂机器人完成长程、接触密集的操作任务。在五个真实任务上,GPT-6.1 Sol 在自然语言提示、无任务专用代码的条件下成功率为 88%;不使用该框架时,它在所有 shell game 任务上均失败,耗时是前者的 8 倍。

    推荐理由:作者提出让前沿多模态模型通过工具与原子动作驱动双臂机器人的框架,并给出真实机器人长程任务的成功率对比。

  9. arXiv · eess.AS42

    双域SSL融合实现统一全类型音频深度伪造检测,AT-ADD Track 2 排名第二

    该研究提出双域SSL融合方法,将语音、环境声、歌声、音乐等异构音频映射到统一的二值真伪空间,以EAT-large与wav2vec 2.0 XLS-R-300M作为互补特征源,通过逐层加权融合与token级融合整合多层级伪造痕迹。系统在AT-ADD Track 2评测集上取得95.58% Macro-F1,在挑战赛中排名第二。

  10. arXiv · cs.CV65

    Duo v1:面向全双工交互的互惠世界模型 RWM

    研究团队提出互惠世界模型(RWM)并发布 Duo v1,一个持续感知音视频输入、同时实时回应用户的全双工世界模型。RWM 把智能与物理现实视为同等基础,划分出提供交互认知的 Intent 与生成连贯音视频行为的 Realization 两项能力。

    推荐理由:提出把意图推理与音视频生成统一进世界模型的双模块框架,并给出三项训练设计,可供多模态交互研究参考。

  11. arXiv · cs.CV42

    MemCrafter:用脑启发智能体迭代优化提示词提升文本生成视频的记忆度

    MemCrafter 通过迭代式智能体提示词优化提升文本生成视频的记忆度,其核心是构建基于皮层区域的神经记忆信号,从估计的神经响应预测视频记忆度,同时提供优化目标和可解释的区域级信息。配套的敏感度感知反馈模块基于对优化目标的概念性敏感度分析,在保持语义保真度的同时给出可操作的提示词改进指导。实验显示该方法在维持语义对齐与感知质量的同时持续提升预测的视频记忆度。

  12. arXiv · cs.CV62

    SAVE:智能体视频推理中更简单的框架反而更有效

    研究者在 Gemini 3 Flash 和 Gemma 4 两个骨干上对多种智能体视频推理框架做受控评测并核算 token 与成本,发现多数现有框架未能稳定优于原生视频推理且常增加开销。

    推荐理由:在统一骨干与成本核算下比较多种智能体视频推理框架,并给出更简单的 SAVE 方案,便于判断复杂度是否值得。

  13. arXiv · cs.RO50

    MOSAIC:面向杂乱场景操作的模块化障碍与空间感知框架

    研究者提出 MOSAIC,一个可接入预训练 VLA 策略的模块化空间与障碍感知框架,通过预测目标物体、目标区域和周围障碍的角色专属掩码,并结合 3D 场景重建深度生成几何 token 注入动作专家。在 RoboPRO 基准上,MOSAIC 使杂乱场景成功率提升 5.1%,视觉扰动下提升 9.7%,最困难环境提升达 25.0%。

  14. arXiv · cs.CV40

    DiFiT:面向多模态大模型的分布保真度引导视觉 token 剪枝

    DiFiT 提出用分布保真度引导视觉 token 剪枝,通过双视角蒸馏对齐完整 token 与剪枝后的词表概率分布,并用可学习打分器与可微 Top-K 选择保留的视觉证据。在 Qwen2.5-VL-7B 上,10% 保留率下其采样导致的负翻转比 FastV 减少 30.3%,30% 保留率下在 MME 上保留基线性能的 98.74%。

  15. arXiv · cs.CV62

    RSLiveBench-UAV:面向航空空间智能的持续演进视觉语言基准

    作者提出 RSLiveBench-UAV,一个由持续采集真实无人机影像驱动的视觉语言基准,采用只收录上一版本发布后拍摄图像并延迟公布答案的更新协议。基准包含来自10个场景的35,491条问题记录、覆盖2D感知、3D感知、跨视角感知与推理共17项任务,全部使用确定性评分而非模型评判。

    推荐理由:该基准用持续采集的真实无人机影像更新题目,并给出30个模型的横向评测结果,可供读者判断航空空间智能的评测现状。

  16. arXiv · cs.CV74

    RPG 基准:AI 篡改视频检测器在真实部署条件下表现如何

    研究团队提出 Reality Perception Gap(RPG)基准,包含 1 万段来自前沿生成器和部分合成编辑的视频,并经过跨平台转发压缩处理,同时搭配带有相机端光学伪影的真实素材。在 18 个检测器上,当误报率为 1% 时,没有一个检测器能识别出超过 15% 的伪造视频。对照实验和重编码扫描显示,生成器与内容偏移在压缩前就已削弱检测能力,而转发压缩会抹掉基于伪影的检测器所依赖的低层痕迹。

    推荐理由:该基准把转发压缩与硬件伪影纳入评测,18 个检测器在 1% 误报率下漏检率极高,为视频取证评测提供了更贴近部署的设定。

  17. arXiv · cs.RO60

    Embodied-Corrector:从反馈中学习物理失败理解与纠正

    研究提出 Embodied-Corrector,通过子任务边界注入扰动构建失败恢复数据,并以 Judge-Cause-Sub-Fine 监督和 OPD 训练模型理解执行偏差并修正规划。实验显示,冻结 VLA 时复合任务成功率提升 6.1 个百分点,固定 GPT-5.5 执行时操作与导航任务提升 13.9 个百分点。

    推荐理由:论文针对具身智能体执行偏差,提出失败定位与纠正框架,并在冻结 VLA 和固定 GPT-5.5 执行两种设置下给出成功率提升。

  18. arXiv · cs.CV50

    从分类到生成:用视觉语言模型描述罗马帝国硬币

    研究将罗马帝国硬币描述重构为图像到文本生成任务,基于开源视觉语言模型 Qwen3-VL-8B-Instruct 微调出四个低秩适配器,分别完成正反面铭文转录与图像描述。团队把约 3 万条拍卖记录转为结构化图文对,在单张 20GB GPU 上分任务训练。适配后模型在四项任务上均优于未适配基座模型和 GPT-4.1,铭文转录的归一化编辑距离相对 GPT-4.1 降低超 40%。

  19. arXiv · cs.CV62

    BirdDreams:联合生成透视与 BEV 视频的驾驶世界模型

    BirdDreams 是一个自回归驾驶世界模型,同时生成透视视频和示意性 BEV 视频,把场景布局纳入预测结果,从而无需未来车辆轨迹作为输入。模型用两个视频扩散 Transformer 分别处理两路视频,并通过联合注意力互相传递信息;预测的 BEV 还作为几何接口,按输入自车轨迹平移旋转最新帧,实现自车控制。

    推荐理由:论文把 BEV 布局纳入预测目标,省去未来轨迹输入,并用双流联合注意力生成透视与 BEV 视频,为驾驶世界模型提供可对照的轨迹控制方案。

  20. arXiv · cs.RO47

    Bind-WAM:用绑定不确定性引导世界动作模型的选择性未来想象

    研究者提出 Bind-WAM,一种以语言-物体绑定不确定性为信号、选择性触发未来视觉与动作联合生成的世界动作模型(WAM)。该方法用完整演示离线标注任务相关物体并检测参考错配、不可见与身份漂移,再以伪标签训练轻量路由器从当前观测和语言指令预测绑定不确定性。仿真与真实实验显示,绑定不确定性可作为选择未来想象时机的强且可解释信号。

  21. arXiv · cs.LG 机器学习70

    研究提出 Platonic brain bridge 假设,用脑网络结构作为多模态大模型架构先验

    研究提出 Platonic brain bridge 假设,认为同时处理视频、音频和文本的全能模型与大脑共享可双向利用的类脑表征。

    推荐理由:论文把大脑皮层网络结构作为多模态大模型的架构先验,并给出双向验证与配套基准,可供关注脑启发建模的读者参考。

  22. arXiv · cs.LG 机器学习42

    MoTE:面向多任务视频理解的任务专家混合架构

    研究提出 MoTE(Mixture of Task Experts)解码器架构,将大语言模型的前馈网络转为任务专属专家,同时保持多模态主干共享。基于该设计构建的 VideoLLM-MoTE 在五个 COIN 基准上评测,五专家模型每样本激活约 2B LLM 参数,平均 top-1 准确率高于近期 VideoLLM 基线,并优于稠密全专家激活与学习式稀疏路由对照组。

  23. arXiv · cs.LG 机器学习42

    Omni-JEV:文本与双流语音的交互动作决策

    Omni-JEV 将文本或按角色索引的用户与助手参考语音映射为五种交互动作的概率,用于判断全双工语音助手何时应答、保持说话、打断或恢复被打断的回复。其对齐语音到语音理解骨干分别编码声学角色,并与文本输入共享候选读出。Gaussian Omni-JEV 在测试集上语音准确率 84.08%、文本准确率 96.55%。

  24. arXiv · cs.LG 机器学习47

    LOFT:通过任务感知支持选择实现低秩正交微调

    论文提出 LOFT 低秩正交微调框架,将正交 PEFT 中的适配子空间与子空间内变换显式分离,并统一了坐标、butterfly、Householder 及主子空间等正交 PEFT 方法的乘性核心。一阶分析表明适配支持应由下游训练信号决定,据此设计的任务感知支持选择在语言理解、视觉迁移、数学推理和多语言分布外适配中,于相同可训练参数与变换设置下提升性能。该工作已被 NeurIPS 2026 接收。

  25. arXiv · cs.LG 机器学习58

    MVC-ZigAL:用强化学习微调少步文本到多视图扩散模型

    研究提出 MVC-ZigAL,一个面向少步文本到多视图(T2MV)扩散模型的强化学习微调框架,用于改善单视图保真度与跨视图一致性。其核心设计包括联合建模所有生成视图并用联合视图奖励评估整体质量的 MDP 形式、利用自精炼采样相对标准采样的性能增益来增强学习信号的优势学习策略,以及结合拉格朗日对偶与自适应原始-对偶更新的多视图约束优化框架。该工作已被 CVPR 2026 接收,代码已开源。

  26. arXiv · cs.LG 机器学习58

    SpaceMCP:用 MCP 式函数调用让 VLM 查询场景图完成空间推理

    SpaceMCP 让 VLM 通过结构化函数调用查询实时构建的场景图,获取距离、物体位置和相机参数等信息,无需训练即在 VSI-Bench、MMSI-Bench 和 VSTI-Bench 上取得 SOTA,比基座 VLM 提升 15-22 分。场景图由前馈 3D 重建恢复度量几何、结合开放词汇分割定位物体得到,论文被 NeurIPS 2026 第二届具身空间推理(ESR)研讨会接收。

  27. arXiv · cs.AI 人工智能68

    DASH:解耦异步系统让人形机器人 VLA 控制摆脱骨干规模延迟

    作者提出 DASH,将 VLA 策略拆成慢速视觉语言模型(System 2)与快速 flow-matching 动作头(System 1),两者通过 LCM 协议并发运行,使控制频率只由动作头决定。

    推荐理由:论文把 VLA 策略拆成慢速视觉语言模型与快速动作头两个并发进程,并在计入推理延迟的基准上比较不同规模骨干的控制频率与成功率。

  28. arXiv · cs.AI 人工智能60

    VideoEditor-MoE:用混合专家框架把视频编辑模型扩展到 56B 参数

    研究团队提出 VideoEditor-MoE,一个面向复杂视频编辑的开源混合专家框架,在稀疏 MLP-MoE 层之外用 MoE-Attention 通过路由 key-value 专家扩展注意力容量,同时保留视频 token 间的全局交互。

    推荐理由:论文给出 MoE-Attention 的路由设计与 14B、56B 两档扩展结果,并对比 Explicit-MoE 与 MLP-MoE 两种基线,可供判断专家路由在视频编辑中的作用。