CineMME：面向对话定位与叙事推理的多模态视频理解基准
研究团队提出 CineMME，一个经人工核验、约 1600 专家人时标注的叙事视频理解基准，包含 975 段短叙事视频和 CineMME-Grounding、CineMME-Reasoning 两条关联评测轨道。
推荐理由：CineMME 把对话定位、说话人绑定与叙事推理串成同一条证据链，其评测结果揭示当前多模态模型在 who-what-when 上的解耦。
研究方向与科研任务
多模态与视觉 最新动态
多模态模型、视觉语言模型、图像与视频理解生成。
81 条精选近 30 天 80 条共收录 513 条
更新
精选归档 · 第 2 页
arXiv · cs.CV精选AI 评分7373 arXiv · cs.CV精选AI 评分7474 RPG 基准：AI 篡改视频检测器在真实部署条件下表现如何
研究团队提出 Reality Perception Gap（RPG）基准，包含 1 万段来自前沿生成器和部分合成编辑的视频，并经过跨平台转发压缩处理，同时搭配带有相机端光学伪影的真实素材。在 18 个检测器上，当误报率为 1% 时，没有一个检测器能识别出超过 15% 的伪造视频。对照实验和重编码扫描显示，生成器与内容偏移在压缩前就已削弱检测能力，而转发压缩会抹掉基于伪影的检测器所依赖的低层痕迹。
推荐理由：该基准把转发压缩与硬件伪影纳入评测，18 个检测器在 1% 误报率下漏检率极高，为视频取证评测提供了更贴近部署的设定。
arXiv · cs.LG 机器学习精选AI 评分7070 研究提出 Platonic brain bridge 假设，用脑网络结构作为多模态大模型架构先验
研究提出 Platonic brain bridge 假设，认为同时处理视频、音频和文本的全能模型与大脑共享可双向利用的类脑表征。
推荐理由：论文把大脑皮层网络结构作为多模态大模型的架构先验，并给出双向验证与配套基准，可供关注脑启发建模的读者参考。
arXiv · cs.LG 机器学习精选AI 评分7878 研究指出验证器选择是基准设计变量，审计文生图模型的结构化计数评测
作者构建以验证器为中心的审计套件，覆盖手机、椅子、红绿灯等 7 类计数对象，用 Qwen-Image-2512 与 FLUX.2-dev 生成的 6,240 张图像比较多种开源 MLLM 验证器协议。
推荐理由：该研究把验证器选择当作基准设计变量，用 6,240 张生成图像审计计数评测，显示不同验证器协议会缩小甚至反转生成器间的人类评分差异。
arXiv · cs.LG 机器学习精选AI 评分7878 Sophon：面向视觉语言模型空间推理的程序化诊断基准
作者提出并开源 Sophon，一个由程序生成配对彩色点云刺激的空间推理诊断基准，覆盖 1D 线性、2D 笛卡尔、2D 极坐标三种坐标系和二元、分类、比较、定量四类问题。
推荐理由：开源诊断基准揭示开源 VLM 空间推理失败源于路由瓶颈而非能力缺失，LoRA 可修复。
arXiv · cs.IR精选AI 评分8080 预测PB级图像中的目标事件：卫星影像开放词汇事件预测
研究团队提出以不同时间点视觉语言模型嵌入向量的差值表示变化，在潜空间中直接搜索语义变换，从而无需人工标注即可自动发现全球事件。
推荐理由：论文同时给出自动事件发现的数据引擎、跨六大洲的事件数据集和可提前九个月预测完工日期的模型，读者可据此判断开放词汇事件预测的可行性。
arXiv · cs.AI 人工智能精选AI 评分7878 NVIDIA 提出 Instant NuRec：单次前向重建驾驶场景 3D Gaussian
NVIDIA 团队提出 Instant NuRec，用单次前向把一段多视角驾驶日志重建为可仿真的 3D Gaussian Splatting 世界，约 1.5 秒完成 10-20 秒多相机场景重建。
推荐理由：NVIDIA 团队把逐场景优化的神经重建改为单次前向，1.5 秒重建 10-20 秒多相机驾驶场景，并给出与基线的 PSNR 对比。
arXiv · cs.AI 人工智能精选AI 评分8585 NVIDIA 提出 OmniDreams：面向闭环自动驾驶仿真的实时生成式世界模型
NVIDIA 提出 OmniDreams，从 Cosmos 扩散模型经中期与后期训练得到，可实时自回归生成以驾驶动作为条件的视频，训练数据为 21k 小时驾驶场景。
推荐理由：论文给出基于 Cosmos 的实时动作条件世界模型，并说明其在闭环仿真中的部署方式与参数效率对比。
arXiv · cs.AI 人工智能精选AI 评分7878 Discovery 多智能体系统实现闭环分子设计，候选电解质的氧化还原电位提升 130 mV
研究团队提出多智能体科学系统 Discovery，在针对水系有机氧化还原液流电池负极电解质的闭环人机协作中，于三轮内评估 17 个候选分子，收敛到一个氧化还原电位比文献基线提升 130 mV 的候选。
推荐理由：多智能体系统在真实化学闭环中先收敛到电位提升的候选分子，再借实验反馈修正机理假设，展示了人机协作中校准置信度的可操作路径。
arXiv · cs.AI 人工智能精选AI 评分7676 Catch-Only-One：让数据只对指定模型可用的不可迁移样本
作者提出不可迁移样本（NTEs），把数据重编码为只有指定模型能解码的任务级密文，方法免训练且与数据无关，在模型特定的低敏感子空间内重编码，从而保持授权模型输出、让未授权模型因子空间错位而性能崩塌。
推荐理由：论文提出免训练的数据重编码方法，让数据只在指定模型上可用，并给出授权保真与未授权退化的形式化界。
arXiv · cs.AI 人工智能精选AI 评分7070 PhysLoop：利用 LLM 物理常识自我改进视频生成模型
PhysLoop 提出一套统一框架，让 LLM 在视频生成、筛选与修正各环节提供物理约束，把其物理知识蒸馏为物理一致的视频，并支持可控训练数据构建与推理时视频修复。作者发布 100K 条覆盖室内外场景的视频、生成工具及 PhysLoop-Gen 与 PhysLoop-Repair 两个评测数据集，并在外部 Physics-IQ Verified 基准上评估物理表现。
推荐理由：论文把 LLM 的物理常识用于视频生成数据的筛选与修复，并公开 100K 视频和两个评测集，便于读者判断这条自改进路径的可复现性。
arXiv · cs.AI 人工智能精选AI 评分7777 ZONOS3-Mini：886M 参数零样本语音克隆 TTS 模型发布
ZONOS3-Mini 是一个可在笔记本或手机上实时运行超紧凑零样本语音克隆 TTS 模型，采用仅 886M 参数（每 token 激活 100M）的 latent MoE 主干和新音频编解码器 ZAC-1，后者以 15 Hz 帧率表示 44.1 kHz 音频。
推荐理由：报告给出超小模型的参数规模、新音频编解码器与 55 个语言集上的 WER，并开放权重与训练代码，便于判断复现成本。
arXiv · cs.AI 人工智能精选AI 评分7878 Iris-Z：单一生成模型在深度基准上超越专用几何模型
作者提出通用图像生成器 Iris-Z，用同一套骨干网络和权重同时生成图像及其深度、从照片估计深度、按给定深度生成图像。在足够规模下，它在既有深度基准上超过 SOTA 专用模型，同时保留原骨干的生成能力且不依赖专用层，并发布两个模型供社区使用。
推荐理由：论文用单一生成骨干同时完成图像生成与深度估计，并在既有深度基准上超过专用模型，为视觉任务统一化提供了可复现的对照。
arXiv · cs.CL 计算与语言精选AI 评分7070 WavCube：用语义-声学联合建模统一语音理解与生成表征
研究团队提出 WavCube，一种从 SSL 语音编码器提取的紧凑连续隐表征，同时支持语音理解、重建与生成。它采用两阶段训练：第一阶段用语义瓶颈过滤使原始 SSL 特征难以用于扩散模型的冗余成分，第二阶段通过端到端重建注入细粒度声学细节，并用语义锚定损失保持表征落在原语义流形上。
推荐理由：论文给出两阶段训练方案与多任务对比结果，并开源代码和权重，读者可据此判断统一语音表征的可行性。
arXiv · cs.CL 计算与语言精选AI 评分7878 SGV：用自 grounding 两步验证缓解 MLLM 的 agreement bias
作者在 web navigation、computer use 和机器人任务上评测了 13 个模型、28 种 judge 设计，发现 MLLM 验证器普遍存在过度认可智能体行为的 agreement bias，且该偏差对 test-time scaling 不敏感。
推荐理由：文章系统评测了 13 个 MLLM 在 28 种 judge 设计下的验证偏差，并给出可迁移的两步验证方法。
arXiv · cs.AI 人工智能精选AI 评分7272 T-SemAttack 揭示语音 tokenizer 语义脆弱性，并提出鲁棒 tokenizer ROSETok
作者发现语音 tokenizer 在语义层面存在脆弱性，微小扰动即可破坏其语义编码，导致下游 ASR 与 LALM 性能明显下降。为此他们提出基于语义编码器集成的可迁移攻击 T-SemAttack，通过联合漂移多个语义编码器的表示空间，在保持感知质量的同时破坏语音语义内容；分析显示不同替代编码器的输入梯度存在方向对齐，这可能是跨模型迁移性的关键。
推荐理由：论文揭示语音 tokenizer 的语义层脆弱性，并给出可迁移攻击与鲁棒 tokenizer 两条对应路径。
arXiv · cs.AI 人工智能精选AI 评分7878 SeeEEG 将 EEG 渲染为图像，冻结视觉基础模型在八个数据集上超过专用 EEG 模型
SeeEEG 把 EEG 各通道渲染成图像交给冻结的视觉 Transformer，只学习显示参数（每视图最多 1,113 个可训练参数），在八个临床、睡眠、情感与脑机接口数据集上以平衡准确率超过全部七个 EEG 基础模型，Cohen kappa 或 AUROC 平均排名 1.3，最强基线 REVE 为 2.9。
推荐理由：在八个临床与脑机接口数据集上，冻结的视觉基础模型被用作 EEG 编码器，并与七个专用 EEG 基础模型对比。
arXiv · cs.CL 计算与语言精选AI 评分7878 研究揭示医疗视觉语言模型的平均准确率掩盖了气胸漏检
作者在按性别、年龄、病种和标签平衡的 6,048 道 ChestX-ray14 问题上审计了 MedGemma-4B、Lingshu-7B、HuatuoGPT-Vision-7B、Qwen2.5-VL-7B 和 MedVLM-R1 五个开源医疗 VLM。
推荐理由：对五个开源医疗 VLM 做按病种拆分的审计，揭示平均准确率掩盖的气胸漏检，并给出按病种召回率的评测建议。
arXiv · cs.CL 计算与语言精选AI 评分7272 Translated 发布 Lara Mini base：6T token 训练 45 种语言，MoE 架构缓解语言容量竞争
Translated 团队提出 Lara Mini base，从零在 6T token 的英语和另外 44 种语言（覆盖欧盟全部 24 种官方语言）上训练，采用 7.2B 总参数、0.6B 激活参数的 MoE 架构。
推荐理由：在最多 2B 激活参数的开放基座模型中，该工作用 MoE 架构缓解多语言容量竞争，并给出与训练量更大模型的基准对比。
arXiv · cs.AI 人工智能精选AI 评分7575 HyperSkill：免训练多模态 GRPO 框架用超图索引技能库替代梯度更新
HyperSkill 提出一种免训练的多模态 GRPO 框架，保持主干模型冻结，用对超图索引技能库的可审计编辑替代梯度更新，技能作为带优势值的节点、技能组合作为超边。在 11 个文本、视觉语言和多模态基准上，该方法在每个数据集上均为最优或并列最优，平均 F1 比最佳基线高 13.0 分，代码与数据已公开。
推荐理由：论文提出免训练的多模态 GRPO 框架，用超图索引技能库替代梯度更新，并在 11 个基准上给出与基线对比的平均 F1 提升。