研究方向与科研任务
多模态模型、视觉语言模型、图像与视频理解生成。
81 条精选近 30 天 80 条共收录 513 条
研究团队提出 Neuro-VL，一个在常规临床诊疗中近一百万例神经影像检查上训练的视觉语言模型，可解读完整影像检查并用自然语言讨论所见。在内部和国际数据集上，Neuro-VL 在异常诊断、定位、描述和生成完整放射报告方面优于前沿通用模型和专科医学模型，还能对比序列检查评估疾病进展，并在面对误导性临床假设时比 OpenAI 和 Google 的领先前沿模型更可靠地抵抗干扰。
推荐理由：论文用近百万例临床神经影像训练视觉语言模型，并在内部与国际数据集上与通用及专科模型对比诊断和报告生成表现。
研究者在 6 个模型家族、10 种多模态配置上做因果消融，发现多模态训练会让纯文本推理调用视觉语言训练引入的表征，作者称之为视觉式思维（EVT）。
推荐理由：研究用因果消融在 6 个模型家族、10 种多模态配置上分离出视觉训练对纯文本推理的贡献，并给出可复用的诊断方法。
研究团队提出 thinker-talker 级联系统，把冻结的通用多模态 LLM 改造成词级全双工语音对话系统，只训练轻量适配器和少量新 token 嵌入（97M 参数），四阶段课程约 30 GPU 小时完成转换。
推荐理由：在冻结多模态 LLM 的前提下仅训练 97M 参数适配器，约 30 GPU 小时完成词级全双工对话改造，并与大规模语音训练系统对比。
研究人员提出 UniRG，一个面向医学影像报告生成的强化学习框架，通过优化与临床对齐的复合奖励来训练模型。UniRG 在性能上超过此前的模型，并在未见过的医院和数据集上表现出较强的泛化能力。论文发表于 Nature Communications（doi:10.1038/s41467-026-78767-4）。
推荐理由：论文提出面向医学影像报告生成的强化学习框架，用临床对齐的复合奖励优化，并在跨医院与跨数据集上检验泛化。
研究团队提出 DIG，一个在位置编码器表示空间中运行的潜在扩散模型，把噪声映射为位置嵌入以预测照片拍摄地点。为此他们引入 Location Autoencoder（LAE），将冻结的位置编码器与学习到的解码器配对，实现全球公里级坐标还原。
推荐理由：论文把图像地理定位从生成坐标改为在位置编码器表示空间中扩散，并给出三个基准上的对比结果。
作者提出 Curie's Jarvis，让 Franka Panda 机械臂在无固定位置、无标记的普通实验台上按打印流程完成化学实验：从打印纸照片读取步骤，通过四个相机视角读取标签区分外观相同的容器，并在每步前重新定位目标。在一套儿童化学套件的两个流程上，系统无人工干预分别完成 5 次中的 5 次和 5 次中的 4 次；在 160 次打印与手写标签定位中全部识别正确。
推荐理由：系统让机械臂在为人布置的普通实验台上读打印流程、靠标签区分容器，并给出多轮实验与标签识别结果。
作者提出 DCLDs-EIR，一个将诊断假设细化与多模态证据获取、验证耦合的迭代推理框架，用于弥漫性囊性肺病（DCLDs）的鉴别诊断。该方法先用预测的肺部与囊性分割的多视角渲染刻画全局囊性分布并初始化鉴别诊断，再由竞争假设引导轴位 CT 检查、结合临床上下文从疾病知识图谱检索证据，对假设进行支持与反驳评估并更新诊断状态。
推荐理由：针对弥漫性囊性肺病鉴别诊断，把影像证据检索与假设验证串成迭代闭环，并给出多中心评估结果。
TimeOmni-o1 将预训练时序基础模型（TSFM）与 LLM 双向耦合：TSFM 把序列压缩编码供 LLM 结合文本推理，LLM 的推理结果再回传给 TSFM 生成预测，从而在同一架构中读写序列与文本。
推荐理由：论文把预训练 TSFM 与 LLM 双向耦合，并给出带推理轨迹的 50 万级多模态时序数据集，可供比较与复现。
作者提出 ChipOmni，一个面向电子设计自动化（EDA）的知识增强、上下文演化 AI 智能体框架，整合多模态理解、动态规划、多智能体协作与验证驱动的工具交互。
推荐理由：论文给出面向 EDA 的智能体框架与多类基准结果，并展示从规格到 GDSII 的长程闭环案例。
作者提出 SAM-D2Q，一个在布尔检索约束下面向电商搜索业务目标的多模态文档扩展框架，通过任务适配的多模态监督微调、多模态数据增强和基于强化学习的偏好对齐三阶段生成伪查询。
推荐理由：论文给出三阶段多模态文档扩展框架，并报告在 AliExpress 生产搜索中的 GMV 与 Pay Count 提升，读者可据此判断业务对齐训练是否值得迁移。
作者提出 Shared Prediction on Action and Representation（SPAR），一种基于预训练 VLM 的 MoT 架构，让未来视觉状态预测与动作预测并行提供独立互补的学习信号。实验发现，从第一人称视频学到的表征能提升机器人在分布外任务上的表现，且随视频数据规模扩大收益进一步增加；论文还分析了目标函数选择与数据筛选的影响。项目页见原文链接。
推荐理由：论文给出无动作标注的第一人称视频如何为机器人策略学习提供互补信号，并考察数据规模与目标选择的影响。
作者训练了面向约 200 种人类书写语言的字节级 BPE 分词器 Havon，其中 v4 在 262,144 词表下比 GPT-4o 的 o200k_base 在英语上少用 9.6% 的 token，在 204 种语言中的 182 种上更省。
推荐理由：原文给出多语言分词器的压缩率对比和分语言结果，读者可据此判断其对印度语种服务成本的影响。
研究提出几何 token 编码框架，把角度参数编码为周期性的 sine-cosine 特征，再投影成角色专属的 token 嵌入，注入冻结文本编码器之前的提示词中，从而让文生图扩散模型直接以角度为条件生成。
推荐理由：针对扩散模型无法控制钟表指针角度这类几何量的问题，给出角度 token 编码方案与量化对比结果。
作者提出 GTAGym，一个面向 GTA V 任务的评测与强化学习环境，其基准 GTAVBench 由 GTA V 主线任务重建出 9 类共 103 个在线任务，另有 47 个基于图像的射击与狙击任务，通过截图和键鼠动作并行测试并自动校验引擎状态结果。
推荐理由：该工作把 GTA V 主线任务做成可自动校验的评测与 RL 环境，并给出前沿 LLM 的失败分布与 LoRA RL 迁移结果。
ITMO University 团队在 VML-HP-ext（715 页、171 份希伯来文手稿、14 类文字）上比较页面级与手稿级划分，页面级准确率从 97% 降至 54%（手稿级 59%），官方盲测集仅 39%，差距 40 至 47 个百分点且用 ResNet18 可复现。
推荐理由：原文用同一数据集对比页面级与手稿级划分，量化了数据泄漏对历史文字识别准确率的抬升幅度。
研究团队提出 EarthRecord 基准，基于 56 个站点的四十年 Landsat、MODIS、VIIRS 和 Sentinel-2 原始数据，设置 238 个土地变化问题、覆盖十类分析任务，云掩膜与跨传感器协调交由智能体完成。
推荐理由：该基准把云掩膜与跨传感器协调交给智能体，并用闭卷与仪器对调两组对照揭示答案来源。
PhysMoE 面向具身视觉语言模型的坐标预测，按物理模态把上层路由到空间（像素）与语言（文本）专家，并复用视觉编码器的位置嵌入把每个坐标编码为单个 token，再用可微 SDF 监督处理 affordance 与不规则形状目标。
推荐理由：论文给出模态解耦路由与单 token 坐标编码的具体设计，并在 9 个 grounding 基准上报告增益与吞吐对比。
作者提出证据敏感度差距（ESG）指标，用公开分割数据集构造擦除病灶、同形状对照编辑和无病灶三类反事实视图，无需人工标注。
推荐理由：论文用反事实擦除构造无标注对照，量化医学 VLM 是否只凭问题作答，并给出可复现的评测指标。
作者提出 MEOW，将非交互式分割骨干网络改造成交互式开放世界学习器，且不更新任何可学习模型参数。该方法结合无参数直推式推理与记忆巩固来累积知识，在训练中从未见过的类别上持续改进自身预测，并零样本迁移到 micro-CT 数据和其他成像模态。论文为 18 页预印本，含 9 张图。
推荐理由：论文提出不更新模型参数的交互式开放世界分割框架，并展示其在未见类别与跨模态数据上的零样本迁移表现。
Robo-MLT 提出双系统框架，把显式流程监控与学习式动作生成结合，用于医疗实验室长程操作任务。在血气分析与血样试管分拣上，任务成功率分别为 82% 和 70%，比 π_{0.5} 高出 30 和 22 个百分点。系统由视觉语言规划器生成有序原子技能序列，多帧执行监控器判断技能完成或不可行并触发重规划，操作员移除样本后仍能修改剩余计划继续处理其他样本。
推荐理由：论文给出双系统框架与四类策略基线、VLM 监控基线的对比，读者可据此判断显式流程监控对长程操作的作用。