多模态&视觉论文解读:视觉语言模型与生成技术
发布时间:2026-09-28 | 浏览:1
Mechanist:用AI自主解构AI机制,从跨模态潜意识偏好到DNA精准干预
来自新加坡国立大学、加州大学圣地亚哥分校、浙江大学、南方科技大学等机构的研究团队提出了 Mechanist ,这是首个将 AI 本身作为“科学仪器”,用于全自主探索、解释并干预大模型内部智能机制的 Agent 科学研究系统。
OmniScientist:直接感知多模态原始证据,端到端科研胜率达85%
OmniScientist:真正的科学研究是一个动态闭环:对原始实验数据的直接观察决定了提出什么假说;实验执行后的原始曲线又决定了下一步如何修正方案;最终论文里的每一个主张,都必须严格回溯到观测细节。缺乏端到端感知的自动化系统,本质上只是一个高阶的代码执行器和论文生成模板,难以完成真正具有原创...
RPS:打破Top-1贪心!中熵枢纽撬动涟漪效应,扩散LLM解码提速达18倍
针对这一洞察,本文提出了无需额外训练的解码算法 Ripple-Pivot Search(RPS) 。该方法不仅在空间上精确定位中熵枢纽(Where),更通过轻量前瞻评估在候选词集合中自适应搜索最优 Token(What)。
从被动视频生成到交互式世界模型:Sekai2开源2826小时带轨迹全景数据集
这项工作并非简单地堆叠视频时长,而是以构建交互式世界模型为导向,发布了包含 128,892 个视频片段、总计达 2,826 小时的大规模真实世界探索数据集。整个数据集覆盖全球 113 个国家和地区,且全部配备了相机运动轨迹与分层时序对齐标注。
Agentic Real2Sim:开箱即用的物理数字孪生与低成本模型验证
来自哥伦比亚大学、约翰斯·霍普金斯大学、加利福尼亚大学洛杉矶分校(UCLA)等多所高校与机构的研究团队,针对这一长期困扰业界的工程痛点,提出了 Agentic Real2Sim 框架。
FlowBlock:免训练波前并行,扩散大模型吞吐提升4倍精度反增
华中科技大学与小红书团队在最新论文中提出了名为 FlowBlock 的免训练并行解码框架,从底层打破了这一看似不可逾越的块间串行壁垒。该研究敏锐地指出,在以 LLaDA-2.1 为代表的新一代具备“自我纠错”(Token-to-Token, T2T)能力的扩散语言模型中,块的确定性不再是不可妥...
OpenVisTool:答对不等于学会!商汤与南大提出因果过滤,视觉搜索涨超23分
针对这一本质矛盾,研究团队提出了全新的视觉工具轨迹构建框架 OpenVisTool 。该工作的核心见解在于:一条有价值的教学轨迹,必须同时满足 结果正确性(Outcome Validity) 与 因果效用(Causal Utility) 两个硬性条件。
DyLaR:视频问答告别千字长CoT,不到20个Token准确率提升4.2分!
针对这一核心痛点,来自佐治亚理工学院(Georgia Institute of Technology)与莱斯大学(Rice University)的研究团队提出了名为 DyLaR (Dynamic Latent Reasoning,动态隐式推理)的全新框架。
SiMDex:像推荐系统一样精选5%人类视频,灵巧手成功率达61.1%
面对这个难题,来自字节跳动、上海交通大学、清华大学、香港大学和东京大学的研究团队提出了全新视角:将大模型时代的后训练数据选择转化为一个成熟的“工业级推荐系统问题”,并推出了相似性数据挖掘框架 SiMDex 。
VideoVIBE:从静态代码走向交互视频诊断,V2Lens免微调涨分7.18
来自北京人工智能研究院(BAAI)、北京理工大学、北京工业大学、湖南大学、奥克兰大学、澳门大学和悉尼科技大学等机构的研究团队,针对这一痛点推出了视频真值诊断基准 VideoVIBE,并同步提出了免训练的多智能体协同诊断系统 V2Lens。
东大提出VLAff:从20万人类视频统一抓取与轨迹,零样本落地真机操作
团队构建了一个拥有 20.4 万条视频片段、千万级标注的大规模第一人称数据集 EgoAffordance ,并在此基础上提出了统一的多模态视觉-语言-操作引导模型 VLAff (Vision-Language-Affordance Model)。
BrainWAM:动作空间解耦打破跨模态干扰,NAVSIM双榜达89.6分
为了解决这一由于多模态注意力竞争导致的性能倒退,研究团队提出了 BrainWAM 。该框架受人类大脑左右半球分工与小脑协调机制的启发,放弃了在底层原始 Token 空间的暴力混合,转而在高维紧凑的“动作空间”中对语义先验与预测动力学进行结构化对齐。
ForeWAM:不生成未来视频,如何让机器人决策拥有“预见力”?
来自南洋理工大学、上海交通大学与 ACE Robotics 的联合团队提出了 ForeWAM (Foresight-without-Seeing WAM)。这项研究的核心结论是: 直接策略型的世界动作模型无需在部署阶段真正解码出任何一帧未来画面,就能让动作决策模块享受到高质量的世界动态预见能力。
CoRe:具身VLA无需微调,靠“脑中推演”将扰动恢复成功率提升85%
凯斯西储大学(Case Western Reserve University)的研究团队提出了一种截然不同的解法: CoRe(Counterfactual Realignment,反事实重整) 。
Patch Policy:仅用0.7%参数反超VLA,密集视觉特征如何重构机器人控制?
来自 AMI Labs、Meta-FAIR 与纽约大学(NYU)的研究团队提出了一套优雅而高效的替代方案: Patch Policy 。该研究的核心论点十分清晰: 具身控制真正需要的并非庞大的自回归语言模型,而是未经粗暴压缩的密集视觉特征(Dense Visual Representation...
字节与北大推出SkillLens:视觉技能卡注入程序记忆,操作成功率提升11.6分
针对这一瓶颈,来自字节跳动、北京大学和上海交通大学的研究团队提出了全新的解决方案 SkillLens 。该方案将非结构化的人机交互经验重构成一种名为 视觉技能卡 (Visual Skill Cards, VSC)的状态条件记忆单元,并在推理时采用“低开销检索与按需视觉展开解耦”的机制。
R-OPSD:无需标注,反思自蒸馏让GUI智能体部署后涨点7.4%
针对这一瓶颈,南京理工大学团队在论文中提出了一套 测试时自演化框架(Test-Time Self-Evolving Framework) ,通过引入“反思引导的策略内自蒸馏”(Reflection-Guided On-Policy Self-Distillation, R-OPSD)。
FilmBench:首个电影级视频生成评测基准!拆解38项专业视听语言
FilmBench 的提出,标志着视频生成的评测重心正从“普通网民视角的可用性”迈向“专业创作者维度的严苛性”。通过将北京电影学院的视听语言训练体系与前沿 AI 评测技术结合,该基准为模型研发者提供了一面直面工业缺陷的镜子。
微软 Mage-VL:原生编解码削减75%Token,4B推理提速3.5倍
微软提出的 Mage-VL 试图从根本上颠覆这种帧级离线处理范式。它借鉴了现代视频编解码器与生物视觉的双系统机制,构建了一套“编解码原生(Codec-Native)”的流式多模态基座模型。
ACE-Data-0:把家变成多模态影棚,1700万帧全感官数据打通具身长程交互
针对全维度物理交互数据的长期匮乏,最新提出的环境感知数据采集引擎 ACE (Ambient Capture Engine)及其衍生的大规模数据集 ACE-Data-0 尝试给出一套系统性的破局方案。
CofactVLA:清华提出反事实干预框架,真实机器人OOD成功率提升52.3%
针对这一瓶颈,清华大学研究团队提出了一种名为 CofactVLA 的因果反事实去混淆框架。该方法抛弃了以往依赖数据增强或后处理粗暴相减的做法,将动作生成过程形式化为一个双路径去混淆图(Dual-path Deconfounding Graph, DDG)。
Crayotter:用组内相对偏好反传攻克视频剪辑,9B模型超越商业系统
针对这一困境,开源研究项目 Crayotter 提出了全新范式: GRPB(Group-Relative Preference Backpropagation,组内相对偏好反向传播) 。
Video-DeepResearch:解耦感知与检索,开源35B超越Claude-4.5
针对这一困境,研究团队提出了首个面向连续视频流的深度研究智能体框架 Video-DeepResearch (简称 Video-DR )。该工作打破了传统智能体自由调用工具的既定思维,提出了一种“感知与探索解耦”的分阶段工具解锁机制,强迫模型在跨帧完成穷尽的时空视觉定位之后,才被允许访问外部网络检索。
WorldTrace:破解视频世界模型长程遗忘,免训练让场景召回提升19.5%
为此,研究团队提出了完全免训练的长程记忆框架 WorldTrace ,以及专门用于评估场景回访一致性的基准测试 LoopBench 。在不改变原有模型权重、不增加显存峰值的前提下,WorldTrace 实现了 15.5% 的时序一致性提升,并将场景回访的情节召回率提高了 19.5%。