AI 每日资讯 — 2026-07-09
AI 每日资讯 — 2026-07-09 🔥 HuggingFace 每日论文 1. RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation Haoyu Zhao, Xingyue Zhao, Siteng Huang 本文针对开放世界机器人操作中场景动态建模的挑战,提出RynnWorld-4D——一种基于RGB-D输入与语言指令生成未来4D(RGB+深度+光流)序列的具身世界模型。该模型采用三支路扩散架构,融合跨模态注意力与帧级3D旋转位置编码(RoPE),确保外观、几何与运动的一致演化。为支撑训练,构建了包含2.54亿帧的Rynn4DDataset 1.0,涵盖第一人称人类与机器人操作视频,并配备高质量伪标注深度与光流。进一步设计RynnWorld-4D-Policy,直接利用模型内部4D表征进行单次前向推理,实现高效策略输出,在多个仿真与真实机器人操作任务中显著优于现有基线。 PDF · arXiv · 代码 · 项目 | ❤️ 72 2. RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation Haoyu Zhao, Xingyue Zhao, Hangyu Li 本文提出RynnWorld-Teleop,一种面向数字遥操作的动作条件化世界模型,旨在突破物理遥操作在数据采集中的硬件与时空瓶颈。该方法以单张参考图像为起点,通过深度感知的骨骼条件建模与视频扩散Transformer,将操作者手部姿态流实时映射为高保真第一人称机器人视角视频;生成的姿态序列作为具身无关的动作标签,可经标准重定向适配任意目标机器人,从而构建无需物理设备的完整状态-动作轨迹。系统采用流式自回归蒸馏实现单次推理,达40+ FPS实时性能。实验表明,仅用合成数据训练的策略即可实现零样本Sim2Real迁移,并在灵巧双臂任务中显著提升真实世界数据集的泛化性能。 PDF · arXiv | ❤️ 66 3. Vision as Unified Multimodal Generation Xiaoyang Han, Jianhua Li, Kewang Deng 本文提出将计算机视觉统一建模为多模态生成任务,摒弃传统任务专属架构,转而依托统一的多模态大模型,在原生文本与图像生成空间中直接表达各类异构视觉任务。为此,作者构建了SenseNova-Vision模型,通过自然语言指令与可选视觉提示灵活指定任务类型、目标区域及解码范式,输出形式涵盖纯文本(符号化结果)、纯图像(稠密空间预测)或图文混合(组合型任务)。为支撑大规模训练,作者构建了SenseNova-Vision语料库,将多样化视觉标注自动转化为适配该生成空间的指令-响应样本。模型基于现成预训练多模态基座,仅通过该语料及辅助多模态数据微调,无需新增预测头或结构修改。实验表明,该单一模型在检测、OCR、关键点估计、分割、深度/法向量预测、点云、相机位姿估计等十余类任务上达到与专用模型相当的性能,并支持语言定义的细粒度任务变体。 PDF · arXiv · 代码 | ❤️ 30...