Research

用真实任务检验每一项模型能力。

从上下文理解、共享自主、触觉视觉融合到第一视角学习,智融把论文、系统、人工教学和实验结果接入 ZRPhysicalWorld 的持续学习路径

Research to Capability 理解状态 · 判断风险 · 学习恢复 · 迁移经验

每项成果都说明解决了什么问题、如何验证,以及目前仍有哪些适用边界

Proof Points

四条研究路径,汇入同一套物理经验模型

每条路径处理一种关键问题,并把执行结果、失败状态和人工教学继续带回模型训练。

Stage 01

上下文感知,让系统理解装配步骤与现场状态

AssemblyMate 将多模态推理、时空上下文和机器人执行连接起来,根据用户动作、物体状态和任务进度调整装配指导。

  • 面向复杂装配和人机协作任务
  • 连接步骤理解、动作评估与机器人转运
  • 论文发表于 npj Advanced Manufacturing
基于 XR 遥操的数据采集界面
交互界面把用户动作、任务上下文和机器人执行连接在一起。
阶段演示视频 点击展开,查看上下文感知与 XR 交互在真实任务中的演示。

Stage 02

风险引导与共享自主,把人工判断集中在关键窗口

CopilotTele 默认执行短时域动作,在风险升高时触发人工介入或接管,记录高不确定性阶段的判断、纠偏和恢复过程。

  • 在线束装配任务中验证双臂共享自主
  • 平均任务时间降低 13.7%,重试次数降低 46.3%
  • IEEE CASE 2026 最佳学生论文奖(团队确认)
AI 辅助遥操的数据采集工作流
共享自主处理可预测动作,并在风险升高时请求人工判断。
阶段演示视频 点击展开,查看共享自主如何进入复杂任务采集流程。

Stage 03

触觉与视觉融合,补充接触过程中的物理信息

面对柔性物体、精细接触和复杂操作,系统同步记录视觉、触觉、动作和任务状态,让模型获得形变、阻力、滑移与接触结果。

  • 服务接触丰富、需要精细控制的工位任务
  • 提升多模态数据采集的稳定性与可解释性
  • 为后续具身模型训练提供更高质量样本
触觉辅助柔性物体遥操演示
触觉与视觉结合后,柔性物体和接触任务的示教成功率明显提升。
阶段演示视频 点击展开,查看触觉辅助遥操在接触丰富任务中的表现。

Stage 04

第一视角学习,把人的操作经验转成任务表达

第一视角视频与动作、接触和任务状态对齐后,可用于技能分解、意图理解和经验迁移,为模型提供更完整的操作上下文。

  • 支持第一视角学习、技能分解与基础技能迁移
  • 降低对海量重复遥操和标注的依赖
  • 让训练结果更接近真实工位部署需求
基于第一人称视频的具身模型流程
第一视角视频与任务执行信号结合后,可以更高效地支撑具身模型学习。
阶段演示视频 点击展开,查看第一视角任务执行与模型相关演示。

Physical Understanding

让研究结果持续进入 ZRPhysicalWorld

上下文、风险、接触和任务意图共同构成物理经验。ZRPhysicalWorld 将这些信息用于状态理解、结果预测、失败恢复与跨任务迁移。

Intent

提炼人类操作意图

从视角变化、手部动作和任务状态中识别目标、步骤与关键判断。

Physics

学习因果与物理经验

理解接触、阻力、形变、失败和恢复策略,让数据包含真实任务的物理约束。

Transfer

生成机器人操作与智能体能力

把人类演示转成机器人可学习、可迁移、可验证的技能片段,支撑专用模型和场景智能体迭代。

Lab Evidence

实验结果回到任务中继续接受检验

从触觉驱动遥操架构,到桌面任务、第一视角执行和真实物体采集,每轮实验都保留任务条件、失败状态和评测结果,用于下一轮模型更新与再验证。