机器人学习一项操作,需要获得什么样的数据?第一视角视频能够记录眼前的物体与环境,却难以完整反映身体如何移动、手部如何接触物体。
据新浪科技报道,破晓智能于10月14日发布SeePhys Hub,将头环、腕部设备、腰腿追踪器及触觉手套组合起来,并配套训练数据处理平台,面向机器人学习的数据采集需求。
从“看到过程”到记录动作与接触
以拿起物品为例,视频可以呈现手伸向目标、物体离开桌面的过程。但要理解操作,还可能需要知道身体姿态如何调整、手腕怎样转动,以及接触发生在什么位置、力度如何变化。
这也解释了全身动作与触觉数据受到关注的原因:它们提供了视觉之外的信息,有助于更完整地描述一次操作。上述例子属于对数据用途的解释,并非SeePhys Hub已经通过验证的具体任务成果。
采集之后,还要让数据可用于训练
多种设备同时记录,并不意味着数据可以直接投入训练。不同信号需要在时间上对应,设备位置需要校准,缺失或异常记录也需要识别和处理。否则,画面中的接触动作与传感器记录可能无法准确匹配。
因此,这类系统的评估既涉及穿戴便利性、连续采集能力,也涉及数据同步、处理流程和最终可用数据的比例。相关性能目前仍应按企业披露理解,产品发布也不能等同于已实现规模交付。
SeePhys Hub此次发布,将观察重点放在机器人学习的上游环节:如何把人的操作经验记录下来。它能为机器人训练带来多大帮助,还需要结合数据质量、训练方式及具体任务结果判断。
来源:新浪科技