后GPT-6时代,具身数据怎么做?Ropedia发布Xperience 2,给出下一代数据基石金标准
将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。
当前位置
当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。
后GPT-6时代,具身数据怎么做?Ropedia发布Xperience 2,给出下一代数据基石金标准
11 月 9 日,Anthropic 发布 Claude Fable 5.2。据报道,它在机器人控制基准 RoboDojo 上拿到 64.9% 的成绩,是上一代 Fable 5.1(27.6%)的两倍多。而就在两个月前,GPT-6 Astra 刚以 22.48% 的平均成功率登顶这一榜单,超过全部 40 个公开策略。 通用大模型的具身能力正以惊人的速度提升,但榜单上的分数,还不等于真实世界里的能力。在一项联合研究 [1] 中,GPT-6 Astra 被部署到 8 种真机配置上:插插头 11 次尝试全部失败,长程导航找物 23 次尝试中仅成功 9 次。研究者的判断是,它已具备初步的具身能力,但距离实用仍有差距。 如何让通用大模型更好地控制机器人,在真实环境中连续完成更长、更复杂的任务?模型既需要可供学习的行为示范,也需要能执行任务、积累经验的环境。大模型有 Scaling Law,物理智能的 Scaling Law 又在哪里?要回答这个问题,首先得弄清楚:该扩展怎样的环境与行为数据,又该如何持续生产和使用? 近日,Physical AI 初创公司 Ropedia 正式发布 Xperience 2,给出了自己的答案: Ropedia Xperience 2 是一套面向 Physical AI 的真实环境与行为数据集,它将真实场景扫描与人的第一视角活动记录相结合,在同一度量坐标系中对齐场景几何、录像、轨迹和身体姿态。 基于这些数据,Ropedia 将人的动作转换为机器人轨迹,并将扫描场景转换为可交互的仿真环境。 Ropedia 希望以这种真实采集、精准对齐、覆盖多样且可复用的环境 - 行为一体化数据,建立下一代具身数据的 “金标准”,为后 GPT-6 时代物理智能在环境与行为数据上的规模定律奠定数据基础。 技术报告:Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors 报告链接:https://arxiv.org/abs/2611.17060 项目主页:https://ropedia.com/xperience/2-research 数据集:https://huggingface.co/datasets/ropedia-ai/Ropedia-Xperience-2 1,812 个场景组成 Xperience 的 X。 物理智能的「金标准」数据:环境与行为,缺一不可 扫描、记录与对齐:让每个行为有真实环境参照 Xperience 2 为每段任务录像保留对应的场景重建。视频中的相机轨迹、手部和全身动作被放进同一个三维坐标系,与房间的几何和布局对齐。使用者可以回看人怎样在这个房间里行动,也可以继续利用这些记录构建机器人任务。 以把杯子放进橱柜为例,视频能记录取杯、开门、放入和关门的过程,供模型学习动作和顺序。机器人真正做这件事时,还需要知道杯子在哪里、柜门朝哪边开、自己的手臂能否够到,以及怎样判断任务完成。这些信息需要结合场景的几何和物体状态来确定。光有录像,机器人还没有一个能试做这项任务的环境。 而只有仿真场景,同样不够。仿真场景让机器人有了练习的地方,人的示范则能提供起步的方法。缺少示范时,抓杯子的位置、开柜门的方向和放杯子的动作都可能需要反复探索,还要设计相应的奖励。任务步骤越多,这样训练的成本往往越高。 现有数据集通常侧重其中一类。ScanNet++、Realsee3D 和 DL3DV-10K 提供三维场景重建和相机位姿,没有对应的人类第一视角任务录像;EPIC Fields、Nymeria 和 HD-EPIC 记录了人的活动和相机位姿,但大多不提供场景网格。 Xperience 2 把场景和人的示范放在一起。两者对齐后,人的动作有了明确的空间参照,可以根据机器人的身体结构转换成运动轨迹,再放回同一场景中检查。原始录像由此可以继续用于机器人的动作研究。 场景完成交互配置后,还可以设定杯子的位置、柜门状态和机器人起点,让机器人在里面执行任务。没抓住杯子、把杯子放在柜子边缘,或者忘了关门,都能根据物体状态判定并记录。失败后重新加载场景,就能再试一次;换一组初始条件,还可以继续采集新的轨迹。 录像与场景对齐后的各层数据:网格、3DGS、第一视角视频、头部轨迹、双手和全身姿态,以及三个时间尺度的活动标注,位于同一个度量坐标系中。 这套采集延续了 Ropedia 在第一视角数据上的积累。此前的 Xperience-10M 包含约 1,000 万个真实世界交互片段、1 万小时第一视角视频与音频。Xperience 2 在这些行为记录之外增加了场景扫描与空间对齐,让每段活动都有对应的真实环境。同一次扫描可以供这个场景中的多段
推荐阅读
Search
热点新闻
奥斯汀锦标赛最后一轮因暴雨推迟到周一 克罗领先
北京时间11月16日,周日的暴雨冲走了首届奥斯汀锦标赛(Austin Championship)的决赛轮,导致比赛推迟到周一完赛,特雷斯-克罗(Trace Crowe)以一杆优势领先,13名球员与领先者相差不到三杆。 这是自球员锦标赛(The Players Championship)以来,美巡赛首次在周一举行完整的决赛轮。球员锦标赛当时经历了太多延误,一些球员不得不在周一先补完第三轮的最后7洞,
火箭3将齐爆升华深度!阿门轰三分统治攻守,博格丹稳衔接,亚当斯作用明显
火箭147-119大胜奇才。这场比赛打完之后,三个球员的发挥太亮眼了。他们完成齐爆的情况下,对于球队整体厚度的带动是巨大。 一个是阿门,他全场比赛居然打进了3个三分,这是大家都没有想到的。当然核心还是进攻端的出手变得更加坚决了,三分3中3砍下26分7篮板7助攻1抢断1盖帽,这就是攻守全面的输出了。只要阿门进攻端打开了,球队的空间好了,他也可以保持全方位积极性,这是球迷最希望看到的一个结果,首发其他
在部队饿到发狂能做出多卑微的事?看网友分享大受震撼!永生难忘啊
哎,你知道吗?在部队里,那种饿到极点的感觉,简直能让人做出一些你想象不到的“卑微”事儿。说起来,我之前看过一些网友的分享,真是让人大受震撼,感觉这事儿能记一辈子! 你得明白,在部队里,训练是头等大事,纪律严明,一丝不苟。有时候,为了锻炼我们的意志和体能,常有那种连续高强度训练,这种训练往往让人能"饿的发狂" 最近此话题引起了网友们的热议,大家评论区留言纷纷,说出自己的经历和故事 哈哈,听你这么说,
看脸给癌症患者“算命”,高风险名单中过半数90天内死亡
能“看脸算命”的AI,有多神奇? 近期,美国麻省总医院布里格姆癌症研究所的一篇论文刊发于《柳叶刀·数字健康》。研究人员通过“投喂”4000万张不同年龄、种族的人脸图像,开发出一款AI模型FAHR-Face。该模型能通过人脸照片识别癌症患者的健康状况。 在此基础上,研究人员进一步构建了两个新工具FAHR-FaceAge和FAHR-FaceSurvival。前者能根据面部照片评估癌症患者的生物学年龄,
阿诺德:曼城这么强也没拿过欧冠 我们有机会拿3冠
利物浦后卫阿诺德强调,曼城从来没有赢得过欧冠冠军,对曼城球迷来说,这听起来肯定不太舒服。 欧冠1/8决赛,利物浦客场对阵国米,英格兰国脚阿诺德借此机会提及联赛领头羊曼城。“我并不是说挖苦人,但像曼城这样的强大球队,也还没有赢得欧冠冠军。” 利物浦在2019年赢得了欧冠,2020年获得了英超冠军。曼城虽然近年来拿到多个冠军,却没有拿到过欧冠奖杯。 阿诺德表示:“过去3年,我们赢得了英超和欧冠冠军,曼