英伟达最新力作EgoScale框架的问世。
长期以来,人形机器人的灵巧操作训练始终面临一个核心困境:人类行为本是物理智能学习最具可扩展性的数据来源,但如何将其有效转化为机器人可复用的技能,尤其是支撑细粒度、高自由度的复杂操作,始终是行业未解之谜。
过往研究仅能在受限场景下实现人机技能迁移,而大规模人类数据能否真正赋能机器人灵巧操作,始终缺乏明确答案。
NE时代智能体 ,赞22近日,英伟达最新力作——EgoScale框架的问世,这一僵局或将有所改变,人形机器人的ChatGPT时刻,是否已然临近?
作为英伟达的最新力作,EgoScale的核心突破,在于彻底重构了人形机器人的训练逻辑——将训练核心从“机器人数据规模”转向“人类数据规模”,标志着机器人领域的规模定律,正式从“机器人工时”切换为“人类工时”。
这一转变的背后,是英伟达对大规模人类数据价值的挖掘。
该研究首次明确证实,大规模纯人类视频无需依赖海量机器人实操数据,就能作为灵巧机器人可预测、可复用的监督信号来源,大幅降低机器人数据采集的成本与难度,为机器人规模化训练提供了全新路径。
EgoScale的技术核心,是一套以大规模第一人称人类数据为基础的人机灵巧操作迁移框架,其训练方案简洁且高效。
据英伟达机器人总监Jim Fan介绍,团队基于GR00T N1.5,先用超20854小时带动作标注的第一人称人类视频,对视觉-语言-动作(VLA)模型进行预训练——这一数据规模是以往相关研究的20倍以上。

更关键的是,研究团队发现,人类数据规模与模型验证损失之间存在近乎完美的对数线性缩放定律(R²=0.9983),而这一损失值与下游真实机器人的任务性能高度相关,这也证明了大规模人类数据作为监督来源的可靠性与可预测性。
仅靠人类数据预训练还不够,EgoScale创新性地提出“大规模人类预训练+少量对齐人机中期训练”的两阶段迁移方案,实现了极致的数据效率。
在预训练之后,团队仅用4小时的灵巧手机器人实操数据进行轻量级中期训练,就让模型快速适应机器人的感知与控制逻辑。

为确保人机数据的一致性,训练过程中采用与机器人相同的传感装置采集数据:Vive追踪器和Manus手套分别捕捉人类手臂与手部运动,头戴式摄像头与腕戴式摄像头同步记录第一人称及腕部视觉输入,这种配置与机器人视觉视角高度匹配,为技能迁移奠定了基础。
在模型架构上,EgoScale采用基于流程的VLA策略,以视觉-语言模型(VLM)为主干,搭配DiT动作专家模块,通过统一的腕部动作表征融合人与机器人数据,再由轻量级具身专用适配器处理本体感知输入与手部动作,既保证了模型的灵活性,又提升了操作的精准度。
Jim Fan强调,人形机器人之所以是终极发展方向,核心在于其与人类的具身差距最小——运动学上的相似性,让人类手指动作可直接重定向到机器人灵巧手关节,无需复杂的迁移算法,而相对腕部运动与重定向后的22自由度手指动作,构成了从预训练到机器人执行的通用动作空间。
这套创新方案的实际性能,在多项高难度灵巧任务中得到了充分验证。
EgoScale重点聚焦5项精细操作任务,包括卷衬衫、灵巧工具使用、卡片分拣、拧瓶盖以及难度最高的注射器液体转移——后者需要机器人完成长时序多步推理、液体抽注精准对位和注射器推杆精细操控,对操作精度要求极高。
测试结果显示,在22自由度灵巧手平台上,EgoScale策略相较无预训练基线,平均成功率提升了54%。
Jim Fan也进一步透露,该研究搭载的灵巧手来自Sharpa。
更令人惊喜的是,尽管模型在22自由度手部关节空间完成预训练,其策略仍能有效迁移到搭载7自由度三指手的宇树G1人形机器人上,性能比仅用G1自身数据训练提升30%以上。
除了性能提升,EgoScale的泛化能力同样亮眼。
通过对齐的中期训练,机器人获得了单样本迁移能力:仅需一次遥操作演示,就能学会从未接触过的新任务——比如经过叠毛巾的中期训练后,可单样本迁移完成叠衬衫任务;学会拧3D打印玩具瓶盖后,能直接适配塑料水瓶盖的拧动操作。
这种强大的泛化能力,让机器人能够快速适应新任务、新载体,大幅提升了其实用价值,也印证了大规模人类运动所提供的,是一种可重用、与具身无关的运动先验。
EgoScale的问世,不仅解决了人形机器人灵巧操作训练的核心痛点,更重塑了行业的发展认知。
Jim Fan曾直言:“通往机器人精细操作能力的规模化路径,从来不是造更多机器人,而是始终依靠我们人类。”
人类作为地球上最具规模化的具身载体,其行为数据中蕴含着丰富的物理智能与操作逻辑,而EgoScale正是找到了激活这份价值的钥匙。
从ChatGPT引爆大语言模型革命,到EgoScale重构人形机器人训练逻辑,科技的突破始终源于对规模化价值的挖掘。
EgoScale用数据证明,人形机器人的发展无需陷入“造更多机器人来训练机器人”的循环,借助大规模人类数据的力量,就能实现灵巧操作能力的跨越式提升。













沪公网安备31010702008139