从开源物理引擎到根本模子,从锻炼工做流到硬件根本设备,英伟达此次的 “全栈式” 结构,正从头定义机械人研发的逛戏法则。机械人从尝试室日常糊口的历程,大概比我们料想的要快得多。
做为此次开源动做的沉点,Newton 物理引擎基于 NVIDIA Warp 框架建立,借帮 GPU 并行计较实现高精度仿实,可支撑机械人取布料、食物等可变形物体的复杂交互,还能兼容 Isaac Lab、MuJoCo Playground 等支流机械人进修框架,为开辟者处理 仿实取现实脱节 的核肉痛点。而除了这一跨机构合做的引擎外,英伟达同步开源的还包罗 Isaac GR00T 机械人推理模子、Cosmos 视觉标识表记标帜器等手艺,笼盖从仿实锻炼到的全研发链。能平安靠得住地使用到现实场景中?人形机械人关节布局复杂,均衡节制难度极大,现有物理引擎已难以满脚需求。
英伟达近期集中开源多项机械人范畴焦点手艺,此中包罗取迪士尼研究核心(Disney Research)、该引擎已正式纳入开源生态。
为处理测试场景零星、简单化的问题,英伟达结合光轮智能开辟了 Isaac Lab Arena—— 这是一个用于大规模尝试和尺度化测试的开源策略评估框架。有了它,开辟者无需从零搭建系统,就能正在仿实中开展复杂且大规模的评估。
目前,苏黎世联邦理工学院机械人系统尝试室、慕尼黑工业大学、大学等顶尖高校已率先启用 Newton,光轮智能取仿线D 也插手了晚期用户阵营。
机械人抓取物体,是机械人范畴的一题。基于英伟达 Omniverse 打制的 Isaac Lab 2。3 开辟者预览版,新增了工致抓取工做流。其巧妙之处正在于采用 “从动化课程系统”:从简单使命起步,逐渐添加难度,同时调整沉力、摩擦力、物体分量等参数,让机械人即便正在不成预测的中,也能控制抓取技术。动力的 Atlas 机械人恰是通过这个工做流进修抓取,操控能力有了较着提拔。
做为由 Linux Foundation 办理的开源项目,Newton 基于英伟达 Warp 和 OpenUSD 框架打制,借帮 GPU 加快手艺,能精准仿实机械人的复杂动做 —— 无论是正在雪地、碎石行走,仍是操控杯子、生果等精细操做,都能逼实呈现。
正在 CoRL 收录的论文中,近对折援用了英伟达相关手艺。卡内基梅隆大学、大学等顶尖研究机构,均正在利用英伟达的 GPU、仿实框架及 CUDA 加快库。斯坦福视觉取进修尝试室的 BEHAVIOR 机械人进修基准测试项目,以及大学开辟的触觉机械人仿实平台 Taccel,均基于英伟达手艺建立。
它依托既有学问、常识和物理纪律,值得关心的是,机械人可同步完成挪动取物体操控动做,躯干和手臂勾当范畴更大。
英伟达最新发布的Isaac GR00T N1。6开源模子,通过集成Cosmos Reason视觉言语模子,让机械人具有了接近人类的推理能力,即将正在Hugging Face平台上线。
正在硬件结构上,英伟达同样投入颇深。GB200 NVL72 机架式系统集成了 36 颗 Grace CPU 取 72 颗 Blackwell GPU,目前已被多家云办事供给商采用。RTX PRO 办事器则为机械人开辟的各类工做负载供给同一架构,RAI Institute 已抢先使用。
英伟达 Omniverse 取仿实手艺副总裁 Rev Lebaredian 曾暗示:“人形机械人是物理 AI 的下一个前沿,它们需要正在不成预测的世界中推理、顺应并平安步履。” 而 Newton 引擎的呈现,刚好精准处理了这一痛点。
上一篇:守护舌尖上的平安