英偉達首席執(zhí)行官黃仁勛曾多次強調(diào)“AI的下一個浪潮將是具身智能”。基于此洞察，英偉達從2018年開始，便前瞻性布局具身智能領(lǐng)域，致力于打造一個完整的技術(shù)閉環(huán)與底層開發(fā)生態(tài)體系。

英偉達具身智能領(lǐng)域關(guān)鍵布局（機器覺醒時代制表） 

2018年具身智能布局：初步構(gòu)建機器人開發(fā)平臺

1. 2018年6月，英偉達推出NVIDIA Isaac平臺

2018年6月：英偉達推出NVIDIA Isaac機器人開發(fā)平臺，該平臺包含硬件（Jetson Xavier計算平臺）和一系列軟件工具（包括Isaac SDK、Isaac IMX和Isaac Sim）， 初步構(gòu)建機器人開發(fā)、訓(xùn)練與驗證的基礎(chǔ)設(shè)施。

1）硬件

Jetson Xavier：專為機器人設(shè)計的計算平臺，其中，Xavier SoC芯片內(nèi)部集成超90億顆晶體管，可實現(xiàn)每秒超30萬億次浮點運算。該芯片搭載六種高性能處理器，包括 Volta 架構(gòu) Tensor 核心 GPU（1個）、八核心 ARM64 CPU（1個）、 深度學(xué)習(xí)加速器DLA（2個），以及圖像處理器（1個）、視覺加速器（1個）和視頻編碼器和解碼器（各1個）。憑借強大的硬件配置，Jetson Xavier 能夠同時實時運行數(shù)十種算法，覆蓋傳感器處理、測距、定位與繪圖、視覺感知及路徑規(guī)劃等多種任務(wù)。

Jetson Xavier架構(gòu)框圖（圖片來源：英偉達）

2）軟件

NVIDIA為Jetson Xavier 提供了一整套覆蓋模擬、訓(xùn)練、驗證及部署全流程的機器人學(xué)習(xí)軟件工具，具體包括：

Isaac SDK：是一套包含應(yīng)用程序接口（API）與工具的運行時框架，配備全面加速的庫，用于開發(fā)機器人算法軟件。Isaac IMX（Intelligent Machine Acceleration）：IMX即智能機器加速應(yīng)用程序，是一套由英偉達開發(fā)的機器人算法軟件集合。旨在為機器人開發(fā)提供預(yù)開發(fā)的、優(yōu)化的算法軟件，涵蓋了機器人應(yīng)用中的多個領(lǐng)域，如傳感器處理、視覺與感知、定位與繪圖等。Isaac Sim：為開發(fā)者提供高度逼真的虛擬仿真環(huán)境，用于自主訓(xùn)練，并支持使用Jetson Xavier進行硬件在環(huán)測試。

Isaac 工作原理（圖片來源：英偉達）

備注：2018-2019年的 Isaac Sim 獨立于 Omniverse，基于 Unreal/Unity 引擎開發(fā)。此后，英偉達逐步將 Isaac Sim 遷移至 Omniverse 平臺，例如 2021 年發(fā)布的 Omniverse Isaac Sim 完全基于 Omniverse 架構(gòu)，替換了早期的 Unreal/Unity 引擎，并整合了 Omniverse 的核心技術(shù)，如物理引擎 PhysX 5、RTX 渲染、OpenUSD 場景描述等。

如今，Isaac Sim 是一款基于 NVIDIA Omniverse™構(gòu)建的綜合性機器人仿真平臺，可通過高級物理效果與逼真渲染實現(xiàn)高保真仿真。該平臺聚焦于合成數(shù)據(jù)生成（SDG）以及測試和驗證（SIL/HIL），是定制機器人模擬器的參考模板。

參考資料

1. NVIDIA Isaac Sim 工作原理

https://developer.nvidia.cn/isaac/sim

2022年具身智能布局：技術(shù)迭代與生態(tài)拓展

2. 2022年3月：英偉達推出Isaac Nova Orin參考平臺

2022年3月，英偉達在 GTC 大會上正式推出了 Isaac Nova Orin參考平臺，這是一款專為自主移動機器人（AMR）設(shè)計的計算和傳感器平臺，由多達兩臺 Jetson AGX Orin 計算機（≥550TOPS ）和一套適用于新一代 AMR 的傳感器套件組，旨在加速 AMR 的開發(fā)與部署。

其中，Jetson AGX Orin 配備 NVIDIA Ampere 架構(gòu) GPU和Arm Cortex-A78AE CPU，以及新一代深度學(xué)習(xí)和視覺加速器。

Jetson AGX Orin系列基本參數(shù)信息（機器覺醒時代制表）

傳感器套件包括6攝像頭（2深度感知攝像頭 + 4廣角攝像頭）+ 3激光雷達（2個導(dǎo)航2D激光雷達和1個用于地圖構(gòu)建的3D激光雷達（選配））+ 8超聲波雷達。

備注：后續(xù)擴展—— 2024 年 3 月，英偉達與九號公司合作發(fā)布 Nova Orin 開發(fā)者套件，針對 Nova Carter AMR 平臺優(yōu)化，預(yù)裝 Isaac Perceptor 堆棧，進一步簡化二次開發(fā)流程。

3. 2022年11月：英偉達發(fā)布具身智能體MinDojo

2022年11月22日，英偉達發(fā)布了具有互聯(lián)網(wǎng)規(guī)模知識的開放式具身智能體 MinDojo。它是一個建立在Minecraft 游戲之上的新框架，用于具身智能體研究。

該模型構(gòu)建了具身智能體最關(guān)鍵的三個要素：支持多種任務(wù)和目標的環(huán)境、大規(guī)模的多模態(tài)知識數(shù)據(jù)庫以及靈活且可擴展的智能體架構(gòu)，為具身智能體的研究和發(fā)展提供了重要的基礎(chǔ)和框架。

備注：MineCraft（《我的世界》）是一款由微軟旗下 Mojang Studios 開發(fā)的沙盒游戲。

參考資料

1. NVIDIA Isaac Nova Orin

https://zhuanlan.zhihu.com/p/555258658

2023年具身智能布局：生成式AI與機器人融合

4. 2023年5月：英偉達發(fā)布智能體 —— Voyager

2023年5月，英偉達與加州理工學(xué)院、德克薩斯大學(xué)奧斯汀分校、斯坦福大學(xué)、亞利桑那州立大學(xué)等多所高校的研究者聯(lián)合發(fā)布智能體—— Voyager。

Voyager智能體包含三個核心組件：自動學(xué)習(xí)路徑、迭代提示機制和技能庫。

Voyager智能體工作原理

Voyager是一個由 LLM 驅(qū)動的可終身學(xué)習(xí)的具身智能體，展示了大語言模型在驅(qū)動智能體進行復(fù)雜任務(wù)學(xué)習(xí)和探索方面的強大能力，為人工智能的發(fā)展提供了新的思路和方向。它在MineCraft虛擬環(huán)境中能夠自主探索、根據(jù)環(huán)境和自身狀態(tài)生成任務(wù)、不斷學(xué)習(xí)新技能并保存到技能庫中，具備具身智能體所要求的與環(huán)境交互并學(xué)習(xí)進化的特征。

備注：MineCraft（《我的世界》）是一款由微軟旗下 Mojang Studios 開發(fā)的沙盒游戲。

5. 2023年10月，英偉達發(fā)布Eureka

2023年10月，英偉達在GTC 大會上發(fā)布了Eureka。Eureka是一個專注于機器人訓(xùn)練的 AI 系統(tǒng)，主要功能是利用生成式 AI 和強化學(xué)習(xí)方法，自動生成和優(yōu)化獎勵函數(shù)，以提高機器人的訓(xùn)練效率和性能。

Eureka 工作原理（圖片來源：英偉達）

工作原理：Eureka以GPT - 4 大型語言模型為驅(qū)動，采用混合梯度架構(gòu) —— 外循環(huán)運行 GPT - 4 來細化獎勵函數(shù)，內(nèi)循環(huán)運行強化學(xué)習(xí)來訓(xùn)練機器人控制器。在上圖中，Eureka以未經(jīng)修改的環(huán)境源代碼和語言任務(wù)描述作為上下文，通過編碼大語言模型零樣本生成可執(zhí)行的獎勵函數(shù)。隨后，該框架在獎勵函數(shù)采樣、基于GPU加速的獎勵評估以及獎勵反思之間進行迭代優(yōu)化，逐步提升獎勵函數(shù)的輸出質(zhì)量。

應(yīng)用場景：Eureka 主要應(yīng)用于機器人的復(fù)雜任務(wù)訓(xùn)練，特別是那些需要精細控制和高級技能的任務(wù)，如機器人的靈巧操作、復(fù)雜動作的學(xué)習(xí)等。

參考論文

1. Voyager: An Open-Ended Embodied Agent with Large Language Models

2. Eureka: Human-Level Reward Design via Coding Large Language Models

2024年具身智能布局：英偉達發(fā)布通用基礎(chǔ)模型GR00T

6. 2024年2月，英偉達成立具身智能體研究實驗室GEAR

2024年2月：英偉達成立通用具身智能體研究實驗室（GEAR，Generalist Embodied Agent Research），由 Jim Fan 與 Yuke Zhu 領(lǐng)銜，致力于為虛擬和物理世界中的具身智能體構(gòu)建基礎(chǔ)模型，重點聚焦多模態(tài)基礎(chǔ)模型、通用型機器人模型、虛擬世界智能體及仿真合成數(shù)據(jù)四大研究領(lǐng)域。

7. 2024年3月，英偉達發(fā)布通用基礎(chǔ)模型Project GR00T

2024年3月：在GTC 開發(fā)者大會上，英偉達發(fā)布人形機器人通用基礎(chǔ)模型 Project GR00T，其通過自然語言文本/語音理解以及對人類行為視頻和真人演示的模仿學(xué)習(xí)，加速人形機器人學(xué)習(xí)協(xié)調(diào)各種技能，使其能夠適應(yīng)并與現(xiàn)實世界進行互動。

英偉達發(fā)布人形機器人通用基礎(chǔ)模型Project GR00T（圖片來源：英偉達）

此外，據(jù)了解，英偉達還宣布與1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Sanctuary AI、宇樹科技、傅利葉智能和小鵬鵬行等多家人形機器人企業(yè)達成合作，共同聯(lián)合開發(fā) “GR00T” 項目。

同時，在大會上，英偉達還發(fā)布了專為人形機器人打造的計算平臺—— Jetson Thor，支持多模態(tài)AI模型并行計算（如視覺、語音、運動規(guī)劃）。

Thor SoC 芯片搭載基于 Blackwell 架構(gòu)的GPU，集成 Transformer 引擎，直接支持FP4（4位浮點）和FP8（8位浮點）運算，顯著降低大規(guī)模Transformer模型（如GPT、BERT）的推理功耗與延遲。另外，GPU分為3個獨立集群，支持通過MIG技術(shù)靈活劃分計算資源，實現(xiàn)多任務(wù)并行與資源隔離。

在CPU與內(nèi)存性上，Thor SoC芯片配備14核CPU（含AE擴展核心），性能達前代2.6倍，強化實時控制（如電機驅(qū)動、傳感器融合）。內(nèi)存帶寬容量翻倍至128GB，帶寬達273GB/s，支持超大規(guī)模模型本地加載與高速數(shù)據(jù)吞吐。

此外，Jetson Thor還集成了功能安全島、多種傳統(tǒng)加速器，如 ISP、視頻編解碼器、視覺計算引擎（PVA）、光流加速器（OFA）等，提供跨加速器（PVA/OFA）的統(tǒng)一開發(fā)框架 Vision Programming Interface（VPI），簡化了設(shè)計和集成工作。

英偉達Thor SoC芯片架構(gòu)框圖（圖片來源：英偉達）

此外，英偉達還宣布對機器人Isaac開發(fā)平臺進行了重要升級：

1）推出新的基礎(chǔ)模型和相關(guān)工具

Isaac Manipulator ：基于Isaac ROS 構(gòu)建，由NVIDIA CUDA加速庫、AI 模型和面向機器人開發(fā)者的參考工作流組成。它旨在幫助機器人軟件開發(fā)者構(gòu)建能夠感知、理解環(huán)境并與之交互的 AI 機器人手臂或操縱器，支持實現(xiàn)運動規(guī)劃、物體檢測以及姿態(tài)估計和跟蹤等功能。

NVIDIA Isaac Manipulator 工作原理（圖片來源：英偉達）

Isaac Perceptor：基于Isaac ROS 構(gòu)建，是NVIDIA CUDA 加速庫、AI 模型和參考工作流的集合，用于開發(fā)自主移動機器人（AMR），為可靠的視覺測距和 3D 環(huán)繞視覺提供支持，用于障礙物檢測和占用率映射。旨在幫助AMR在倉庫、工廠和戶外環(huán)境等非結(jié)構(gòu)化環(huán)境中進行感知、定位和操作。

NVIDIA Isaac Perceptor工作原理（圖片來源：英偉達）

2）強化仿真能力

Isaac Lab：是一個基于Isaac Sim 構(gòu)建的輕量級開源框架，使用 NVIDIA PhysX 以及基于物理性質(zhì)的 NVIDIA RTX 渲染提供高保真物理模擬。它彌合了高保真模擬和基于感知的機器人訓(xùn)練之間的差距。同時，它還專門針對機器人學(xué)習(xí)工作流進行優(yōu)化，旨在簡化機器人研究中的常見任務(wù)，例如強化學(xué)習(xí)、模仿學(xué)習(xí)和運動規(guī)劃。

NVIDIA Isaac Lab 架構(gòu)框圖（圖片來源：英偉達）

OSMO：是一種云原生的工作流編排平臺，用于在本地、私有云和公有云中擴展復(fù)雜、多階段和多容器的機器人工作負載，有助于用戶在Isaac 平臺上編排、可視化和管理一系列機器人開發(fā)任務(wù)。其中包括生成合成數(shù)據(jù)、訓(xùn)練模型、進行強化學(xué)習(xí)，以及為人形機器人、自主移動機器人 (AMR) 和工業(yè)機械手實施軟件在環(huán)測試等。

NVIDIA OSMO 工作原理（圖片來源：英偉達）

參考資料：

1. 深度揭秘NVIDIA 第三代計算機Jetson Thor

https://mp.weixin.qq.com/s/XnONhdCEjN3YC1Y9guSH1w

2. NVIDIA Isaac AI 機器人開發(fā)平臺

https://developer.nvidia.cn/isaac

2025年具身智能布局：開源人形機器人基礎(chǔ)模型

8. 2025年1月，英偉達推出 Cosmos和Isaac GR00T Blueprint

2025年1月， 在CES上，英偉達宣布推出世界基礎(chǔ)模型平臺 Cosmos和合成運動生成工具 Isaac GR00T Blueprint。

1）世界基礎(chǔ)模型平臺Cosmos

NVIDIA Cosmos是英偉達推出的生成式世界基礎(chǔ)模型平臺。平臺集成了生成式世界基礎(chǔ)模型（WFM）、高級標記器（Cosmos Tokenizer）、安全護欄系統(tǒng)（Guardrails）和加速視頻處理管道（NeMo Curator），幫助開發(fā)者生成大量基于物理的合成數(shù)據(jù)，減少對真實世界數(shù)據(jù)的依賴。

Cosmos 能接受文本、圖像或視頻的提示，生成高度仿真的虛擬世界狀態(tài)，加速自動駕駛和機器人的物理AI開發(fā)。同時，Cosmos 還提供了安全防護機制，確保數(shù)據(jù)的安全與合規(guī)。開發(fā)者可以通過微調(diào) Cosmos 模型來創(chuàng)建定制化的AI模型，滿足特定的應(yīng)用需求。

該基礎(chǔ)世界模型借助2000萬小時的機器人和自動駕駛數(shù)據(jù)進行預(yù)訓(xùn)練，以生成基于物理的世界狀態(tài)。該模型包括一系列預(yù)訓(xùn)練多模態(tài)模型，開發(fā)者可以開箱即用，用于世界生成和推理，或進行后訓(xùn)練以開發(fā)專用的物理 AI 模型。

Cosmos Predict：是一種能夠通過文本、圖像和視頻等多模態(tài)輸入生成虛擬世界狀態(tài)的通用模型。它使用基于Transformer 的架構(gòu)構(gòu)建，支持多幀生成，在給定開始和結(jié)束輸入圖像的情況下，可預(yù)測中間行為或運動軌跡。另外，該模型基于9000T機器人與自動駕駛數(shù)據(jù)的token進行訓(xùn)練，專為后訓(xùn)練而打造。

Cosmos Transfer：通過結(jié)構(gòu)化視覺或幾何數(shù)據(jù)輸入，如分割圖、深度圖、激光雷達掃描、姿態(tài)估計圖和軌跡圖等，以生成可控、逼真的視頻輸出。它采用ControlNet 架構(gòu)，利用時空控制圖來動態(tài)對齊合成和真實世界的表示，確保精確的空間對齊和場景構(gòu)成。它是一種世界到世界的遷移模型，旨在彌合模擬環(huán)境和真實世界環(huán)境之間的感知差異。

Cosmos Transfer工作原理（圖片來源：英偉達）

Cosmos Reason：這是一款具備完全可定制的多模態(tài)推理模型，基于對空間和時間的理解而構(gòu)建，因此具有時空感知能力，使用思維鏈推理來理解視頻數(shù)據(jù)，并能夠預(yù)測交互結(jié)果用于規(guī)劃響應(yīng)。另外，Cosmos Reason模型分為預(yù)訓(xùn)練、通用監(jiān)督微調(diào)（SFT）、和強化學(xué)習(xí)（RL）三個階段進行訓(xùn)練，增強其在現(xiàn)實世界場景中推理、預(yù)測和響應(yīng)決策的能力。

NVIDIA Cosmos 應(yīng)用案例：合成數(shù)據(jù)生成(SDG)、策略模型初始化、策略模型評估和多視圖生成。

2）合成運動生成工具：Isaac GR00T Blueprint

Isaac GR00T Blueprint提供了一套完整的解決方案，包括機器人基礎(chǔ)模型、數(shù)據(jù)管道和仿真框架，為通用機器人的訓(xùn)練提供了一個數(shù)字孿生訓(xùn)練場，可幫助開發(fā)者生成海量的合成運動數(shù)據(jù)，以便通過模仿學(xué)習(xí)來訓(xùn)練機器人。

Isaac GR00T Blueprint合成運動生成流程圖（圖片來源：英偉達）

9. 2025年3月，英偉達推出人形機器人基礎(chǔ)模型 GR00T N1

2025年3月，在GTC開發(fā)者大會上，英偉達推出全球首個開源、可定制的通用人形機器人基礎(chǔ)模型 GR00T N1。

GR00T N1是一個視覺-語言-動作（VLA）模型，采用雙系統(tǒng)架構(gòu)。“系統(tǒng)1”是基于擴散變換器（DiT）的動作模塊。它通過交叉注意力機制關(guān)注視覺語言模型（VLM）的輸出Tokens，并采用具身專用的編碼器和解碼器來處理可變維度的狀態(tài)與動作，實現(xiàn)運動生成。它以更高的頻率（120Hz）生成閉環(huán)電機動作。

“系統(tǒng)2”是基于視覺-語言模型（VLM）的推理模塊，在英偉達L40 GPU上以10Hz運行，處理機器人的視覺感知和語言指令，以解釋環(huán)境并理解任務(wù)目標。

“系統(tǒng)1”和“系統(tǒng)2”都是基于Transformer構(gòu)建的神經(jīng)網(wǎng)絡(luò)，二者在訓(xùn)練過程中緊密耦合、聯(lián)合優(yōu)化，以實現(xiàn)推理與執(zhí)行的高效協(xié)同。

GR00T N1模型架構(gòu)示意圖

GR00T N1模型預(yù)訓(xùn)練所使用的數(shù)據(jù)：真實機器人軌跡、合成數(shù)據(jù)以及人類視頻。

用于機器人基礎(chǔ)模型訓(xùn)練的“數(shù)據(jù)金字塔”

合作案例：1X Technologies、Agility Robotics、Boston Dynamics、傅利葉等機器人公司已接入GR00T N1，利用該基礎(chǔ)模型及其配套工具鏈開發(fā)新一代機器人產(chǎn)品，并在不同的應(yīng)用場景中進行落地實踐。

參考資料：

1. NVIDIA Cosmos 是什么？

https://www.nvidia.cn/ai/cosmos/

2. 論文：GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

結(jié)語

英偉達在具身智能領(lǐng)域的布局，正以「底層算力驅(qū)動者+ 開發(fā)生態(tài)構(gòu)建者」的定位重塑具身智能機器人產(chǎn)業(yè)格局。其通過Jetson系列芯片提供高性能邊緣計算支持，結(jié)合 Isaac/Omniverse 開發(fā)平臺與 GR00T 通用基礎(chǔ)大模型，構(gòu)建了從硬件到軟件的全棧技術(shù)閉環(huán)。

在戰(zhàn)略層面，英偉達通過投資Figure AI、與波士頓動力等頭部企業(yè)合作，提前卡位人形機器人賽道。黃仁勛提出的“所有移動的機器終將自主”愿景，正借助技術(shù)深度整合穩(wěn)步落地。例如，英偉達將Omniverse 數(shù)字孿生技術(shù)、Cosmos物理世界模型與 Isaac Sim 仿真框架有機結(jié)合，構(gòu)建起完備的物理 AI 體系。這一體系支持機器人在虛擬環(huán)境中完成行為驗證與能力迭代，最終實現(xiàn)從虛擬到現(xiàn)實場景的無縫遷移，大幅提升具身智能機器人開發(fā)效率與應(yīng)用適配性。

在商業(yè)化層面，英偉達憑借硬件標準化與軟件生態(tài)開放策略，吸引產(chǎn)業(yè)鏈上下游協(xié)同，加速構(gòu)建行業(yè)標準。從亞馬遜物流場景與豐田制造場景優(yōu)化，再到與微軟、OpenAI 開展投資合作，英偉達正通過以“算力+模型+工具”三位一體的模式，逐步確立自身在具身智能時代核心基礎(chǔ)設(shè)施供應(yīng)商的地位。

       原文標題 : 2018~2025：英偉達在具身智能機器人領(lǐng)域的關(guān)鍵布局詳解