与NVIDIA携手加速具身AI开发

将意法半导体的全面产品组合与NVIDIA的Holoscan传感器桥接器 (HSB) 和用于机器人的Isaac仿真器生态系统集成

意法半导体正与NVIDIA合作，通过简化和加速具身AI解决方案的开发来赋能开发人员。通过加强合作和更紧密的生态系统集成，我们使设计和部署人形机器人及其他具身AI系统变得更加轻松。

与HSB集成 + 高保真建模 = 缩短上市时间

作为合作的一部分，意法半导体正与NVIDIA合作，将其全面的产品组合与NVIDIA Holoscan传感器桥接器集成。这包括在STM32微控制器上运行的HSB、惯性测量单元 (IMU)、图像传感器、飞行时间 (ToF) 设备和电机控制解决方案。

从软件角度看，意法半导体组件的高保真NVIDIA Isaac模型正在融入两家公司的机器人生态系统中。

下面是这项合作的首批两项具体成果：

HSB depth camera

硬件 – HSB深度摄像头

该摄像头集成了全套意法半导体传感器：两个用于立体深度的VB1940 RGBIR 5.1 MP图像传感器、一个用于独立3D深度图的VL53L9CX ToF LiDAR模块，以及一个用于精确定位的LSM6DSV16X IMU。Leopard的机器人深度摄像头通过10G以太网接口以即插即用方式兼容Holoscan SDK。该摄像头可在低功耗模式下生成精确的3D流，并可选择启用主机处理以获得更高分辨率的深度图和可视化。其设计旨在为广泛的跨具身AI平台的机器人应用提供支持。

这样，开发人员便可在仿真中自信地训练视觉、平衡、步态和运动控制算法，确信这些行为能够可靠地转移到真实硬件。

ST high-fidelity MEMS sensor modeling

SW – 意法半导体的高保真MEMS传感器建模

意法半导体在NVIDIA Isaac仿真器中提供了其ASM330LHH IMU的高保真模型，此模型基于真实设备测量（包括组件特定的噪声特性）构建。该模型为开发者带来诸多优势：

  • 通过与仿真器直接集成，实现精确的虚拟测试。
  • 确保平衡和运动控制算法在仿真与真实硬件间表现一致。
  • 利用Isaac仿真器中的数字孪生，让团队能在步态、平衡和导航上不断迭代，减少研发投入。

提供低延迟传感器仿真，以支持复杂人形动作所需的快速、稳定响应。

立即下载

意法半导体美洲与全球大客户组织销售与市场营销部执行副总裁Rino Peruzzi

  • “意法半导体深入参与机器人社区，提供了强大的支持和成熟的生态系统。我们与NVIDIA的合作旨在释放下一波尖端的机器人技术创新，并从AI算法的构思到传感器与执行器无缝集成的每一步，都简化开发人员和客户的体验。这样有助于加速复杂的AI驱动式实体平台的演进。”
展开
收起

NVIDIA机器人和边缘AI副总裁Deepu Talla

  • “加速下一代自主系统的开发需要高保真仿真和无缝的硬件集成，以弥合虚拟训练与现实部署之间的差距。将意法半导体的传感器与执行器技术与NVIDIA Isaac仿真器、Holoscan传感器桥接器和Jetson平台集成，为开发人员提供了一个统一的基础，可助力大规模构建、仿真和部署具身AI。”
展开
收起

意法半导体的机器人产品组合

意法半导体提供业界最全面的适用于机器人领域的半导体产品组合之一，涵盖从边缘AI处理和电机控制到分布式传感、电源管理和安全连接的每一个主要子系统。这种集成深度意味着更少的供应商、更快的系统级优化，以及在每个主要子系统上拥有单一的合作伙伴。

面向人形机器人领域的意法半导体传感器

人形机器人依赖于各种传感技术来感知周围环境、解读运动并与人和物体自然互动。意法半导体提供惯性、成像和深度传感，并致力于协作打造一个支持强大感知和可靠仿真到现实性能且对开发人员友好的生态系统。

除了提供与NVIDIA Holoscan传感器桥接器架构集成的精确且可靠的传感器硬件外，意法半导体还通过集成到NVIDIA Isaac等平台中的高保真传感器模型来优化开发人员工作流，助力确保在仿真中训练的行为能无缝转移到实体机器人。

意法半导体的AI赋能传感器产品组合和路线图进一步赋能边缘智能，实现人形机器人全身更快的反应速度和更流畅、更逼真的动作。