今年会·(jinnianhui)金字招牌-利用 TI IWR6243 毫米波雷达和 NVIDIA Holoscan 摄像头实现实时 AI 原始传感器融合

使用 TI IWR6243 毫米波雷达及 NVIDIA Holoscan 摄像头实实际时 AI 原始传感器交融

发布时间：2026-06-12 来历：转载 责任编纂：lily

【导读】现代呆板人（包括人形呆板人、自立挪动平台及工业主动化体系）必需于各类操作前提下以高精度、低延迟及一致的靠得住性来感知情况。像视觉传感器如许确当前技能于袒露在雾、眩光、尘埃、雨水或者弱光情况中时，机能往往会降落，而单模态深度传感器常常难以于混乱或者动态场景中提供不变的丈量成果。

本文将概述怎样利用德州仪器 (TI) IWR6243 毫米波雷达传感器及部署于 NVIDIA Holocan 平台上的摄像头构建及时 AI 原始传感器交融流程，如图 1 所示。

图 1 由摄像头、IWR6243 毫米波雷达传感器及 NVIDIA Holoscan 平台构成的体系示用意

TI 的毫米波雷达技能提供了一种从底子上差别的感到方式，这类方式自己就能应答各类情况挑战。IWR6243 毫米波雷达传感器可于不受光照前提影响的环境下提供切确的间隔、速率及角度丈量，而且具备很强的情况滋扰抗扰性。当原始数据与基在摄像头的感知及 AI 驱动的传感器交融相联合时，与仅雷达或者仅视觉要领比拟，这类功效可以或许实现稳健靠得住的周围情况感知，而且具备更高的保真度。

IWR6243 是一款于 57GHz 至 64GHz 频段内事情的高度集成的单芯片 4RX 及 3TX 毫米波雷达收发器。这类集成程度可以或许显著降低体系繁杂性、功耗及物料清单成本，从而使其合用在可扩大呆板人及边沿 AI 部署。该器件撑持高分辩率点云天生，专为需要低延迟及确定性机能的及时感到运用而设计。

经由过程部署 IWR6243 以和 NVIDIA 的 Jetson Thor 及 NVIDIA Holoscan Sensor Bridge，开发职员可以将 TI 久经磨练的毫米波雷达感到与 NVIDIA GPU 加快的 AI 及流媒体基础举措措施无缝联合。这类组合使雷达数据可以或许高效地流入 AI 传感器交融流程，同时连结 TI 雷达闻名的物理丈量精度及靠得住性。

于呆板人运用中，IWR6243 可以或许实现切确的短间隔人体检测及运动跟踪，从而于堆栈等拥堵情况中举行安全导航。借助雷达的直接间隔及速率丈量功效，可以于呆板人周围创立一个动态安全缓冲区，可以按照物体间隔及相对于速率界说及持续调解掩护区域。于人形呆板人中，雷达传感器进一步撑持于行走、运行或者操作使命时期实现不变的均衡节制及动态避障。

体系概述

体系架构以低延迟、以 GPU 为焦点的数据通路为中央，于保留传感器原始精度的同时，撑持高级 AI 处置惩罚。该设计集成为了 TI 的 IWR6243 毫米波雷达模块、摄像头模块、用在高带宽及确定性传感器数据网络的 NVIDIA Holoscan Sensor Bridge，以和所有于 Holoscan SDK（软件开发套件）上运行的 NVIDIA Jetson Thor 边沿计较平台，如图 2 所示。

图 2 体系概述

IWR6243 毫米波雷达传感器经由过程高速 CSI-2 接口提供原始丈量数据，可实现对于原始雷达信息的直接、低延迟拜候，且传输开消极低。该接口可将雷达数据高效流式传输至 NVIDIA Holoscan Sensor Bridge，借助零拷贝机制将数据直接传入 GPU 内存，全程兼具以太网的可扩大性与矫捷性。该方案于连结 TI 高精度雷达丈量数据完备性的同时，最年夜限度降低延迟并削减 CPU 介入度。

传入 GPU 以后，Holoscan 运行时会利用基在图形的履行模子来编排处置惩罚流程。雷达旌旗灯号处置惩罚、摄像头预处置惩罚、神经收集推理和多模式交融均采用确定性调理，确保于传感器高数据率下仍能满意及时性约束要求。借助这类架构，开发职员可以充实使用 TI 毫米波雷达的丈量精度，同时高效扩大 AI 事情负载。

AI 传感器交融流程

传感器交融流程起首同步网络雷达及摄像头数据。雷达处置惩罚使用 IWR6243 的能力提供间隔、速率及角度丈量的原始数据，天生可捕捉情况空间布局及运动特征的点云。同时，利用 GPU 加快的 AI 模子对于摄像头帧举行处置惩罚，这些模子提取语义信息，如对于象身份、姿式及分类。

图 3. 雷达处置惩罚流程

交融阶段将 TI 雷达丈量与空间及时间的视觉检测连结一致。雷达衍生的深度及速率信息增补了基在视觉的推理，可提高稳健性并削减恍惚性。于触及高速运动方针、部门遮挡或者视觉情况恶化的场景中，仅依赖摄像头感知极易掉效，交融感知的价值尤为凸起。

经由过程将 TI 不受照明影响的切确雷达传感与 AI 驱动的视觉语义相联合，交融感知输出可实现更高的置信度、更高的跟踪不变性及更靠得住的对于象分类。天生的交融数据可用在及时决议计划、导航、安全监控或者下流自立仓库。

TI 毫米波雷达于传感器交融中的上风

TI 的毫米波雷达为传感器交融体系带来了怪异的上风，这类上风难以经由过程其他传感技能实现。直接丈量间隔及速率的能力可实现切确的运动理解，从而加强跟踪及猜测。毫米波传感的稳健性使感知体系可以或许于光学传感器机能退化的情况（包括低光照、眩光、雾及尘埃）中靠得住运行。

IWR6243 的高集成度可降低体系繁杂性及功耗，同时实现可扩大的多传感器部署。TI 于汽车及工业雷达范畴的持久专业常识还有为功效安全性、靠得住性及持久可用性奠基了坚实的基础，这些都是对于呆板人及自立体系的要害要求。

IWR6243 集成到基在 Holoscan 的 AI 流程时，可用作传感器前端，为现实丈量的 AI 推理提供靠得住的传感器数据。这类组合可提高总体体系机能，并降低边沿部署中呈现感知妨碍的危害。

最先利用硬件

基在德州仪器毫米波雷达与 NVIDIA Holoscan 构建雷达视觉传感器交融体系，起首需搭建一套硬件平台，撑持从传感器到集中式 AI 计较平台的高带宽、低延迟数据传输。参考硬件配置将 TI 的雷达评估硬件与 NVIDIA Holoscan Sensor Bridge 及 NVIDIA Jetson Thor 相联合。

IWR6243 级联 EVM 用作雷达传感前端。该评估模块集成为了两个 IWR6243 毫米波雷达器件，以和快速开发及验证所需的电源治理、时钟及毗连。借助 IWR6243 EVM，开发职员可以配置雷达线性调频脉冲及帧时序，同时公然合用在高级旌旗灯号处置惩罚及基在 AI 的交融的原始雷达数据。借助该 EVM 可加快体系启动，并提供颠末验证的靠得住硬件基准，可以或许真实反应量产雷达方案的机能特征。

为了实现从 IWR6243EVM 到 Holoscan 生态体系的高效数据传输，于雷达评估模块及 NVIDIA Holoscan Sensor Bridge 之间利用了一个 CSI-2 适配器板，如图 4 所示。此适配器板将雷达输出接口的旌旗灯号桥接至传感器桥预期的 CSI-2 输入。

图 4. 硬件概述

Lattice CertusPro-NX 传感器到以太网桥接板于低延迟、低功耗、矫捷的 FPGA 上运行，可用作高带宽传感器数据的中心聚合及传输装备。它吸收来自雷达的 CSI-2 数据流，以和摄像甲等其他传感器的各种接口旌旗灯号。传感器桥接器卖力确定性数据挪动，并将传感器数据直接传送到计较平台上可由 GPU 拜候的存储器中。

NVIDIA Jetson Thor 用作体系的集入彀算平台。Jetson Thor 提供雷达旌旗灯号处置惩罚、摄像头推理、多模式交融及及时决议计划所需的 GPU 机能及 AI 加快。于 NVIDIA Jetson Thor 上运行 Holoscan SDK 使开发职员可以或许界说及履行流式 AI 流程，以可猜测的延迟处置惩罚雷达及视觉数据。集入彀算要领答应体系经由过程提高计较能力于差别的自立级别之间举行扩大，而无需从头设计传感器硬件。

IWR6243EVM、CSI-2 适配器板、NVIDIA Holoscan Sensor Bridge、摄像头模块及 NVIDIA Jetson Thor 配合组成了雷达视觉传感器交融的完备硬件基础。这类配置使开发职员可以或许专注在感知算法及 AI 交融，同时依靠在针对于高带宽检测、低延迟及面向量产人形呆板人及呆板人体系的可扩大性举行优化的硬件架构。IWR6243 级联 EVM 硬件及适配器板可直接从德州仪器 (TI) 获取，开发职员应接洽其德州仪器 (TI) 售代表以相识供货环境、订购信息及撑持选项。

最先利用软件

于 NVIDIA Holoscan Bridge 上搭建雷达视觉传感器交融软件栈，需完成 Holoscan SDK 配置、启用 Holoscan Sensor Bridge 软件组件，并部署实现雷达处置惩罚与传感器交融功效的运用软件。

NVIDIA Holoscan SDK 为构建及时流式 AI 运用步伐提供了焦点软件框架。它包括基在图形的履行模子、GPU 加快运算符、确定性调理，以和对于传感器推理、可视化及数据挪动的集成撑持。该 SDK 于 NVIDIA Jetson Thor 上运行，并治理雷达处置惩罚及摄像头推理的履行。

NVIDIA Holoscan Sensor Bridge 软件栈经由过程撑持高带宽传感器将数据高效地流式传输到 Holoscan 运行时来增补 SDK。它提供了须要的驱动步伐、固件及接口，可将传感器数据从基在 Lattice 的传感器桥接硬件直接挪动到 GPU 可拜候的存储器中。该软件层可将传感器传输细节提掏出来，并验证确定性时序，使运用步伐的开发职员可以或许专注在感知算法而不是初级另外数据挪动。Holoscan Sensor Bridge 与 Holoscan SDK 之间的慎密集成对于在于及时交融运用中连结雷达与摄像头流之间的同步至关主要。

于 NVIDIA Holoscan 平台之上，运用软件实现了雷达配置、旌旗灯号处置惩罚、传感器对于齐及交融逻辑。于此体系中，运用软件由 D3 Embedded 开发，专门设计用在使用德州仪器 (TI) 毫米波雷达、Lattice Semiconductor 的 Holoscan Sensor Bridge 板及 NVIDIA Holoscan 基础举措措施。该软件将 IWR6243 雷达数据集成到基在 Holoscan 的流程中，从而于集中式处置惩罚架构内实现雷达点云天生、摄像头对于齐及 AI 驱动的交融。

D3 Embedded 开发的运用软件可作为 D3 Embedded sales@d3embedded.com 办事项目的一部门得到。

NVIDIA Holoscan SDK、Holoscan Sensor Bridge 软件栈及 D3 Embedded 的运用软件配合组成了用在及时雷达视觉传感器交融的完备软件设计。这类组合实现了快速启动及可扩大的机能，并为从评估硬件到可直接用在出产情况的人形呆板人及呆板人体系提供了清楚的路子。

结语

TI 的 IWR6243 毫米波雷达与 NVIDIA Holoscan 平台上的摄像头数据之间的及时 AI 传感器交融提供了稳健、可扩大且可当即投入出产的感知设计。TI 的毫米波雷达技能可对于间隔及速率举行正确且不受光照影响的丈量，而 NVIDIA Holoscan 可实现超低延迟 GPU 处置惩罚及 AI 驱动的交融。这些技能可让开发职员配合构建可以或许于繁杂、动态及具备挑战性的情况中靠得住运行的高级感知体系，加速下一代呆板人及自立呆板的部署。