基于i.MX 95 的AI摄像头或AI工业电脑展示推理性能

内容摘要智慧浪潮崛起:AI与边缘计算的时代 正悄然深植于我们的日常生活之中,无论是火热的 ChatGPT 与 DeepSeek 语言模型,亦或是 Meta 智能眼镜,AI 技术已经无形地影响着我们的生活。这股变革浪潮并未停歇,而是进一步催生了更高效

智慧浪潮崛起:AI与边缘计算的时代 正悄然深植于我们的日常生活之中,无论是火热的 ChatGPT 与 DeepSeek 语言模型,亦或是 meta 智能眼镜,AI 技术已经无形地影响着我们的生活。这股变革浪潮并未停歇,而是进一步催生了更高效、更贴近现实需求的技术演进。

本文引用地址:

然而,随着 AI 应用场景的拓展,传统云计算在实时性、隐私保护与带宽等方面逐渐面临瓶颈。特别是在自动驾驶、智慧医疗、工业自动化等高精度应用中,毫秒级的延迟可能导致关键决策错误。因此,边缘计算(Edge Computing) 应运而生,它让数据处理更接近来源端 实现更低延迟、更高安全性与更高效率的 AI计算模式。

这一转变的核心驱动力来自于 神经运算处理单元(Neural Processing Unit, NPU) 的发展,使小型化设备具备更强的计算能力,降低了数据传输的延迟与成本,同时提升了隐私安全性,使 AI 能够在更多元的场景中落地。

视觉AI的崛起:改变世界的关键应用 从医疗诊断到自动驾驶,视觉AI的应用范围愈加广泛,并深刻改变着各大产业的运作模式。

以下是AI在视觉领域的重要应用:

智能监控:智能监控(Intelligent Surveillance):通过实时目标检测、行为分析与入侵预警,强化城市安全与监控系统。

智慧零售(Smart Retail):通过顾客行为分析与智能货架管理,提升购物体验,优化销售策略。

医疗影像分析(Medical Image Analysis):运用AI协助医生进行疾病诊断,如肿瘤检测与病变识别,提高医疗准确性。

工业质检(Industrial Quality Inspection):自动化检测产品瑕疵,提高制造业质量管控与生产效率。

高级辅助驾驶系统(ADAS):通过AI处理视觉信息,分析道路环境、行人及障碍物,提升行车安全与决策能力。

农业监测(Agricultural Monitoring):通过AI视觉技术,农民可以监测作物健康状况,检测病虫害,优化农业管理,提高产量和品质。

自走车(Autonomous Mobile Robots):自走车利用AI技术,通过传感器和算法,自主导航并避开障碍物,应用于物流、巡检等多种场景。

机械手臂(Robotic Arms):在制造业中,机械手臂结合AI与视觉系统,能够精确地执行组装、焊接等任务,提高生产效率和产品质量。

自动送餐系统(Automated Food Delivery Systems):外卖平台如 Uber Eats,正在美国多个城市部署由 Serve Robotics 开发的送餐机器人,这些机器人配备 AI 技术,能自主导航至顾客所在地,提供高效的送餐服务。

无人机影像分析(Drone Image Analysis):AI驱动的视觉系统使无人机能够进行地形测绘、灾害评估和基础设施检查,提供高效的数据收集和分析。

当 AI 与边缘计算技术结合后,这些应用将变得更高效、更可靠,也更贴近人们的实际需求。未来的世界,将是一个充满智慧、无缝连接的数字时代,AI 不仅是技术,更是推动产业变革与人类进步的关键动力。

NXP 的 i.MX 95 应用处理器系列以其强大的多核心架构,为高性能和实时应用提供了坚实的基础。该系列处理器配备六个 Arm® Cortex-A55 核心、一个 Arm Cortex-M7 核心,以及一个 Arm Cortex-M33 核心,这种配置使系统能够在应用层面、系统层面和实时处理等多个领域实现卓越的性能。

为了进一步提升 人工智能(AI) 应用的效率,i.MX 95 系列整合了 NXP 的 eIQ® Neutron 神经处理单元(Neural Processing Unit, NPU),提供高达 2 TOPS (每秒万亿次运算) 的运算能力。这使得推理计算的时间大幅缩短,例如,在运行常见的物体检测模型 YOLOv5 时,处理单张图片仅需约 5 毫秒 (ms) 即可完成识别,展现了极高的运算速度。

此外,i.MX 95 系列还配备了先进的 影像处理单元(Image Signal Processor, ISP)和 2D/3D 图形处理器(Graph Processor Unit),支持 4K 分辨率下每秒 60 帧的编解码能力这些功能使得传统的图像缩放、格式转换和视频解码等任务得以高效处理,确保图像流的优化。

图2 i.MX 95 方块图示意图

图文出处:NXP 官网

i.MX 95 应用处理器系列提供丰富的 I/O 接口,方便用户连接各种周边设备,满足多样化的应用需求。其支持的接口包括:

MIPI-CSI:支持多个摄像头的连接 (最高支持 8 路),适用于高分辨率图像采集,满足先进的图像处理和机器视觉应用需求。

以太网接口:配备 1 个 10GbE 和 2 个 Gb 以太网接口,支持时间敏感网络(TSN)、音视频桥接(AVB) 和 IEEE 1588 同步协议,确保高速且精确的数据传输,适用于工业自动化和车载网络等需要高可靠性和低延迟的应用。

USB 接口:提供 1 个 USB 3.0 Type C 和 1 个 USB 2.0 Type C 接口,支持高速数据传输和多种外接设备,提升系统的扩展性和灵活性。

CAN FD 接口:具备 5 个 CAN FD 接口,适用于车辆和工业控制系统,提供可靠的通信能力,支持更高的数据速率和更高效的数据传输。

串行通信接口:支持 8 个 UART、8 个 I²C、8 个 SPI 和 2 个 I3C 接口,提供多样化的通信选项,方便与各种传感器、执行器和其他外围设备的连接。

模数转换器(ADC):包含 1 个 8 通道、12 位ADC,适用于精确的模拟信号测量,如传感器数据采集和监控应用。

FlexIO 接口:提供 2 个 32 引脚的 FlexIO 接口,可配置为 UART、SPI、I²C 和 I²S 等通信接口,增加系统设计的灵活性,满足特定应用需求。

PCIe 接口:配备 2 个 PCIe Gen 3 通道,支持高速数据传输和扩展,适用于连接高性能外设,如高速存储设备和网卡。

MIPI-DSI 显示接口:支持高达 350 MHz 的 MIPI-DSI,采用四通道配置,每个通道的数据传输速率为 2.5 Gbps,能够实现 4K 分辨率 (每秒 30 帧) 或 3840x1440 分辨率 (每秒 60 帧) 的显示输出,满足高分辨率显示需求。

LVDS 显示接口:支持最高 1080p@60fps 的 LVDS 传输,可配置为 2 组 4 通道或 1 组 8 通道,提供灵活的显示接口选项,满足不同的显示应用需求。

本方案是基于 i.MX 95 的 AI 摄像头或 AI 工业电脑来展示模块推理性能,结合了多项核心技术,包括神经处理单元(NPU)、图形处理单元(GPU) 和图像信号处理器(ISP),使其在人工智能(AI)和图像处理应用中表现出色,

其中 实现多种 AI 功能,例如:

物体检测(Object Detection):识别并定位图像中的各种物体。

肢体识别(Pose Estimation):分析人体姿态,追踪关键点位置。

物体分割(Object Segmentation):将图像中的物体从背景中分离出来。

工地安全帽检测(Construction Helmet Detection):确认工人是否佩戴安全帽。

车辆检测(Vehicle Detection):识别并追踪车辆。

口罩检测(Mask Detection):判断人员是否佩戴口罩。

水果检测(Fruit Detection):识别不同种类的水果。

人体特征点检测(Human Keypoint Detection):定位人体关键点。

手部骨架检测(Hand Skeleton Detection):追踪手部关节位置。

深度估计(Depth Estimation):估计图像中物体与相机之间的距离。

这些功能的实现得益于 i.MX 95 处理器的高性能,系统能够以每秒 30 帧 (FPS) 的速度处理影像,且仅占用约一个 CPU 核心的资源,大幅减轻了 CPU 的运算负担,满足大多数边缘计算应用的需求。

图3 i.MX 95 AI DEMO 示意图

NXP (恩智浦) 在推动 人工智能(AI) 计算平台方面展现了卓越的进步。通过 eIQ 能够快速应用 TensorFlow、TensorFlow Lite、ONNX、Keras 等深度学习框架。如同下图所示,只需将影像、声音等相应的数据委托(Delegate) 给任意一个深度学习框架进行推理,即可快速解析神经网络架构以获得结果。而该框架将通过 Neutron Delegate 进行优化加速运算处理。经实际测试,YOLOv5s 目标检测,推理速度约可达到每秒 190 帧 (FPS)。

从 i.MX 8M Plus、i.MX 93 到最新的 i.MX 95 系列,性能提升显著,特别是在物体检测等常见 AI 应用中,运算速度大幅提高。即使在物理规格相近的情况下 i.MX 95 的神经处理单元(NPU)相比于 i.MX 8M Plus,运算速度更快。提升了近四倍。

图5 i.MX 95 AI 性能示意图

i.MX 95 系列处理器不仅具备强大的运算能力,还提供丰富且多样化的 I/O 接口配置。这使开发者能够灵活地连接各种外设,满足不同应用场景的需求,提供高度的设计自由度和扩展性。实际应用中,这些处理器展现了极大的灵活性,可广泛应用于物联网(IoT)、工业 4.0、自动驾驶等领域。充分实现 边缘计算(Edge Computing) 的概念,创造更高的应用价值。

另外,NXP 为开发者提供了强大的工具,助力他们在各种创新应用中实现 AI 能力。

eIQ® 工具包用于端到端模型开发和部署

eIQ®模型水印技术

eIQ 示例

eiq模型库

nxp-nnstreamer-示例

GUI 指南

由WPI提供的AI演示

WPI 提供的 ATU 模型库

◆ 搭配算力 2 TOPS 的 eIQ® Neutron 神经处理器(Neural Processing Unit,NPU),具备强大的机器学习推理能力。相比广为人知的图形处理器(Graphics Processing Unit,GPU),更省电、效率更高,是专门为深度学习和人工智能设计的处理器!◆ 独立 SOM 开发板设计,并搭配强大的 NXP i.MX 95 芯片,可根据需求自由配置 I/O 接口,与 SOM 搭配使用。这种灵活性使开发者能够针对特定应用场景设计符合需求的硬件平台,充分发挥 i.MX 95 芯片的性能和功能。◆ 结合 I/O 开发板能够提供齐全的周边配置。例如高清多媒体接口(HDMI)、低压差分信号技术接口(LVDS)、以太网(Ethernet)、控制器局域网(CAN bus)、异步收发传输器(UART)、通用串行总线接口(USB Type A/C)、3.5 mm 耳机音频接口、摄像头数据传输接口(MIPI-CSI)、显示数据传输接口(MIPI-DSI)、M.2 - PCIe 3.0 传输接口。◆ 可快速上手应用 eIQ / PyeIQ 机器学习开发环境,提供 TensorFlow、TensorFlow Lite、ONNX、Keras、Pytorch 等多种深度学习框架的应用示例。

MPU (NXP i.MX95, MX95LPD5EVK-19CM) 核心规格:◆ 强大的六核 Arm Cortex-A55 处理器,主频高达 1.8 GHz◆ eIQ® Neutron 神经处理单元,性能高达 2 TOPS◆ 双图像信号处理器(ISP),支持 RGB-IR 格式◆ 两个 MIPI-CSI 摄像头接口,用于视觉处理应用◆ 强大的 3D/2D 图形加速(Arm Mali-G310)◆ 强大的视频编码器和解码器,支持高达 4Kp60 帧率 (包括 JPEG、H.264 和 H.265)◆ 高清显示:MIPI-DSI 支持 4Kp30,LVDS 支持 1080p◆ 内置 eMMC 5.1,存储容量为 64GB◆ 支持外部内存,数据速率高达 6.4 GT/s,32 位接口,支持 LPDDR5/LPDDR4XMPU (NXP i.MX95, MX95LPD5EVK-19CM) I/O 规格:◆ 1 个 10GbE + 2 个 Gb 以太网,支持 TSN、AVB 和 IEEE 1588 同步◆ 1 个带 PHY 的 USB 3.0 Type C + 1 个带 PHY 的 USB 2.0 Type C◆ 5 个 CAN FD 接口◆ 8 个 UART,8 个 I²C,8 个 SPI,2 个 I3C◆ 1 个 8 通道、12 位 ADC◆ 2 个 32 针 FlexIO 接口◆ 2 个 PCIe Gen 3 单通道接口

 
举报 收藏 打赏 评论 0
24小时热闻
今日推荐
浙ICP备2021030705号-9