应用领域:
- 智能家电(冰箱)
- 智能零售(自动售货机)
- 仓储管理
解决思路
这种边缘AI方案的关键优势:
- 通信流量大幅减少:与上传图像的方案相比,数据传输量减少99%以上,云成本最高降低90%
- 供电方式灵活:支持电池、PoE和Type-C供电,适应多种部署环境
- 隐私保护设计:视觉数据不出设备,仅共享结构化结果
- 降低运营成本:省去人工巡检,减少补货延迟
- 实时感知:推理耗时低于50 ms,无需云端往返即可即时掌握库存
借助STM32N6上的边缘AI,CamThink展示了现代零售与家电环境如何实现智能、可扩展且高性价比的库存监测。
应用概述
NE301在本地运行完整检测流水线,从图像采集到结构化结果输出,全程无需云端处理。
1. 图像采集
NE301会按计划定时唤醒,用广角CMOS传感器拍摄冰箱内部图像。即便冰箱内出现反光或光线不足,集成ISP也会通过降噪和自动曝光调整,保证输入图像清晰。
2. 边缘推理
内置Neural-ART NPU运行YOLOv8 Nano模型,可在设备端直接完成饮料检测与计数。推理在50 ms内完成,无需上传任何图像即可实时感知库存。
3. 决策与上报
系统只把JSON格式的识别结果通过MQTT发送到后端(如Home Assistant或自定义服务器)。这样带宽占用极低,并确保能够立即执行补货或发出警报。
技术细节
CamThink方案充分发挥了STM32N6的异构架构优势:
- Neural-ART NPU——将YOLO模型推理加速至50 ms以内,无需向任何服务器上传图像即可实时检测库存。
- CamThink AI Toolstack——提供从数据采集、标注到训练和量化部署 (.bin) 的完整端到端工具链。开发者即便没有深厚的AI专业知识,也能在数小时内构建定制商品识别模型。
- 超低功耗架构——将STM32N6的边缘AI能力与STM32U0协处理器结合,由后者负责电源管理和睡眠控制。设备仅在需要时唤醒,显著降低功耗和部署成本。
传感器
CMOS图像传感器:OS04C10,HFOV 137°
NE301通过ISP进行图像预处理(包括降噪和自动曝光),确保AI模型在冰箱内反光、低照度等复杂光照条件下仍能获得清晰可靠的输入。
数据集和模型
模型:
- YOLOv8 Nano(目标检测)
- 输入尺寸:320 x 320
- 针对饮料商品识别优化
- 通过CamThink AI Toolstack量化,便于在设备端部署
结果
- 推理时间:约50 ms
- 模型准确率:饮料商品达>90%(仍可进一步优化)
- 内存使用:完全在片上SRAM中运行,无需外部RAM
- 通信流量:与基于图像上传的方案相比减少>99%
使用以下资源轻松重现这一用例:
其他资源:
资源
通过STM32Cube AI Studio优化
STM32Cube AI Studio是一款桌面工具,用于评估、优化和编译STM32微控制器的神经网络模型。该工具完全支持针对Neural-ART加速器神经处理单元 (NPU) 的编译。它取代了意法半导体AI产品线中的X-CUBE-AI,以涵盖新款STM32器件。
最适用于STM32N6系列
STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。该系列产品结合了高性能、实时功能、数字信号处理、低功耗/低电压操作和出色的连接性,同时保持高度集成和易于开发的特点。