智能零售和仓储管理要想高效运转,就必须实时掌握冰箱和货架上的库存情况。CamThink的NE301边缘AI摄像头由STM32N6 微控制器驱动,可在使用现场直接完成饮料检测与计数。无需依赖云端,通信成本降低99%以上,视觉数据留在边缘端,隐私更有保障。

 

应用领域:

  • 智能家电(冰箱)
  • 智能零售(自动售货机)
  • 仓储管理

解决思路

传统冰箱和零售货架的库存监测主要靠人工巡检、重量传感器系统或云端图像识别。这些方式各有明显短板:人工巡检费时费力,补货容易滞后;重量传感器需要昂贵的硬件改造,且对商品摆放敏感;云端方案带宽占用高、有延迟,还会引发隐私顾虑。传统MCU也缺乏在本地运行高精度检测模型的算力,误报率往往偏高。

 

为此,CamThink推出基于ST  STM32N6的NE301,把AI商品识别全部放到设备端完成。库存发生变化时,不再传输图像,只上传极少量结构化数据(例如:"可乐3罐")。这从根本上改变了智能库存系统的成本结构和隐私特性。

CamThink智能罐装饮料检测 CamThink智能罐装饮料检测 CamThink智能罐装饮料检测

这种边缘AI方案的关键优势:

  • 通信流量大幅减少:与上传图像的方案相比,数据传输量减少99%以上,云成本最高降低90%
  • 供电方式灵活:支持电池、PoE和Type-C供电,适应多种部署环境
  • 隐私保护设计:视觉数据不出设备,仅共享结构化结果
  • 降低运营成本:省去人工巡检,减少补货延迟
  • 实时感知:推理耗时低于50 ms,无需云端往返即可即时掌握库存

 

借助STM32N6上的边缘AI,CamThink展示了现代零售与家电环境如何实现智能、可扩展且高性价比的库存监测。

应用概述

NE301在本地运行完整检测流水线,从图像采集到结构化结果输出,全程无需云端处理。

1. 图像采集

NE301会按计划定时唤醒,用广角CMOS传感器拍摄冰箱内部图像。即便冰箱内出现反光或光线不足,集成ISP也会通过降噪和自动曝光调整,保证输入图像清晰。

2. 边缘推理

内置Neural-ART NPU运行YOLOv8 Nano模型,可在设备端直接完成饮料检测与计数。推理在50 ms内完成,无需上传任何图像即可实时感知库存。

3. 决策与上报

系统只把JSON格式的识别结果通过MQTT发送到后端(如Home Assistant或自定义服务器)。这样带宽占用极低,并确保能够立即执行补货或发出警报。

技术细节

CamThink方案充分发挥了STM32N6的异构架构优势:

  • Neural-ART NPU——将YOLO模型推理加速至50 ms以内,无需向任何服务器上传图像即可实时检测库存。
  • CamThink AI Toolstack——提供从数据采集、标注到训练和量化部署 (.bin) 的完整端到端工具链。开发者即便没有深厚的AI专业知识,也能在数小时内构建定制商品识别模型。
  • 超低功耗架构——将STM32N6的边缘AI能力与STM32U0协处理器结合,由后者负责电源管理和睡眠控制。设备仅在需要时唤醒,显著降低功耗和部署成本。

传感器

CMOS图像传感器:OS04C10,HFOV 137°

 

NE301通过ISP进行图像预处理(包括降噪和自动曝光),确保AI模型在冰箱内反光、低照度等复杂光照条件下仍能获得清晰可靠的输入。

数据集和模型

模型:

  • YOLOv8 Nano(目标检测)
  • 输入尺寸:320 x 320
  • 针对饮料商品识别优化
  • 通过CamThink AI Toolstack量化,便于在设备端部署

结果

  • 推理时间:约50 ms
  • 模型准确率:饮料商品达>90%(仍可进一步优化)
  • 内存使用:完全在片上SRAM中运行,无需外部RAM
  • 通信流量:与基于图像上传的方案相比减少>99%
结果 结果 结果

立即开始!

使用以下资源轻松重现这一用例:

其他资源:

优化工具

STM32Cube AI Studio

STM32Cube AI Studio

最适用于

STM32N6系列

最适用于

资源

通过STM32Cube AI Studio优化

STM32Cube AI Studio是一款桌面工具,用于评估、优化和编译STM32微控制器的神经网络模型。该工具完全支持针对Neural-ART加速器神经处理单元 (NPU) 的编译。它取代了意法半导体AI产品线中的X-CUBE-AI,以涵盖新款STM32器件。

通过STM32Cube AI Studio优化 通过STM32Cube AI Studio优化 通过STM32Cube AI Studio优化

最适用于STM32N6系列

STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。该系列产品结合了高性能、实时功能、数字信号处理、低功耗/低电压操作和出色的连接性,同时保持高度集成和易于开发的特点。

最适用于STM32N6系列 最适用于STM32N6系列 最适用于STM32N6系列
You might also be interested by

视觉 | STM32 AI MCU | 合作伙伴 | 视频 | 工业 | STM32Cube AI Studio | 麦克风 | 家电

边缘AI如何重新定义嘈杂世界中的清晰语音

在STM32N6上实现实时音频降噪,无需DSP,借助边缘AI在嘈杂环境中输出低延迟清晰语音。

视觉 | STM32 AI MCU | 合作伙伴 | 视频 | 智慧城市 | 工业 | 智能家居 | STM32Cube AI Studio

零售环境中的人数统计与跟踪

embedUR利用YOLACT在STM32N6上实现实时人物分割,以14 FPS在设备端完成人数统计,无需依赖云端。

视觉 | STM32 AI MCU | 视频 | 工业 | 麦克风 | 客户案例 | 农业

如何让每一粒种子在播种时都发挥作用

ROJ的Vision4Seeding将边缘AI引入精准播种:STM32N6实时检测每一行的漏播与双粒,全程不依赖云端。