Loading spinner
食物识别可用于广泛的应用,如家电(智能冰箱、微波炉)、餐厅、医院,或用于食品工业中。 基于FD-MobileNet模型,应用可以识别18种不同类型的食物和饮料,包括披萨、啤酒、薯条等等。

方法

- 我们使用一个摄像头模块(B-CAMS-OMV)来捕捉场景
- 我们选择了一个预先训练好的 FD-Mobilenet NN 模型来进行食物识别
- 该模型已集成在功能包 FP-AI-VISION1 中(为 STM32H747 探索套件制作)
- 然后使用 STM32Cube.AI 对该模型进行了优化。

传感器

视觉:相机模块捆绑包(参考: B-CAMS-OMV)

数据

数据格式
- 18 个类别:"苹果派"、"啤酒"、"凯撒沙拉"、"卡布奇诺"、"芝士蛋糕"、"鸡翅"、"巧克力蛋糕"、"可乐"、"杯子蛋糕"、"甜甜圈"、"薯条"、"汉堡"、"热狗"、"千层面"、"比萨"、"意大利调味饭"、"肉酱意面"、"牛排"
- RGB 彩色图像

结果

我们提供两种不同的网络,它们在推理时间和准确率之间实现了特定的平衡。
模型:“标准”量化卷积神经网络
输入大小:224x224x3
内存占用:
132 KB闪存 用于权重
148 KB RAM,用于激活
准确率: 72.8%
STM32H747(高功能)上的性能 @ 400 MHz
推断时间: 79 ms
帧频: 11.8 帧/秒
模型:“优化”的量化卷积神经网络
输入大小:224x224x3
内存占用:
148 KB闪存 用于权重
199 KB RAM,用于激活
准确率: 77,5%
在 STM32H747(高功能)上的性能 @ 400 MHz
推理时间: 145 毫秒
帧频: 6.6 帧/秒

results results results

食品识别示例的板载验证信息摘要

优化工具
STM32Cube.AI
STM32Cube.AI
兼容

STM32H7系列

STM32H7系列
资源

优化工具 STM32Cube.AI

X-CUBE-AI是一个免费的STM32Cube扩展包,可帮助开发人员将预训练的AI算法(例如神经网络和机器学习模型)自动转换为经过优化的STM32 C代码。

STM32Cube.AI STM32Cube.AI STM32Cube.AI

兼容 STM32H7系列

STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。它包括一系列产品,集高性能、实时功能、数字信号处理、低功耗/低电压操作、连接性等特性于一身,同时还保持了集成度高和易于开发的特点。

STM32H7系列 STM32H7系列 STM32H7系列
以下案例可能对您也有所启发

工业 | 智慧城市 | 视觉 | STM32Cube.AI | STM32 AI MCU | 合作伙伴 | 视频 | 智能家居

Secure entry systems using id3 face recognition with liveness detection

通过RGB摄像头与ToF传感器进行边缘处理,结合STM32N6 MCU实现快速且安全的反欺骗门禁控制。

工业 | 智慧城市 | 视觉 | STM32Cube.AI | STM32 AI MCU | 合作伙伴 | 视频 | 交通运输 | Model zoo

Smart rear view camera running on batteries

STM32N6 如何提升盲区内人员、汽车、卡车及骑行者的实时检测性能

视觉 | STM32Cube.AI | STM32 AI MCU | 视频 | 客户案例 | 加速度计 | 可穿戴设备

How ultralight AR glasses are redefined with Edge AI

莫界科技利用STM32N6 MCU搭载的边缘AI和计算机视觉技术提升AR眼镜性能