- 实时分析提供关于锻炼质量和姿势矫正的即时反馈。
- 高性价比无需支付昂贵的私人教练费用。
- 全天候可用性随时提供持续支持和反馈。
- 个性化根据用户的个人资料和实时数据量身定制锻炼计划。
- 自主性:无需持续连接云端即可运行,保障隐私、减少延迟并提升可靠性。
应用原理
通过图像传感器捕捉场景图像。其一端经过处理,显示在LCD显示屏上。在另一端,图像经过降频处理被发送到神经网络。
方法
我们选用了STM32 Model Zoo中的一个模型。该模型是由我们的合作伙伴Ultralytics开发的Yolov8n_pose。这是当前最先进的姿势估计模型,能够以高帧率提供精准的关键点检测。
由于该模型需要较高的计算能力,最适合的MCU是STM32N6系列,其中内置神经处理单元,即Neural-ART加速器。
为了简化模型在STM32N6上的优化和部署,我们使用了STM32 Model Zoo和STM32Cube.AI代码优化器中提供的脚本。
这些技术属于更广泛的边缘AI解决方案的一部分。点击这里查看意法半导体边缘AI套件。
传感器
RGB图像传感器。
在STM32 Model Zoo中,我们提供了两种不同图像传感器的代码示例:索尼IMX335 5 Mp RGB(属于STM32N6570-DK)或意法半导体VD66GY 1.5 Mp RGB全局快门(非常适合精确捕捉运动)。
数据集和模型
数据集内部 (ST-modified Coco 201 Person)
模型Yolov8n_pose(由Ultralytics基于Pytorch实现,并通过tensorflow lite转换器量化为int8格式)。输入尺寸:256 x 256 x 3
结果
权重大小:3.2 MB
激活大小:1.1 MB
推断时间:36 ms
每秒推断次数:28
姿势mAP50(平均精度):51.1 %
Yolov8是目前最先进的多姿态估计模型。通过调整数据集、模型或分辨率,可以实现不同的性能权衡。在优化AI模型以满足特定性能需求和硬件资源限制时,平衡这些因素至关重要。可在STM32 Model Zoo中找到更多模型。
使用以下资源轻松复刻本用例:
-分步教程
-Yolov8n_pose预训练模型
-应用代码示例
附加资源:
-如何安装STM32 Model Zoo
作者:Vincent RICHARD | 最近更新时间:2025年1月
使用STM32Cube.AI进行了优化
X-CUBE-AI是一个免费的STM32Cube扩展包,可帮助开发人员将预训练的AI算法(例如神经网络和机器学习模型)自动转换为经过优化的STM32 C代码。
最适用于STM32N6系列
STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。该系列产品结合了高性能、实时功能、数字信号处理、低功耗/低电压操作和出色的连接性,同时保持高度集成和易于开发的特点。