在快速发展的健身技术领域,开发人员不断寻找创新方法,以提升用户体验和锻炼效果。如何在不依赖私人教练的情况下提高健身质量,是该领域面临的一个重要挑战。智能镜子在健身中的应用正是技术助力的一个典型案例,而在镜子中嵌入AI则为这一挑战提供了具有多重优势的变革性解决方案:
  • 实时分析提供关于锻炼质量和姿势矫正的即时反馈。
  • 高性价比无需支付昂贵的私人教练费用。
  • 全天候可用性随时提供持续支持和反馈。
  • 个性化根据用户的个人资料和实时数据量身定制锻炼计划。
  • 自主性:无需持续连接云端即可运行,保障隐私、减少延迟并提升可靠性。
我们将在本用例中进一步探讨其实施细节。同时,您也可以点击这里了解更多关于边缘AI的优势。

应用原理

通过图像传感器捕捉场景图像。其一端经过处理,显示在LCD显示屏上。在另一端,图像经过降频处理被发送到神经网络。

方法

目前,姿势估计应用最有效的方法是使用卷积神经网络 (CNN)。
我们选用了STM32 Model Zoo中的一个模型。该模型是由我们的合作伙伴Ultralytics开发的Yolov8n_pose。这是当前最先进的姿势估计模型,能够以高帧率提供精准的关键点检测。
由于该模型需要较高的计算能力,最适合的MCU是STM32N6系列,其中内置神经处理单元,即Neural-ART加速器
为了简化模型在STM32N6上的优化和部署,我们使用了STM32 Model Zoo和STM32Cube.AI代码优化器中提供的脚本。
这些技术属于更广泛的边缘AI解决方案的一部分。点击这里查看意法半导体边缘AI套件。

传感器

RGB图像传感器。
在STM32 Model Zoo中,我们提供了两种不同图像传感器的代码示例:索尼IMX335 5 Mp RGB(属于STM32N6570-DK)或意法半导体VD66GY 1.5 Mp RGB全局快门(非常适合精确捕捉运动)。

数据集和模型

数据集内部 (ST-modified Coco 201 Person)
模型Yolov8n_pose(由Ultralytics基于Pytorch实现,并通过tensorflow lite转换器量化为int8格式)。输入尺寸256 x 256 x 3

结果

权重大小:3.2 MB
激活大小:1.1 MB
推断时间:36 ms
每秒推断次数:28
姿势mAP50(平均精度):51.1 %

Yolov8是目前最先进的多姿态估计模型。通过调整数据集、模型或分辨率,可以实现不同的性能权衡。在优化AI模型以满足特定性能需求和硬件资源限制时,平衡这些因素至关重要。可在STM32 Model Zoo中找到更多模型。

结果 结果 结果

立即开始!

使用以下资源轻松复刻本用例:
-分步教程
-Yolov8n_pose预训练模型
-应用代码示例
附加资源:
-如何安装STM32 Model Zoo

作者:Vincent RICHARD | 最近更新时间:2025年1月

优化工具

STM32Cube.AI

STM32Cube.AI

最适用于

STM32N6系列

最适用于