您是否曾经梦想过使用手势控制机器?
或者根据手势,在手机上向朋友们发送表情符号?
现在这些都已变成现实! 有了意法半导体多区飞行时间 (ToF) 传感器,这一解决方案甚至连相机都不需要。 AI算法在STM32微控制器上运行,降低了处理复杂度和功耗。
您可以定义自己的手势集,收集数据集,训练AI模型,并创建您自己的应用!

方法

该手部姿势识别解决方案是使用ST多区飞行时间传感器检测一系列手部姿势,并在 NUCLEO-F401RE上运行。
开发过程基于以下步骤:
  • 定义您自己的手势集
  • 使用8 x 8多区域ToF传感器(例如VL53L5CX、VL53L7CX或VL53L8CX )的距离和信号数据,从多个用户那里收集您的数据集。
  • 使用STM32 MODEL ZOO的训练脚本训练AI网络
  • 通过STM32Cube.AI开发者云或STM32 MODEL ZOO中包含的“手势入门”,将AI模型实现到您选择的STM32 MCU。

这种方法可以实现应用的快速开发,具有高度可配置的手势,低内存占用和低处理功耗。
根据具体应用,您可以选择将ToF传感器放置在用户前方(个人计算机、满意度箱),指向天花板(烹饪盘)或固定在移动物体上(智能眼镜)。

传感器

多区飞行时间传感器(参考: VL53L5CX, VL53L7CX, VL53L8CX)

数据

数据集:私人数据集:5个用户,7种手势
数据格式
8 x 8测距和信号速率
根据具体应用和所需响应对齐频率

结果

模型: CNN 2D
存储器占用:
29 KB Flash存储器用于加权
3 KB RAM用于激活
准确率: 96.4 %
84 MHz时STM32F401的性能
推理时间: 1.5 ms

use-case-stm32-cube-ai-confusion-matrix-hand-posture-recognition use-case-stm32-cube-ai-confusion-matrix-hand-posture-recognition use-case-stm32-cube-ai-confusion-matrix-hand-posture-recognition

混淆矩阵

资源

模型库: ST EDGE AI MODEL ZOO

一系列经过优化的参考AI模型,可在附带相关部署脚本的意法半导体器件上运行。Model Zoo是一种宝贵的资源,可用于为嵌入式应用增添边缘AI功能。

ST EDGE AI MODEL ZOO ST EDGE AI MODEL ZOO ST EDGE AI MODEL ZOO

优化工具: STM32Cube.AI

X-CUBE-AI是一个免费的STM32Cube扩展包,可帮助开发人员将预训练的AI算法(例如神经网络和机器学习模型)自动转换为经过优化的STM32 C代码。

STM32Cube.AI STM32Cube.AI STM32Cube.AI

兼容: STM32F4系列

STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。它包括一系列产品,集高性能、实时功能、数字信号处理、低功耗/低电压操作、连接性等特性于一身,同时还保持了集成度高和易于开发的特点。

STM32F4系列 STM32F4系列 STM32F4系列
以下案例可能对您也有所启发

工业 | 智慧城市 | 视觉 | STM32Cube.AI | STM32 AI MCU | 合作伙伴 | 视频 | 智能家居

Secure entry systems using id3 face recognition with liveness detection

通过RGB摄像头与ToF传感器进行边缘处理,结合STM32N6 MCU实现快速且安全的反欺骗门禁控制。

工业 | 智慧城市 | 视觉 | STM32Cube.AI | STM32 AI MCU | 合作伙伴 | 视频 | 交通运输 | Model zoo

Smart rear view camera running on batteries

STM32N6 如何提升盲区内人员、汽车、卡车及骑行者的实时检测性能

视觉 | STM32Cube.AI | STM32 AI MCU | 视频 | 客户案例 | 加速度计 | 可穿戴设备

How ultralight AR glasses are redefined with Edge AI

莫界科技利用STM32N6 MCU搭载的边缘AI和计算机视觉技术提升AR眼镜性能