您是否曾经梦想过使用手势控制机器?
或者根据手势,在手机上向朋友们发送表情符号?
现在这些都已变成现实! 有了意法半导体多区飞行时间 (ToF) 传感器,这一解决方案甚至连相机都不需要。 AI算法在STM32微控制器上运行,降低了处理复杂度和功耗。
您可以定义自己的手势集,收集数据集,训练AI模型,并创建您自己的应用!
或者根据手势,在手机上向朋友们发送表情符号?
现在这些都已变成现实! 有了意法半导体多区飞行时间 (ToF) 传感器,这一解决方案甚至连相机都不需要。 AI算法在STM32微控制器上运行,降低了处理复杂度和功耗。
您可以定义自己的手势集,收集数据集,训练AI模型,并创建您自己的应用!
方法
该手部姿势识别解决方案是使用ST多区飞行时间传感器检测一系列手部姿势,并在 NUCLEO-F401RE上运行。
开发过程基于以下步骤:
这种方法可以实现应用的快速开发,具有高度可配置的手势,低内存占用和低处理功耗。
根据具体应用,您可以选择将ToF传感器放置在用户前方(个人计算机、满意度箱),指向天花板(烹饪盘)或固定在移动物体上(智能眼镜)。
开发过程基于以下步骤:
- 定义您自己的手势集
- 使用8 x 8多区域ToF传感器(例如VL53L5CX、VL53L7CX或VL53L8CX )的距离和信号数据,从多个用户那里收集您的数据集。
- 使用STM32 MODEL ZOO的训练脚本训练AI网络
- 通过STM32Cube.AI开发者云或STM32 MODEL ZOO中包含的“手势入门”,将AI模型实现到您选择的STM32 MCU。
这种方法可以实现应用的快速开发,具有高度可配置的手势,低内存占用和低处理功耗。
根据具体应用,您可以选择将ToF传感器放置在用户前方(个人计算机、满意度箱),指向天花板(烹饪盘)或固定在移动物体上(智能眼镜)。
传感器
数据
数据集:私人数据集:5个用户,7种手势
数据格式
8 x 8测距和信号速率
根据具体应用和所需响应对齐频率
数据格式
8 x 8测距和信号速率
根据具体应用和所需响应对齐频率
结果
资源
模型库: ST EDGE AI MODEL ZOO
一系列经过优化的参考AI模型,可在附带相关部署脚本的意法半导体器件上运行。Model Zoo是一种宝贵的资源,可用于为嵌入式应用增添边缘AI功能。
优化工具: STM32Cube.AI
X-CUBE-AI是一个免费的STM32Cube扩展包,可帮助开发人员将预训练的AI算法(例如神经网络和机器学习模型)自动转换为经过优化的STM32 C代码。
兼容: STM32F4系列
STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。它包括一系列产品,集高性能、实时功能、数字信号处理、低功耗/低电压操作、连接性等特性于一身,同时还保持了集成度高和易于开发的特点。


