适用于游戏的手势识别
无需摄像头即可在低功耗MCU上实现功能。
电影《少数派报告》中的场景将变成现实。 无论是对于提高用户体验还是对于流行病防控,基于手势进行控制均能带来诸多好处。 为便于演示,我们创建了4类姿势来区分不同的基本姿势,但模型可以用任何姿势进行训练,从而为最终用户提供各种各样的新功能。 NanoEdge AI Studio 支持飞行时间传感器,但也可以使用雷达等其他传感器来处理此应用。
方法
我们使用飞行时间传感器而不使用摄像头。 这会减少待处理信号数量,并确保只获取必要信息
将检测距离设为20 cm以降低背景的影响
传感器采样频率设为最大值 (15 Hz),以便以正常速率捕获姿势
我们创建了一个数据集,每个类别包含1200条记录,以免出现空测量值的情况(无运动)。
将评估板连接到运行NEAI Studio的PC,就可以轻松管理数据记录。
最后,我们在 NanoEdge AI Studio 中创建了一个 "N 类分类 "模型(4 类),并在 NUCLEO_F401RE 上进行了实时测试。 (带有 X-NUCLEO-53L5A1 附加板)。
将检测距离设为20 cm以降低背景的影响
传感器采样频率设为最大值 (15 Hz),以便以正常速率捕获姿势
我们创建了一个数据集,每个类别包含1200条记录,以免出现空测量值的情况(无运动)。
将评估板连接到运行NEAI Studio的PC,就可以轻松管理数据记录。
最后,我们在 NanoEdge AI Studio 中创建了一个 "N 类分类 "模型(4 类),并在 NUCLEO_F401RE 上进行了实时测试。 (带有 X-NUCLEO-53L5A1 附加板)。
传感器
飞行时间传感器: VL53L5CX
数据
4 类数据上下左右移动
数据长度256,4 个连续的 8x8 矩阵
数据速率15Hz
数据长度256,4 个连续的 8x8 矩阵
数据速率15Hz
结果
4 类分类:
98.12% 的准确率,1.3 KB RAM,59.1 KB 闪存
绿点表示分类正确的信号。 红点表示分类不正确的信号。 类别位于横坐标,预测置信度显示在纵坐标上
资源
模型创建工具 NanoEdge AI Studio
一款免费的AutoML软件,用于向嵌入式项目添加AI,并逐步引导用户轻松找到符合其需求的最佳AI模型。
兼容 STM32
STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。它包括一系列产品,集高性能、实时功能、数字信号处理、低功耗/低电压操作、连接性等特性于一身,同时还保持了集成度高和易于开发的特点。