Shifumi手势识别
利用飞行时间传感器对手部动作进行分类,从而在电脑上触发操作。 可识别 3 个不同的类别。
少数派报告:从虚拟到(几乎)现实!
基于手势的设备控制有很多优势,不仅可以提供更好的用户体验,还能实现无接触应用控制,安全又卫生。 为便于演示,我们创建了3个类别来区分几种不同的手势,但模型可以用任何手势进行训练,从而为最终用户提供各种各样的新功能。
NanoEdge AI Studio支持飞行时间传感器,但该应用也可以用雷达等其他传感器来实现。
基于手势的设备控制有很多优势,不仅可以提供更好的用户体验,还能实现无接触应用控制,安全又卫生。 为便于演示,我们创建了3个类别来区分几种不同的手势,但模型可以用任何手势进行训练,从而为最终用户提供各种各样的新功能。
NanoEdge AI Studio支持飞行时间传感器,但该应用也可以用雷达等其他传感器来实现。
方法
- 我们使用飞行时间传感器而不是相机来获得更小的信号,更简单的信息。
- 我们将检测距离设置为20 cm,以降低背景的影响。 备选方案:对测量距离进行二值化处理。
- 我们进行了10次测量(频率:15 Hz),并为每次测量预测一个类别。 然后,我们选择出现频率最高的类别。
-(将测量值连接起来,形成一个更长的信号,用于研究运动的演变过程。在这里,我们的目标是对符号进行分类。不需要时间性)。
- 我们创建了一个数据集,每类(石头、剪子、布)有 3000 条记录,避免了空测量(无运动)。
- 最后,我们在 NanoEdge AI Studio 中创建了一个 "N 类分类 "模型(3 类),并在 NUCLEO-F401RE 上进行了现场测试。
- 我们将检测距离设置为20 cm,以降低背景的影响。 备选方案:对测量距离进行二值化处理。
- 我们进行了10次测量(频率:15 Hz),并为每次测量预测一个类别。 然后,我们选择出现频率最高的类别。
-(将测量值连接起来,形成一个更长的信号,用于研究运动的演变过程。在这里,我们的目标是对符号进行分类。不需要时间性)。
- 我们创建了一个数据集,每类(石头、剪子、布)有 3000 条记录,避免了空测量(无运动)。
- 最后,我们在 NanoEdge AI Studio 中创建了一个 "N 类分类 "模型(3 类),并在 NUCLEO-F401RE 上进行了现场测试。
传感器
飞行时间传感器: VL53L5
数据
3 类数据石头、剪子、布
信号长度64,连续的 8x8 矩阵
数据速率15 赫兹
信号长度64,连续的 8x8 矩阵
数据速率15 赫兹
结果
3 类分类:
99.37% 准确率,0.6 KB RAM,192.2 KB 闪存
绿点表示分类正确的信号。 红点表示分类不正确的信号。 类别位于横坐标,预测置信度显示在纵坐标上
资源
模型创建工具 NanoEdge AI Studio
一款免费的AutoML软件,用于向嵌入式项目添加AI,并逐步引导用户轻松找到符合其需求的最佳AI模型。
兼容 STM32
STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。它包括一系列产品,集高性能、实时功能、数字信号处理、低功耗/低电压操作、连接性等特性于一身,同时还保持了集成度高和易于开发的特点。