本手写识别演示可以识别字符,包括字母和数字。 演示的典型使用场景是智能手表,用户可以快速编写特定命令(例如聊天、打电话、邮件等)或输入文本消息。 也可以用这种方式与智能设备进行交互。

方法

手写识别演示能够识别在STM32L562E MCU探索套件小型触摸屏(智能手表)上写下的字母和数字。

  • 触摸屏以图像形式被捕获,然后通过神经网络 (NN) 进行分类
  • 每个字符或字母都被识别为特定命令的组合
  • 本演示在STM32L562E探索套件上运行,每个字符都有与之对应的NN推理时间


借助 STM32 Model Zoo,可以 对模型进行再训练。

传感器

该演示使用触摸屏作为用户的输入。
该模型动物园允许用户测试摄像机模块捆绑包(参考: B-CAMS-OMV)。

数据

数据集
在 STM32 模型 zoo 中,模型是在 EMNIST数据集的子集版本上训练的。
在本实验中,MatLab 版本的 EMNIST ByClass 数据集中只保留了十位数类[0;9] 和字母表中的大写字母[A-Z] 。
在演示中, 数据集使用了从意法半导体板上的触摸屏上捕获的图像。

数据格式
数据集由以下部分组成
  • 从A到Z的大写字母
  • 从0到9的数字

数据集包含36个平衡类别的28 x 28像素灰度图像。

结果

模型 意法半导体MNIST
输入大小: 28x28x1
存储器占用:
浮点模型:
38 Kbytes闪存,用于权重
30 Kbytes RAM,用于激活
量化模型:
10Kbytes 闪存用于权重
14 Kbytes RAM 用于激活
精确度
浮动模型: 93.48%
量化模型: 93.39%
110 MHz时的STM32L562E性能
浮动模型:
推断时间: 83 毫秒
帧频: 12 帧/秒
量化模型:
推断时间: 29 毫秒
帧频: 34 帧/秒

use-case-stm32cube-ai-handwriting-confusion-matrix use-case-stm32cube-ai-handwriting-confusion-matrix use-case-stm32cube-ai-handwriting-confusion-matrix

混淆矩阵

资源

模型库 ST EDGE AI MODEL ZOO

一系列经过优化的参考AI模型,可在附带相关部署脚本的意法半导体器件上运行。Model Zoo是一种宝贵的资源,可用于为嵌入式应用增添边缘AI功能。

ST EDGE AI MODEL ZOO ST EDGE AI MODEL ZOO ST EDGE AI MODEL ZOO

优化工具 STM32Cube.AI

X-CUBE-AI是一个免费的STM32Cube扩展包,可帮助开发人员将预训练的AI算法(例如神经网络和机器学习模型)自动转换为经过优化的STM32 C代码。

STM32Cube.AI STM32Cube.AI STM32Cube.AI

兼容 STM32L4、L5、U5、H7系列

STM32系列32位微控制器基于Arm Cortex®-M处理器,旨在为MCU用户提供新的开发自由度。它包括一系列产品,集高性能、实时功能、数字信号处理、低功耗/低电压操作、连接性等特性于一身,同时还保持了集成度高和易于开发的特点。

STM32L4、L5、U5、H7系列 STM32L4、L5、U5、H7系列 STM32L4、L5、U5、H7系列
以下案例可能对您也有所启发

工业 | 智慧城市 | 视觉 | STM32Cube.AI | STM32 AI MCU | 合作伙伴 | 视频 | 智能家居

Secure entry systems using id3 face recognition with liveness detection

通过RGB摄像头与ToF传感器进行边缘处理,结合STM32N6 MCU实现快速且安全的反欺骗门禁控制。

工业 | 智慧城市 | 视觉 | STM32Cube.AI | STM32 AI MCU | 合作伙伴 | 视频 | 交通运输 | Model zoo

Smart rear view camera running on batteries

STM32N6 如何提升盲区内人员、汽车、卡车及骑行者的实时检测性能

视觉 | STM32Cube.AI | STM32 AI MCU | 视频 | 客户案例 | 加速度计 | 可穿戴设备

How ultralight AR glasses are redefined with Edge AI

莫界科技利用STM32N6 MCU搭载的边缘AI和计算机视觉技术提升AR眼镜性能