MEMS Sensors Ecosystem for Machine Learning

概述

机器学习内核

ISPU

资源

在线研讨会

人工智能 (AI) 算法与MEMS传感器的集成正在深刻改变我们与周围世界交互的方式。通过将AI技术嵌入边缘，如今的传感器可以实时收集、处理和发送有意义的数据。

我们通过新一代智能、开放和精准的传感器实现向传感器内处理的过渡，以帮助开发人员在挖掘其潜力的同时提高整体系统效率。

我们的传感器有何独特之处？

智能传感器在边缘实现AI功能，可减少系统数据传输量和降低网络处理负担，从而降低功耗并提供更具可持续性的解决方案
一种开放式生态系统，借助数据共享加速创新和产品开发
通过开发高度复杂的算法，精准传感器可将有意义的信息提供给终端用户

为确保开发人员在计算能力和编程灵活性方面找到最有效的解决方案，意法半导体提供了多种传感器内处理技术供用户选择：内嵌机器学习内核 (MLC) 的传感器和内嵌智能传感器处理单元 (ISPU) 的传感器。

内嵌机器学习内核的传感器

MLC是一个可利用决策树学习训练它在检测到特定事件时触发动作的引擎。通过将MLC嵌入传感器中，可实现对运动情况的精确识别，并以最佳的系统能效将事件传达给处理器。

附加价值：

超低功耗解决方案
通过更好的情景检测能力提高精度
降低主处理器的负担，提高系统效率

内嵌MLC的MEMS传感器

我们的第三代MEMS传感器配有先进的机器学习内核技术，可为最新的电池驱动型应用提供直观的情景感知功能。

内嵌MLC的加速度计

产品编号	应用	MLC	满量程	温度范围	功耗	MLC功能应用笔记
LIS2DUX12	消费电子	128个节点	±16 g	-40°C至+85°C	2.7 µA	AN5903
LIS2DUXS12	消费电子	128个节点	±16 g	-40°C至+85°C	2.7 µA	AN5901
IIS2DULPX	工业	128个节点	±16 g	-40°C 至 +105°C	3 µA	AN6126

内嵌MLC的惯性测量单元

产品编号	应用	MLC	满量程	温度范围	功耗	MLC功能应用笔记
LSM6DSV16X	消费电子	128个节点	±4000 dps，±16 g	-40°C至+85°C	0.65 mA（组合模式）	AN5804
LSM6DSV16BX	消费电子	128个节点	±4000 dps，±16 g	-40°C至+85°C	0.95 mA（组合模式）	AN5892
LSM6DSV32X	消费电子	128个节点	±4000 dps，±32 g	-40°C至+85°C	0.65 mA（组合模式）	AN6071
LSM6DSV80X	消费电子	256个节点	±4000 dps，±80 g	-40°C至+85°C	0.8 mA（组合模式）	AN6288
LSM6DSV320X	消费电子	256个节点	±4000 dps，±320 g	-40°C至+85°C	0.8 mA（组合模式）	AN6292
ASM330LHBG1	汽车	512个节点	±4000 dps，±16 g	-40°C至+125°C	0.8 mA（组合模式）	AN6068
ASM330LHHXG1	汽车	512个节点	±4000 dps，±16 g	-40°C至+125°C	0.8 mA（组合模式）	AN5987
ISM330BX	工业	128个节点	±4000 dps，±8 g	-40°C至+85°C	0.6 mA（组合模式）	AN6124

内嵌MLC的生物传感器

产品编号	应用	MLC	等效输入噪声	最大输入阻抗	供电电流	最大ODR	MLC功能应用笔记
ST1VAFE3BX	消费电子	128个节点	10 µV	1000 MΩ	48.1 µA	3200 Hz	AN6208
ST1VAFE6AX	消费电子	128个节点	54 µV	2400 MΩ	205 µA	240 Hz	AN6161

其他内嵌MLC的MEMS传感器

产品编号	应用	系列	MLC	满量程	温度范围	功耗	MLC功能应用笔记
LSM6DSOX	消费电子	惯性测量单元	256个节点	±2000 dps，±16 g	-40°C至+85°C	0.55 mA（组合模式）	AN5259
LSM6DSO32X	消费电子	惯性测量单元	256个节点	±2000 dps；±32 g	-40°C至+85°C	0.55 mA（组合模式）	AN5656
LSM6DSRX	消费电子	惯性测量单元	512个节点	±4000 dps，±16 g	-40°C至+85°C	1.2 mA（组合模式）	AN5393
ISM330DHCX	工业	惯性测量单元	512个节点	±4000 dps，±16 g	-40°C 至 +105°C	1.2 mA（组合模式）	AN5392
IIS2ICLX	工业	加速度计	512个节点	±3 g	-40°C 至 +105°C	0.42 mA	AN5536
ASM330LHB	汽车	惯性测量单元	512个节点	±4000 dps，±16 g	-40°C 至 +105°C	0.8 mA（组合模式）	AN5915
ASM330LHHX	汽车	惯性测量单元	512个节点	±4000 dps，±16 g	-40°C 至 +105°C	0.8 mA（组合模式）	AN5781

如何开始使用内嵌MLC的传感器？

传感器中机器学习内核入门的最佳方法是，借助支持意法半导体产品的开发工具和软件，为具体应用选择适当的解决方案。

MEMS-Studio是一套完整的桌面软件解决方案，专门用于开发嵌入式AI功能、利用机器学习内核 (MLC)、评估嵌入式库、分析数据，以及为整个MEMS传感器产品组合设计无代码算法。MEMS-Studio是意法半导体边缘AI套件的一部分，该套件整合了多种软件工具，旨在简化嵌入式AI应用的开发与部署。

ST AIoT Craft是一款简单易用的云工具集，该工具集利用机器学习内核 (MLC) 技术打造而成，专门用于在MEMS传感器内进行AI编程。作为ST Edge AI Suite的一部分，这款创新工具为传感器内AI和传感器到云解决方案提供了即用型定制示例代码，简化了AI专家与软件工程师之间的协作。最新的ST AIoT Craft 1.1版本增强了传感器AI编程、数据隐私、MLC配置文件及智能MEMS数据记录功能。

意法半导体边缘AI内核将通过命令行接口工具强化应用程序中的AI集成，可用于优化和编译意法半导体微控制器、微处理器和MEMS传感器上的边缘AI模型。该内核包含在意法半导体边缘AI套件当中，可用于从流行的ML框架导入AI模型、查看详细的算法分析结果、验证和优化不同器件的模型，以及为意法半导体硬件生成可执行代码。

带有智能传感器处理单元 (ISPU) 的传感器

ISPU是一个真正的集成数字信号处理器 (DSP)，它针对通用MCU进行了专门优化，非常适合用来运行复杂的AI算法。其优势在于，作为一种集成单元，它可最大程度发挥所需的计算能力。

附加价值：

由于数据传输经过优化，因此可实现系统级超低功耗
支持AI功能的可编程内核（ML和NN）提供极高的处理能力
可以轻松使用C语言或商业和开源AI模型进行编程

内嵌智能传感器处理单元 (ISPU) 的MEMS传感器

产品编号	应用	系列	存储器	满量程	温度范围	功耗	ISPU功能应用笔记
ISM330IS	工业	惯性测量单元	10 MHz时钟，40 KB RAM	±2000 dps，±16 g	-40°C至+85°C	0.59 mA（组合模式）	AN5850
LSM6DSO16IS	消费电子	惯性测量单元	10 MHz时钟，40 KB RAM	±2000 dps，±16 g	-40°C至+85°C	0.59 mA（组合模式）	AN5799

如何开始使用内嵌ISPU的传感器？

如何对ISPU编程？

借助ISPU的超强能力，每个需求都能找到其专属的AI解决之道。

借助MEMS Studio，用户可以将自己的神经网络模型（可使用Keras、TensorFlowLite和ONNX进行构建）集成到ISPU的经优化C代码中

ISPU工具链（C编译器）

我们提供一个包含库和第三方工具/IDE的生态系统，以此来支持ISPU编程，即便是最复杂的AI模型，也能助您实现。

NanoEdge AI Studio

嵌入式应用开发人员无需掌握任何数据科学技能即可使用NanoEdge AI Studio对ISPU (ISM330ISN) 编程。只需少量时间和工作量，就能轻松获得精确的智能解决方案。

Neuton.AI（来自意法半导体合作伙伴）

借助无代码TinyML平台，无论拥有的经验或专业知识如何，任何人都能直接在ISPU上以及/或者在任意MCU上本地构建和部署机器学习模型。

意法半导体边缘AI内核

一款用于优化和编译边缘AI模型的命令行接口 (CLI) 工具，适用于各种意法半导体微控制器、微处理器和MEMS传感器。

视频	目标
具有AI内核的MEMS传感器（ISPU - 智能传感器处理单元）	智能传感器处理单元
MEMS Studio中机器学习内核的自动过滤器和功能选择	机器学习内核
ISPU魔杖：集魔法与各种传感解决方案于一身	智能传感器处理单元

白皮书	目标
智能传感器处理单元通过“边缘AI”将大脑功能植入传感器	智能传感器处理单元
以AI驱动的智能工厂的传感器	机器学习内核
准备利用MEMS传感器打造无与伦比的汽车体验	机器学习内核