手持智能设备（如人工智能助手）正从手机和云端后端转向日常物品（家电、自助服务终端、可穿戴设备和机器），这些场景最注重即时响应、隐私保护和低功耗特性。为保持同步，团队需要一种快速方式来对新的助手行为进行原型设计和迭代（今天尝试检测器，明天添加手势和语音功能），而无需开发定制硬件或构建复杂的Linux协议栈。
方法
我们的目标是提供一个开放且可直接编程的开发平台，将视觉、音频和运动检测功能集成到单个STM32N6开发板上，使团队能够打造出真正多模态的AI助手，无需外部扩展或依赖云端服务。通过整合全局快门摄像头、带传感器内处理功能的IMU、麦克风/音频路径、触摸屏UI和Wi-Fi模块，该开发套件使开发人员能够基于同一个硬件和固件平台开发从视觉检测器到手势控制再到语音交互的各类应用，实现快速实验与迭代。
这些功能为各种实际应用场景提供了可能，在这些场景中，即时、私密且高能效的交互至关重要。
应用概述
在STM32N6平台上，紧凑的设备端管道可将原始传感器信号转换为实时助手操作，确保数据本地存储与延迟可控，从而提供流畅的用户体验。
1 - 采集
摄像头、IMU和麦克风同步采集视觉、运动和音频流，用于边缘的多模态处理。
2 - 预处理
内部图像信号处理器 (DCMIPP) 将帧调整/裁剪为网络输入尺寸，同时ISPU提取运动特征和音频路径帧样本以进行推理。
3 - 推理
经STM32Cube.AI编译的量化模型在Neural‑ART NPU上运行；Cortex‑M55处理器执行轻量级后处理，如YOLO解码。
4 - 决策与用户体验
处理结果驱动设备端操作，在480×480触摸屏上叠加UI界面，并且可选Wi‑Fi事件发布功能—无需云端往返传输。
5 - 迭代和部署
通过STM32工具链更新模型和类别、刷写签名映像，并将相同应用程序扩展至生产硬件。
传感器
- VD55G1800x700全局快门摄像头可提供快速移动物体的清晰、无失真图像。
- LSM6DSO16IS IMU内置智能传感器处理单元 (ISPU)，可在不唤醒主处理器的情况下实现超低功耗手势与活动识别（轻触交互和运动检测）。
- LIS2MDL磁力计方向感知模块，适用于定位感知类应用。
- MP34DT06JTR数字麦克风 + 编解码器，支持设备端语音/事件处理，可打造交互式用户体验。
资源
丰富的开发人员资源，包括硬件规格、快速入门指南、刷写步骤、示例应用及模型部署说明，均可在AI助手维基百科页面获取，助力加速原型开发和产品化进程。
作者：Seeed和意法半导体 | 最后更新：2025年10月
使用STM32Cube.AI进行优化
X-CUBE-AI是一个免费的STM32Cube扩展包，可帮助开发人员将预训练的AI算法（例如神经网络和机器学习模型）自动转换为经过优化的STM32 C代码。
最适用于STM32N6系列
STM32系列32位微控制器基于Arm Cortex®-M处理器，旨在为MCU用户提供新的开发自由度。该系列产品结合了高性能、实时功能、数字信号处理、低功耗/低电压操作和出色的连接性，同时保持高度集成和易于开发的特点。