高通SNPE框架简介

SNPE（Snapdragon Neural Processing Engine），是高通公司推出的面向移动端和物联网设备的深度学习推理框架。 SNPE提供了一套完整的深度学习推理框架，能够支持多种深度学习模型，包括Caffe、TensorFlow和ONNX等，同时还支持多种模型转换工具，如SNPE模型优化器（SNPE Model Optimizer）和ONNX模型优化器等，能够将模型转换成SNPE可执行格式，提升模型在移动端和物联网设备上的性能和效率。 SNPE还支持多种硬件平台，包括高通骁龙平台、ARM平台、Intel平台等，能够充分利用底层硬件的优势，提升深度学习推理的效率和速度，同时还支持多线程和多异构处理，能够充分发挥多核心和异构计算的优势。 总之，SNPE是一套面向移动端和物联网设备的高效深度学习推理框架，能够支持多种深度学习模型和多种硬件平台，为移动端和物联网设备上的深度学习应用提供了有效的支持。

Purpose

本文档提供了SnapdragonTM神经处理引擎（SNPE）软件开发工具包（SDK）用户指南和API参考指南。

Capabilities

Snapdragon神经处理引擎（SNPE）是用于执行深度神经网络的Qualcomm Snapdragon软件加速运行时。 使用SNPE，用户可以：

• 执行任意深度的神经网络
• 在SnapdragonTM CPU，AdrenoTM GPU或HexagonTM DSP上执行网络。
• 在x86 Ubuntu Linux上调试网络执行
• 将Caffe，Caffe2，ONNXTM和TensorFlowTM模型转换为SNPE深度学习容器（DLC）文件
• 将DLC文件量化为8位定点，以便在Hexagon DSP上运行
• 使用SNPE工具调试和分析网络性能
• 通过C ++或Java将网络集成到应用程序和其他代码中

Model Workflow 

模型训练在流行的深度学习框架上进行（SNPE支持Caffe，Caffe2，ONNX和TensorFlow模型。）训练完成后，训练的模型将转换为可加载到SNPE运行时的DLC文件。 然后，可以使用此DLC文件使用其中一个Snapdragon加速计算核心执行前向推断传递。

基本的SNPE工作流程只包含几个步骤：

SNPE（Snapdragon Neural Processing Engine）框架的工作流程如下：

1. 模型准备：使用深度学习框架（如Caffe、TensorFlow等）训练出深度学习模型，然后通过SNPE模型优化器将模型转换成SNPE可执行格式。在模型转换的过程中，SNPE会对模型进行剪枝、量化、编译等优化操作，以提升模型在移动端和物联网设备上的性能和效率。
2. 模型加载：将转换后的SNPE模型加载到移动端或物联网设备上。在加载模型的过程中，SNPE会根据设备配置和硬件平台等条件选择合适的加速库，如高通DSP库等。
3. 数据输入：将待处理的数据输入到SNPE模型中。可以通过摄像头、麦克风等设备获取实时数据流，也可以通过文件读取的方式输入离线数据。
4. 模型推理：通过SNPE模型推理引擎对数据进行处理。在模型推理的过程中，SNPE会根据模型结构和数据输入等参数计算出模型的输出结果，输出结果可以是分类、回归、分割等形式。
5. 结果输出：将模型推理得到的结果输出到移动端或物联网设备上。可以通过屏幕、扬声器等设备显示或播放结果，也可以通过网络传输的方式将结果发送到远程服务器上。

总之，SNPE框架的工作流程包括模型准备、模型加载、数据输入、模型推理和结果输出等步骤，能够支持多种深度学习模型和多种硬件平台，为移动端和物联网设备上的深度学习应用提供高效的支持。