本文主要是介绍初探MNN，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
初探MNN
伴随着大量人工智能项目的落地，业界对端上推理的需求也越来越旺盛。在之前的文章中介绍过OpenCV的DNN模块，目前开源的端上推理引擎除了OpenCV的DNN之外，还有tensorFlow-lite、paddle-lite、NCNN、MNN等多个推理框架。目前端上推理引擎主要支持CPU及端上GPU，主流的的设备是CPU(arm)+GPU(mali qualcomm powerVR),主要的编程语言包括c、neon、汇编、OpenCL、OpenGL、vulkan,其中前三种主要是针对CPU的优化，后三种是GPU编程语言。本系列文章将对MNN架构进行逐步剖析，通过对源代码的分析，更加深入的理解推理引擎及优化的技术细节。
与之前文章不同的是，在之后的文章中，我会尽量少贴源代码，更多的以图的形式来展示代码原理，关于代码的注释，我会在github上新开一个分支来存放带有注释的代码，感兴趣的朋友可以自己clone阅读。这篇文章主要通过跑通MNN的benchmark对MNN进行简单介绍。
MNN benchmark
MNN的benchmark做的非常棒，用起来很方便。
- 配置NDK(在benchmark目录下的bench_android.sh文件中指定NDK的路径
export ANDROID_NDK=youpath) - 把目标手机链接到电脑上，使用adb连接
- 拷贝benchmark/model目录下的model到手机的/data/local/tmp/bench_models目录下
- 直接运行bench_android.sh
运行结束便可以在benchmark目录下看到运行结果；结果保存在benchmark.txt文件中。如下是笔者运行的结果，笔者使用的机器是SDM710，测试的网络是resnet-v2-50：
Hardware : Qualcomm Technologies, Inc SDM710Build Flags: ABI=armeabi-v7a OpenMP=ON Vulkan=ON OpenCL=ON
MNN benchmark
Forward type: **CPU** thread=4** precision=2
--------> Benchmarking... loop = 1
[ - ] resnet-v2-50.mnn max = 338.381ms min = 338.381ms avg = 338.381ms
MNN benchmark
Forward type: **Vulkan** thread=4** precision=2
--------> Benchmarking... loop = 1
Vulkan don't support 68, Reduction: resnet_v2_50/pool5
[ - ] resnet-v2-50.mnn max = 164.605ms min = 164.605ms avg = 164.605ms
这是cpu和vulkan的对比，可以看到vulkan目前有一个layer不支持。感兴趣的读者可以测试其他模型以及OpenCL和OpenGL的性能表现。MNN支持的模型是.mnn格式的，除了官方提供的模型之外，其他模型需要用户使用其convert工具生成，该工具对网络进行了层间融合等优化，生成的是一个序列化的文件。之后我们会详细介绍该工具。
完成了benchmark的运行之后，我们便从benchmark.cpp入手，简单极少其运行机制。
MNN运行机制简介
benchmark.cpp的文件很简单，也很清晰。很容易发现程序的核心部分是
std::vector<float> doBench(Model& model, int loop, int forward = MNN_FORWARD_CPU, bool only_inference = true,int numberThread = 4, int precision = 2)
该函数中的运行过程如下：
read model-->create Net(Interpreter) --> 配置backend --> create session --> config input and output --> run session --> finished
看起来很清爽，接下来我们来一一介绍这个过程中所涉及的类及其运行机
这篇关于初探MNN的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
