【Kuiperinfer】笔记01 项目预览与环境配置

2024-02-19 00:52
文章标签 配置 项目 笔记 环境 01 预览 kuiperinfer

本文主要是介绍【Kuiperinfer】笔记01 项目预览与环境配置，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

学习目标

  • 实现一个深度学习推理框架
  • 设计、编写一个计算图
  • 实现常见的算子，例如卷积、池化、全连接
  • 学会如何进行算子的优化加速
  • 使用自己的推理框架推理常见模型，检查结果是否能够和torch对齐

什么是推理框架？

推理框架用于对已经训练完成的模型进行加载，并根据模型文件中的网络结构和权重参数，对输入图像进行预测。

推理框架没有反向传播，因为推理过程中权重不需要更新。这也是和训练框架的最大的不同。

推理框架的运行流程可参照下图：

在这里插入图片描述

技术全景

KuiperInfer包括以下几个模块：

  1. Operator：计算图中的计算节点，包括：
    • 存储输入输出的张量，用于存放各层的输入输出
    • 节点的类型和名称，名称是唯一的，用于区分任意一个节点，例如Convolution
    • 节点的参数信息，例如卷积步长、卷积核大小
    • 节点的权重信息，例如weight, bias
  2. Graph：多个Operator串联得到的有向无环图，规定了节点的执行顺序
  3. Layer：运算的具体执行者，首先读入输入张量中的数据，然后对输入帐量进行计算，并将结果放入输出张量中
  4. Tensor：存放多维数据，方便在节点中传递，该结构同时也封装矩阵运算

在这里插入图片描述

环境配置

主要库：

  1. 数学计算：Armadillo，该库是Open Blas的封装
  2. 加速库：OpenMP
  3. 单元测试：Google Test
  4. 性能测试：Google Benchmark

第二次开课提供了docker镜像，更省事一些。

什么是Docker

为什么使用Docker

出现背景：不同的电脑的环境配置不同，导致在一个系统上运行正常的程序，在另一个系统上不能正常运行。

解决这个问题的一个方法是，构建和源系统一样的虚拟机，这种方法通常会占用大量内存来支持Guest OS。与之相对，Docker在这方面省略了大量内存占用。且Docker允许在不同的容器之间共享和重用数据空间，也方便在不同平台之间移植。

Docker是什么

Docker是用于自动化部署应用程序到轻量级的容器中的工具，使得应用可以在不同的运行环境中高效运行。

容器（container）是一种软件包，包含所有运行依赖。

在这里插入图片描述

Docker为每个软件都对应在容器中提供其依赖的框架（framework），使得不同框架的软件，甚至冲突框架的软件，可以在同一宿主机上运行，甚至可以进行数据共享。

Docker是如何工作的

  • Docker是安装在宿主机上的基础引擎，主要功能是build和运行容器
  • 使用client-server架构
  • Client和Server使用REST API交互
  • Client运行指令，指令通过REST API转译，发送到Server
  • Server检查Client请求，在操作系统上响应操作

在这里插入图片描述

Win环境下Docker环境配置

首先安装Docker，进入Docker官网，点击选择products中的Docker DeskTop下载并安装。注意安装后需要重启，记得提前关闭其他应用并保存。

打开Docker DestTop，我我这里出现卡starting的问题，推测可能是Hyper-V的原因，查阅Microsoft手册，首先尝试在powershell中启用Hyper-V

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V -All

提示Microsoft-Hyper-V未知，说明没安装，尝试安装。将下面的文本存入一个cmd文件中，管理员身份运行，然后重启

pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

再次启动Docker-DeskTop，这次没有卡住。

验证安装，命令行中输入：

docker run hello-world

出现以下文本，说明安装成功

Hello from Docker!
This message shows that your installation appears to be working correctly.To generate this message, Docker took the following steps:1. The Docker client contacted the Docker daemon.2. The Docker daemon pulled the "hello-world" image from the Docker Hub.(amd64)3. The Docker daemon created a new container from that image which runs theexecutable that produces the output you are currently reading.4. The Docker daemon streamed that output to the Docker client, which sent itto your terminal.To try something more ambitious, you can run an Ubuntu container with:$ docker run -it ubuntu bashShare images, automate workflows, and more with a free Docker ID:https://hub.docker.com/For more examples and ideas, visit:https://docs.docker.com/get-started/

现在开始拉环境

  1. 拉取镜像

    docker pull registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:datawhale

  2. 克隆课程代码

    git clone https://github.com/zjhellofss/kuiperdatawhale.git

  3. 创建并运行容器

    x docker run -it -p 7860:22 registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:datawhale /bin/bash

  4. 使用ssh连接容器

    ssh -p 7860 me@127.0.0.1

    如果连不上的话可以在Docker DeskTop里面重启一下容器试试。

VS配置Docker

先补一点自己不熟悉的知识：

  1. CMake. CMake是一个跨平台build system，用于在不同平台上创建build。
  2. Visual Studio with CMake. VS内嵌了CMake，可以创建CMake的项目，会自动检测CMakeLists.txt文件，并生成必要的项目文件。
  3. VS使用Docker，调试 > 选项 > 跨平台 > 连接管理器 > 添加。Win平台本机启动的docker主机名为127.0.0.1，端口、用户名和密码按照自己设置的填入即可。在跨平台 > 开发容器中，设置用于运行容器的主机为127.0.0.1

因为这个docker是Linux的，所以需要在VS installer中，安装用于Linux的C++开发组件，参考：https://devblogs.microsoft.com/cppblog/build-c-applications-in-a-linux-docker-container-with-visual-studio/。

不装这个的话，即使能够连接到docker，也不能设置调试主机为docker容器。

  1. 设置调试主机为docker容器

  2. 配置新的debuger

    在这里插入图片描述

  3. 尝试生成，出现新的错误：无法创建目录，mkdir 退出代码: 1，推测是用户权限问题。

    定位，在docker容器中，打开终端管理，su me登录me账户，尝试在./root/home/me文件夹下创建文件，报Permission denied，说明me用户没有足够权限。

    切root账户，在根目录下，chown -R me home，一定要给home的权限，否则还是不能mkdir

  4. cmake没找到ninja，在debug高级配置中，改用Unix Makefiles，镜像里是没装Ninja的，且这个CMakefile.txt也不支持Ninja，如果不小心用Ninja生成过一次，那改Unix Makefiles也还会报错，需要重新clone

  5. 编译完成后，就可以直接run了；course 1跑Google Test会提示FAILED，是因为axby.cpp中有三个函数需要自己实现。

整理一下使用VS配置环境的关键问题：

  1. 用户权限要给到home文件夹，确保在docker控制台，使用me用户（或者自己创建的用户）能够在home路径下创建文件
  2. 在选项 > 跨平台 > 开发容器中，连接配置好的远程容器，如果容器是Linux环境，则需要先安装Linux组件；设置调试主机为该容器，在管理配置中设置新的CMake配置，修改配置中的主机为该容器，修改generator为UNIX Makefiles。

编写单元测试

使用GoogleTest编写单元测试，测试armadillo的计算接口。接口可参考armadillo的手册。

在test/test1.cpp中，包含了对加减乘和点积运算的接口，作业要求实现axby.cpp中的接口。

查手册找算子，对照实现即可。

  1. 实现 y = w × x + b y = w \times x + b y=w×x+b​

    void Axby(const arma::fmat &x, const arma::fmat &w, const arma::fmat &b,arma::fmat &y) {y = w * x + b;// 把代码写这里 完成y = w * x + b的运算
}

  2. 实现 y = e − x y = e^{-x} y=e−x​

    void EPowerMinus(const arma::fmat &x, arma::fmat &y) {// 把代码写这里 完成y = e^{-x}的运算arma::fmat E(224, 224, arma::fill::value(arma::datum::e));y = pow(E, -x);
}

  3. 实现 Y = a × x + y Y = a \times x + y Y=a×x+y​

    void Axpy(const arma::fmat &x, arma::fmat &Y, float a, float y) {// 编写Y = a * x + yY = a * x + y;
}

编译运行，PASSED。

参考

  • 【Kuiperinfer】：https://github.com/zjhellofss/kuiperdatawhale
  • 作者B站主页：https://space.bilibili.com/1822828582?spm_id_from=333.337.search-card.all.click
  • 【What Is Docker】：https://www.youtube.com/watch?v=rOTqprHv1YE
  • 【Armadillo Docs】：https://arma.sourceforge.net/docs.html

这篇关于【Kuiperinfer】笔记01 项目预览与环境配置的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/722992。

相关文章

SQL Server配置管理器无法打开的四种解决方法

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一：桌面图标进入方法二：运行窗口进入检查版本号对照表php方法三：查找文件路径方法四：检查 S
阅读更多...
深度解析Java项目中包和包之间的联系

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次，点赞13次，收藏8次。本文详细介绍了Java分层架构中的几个关键包：DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1
阅读更多...
Linux中SSH服务配置的全面指南

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH（SecureShell）服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素
阅读更多...
SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

《SQLite3在嵌入式C环境中存储音频/视频文件的最优方案》本文探讨了SQLite3在嵌入式C环境中存储音视频文件的优化方案,推荐采用文件路径存储结合元数据管理,兼顾效率与资源限制,小文件可使用B... 目录SQLite3 在嵌入式C环境中存储音频/视频文件的专业方案一、存储策略选择1. 直接存储 vs
阅读更多...
嵌入式数据库SQLite 3配置使用讲解

嵌入式数据库SQLite 3配置使用讲解

《嵌入式数据库SQLite3配置使用讲解》本文强调嵌入式项目中SQLite3数据库的重要性,因其零配置、轻量级、跨平台及事务处理特性,可保障数据溯源与责任明确,详细讲解安装配置、基础语法及SQLit... 目录0、惨痛教训1、SQLite3环境配置（1）、下载安装SQLite库（2）、解压下载的文件（3）、
阅读更多...
如何在Spring Boot项目中集成MQTT协议

如何在Spring Boot项目中集成MQTT协议

《如何在SpringBoot项目中集成MQTT协议》本文介绍在SpringBoot中集成MQTT的步骤,包括安装Broker、添加EclipsePaho依赖、配置连接参数、实现消息发布订阅、测试接口... 目录1. 准备工作2. 引入依赖3. 配置MQTT连接4. 创建MQTT配置类5. 实现消息发布与订阅
阅读更多...
springboot项目打jar制作成镜像并指定配置文件位置方式

springboot项目打jar制作成镜像并指定配置文件位置方式

《springboot项目打jar制作成镜像并指定配置文件位置方式》：本文主要介绍springboot项目打jar制作成镜像并指定配置文件位置方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录一、上传jar到服务器二、编写dockerfile三、新建对应配置文件所存放的数据卷目录四、将配置文
阅读更多...
Linux如何快速检查服务器的硬件配置和性能指标

Linux如何快速检查服务器的硬件配置和性能指标

《Linux如何快速检查服务器的硬件配置和性能指标》在运维和开发工作中,我们经常需要快速检查Linux服务器的硬件配置和性能指标,本文将以CentOS为例,介绍如何通过命令行快速获取这些关键信息,... 目录引言一、查询CPU核心数编程（几C？）1. 使用 nproc（最简单）2. 使用 lscpu（详细信
阅读更多...
怎么用idea创建一个SpringBoot项目

怎么用idea创建一个SpringBoot项目

《怎么用idea创建一个SpringBoot项目》本文介绍了在IDEA中创建SpringBoot项目的步骤,包括环境准备（JDK1.8+、Maven3.2.5+）、使用SpringInitializr... 目录如何在idea中创建一个SpringBoot项目环境准备1.1打开IDEA，点击New新建一个项
阅读更多...
Nginx 重写与重定向配置方法

Nginx 重写与重定向配置方法

《Nginx重写与重定向配置方法》Nginx重写与重定向区别：重写修改路径（客户端无感知）,重定向跳转新URL（客户端感知）,try_files检查文件/目录存在性,return301直接返回永久重... 目录一.try_files指令二.return指令三.rewrite指令区分重写与重定向重写: 请求
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2