一文教你如何调用Ascend C算子

2024-05-27 12:20
文章标签 调用 算子 文教 ascend

本文主要是介绍一文教你如何调用Ascend C算子，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Ascend C是CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，兼具开发效率和运行性能。基于Ascend C编写的算子程序，通过编译器编译和运行时调度，运行在昇腾AI处理器上。使用Ascend C，开发者可以基于昇腾AI硬件高效实现自定义的创新算法。
本文重点介绍基于Ascend C算子编程语言完成自定义算子的开发和部署后，如何调用自定义算子验证算子功能。

三种常见的算子调用方式

 目前，Ascend C算子有三种常见的调用方式：

1. Kernel直调：完成算子核函数开发和Tiling实现后，可基于内核调用符方式进行完成算子的调用，用来快速验证算法逻辑。

2. 单算子调用：相比于Kernel直调，单算子调用是一种较为标准的调用方式。开发者在完成所有算子交付件开发、编译部署之后，一般通过单算子调用方式验证单算子功能以满足交付条件，包括两种调用方式：

  • 单算子API执行：基于C语言的API执行算子，直接调用单算子API接口，无需提供单算子描述文件进行离线模型的转换。
  • 单算子模型执行：基于图IR执行算子，先编译算子（例如，使用ATC工具将Ascend IR定义的单算子描述文件编译成算子om模型文件），再调用AscendCL接口加载算子模型，最后调用AscendCL接口执行算子。

3. 在PyTorch、ONNX、TensorFlow等三方框架中调用算子：需要完成框架适配开发，即可从第三方框架实现算子调用。

 当然，除了可以调用自定义算子进行功能验证外，开发者也可以通过单算子调用方式直接调用昇腾算子库中预制的算子，使用昇腾算力。

 

通过单算子API执行方式调用算子

 通过单算子API执行方式调用算子，是算子交付阶段最重要的一种调用方式，也是Ascend C算子开发人员必须掌握的算子调用手段，下面做重点讲解。开发者若想了解其他方式，可以移至文末查阅“Ascend C一站式学习资源”[1]。

Ascend C算子开发并编译部署完成后，会在算子包安装目录下的op_api目录下会自动生成单算子API，以默认安装场景为例，单算子调用的头文件.h和动态库libcust_opapi.so所在的目录结构为：

├── opp    //算子库目录
│   ├── vendors     //自定义算子所在目录
│       ├── config.ini
│       └── vendor_name1   // 存储对应厂商部署的自定义算子，此名字为编译自定义算子安装包时配置的vendor_name，若未配置，默认值为customize
│           ├── op_api
│           │   ├── include
│           │   │  └── aclnn_xx.h
│           │   └── lib
│           │       └── libcust_opapi.so
...

 aclnn_xx.h中的算子API形式一般定义为“两段式接口”，形如：

aclnnStatus aclnnXxxGetWorkspaceSize(const aclTensor *src, ..., aclTensor *out, uint64_t workspaceSize, aclOpExecutor **executor);
aclnnStatus aclnnXxx(void* workspace, int64 workspaceSize, aclOpExecutor* executor, aclrtStream stream);

单算子API可以直接在应用程序中调用，大致过程为：

  1. 使用第一段接口aclnnXxxGetWorkspaceSize计算本次API调用计算过程中需要多少的workspace内存
  2. 获取到本次API计算需要的workspace大小后，按照workspaceSize大小申请Device侧内存
  3. 调用第二段接口aclnnXxx，调用对应的单算子二进制执行计算

完整调用流程如下：

 

下面提供单算子调用的关键代码示例，供开发者参考：  

// 1.AscendCL初始化
aclRet = aclInit("../scripts/acl.json");
 
// 2.运行管理资源申请
int deviceId = 0;
aclRet = aclrtSetDevice(deviceid);
// 获取软件栈的运行模式，不同运行模式影响后续的接口调用流程（例如是否进行数据传输等）
aclrtRunMode runMode;
bool g_isDevice = false;
aclError aclRet = aclrtGetRunMode(&runMode);
g_isDevice = (runMode == ACL_DEVICE);
 
// 3.申请内存存放算子的输入输出
// ......
 
// 4.传输数据
if (aclrtMemcpy(devInputs_[i], size, hostInputs_[i], size, kind) != ACL_SUCCESS) {
    return false;
}
 
// 5.计算workspace大小并申请内存
size_t workspaceSize = 0;
aclOpExecutor *handle = nullptr;
auto ret = aclnnAddCustomGetWorkspaceSize(inputTensor_[0], inputTensor_[1], outputTensor_[0],
                                          &workspaceSize, &handle);
// ...
void *workspace = nullptr;
if (workspaceSize != 0) {
    if (aclrtMalloc(&workspace, workspaceSize, ACL_MEM_MALLOC_NORMAL_ONLY) != ACL_SUCCESS) {
        ERROR_LOG("Malloc device memory failed");
    }
}
 
// 6.执行算子
if (aclnnAddCustom(workspace, workspaceSize, handle, stream) != ACL_SUCCESS) {
    (void)aclrtDestroyStream(stream);
    ERROR_LOG("Execute Operator failed. error code is %d", static_cast<int32_t>(ret));
    return false;
}
 
// 7.同步等待
aclrtSynchronizeStream(stream);
 
// 8.处理执行算子后的输出数据，例如在屏幕上显示、写入文件等，由用户根据实际情况自行实现
// ......
 
// 9.释放运行管理资源
aclRet = aclrtResetDevice(deviceid);
// ....
 
// 10.AscendCL去初始化
aclRet = aclFinalize();

运行一个完整的算子调用程序 

昇腾的gitee仓中提供了完整的样例工程LINK，工程目录结构如下： 

├──input                                                 // 存放脚本生成的输入数据目录
├──output                                                // 存放算子运行输出数据和真值数据的目录
├── inc                           // 头文件目录  
│   ├── common.h                 // 声明公共方法类，用于读取二进制文件  
│   ├── operator_desc.h          // 算子描述声明文件，包含算子输入/输出，算子类型以及输入描述与输出描述  
│   ├── op_runner.h              // 算子运行相关信息声明文件，包含算子输入/输出个数，输入/输出大小等  
├── src  
│   ├── CMakeLists.txt    // 编译规则文件
│   ├── common.cpp         // 公共函数，读取二进制文件函数的实现文件
│   ├── main.cpp    // 单算子调用应用的入口
│   ├── operator_desc.cpp     // 构造算子的输入与输出描述  
│   ├── op_runner.cpp   // 单算子调用主体流程实现文件
├── scripts
│   ├── verify_result.py    // 真值对比文件
│   ├── gen_data.py    // 输入数据和真值数据生成脚本文件
│   ├── acl.json    // acl配置文件

步骤 1 增加头文件引用。 

安装部署完成后，会在算子包安装目录下的op_api目录生成单算子调用的头文件aclnn_xx.h和动态库libcust_opapi.so，编写单算子的调用代码时，要包含自动生成的单算子API执行接口头文件：

#include "aclnn_add_custom.h"

步骤 2  修改CMakeLists文件。

编译算子调用程序时，需要在头文件的搜索路径include_directories中增加算子包安装目录下的op_api/include目录，便于找到该头文件；同时需要链接cust_opapi动态库。

  • 设置CUST_PKG_PATH变量为算子包安装目录下的op_api目录，以下样例仅为参考，请根据算子包部署的实际目录位置进行设置。

if (NOT DEFINED ENV{DDK_PATH})
    set(INC_PATH "/usr/local/Ascend/ascend-toolkit/latest")
    message(STATUS "set default INC_PATH: ${INC_PATH}")
else ()
    message(STATUS "env INC_PATH: ${INC_PATH}")
endif()
set(CUST_PKG_PATH "${INC_PATH}/opp/vendors/customize/op_api")

  • 在头文件的搜索路径include_directories中增加算子包安装目录下的op_api/include目录。

include_directories(
    ${INC_PATH}/runtime/include
    ${INC_PATH}/atc/include
    ../inc
    ${CUST_PKG_PATH}/include 
)

  • 链接cust_opapi链接库。

target_link_libraries(execute_add_op
    ascendcl
    cust_opapi 
    acl_op_compiler
    nnopbase
    stdc++
)

 

步骤 3 生成测试数据。

 在样例工程目录下，执行如下命令：

python3 scripts/gen_data.py

会在工程目录下input目录中生成两个shape为(8,2048)，数据类型为float16的数据文件input_0.bin与input_1.bin，用于进行AddCustom算子的验证。代码样例如下：

import numpy as np
a = np.random.randint(100, size=(8, 2048,)).astype(np.float16)
b = np.random.randint(100, size=(8, 2048,)).astype(np.float16)
a.tofile('input_0.bin')
b.tofile('input_1.bin')

步骤 4 程序编译与运行。

  1. 开发环境上，设置环境变量，配置AscendCL单算子验证程序编译依赖的头文件与库文件路径，如下为设置环境变量的示例。${INSTALL_DIR}表示CANN软件安装目录，例如，$HOME/Ascend/ascend-toolkit/latest。{arch-os}为运行环境的架构和操作系统，arch表示操作系统架构，os表示操作系统，例如x86_64-linux。

    export DDK_PATH=${INSTALL_DIR}
    export NPU_HOST_LIB=${INSTALL_DIR}/{arch-os}/lib64
  2. 编译样例工程，生成单算子验证可执行文件。
    a. 切换到样例工程根目录，然后在样例工程根目录下执行如下命令创建目录用于存放编译文件，例如，创建的目录为“build”。

    mkdir -p build

    b. 进入build目录，执行cmake编译命令，生成编译文件，命令示例如下所示：

    cd build
    cmake ../src

    c. 执行如下命令，生成可执行文件。

    make
    会在工程目录的output目录下生成可执行文件execute_add_op。
  3. 执行单算子
    a. 以运行用户（例如HwHiAiUser）拷贝开发环境中样例工程output目录下的execute_add_op到运行环境任一目录。
    说明： 若您的开发环境即为运行环境，此拷贝操作可跳过。

    b. 在运行环境中，执行execute_add_op：

    chmod +x execute_add_op
    ./execute_add_op

    会有如下屏显信息：
    [INFO]  Set device[0] success
    [INFO]  Get RunMode[1] success
    [INFO]  Init resource success
    [INFO]  Set input success
    [INFO]  Copy input[0] success
    [INFO]  Copy input[1] success
    [INFO]  Create stream success
    [INFO]  Execute aclnnAddCustomGetWorkspaceSize success, workspace size 0
    [INFO]  Execute aclnnAddCustom success
    [INFO]  Synchronize stream success
    [INFO]  Copy output[0] success
    [INFO]  Write output success
    [INFO]  Run op success
    [INFO]  Reset Device success
    [INFO]  Destory resource success

    如果有Run op success，表明执行成功，会在output目录下生成输出文件output_z.bin。
  4. 比较真值文件
    切换到样例工程根目录，然后执行如下命令：

    python3 scripts/verify_result.py output/output_z.bin output/golden.bin

    会有如下屏显信息：

    test pass

    可见，AddCustom算子验证结果正确。

----结束

 

 更多学习资源

 [1]Ascend C一站式学习资源：Ascend C-昇腾社区

这篇关于一文教你如何调用Ascend C算子的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1007467。

相关文章

如何在页面调用utility bar并传递参数至lwc组件

如何在页面调用utility bar并传递参数至lwc组件

1.在app的utility item中添加lwc组件： 2.调用utility bar api的方式有两种： 方法一，通过lwc调用： import {LightningElement,api ,wire } from 'lwc';import { publish, MessageContext } from 'lightning/messageService';import Ca
阅读更多...
【LabVIEW学习篇 - 21】：DLL与API的调用

【LabVIEW学习篇 - 21】：DLL与API的调用

文章目录 DLL与API调用DLLAPIDLL的调用 DLL与API调用 LabVIEW虽然已经足够强大，但不同的语言在不同领域都有着自己的优势，为了强强联合，LabVIEW提供了强大的外部程序接口能力，包括DLL、CIN(C语言接口)、ActiveX、.NET、MATLAB等等。通过DLL可以使用户很方便地调用C、C++、C#、VB等编程语言写的程序以及windows自带的大
阅读更多...
string字符会调用new分配堆内存吗

string字符会调用new分配堆内存吗

gcc的string默认大小是32个字节，字符串小于等于15直接保存在栈上，超过之后才会使用new分配。
阅读更多...
京东物流查询｜开发者调用API接口实现

京东物流查询｜开发者调用API接口实现

快递聚合查询的优势 1、高效整合多种快递信息。2、实时动态更新。3、自动化管理流程。 聚合国内外1500家快递公司的物流信息查询服务，使用API接口查询京东物流的便捷步骤，首先选择专业的数据平台的快递API接口：物流快递查询API接口-单号查询API - 探数数据 以下示例是参考的示例代码： import requestsurl = "http://api.tanshuapi.com/a
阅读更多...
vue 父组件调用子组件的方法报错，“TypeError: Cannot read property ‘subDialogRef‘ of undefined“

vue 父组件调用子组件的方法报错，“TypeError: Cannot read property ‘subDialogRef‘ of undefined“

vue 父组件调用子组件的方法报错，“TypeError: Cannot read property ‘subDialogRef’ of undefined” 最近用vue做的一个界面，引入了一个子组件，在父组件中调用子组件的方法时，报错提示： [Vue warn]: Error in v-on handler: “TypeError: Cannot read property ‘methods
阅读更多...
【微服务】Ribbon（负载均衡，服务调用）+ OpenFeign（服务发现，远程调用）【详解】

【微服务】Ribbon（负载均衡，服务调用）+ OpenFeign（服务发现，远程调用）【详解】

文章目录 1.Ribbon（负载均衡，服务调用）1.1问题引出1.2 Ribbon负载均衡1.3 RestTemplate整合Ribbon1.4 指定Ribbon负载均衡策略1.4.1 配置文件1.4.2 配置类1.4.3 定义Ribbon客户端配置1.4.4 自定义负载均衡策略 2.OpenFeign面向接口的服务调用（服务发现，远程调用）2.1 OpenFeign的使用2.1 .1创建
阅读更多...
类和对象的定义和调用演示(C++)

类和对象的定义和调用演示(C++)

我习惯把类的定义放在头文件中 Student.h #define _CRT_SECURE_NO_WARNINGS#include <string>using namespace std;class student{public:char m_name[25];int m_age;int m_score;char* get_name(){return m_name;}int set_name
阅读更多...
如何生成DLL以及如何调用DLL？

如何生成DLL以及如何调用DLL？

Pass
阅读更多...
React 笔记 父子组件传值 | 父组件调用子组件数据 | defaultProps | propsType合法性验证

React 笔记 父子组件传值 | 父组件调用子组件数据 | defaultProps | propsType合法性验证

1.通过props实现父组件像子组件传值 、方法、甚至整个父组件 传递整个父组件则   [变量名]={this} import Header from "./Header"render(){return(<Header msg={"我是props传递的数据"}/>)} import React,{Component} from "react";class Header extends
阅读更多...
java的一些简单调用！

java的一些简单调用！

四、context:component-scan     <!-- 对包中的所有类进行扫描，以完成Bean创建和自动依赖注入的功能 -->     <context:component-scan base-package="com.haso.bscsserver">     <!-- 允许定义过滤器将基包下的某些类纳入或排除     <context:include-filter
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2