昇腾 - AscendCL C++应用开发 Host与Device的数据传输函数的封装

本文主要是介绍昇腾 - AscendCL C++应用开发 Host与Device的数据传输函数的封装，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

昇腾 - AscendCL C++应用开发 Host与Device的数据传输函数的封装

flyfish

aclrtGetRunMode

函数功能：获取当前昇腾AI软件栈的运行模式。
aclError aclrtGetRunMode(aclrtRunMode *runMode)

参数说明：runMode 运行模式的指针。
ACL_DEVICE：昇腾AI软件栈运行在Device的Control CPU或板端环境上。

Atlas 训练系列产品，Atlas A2训练系列产品/Atlas 800I A2推理产品，不支持该选项。

ACL_HOST：昇腾AI软件栈运行在Host CPU上。

对当前昇腾AI软件栈的运行模式函数进行封装

int GetRunMode()
{aclrtRunMode runMode;aclrtGetRunMode(&runMode);if (runMode==ACL_HOST) {return 1;}return 0;
}

区分昇腾AI软件栈运行在哪

Host指与Device相连接的X86服务器、ARM服务器，会利用Device提供的NN（Neural-Network ）计算能力，完成业务。

Device指安装了昇腾AI处理器的硬件设备，利用PCIe接口与Host侧连接，为Host提供NN计算能力。

如果查询结果为ACL_HOST，则数据传输时涉及申请Host上的内存。
如果查询结果为ACL_DEVICE，则数据传输时仅需申请Device上的内存。

ImageProc imageProcess;
ImageData frame;
ImageSize modelSize(modelWidth, modelHeight);
int isHost = GetRunMode();ImageData dst;
imageProcess.Resize(frame, dst, modelSize, RESIZE_PROPORTIONAL_UPPER_LEFT);
MsgData msgData;
msgData.data = dst.data;
msgData.size = dst.size;
msgData.videoEnd = false;
cv::Mat yuyvImg(frame.height*1.5, frame.width, CV_8UC1);
if (isHost) {//昇腾AI软件栈运行在Host CPU上的处理方式void* hostDataBuffer = CopyDataToHost(frame.data.get(), frame.size);memcpy(yuyvImg.data, (unsigned char*)hostDataBuffer, frame.size);FreeHostMem(hostDataBuffer);hostDataBuffer = nullptr;} else {//昇腾AI软件栈运行在Device的Control CPU或板端环境上memcpy(yuyvImg.data, (unsigned char*)frame.data.get(), frame.size);}
cv::cvtColor(yuyvImg, msgData.srcImg, cv::COLOR_YUV2RGB_NV21);

从Host到Device的数据传输函数的封装

void* CopyDataToDevice(void* data, uint32_t size) {void* devicePtr = nullptr;aclError aclRet = aclrtMalloc(&devicePtr, size, ACL_MEM_MALLOC_NORMAL_ONLY);CHECK_RET(aclRet == ACL_SUCCESS, LOG_PRINT("[ERROR] aclrtMalloc failed. ERROR: %d", aclRet); return nullptr);aclrtRunMode runMode;aclrtGetRunMode(&runMode);if (runMode == ACL_HOST) {aclRet = aclrtMemcpy(devicePtr, size, data, size, ACL_MEMCPY_HOST_TO_DEVICE);if (aclRet != ACL_SUCCESS) {LOG_PRINT("[ERROR] aclrtMemcpy failed. ERROR: %d", aclRet);aclrtFree(devicePtr);devicePtr = nullptr;return devicePtr;}} else {aclRet = aclrtMemcpy(devicePtr, size, data, size, ACL_MEMCPY_DEVICE_TO_DEVICE);if (aclRet != ACL_SUCCESS) {LOG_PRINT("[ERROR] aclrtMemcpy failed. ERROR: %d", aclRet);aclrtFree(devicePtr);devicePtr = nullptr;return devicePtr;}}return devicePtr;
}

从Device到Host的数据传输函数的封装

void* CopyDataToHost(void* data, uint32_t size) {void* hostPtr = nullptr;aclError aclRet = aclrtMallocHost(&hostPtr, size);CHECK_RET(aclRet == ACL_SUCCESS, LOG_PRINT("[ERROR] aclrtMalloc failed. ERROR: %d", aclRet); return nullptr);aclrtRunMode runMode;aclrtGetRunMode(&runMode);if (runMode == ACL_HOST) {aclRet = aclrtMemcpy(hostPtr, size, data, size, ACL_MEMCPY_DEVICE_TO_HOST);if (aclRet != ACL_SUCCESS) {LOG_PRINT("[ERROR] aclrtMemcpy failed. ERROR: %d", aclRet);aclrtFreeHost(hostPtr);hostPtr = nullptr;return hostPtr;}} else {aclRet = aclrtMemcpy(hostPtr, size, data, size, ACL_MEMCPY_DEVICE_TO_HOST);if (aclRet != ACL_SUCCESS) {LOG_PRINT("[ERROR] aclrtMemcpy failed. ERROR: %d", aclRet);aclrtFreeHost(hostPtr);hostPtr = nullptr;return hostPtr;}}return hostPtr;
}

内存释放的封装使用完内存中的数据后，需及时释放资源

void FreeHostMem(void*& hostPtr) {aclrtFreeHost(hostPtr);hostPtr = nullptr;
}void FreeDeviceMem(void*& devicePtr) {aclrtFree(devicePtr);devicePtr = nullptr;
}

void*& 是 C++ 中的一种参数类型，表示一个指向 void* 类型的引用。为了理解它的含义，分两步来解释：

void*: 这是一个通用指针类型，可以指向任何类型的数据，但它本身不携带类型信息。通常用来处理原始内存块或不确定类型的指针。

& (引用): 在 C++ 中，引用（reference）是一种别名，它允许直接操作原对象而不创建副本。void*& 是一个指向 void* 类型的引用，意味着可以在函数中直接操作传入的 void* 指针，而不需要复制指针的值。

例如在 FreeHostMem 函数中，void*& hostPtr 作为参数传入，意味着这个函数可以修改 hostPtr 指针的值，并且这些修改会反映在调用者的变量中。这在函数内部将 hostPtr 设置为 nullptr 后，调用者也会看到指针被设置为 nullptr，防止悬空指针的出现

aclrtMemcpy 函数原型

aclError aclrtMemcpy(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind)
dst:目的内存地址指针。
destMax:目的内存地址的最大内存长度，单位Byte。
src:源内存地址指针。
count:内存复制的长度，单位Byte。
kind:内存复制的类型，预留参数，配置枚举值中的值无效，系统内部会根据源内存地址指针、目的内存地址指针判断是否可以将源地址的数据复制到目的地址，如果不可以，则系统会返回报错。

typedef enum aclrtMemcpyKind {
ACL_MEMCPY_HOST_TO_HOST, // Host内的内存复制
ACL_MEMCPY_HOST_TO_DEVICE, // Host到Device的内存复制
ACL_MEMCPY_DEVICE_TO_HOST, // Device到Host的内存复制
ACL_MEMCPY_DEVICE_TO_DEVICE, // Device内或Device间的内存复制
} aclrtMemcpyKind;