本文主要是介绍tensorRT---认识cuda RuntimeAPI(memory、Pinned Memory),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1. 对于 runtimeAPI ,与 driver 最大区别是 懒加载
2. 即,第一个 runtime API 调用时,会进行 cuInit 初始化 ,避免驱动 api 的初始化窘境
3. 即,第一个需要 context 的 API 调用时,会进行 context 关联并创建 context 和设置当前 context , 调用 cuDevicePrimaryCtxRetain 实现
4. 绝大部分 api 需要 context ,例如查询当前显卡名称、参数、内存分配、释放等
1. CUDA Runtime 是封装了 CUDA Driver 的高级别更友好的 API
2. 使用 cuDevicePrimaryCtxRetain 为每个设备设置 context ,不再手工管理 context ,并且不提供直接管理 context 的 API (可 Driver API 管理,通常不需要)
3.
这篇关于tensorRT---认识cuda RuntimeAPI(memory、Pinned Memory)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!