当你使用 npu-smi 工具来创建虚拟 NPU（Virtual NPU，简称 vNPU）时，你可以指定虚拟 NPU 的显存大小。然而，npu-smi 命令的具体参数可能会有所不同，取决于你使用的 NPU 硬件和驱动程序版本。 根据你的需求，你希望创建一个具有 2GB 显存的虚拟 NPU。以下是详细的步骤和命令示例： 1. 确认 NPU 驱动支持虚拟化 首先，确保你的 NPU 驱动支持虚拟化

随着人工智能技术的发展，爱奇艺内部越来越多的服务使用深度学习模型和技术来驱动，为我们的用户提供更加智能和便捷的在线视频观看体验。其中在线类的服务，通常单个容器实例需要独占一个 GPU，以实现在毫秒/秒级延时内完成例如视频、图片、语音、文本的深度学习模型推理请求；为了保证响应延时，请求通常单独进行，无法对请求做batch以提升计算效率，且不同请求间隔随机，会导致这些服务的 GPU 计算资源的利用率

vGPU实现方案 4paradigm提供了k8s-device-plugin，该插件基于NVIDIA官方插件(NVIDIA/k8s-device-plugin)，在保留官方功能的基础上，实现了对物理GPU进行切分，并对显存和计算单元进行限制，从而模拟出多张小的vGPU卡。在k8s集群中，基于这些切分后的vGPU进行调度，使不同的容器可以安全的共享同一张物理GPU，提高GPU的利用率。此外，插件还可