基于前面的安装经验，千问大模型的本地部署并不算难，主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求，本机的硬件配置为N卡3060，显存12G。 使用conda创建虚拟环境，主要版本如下： Python 3.9.18 CUDA 12.1 pytorch 2.2.2 2. 克隆代码到本地 git clone https://github.com/QwenLM/Qwen

1. 查看系统版本 uname -a Linux localhost.localdomain 4.19.90-24.4.v2101.ky10.aarch64 #1 SMP Mon May 24 14:45:37 CST 2021 aarch64 aarch64 aarch64 GNU/Linux 2. 查看显卡 npu-smi info 前情提要： 官网给出支持昇腾910架构，刚好有3