IPEX-LLM是一个用于在英特尔CPU和GPU（如本地PC的iGPU、独立显卡如Arc、Flex和Max）上加速本地LLM推理和微调的PyTorch库。 IPEX-LLM是BigDL-LLM的升级版。IPEX-LLM基于英特尔PyTorch扩展库（IPEX）以及llama.cpp、bitsandbytes、vLLM、qlora、AutoGPTQ、AutoAWQ等优秀工 作的成果。IPEX-LL

IPEX-LLM 是一个为Intel XPU (包括CPU和GPU) 打造的轻量级大语言模型加速库，在Intel平台上具有广泛的模型支持、最低的延迟和最小的内存占用。 您可以使用 IPEX-LLM 运行任何 PyTorch 模型（例如 HuggingFace transformers 模型）。在运行过程中，IPEX-LLM利用了低比特优化技术、现代硬件加速技术，和一系列软件优化技术来自动加速LLM

ipex-llm环境配置及模型下载 由于需要处理音频文件，还需要安装用于音频分析的 librosa 软件包。 pip install librosa 下载音频文件 !wget -O audio_en.mp3 https://datasets-server.huggingface.co/assets/common_voice/--/en/train/5/audio/audio.mp3!wg

非常好用的大语言模型推理框架 bigdl-llm，现改名为 ipex-llm bigdl-llmgithub地址环境安装依赖下载测试模型加载和优化预训练模型使用优化后的模型构建一个聊天应用 bigdl-llm IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC wi