7b1专题

QLoRA实战 | 使用单卡高效微调bloom-7b1,效果惊艳

来自:YeungNLP 进NLP群—>加入NLP交流群 在文章Firefly(流萤): 中文对话式大语言模型、中文对话式大语言模型Firefly-2b6开源,使用210万训练数据中,我们介绍了关于Firefly(流萤)模型的工作。对大模型进行全量参数微调需要大量GPU资源,所以我们通过对Bloom进行词表裁剪,在4*32G的显卡上,勉强训练起了2.6B的firefly模型。 在本文中,我们将介绍