4bits专题

Baichuan2开源聊天框架,使用Baichuan2-7B-Chat-4bits模型运行成功,硬件16G内存/GTX1070显卡

前提摘要: 一.这几天一直在找开源的chatgpt框架,运行成功的有llama.cpp、chatgml2和baichuan2框架,先说说llama.cpp框架,使用的是cpu运行的框架,也成功了,但是我16g的cpu差点给我干烧了,太慢了,完全没法使用,相当累赘。 二.再说说chatgml2框架,这个框架该说不说,非常棒,gpu运行成功了,cpu运行也成功了,就是我的硬件是16G内存/GTX107