TextCNN文本分类快速上手

TextCNN介绍：

1.支持语义识别和分类置信度输出。

2.训练速度快，3000样本在1-3分钟。

3.推理性能佳，5K-10K/秒。

4. 平均单条推理速度在0.2秒。

5. 单个模型占用GPU约1.2G，不使用GPU也可以。

Docker从0安装

 docker run --name textcnn_chat --gpus=all --ipc=host --ulimit memlock=-1 \-itd -p 6007:6007 -p 8501:8501 -p 8502:8000 \-v /etc/localtime:/etc/localtime:ro -v ./textcnn-server:/textcnn-server \-d jackyqs/textcnn-server:1.3 

特点：

1.支持语义识别和分类置信度输出。

2.训练速度快，3000样本在1-3分钟。

3.推理性能佳，5K-10K/秒。

4.支持GPU训练，支持异步训练，支持sbert计算分类特征相似度，支持模型训练后重载，支持test/acc, test/recall, test/precision, test/F1输出。（http://localhost:8502）

5.支持类ChatGPT 1-3论对话 streamlit run app.py （http://localhost:8501）

Docker基于镜像安装

容器打包操作（生成镜像时使用的命令）

• 将安装好、启动好的容器打包成镜像

  docker commit -m='textCNN-server commit' -a='zhangzh' textcnn_chat zzh/textcnn:1.0
  

• 将镜像，打成可以传到其他地方的tar包

  docker save -o textcnn.tar zzh/textcnn:1.0
  

安装时命令

• 网盘地址

  ​ 这里因为网盘上传文件有大小限制，所以使用了分卷压缩的方式进行了上传，全部下载下来就可以。

  链接：https://pan.baidu.com/s/1X4vBM8xaoVzrMOKIJVxGRw?pwd=70v8 
  提取码：70v8
  

• 将下载好的镜像文件和代码模型文件上传到服务器上，并进行解压，然后在该目录进行操作。

• 在其他的docker服务器加载镜像

  docker load -i textcnn.tar
  

• 启动

 docker run --name textcnn_chat --gpus=all --ipc=host --ulimit memlock=-1 \
-itd -p 6007:6007 -p 8501:8501 -p 8502:8000 \-v /etc/localtime:/etc/localtime:ro -v ./textcnn-server:/textcnn-server \-d zzh/textcnn:1.0

特点：

1.支持语义识别和分类置信度输出。

2.训练速度快，3000样本在1-3分钟。

3.推理性能佳，5K-10K/秒。

4.支持GPU训练，支持异步训练，支持sbert计算分类特征相似度，支持模型训练后重载，支持test/acc, test/recall, test/precision, test/F1输出。（http://localhost:8502）

5.支持类ChatGPT 1-3论对话 streamlit run app.py （http://localhost:8501）

页面访问

http://ip:8502/

模型训练

准备好的训练数据如下：

tsv文件内容：

微信百万保障	3.285-6.575:您好您是陈国庆本人吗||8.790-15.400:陈先生您好我是微信百万保障中心的话务员给您致电是智能
虚假博彩	3.065-5.055:喂你好||5.060-21.560:您好打扰您一下什么这边是p气的电话客服现在给你致电呢谢谢通知您我们p即将的对应放上限了现在是您费要注册可以领取到平安彩金方便注册领取一下吗||21.560-22.705:l||23.710-25.881:喂能听到吗||25.935-30.176:喂能听到吗

其中，开头表示标签（类型），然后使用\t制表符进行分割，后边跟的是推理出该标签的内容。

每条数据使用\n换行符进行分割。

API访问

http://ip:8502/predict/ 

性能测试

6.2/s

其他

查看显卡信息

lspci | grep -i nvidia

然后，在该网站搜索版本型号

https://admin.pci-ids.ucw.cz/