【部分源码分析】PLATO——开放域对话的SOTA之作

【部分源码分析】PLATO——开放域对话的SOTA之作

Github链接：https://github.com/PaddlePaddle/Knover/tree/master
论文链接：https://arxiv.org/abs/2006.16779

数据准备

注：此处的数据预处理部分仅针对千言数据集（中文，三大任务场景，六个分数据集）
千言多技能对话数据集及比赛地址：
https://aistudio.baidu.com/aistudio/competition/detail/55

对于PLATO（Knover）模型而言，文本数据的词嵌入处理方式如上图所示
Plato-2模型的输入采用了token，role，turn，position相融合的表示方式。在Knover的源码中，对输入的处理是通过了sentencepiece工具（BERT也使用的这个）。sentencepiece提供了一种方便快捷的分词操作，我们可以直接将整个数据集放进去，设定分词的单元数量，然后等待训练出一个好用的分词模型（会输出一个预训练模型，之后对每个语句都会用这个模型进行编码和解码，即分词，转换成数字编码，输出再转换回句子）

上图给出了Plato模型需要的输入，当然这些是以Embedding的形式给出的，而Embedding是在模型中转化的，它在转化之前是以数字编码存在的。Embedding现在已经是语言处理技术的标配了，它把每一个标记映射到空间中，增加其表征能力。我们暂时忽略最前边的latent，它是表示不同回答方式的隐变量，用于Plato在众多可能回答中选择正确的回答，我们这里不关心这个是怎么实现的，所以不展开讨论。在latent之后，有contex和response两个内容，其中context包含了众多信息：历史对话，背景知识，以及对话与对话之间分隔的符号[EOU], [BOU]等等，如果有背景知识的话，也会列到context中response则是训练中需要的部分，在测试中这一部分是空的。
TokenEmbeddings表示各语言单元的Embedding（词向量）；RoleEmbeddings是各个语言单元在其中扮演的角色，这个主要是用来区分内容是context（EA）还是response（EB）（亦或是背景知识，背景知识可以作为response的角色，也可以单独成为一类，即EC）；TurnEmbeddings表示每一部分在当前回合中的相对回合数；PositionEmbeddings则是每个语言单元的位置，一般是range(0, len(context))。
知道了这些，我们回到Record上来看这个输入应该怎么得到。由定义可知，Record是带名称的元组，这样我们立马可以知道，这个元组是通过名称来调用其中的内容的。fields的内容是什么呢？从官方的源码中可以总结出：fields = [“token_ids”, “type_ids”, “pos_ids”, “tgt_start_idx”, “data_id”]。也就是说，输入需要给出5个部分，token_ids就是处理过的语言单位的编码；type_ids就是个语言单位扮演的角色，是context还是response；pos_ids是各个语言单位的位置；tgt_start_idx是回复生成的开始位置，也即context的最后一个词的位置；data_id就是这个训练样本的标记。

部分数据集展示

三个任务场景：闲聊、知识、推荐
六大数据集：
1.闲聊对话：华为的微博数据 [1] ，北航和微软的豆瓣多轮对话 [2]，清华的LCCC数据集[3]
2.知识对话：百度的DuConv [4]，清华的KdConv [5]，腾讯的检索辅助生成对话数据集 [6]
3.推荐对话：百度的DuRecDial [7]

数据预处理代码

数据预处理代码在./luge-dialogue/tools/convert_data_to_numerical.py

对于六大数据集的不同组成部分都转换成了四个元素
type: 三大任务类型：闲聊+知识+推荐
knowledge: 对话段背后的知识背景（如知识图谱）
context: 对话上文
response:对话下文（训练时已知，测试预测时未知）

type_dict = {"chitchat": 30001, "knowledge": 30002, "recommend": 30003}

line75
在六个数据集均被转换成四个组成元素后，均被def convert_sample_to_numerical()进行id化
在该函数中均用sentencepiece.SentencePieceProcessor()进行分词编码处理

response_ids = sp.EncodeAsIds(response) + [2]
knowledge_ids = sp.EncodeAsIds(knowledge) + [2]
utterance_ids = sp.EncodeAsIds(utterance) + [2]
# context同样处理，不过先进行split分句
if context != "":for utterance in context.split('\t'):utterance_ids = sp.EncodeAsIds(utterance) + [2]context_ids_list.append(utterance_ids)# 对话上文通过append将均在context_ids_list中，并通过截断或填充等长得到
truncate_type, new_context_ids_list = truncate_ids_list(context_ids_list, max_seq_len - max_response_len - 2, truncate_first_turn=truncate_first_turn)
truncate_type_stat[truncate_type] += 1
# 对话下文同样进行截断或填充# 最后，将对话上文+对话下文的id均放在token_ids中
# token_ids的初始
token_ids = [1, type_id]# sent_ids存对话上文还是对话下文，上文用0，下文用1表示
# sent_ids的初始
sent_ids = [0, 0]# position_ids存整个对话的位置信息，即文本的位置编码
position_ids = range(len(token_ids))

具体处理过程可阅读上述精简代码和注释，最终将对话文本编码成三个id序列：
token_ids：任务类型（闲聊、知识、推荐） + 知识 + 对话上文 + 【对话下文】(测试集无下文)
sent_ids： 对话上文、下文的01编码，上文用0，下文用1（注意：token_ids中的知识算作对话上文）
position_ids：位置编码，连续自然数代表，从0、1、2、…到len(token_ids)

至此，文本编码过程完成

训练与预测

训练的方式如上图，传入conf参数文件进行训练

首先在./scripts/local/train.sh中，可以通过export修改可使用GPU数量，如下图使用单卡

conf参数文件，以12L_train.conf为例，传给train.py文件的所需参数

好了，在Plato模型的训练阶段都将通过train.py，它通过调用其余文件进行模型的训练过程，其中多为传参代码。

在train.py中的训练方式是调用tasks/task_base.py进行训练

而task_base.py又是调用models/model_base.py进行具体的训练操作

• generator.py：定义了模型的预测输出，其中包含了beam-search、temperature、topk、num_samples等参数的设定与解码的实现
• model_base.py：实现了模型的训练与预测
• nsp_model.py：取出模型的不同层，进行lm_loss、nsp_loss 、nsp_acc的计算（MLM语言模型loss、）
• optimizer.py：自定义的AdamW
• unified_transformer.py：seq2seq，一对一映射的传统模型
  在Plato模型中，最基本的组成单位就是transformer_block
  因此，让我们来看models/transformer_block.py，最基本也是最重要的文件

对于Multi-head self attention和Fnn不再阐述，没有特别的

值得注意的是pre_post_process_layer通过函数接收到的cmd字符串来实现
如BERT使用的post-normalization或GPT-2使用的pre-normalization，因Plato的参数量和数据量在本文件代码中使用cmd=n实现pre-normalization，当然可以修改cmd=da实现post-normalization

除此之外，还值得注意的是plato.py文件
通过gumbel_softmax实现离散隐空间的“采样”操作

参考与引用：
https://zhuanlan.zhihu.com/p/292013818
https://www.datafountain.cn/competitions/470/datasets