基于Bert的文本精排算法

精排算法在许多场景中都有应用，如文本检索、对话问答、推荐等场景中，使用匹配算法首先召回了一系列相似的样本集合，然后需要对这些召回的样本进行精准的排序，得到最优的序列返回给用户。

对于faq问答系统，使用文本匹配和es查询出召回样本集合后，需要返回top1的结果作为最相似问题返回，输入数据为query以及候选doc，输出为相似的百分比。

一、数据预处理

首先需要将原始的问题，回答的数据构造成文本匹配的任务，即{问题，相似问题1，相似问题2，无关问题1，无关问题2.。。。}，标签则为{1,1,0,0....}，如果有给匹配的相关性进行等级标注，标签也可改为相应的相关性等级。

在构造数据的时候如果没有预先打标签怎么办，可以采用随机负采样的方法，把原始问答对中，其他问题随机采样成无关问题，构成弱标签的数据集。

构造完数据集后，需要再将其转换成bert模型的输入格式，输入格式如下：

[CLS]sentence1[SEP]sentence2[SEP]

    def encode_v2(self, text_1, text_2):'''交互式文本匹配编码'''_tokenizer = tokenization.FullTokenizer(self.config['vocab_path'], do_lower_case=True)if isinstance(text_1, str):split_tokens_1 = _tokenizer.tokenize(text_1)else:split_tokens_1 = text_1if isinstance(text_2, str):split_tokens_2 = _tokenizer.tokenize(text_2)else:split_tokens_2 = text_1if len(split_tokens_1) + len(split_tokens_2) > self.config['seq_len']:split_tokens_2 = split_tokens_2[:self.config['seq_len'] - len(split_tokens_1)]sequence_length = self.config['seq_len']else:sequence_length = len(split_tokens_1) + len(split_tokens_2)while (len(split_tokens_1) + len(split_tokens_2) < self.config['seq_len']):split_tokens_2.append("[PAD]")tokens = []segment_ids = []tokens.append("[CLS]")segment_ids.append(0)for i in split_tokens_1:if i not in _tokenizer.vocab:tokens.append("[UNK]")print(i)continuetokens.append(i)segment_ids.append(0)tokens.append("[SEP]")segment_ids.append(0)for i in split_tokens_2:if i not in _tokenizer.vocab:tokens.append("[UNK]")print(i)continuetokens.append(i)segment_ids.append(1)tokens.append("[SEP]")segment_ids.append(1)word_ids = _tokenizer.convert_tokens_to_ids(tokens)word_mask = []for i in word_ids:if i == "[PAD]":word_mask.append(0)else:word_mask.append(1)return word_ids, segment_ids, word_mask, sequence_length

二、NDCG损失计算

如何定义损失函数呢？原理上说，模型是一个文本分类的任务，目标是把两个句子的相关性分类到对应的类别上。然而我们的精排算法并不是仅仅为了计算句子的相关性，而是需要将一个句子候选集根据相关性排序，从而预测出最优的排序序列。因此损失函数是计算文本列表的排序损失，常见的损失函数有几种，在推荐系统中经常用到，就不详细展开说了，目前用到的是NDCG（Normalized Discounted Cumulative Gain）损失，计算步骤分为以下几步：

comulative gain(CG)表示对topK个相关性的加和：CG@k = ，r表示相关性的数值

discounted cumulative gain(DCG)引入位置特征，排前面的元素增益较高，DCG@k = 

若对于排序列表来说最佳排序为{d1,d2,d3,....,dk}，该序列的DCG值为IDCG=DCGmax@K

那么NDCG@K = 

计算完这些数值后loss采用lambda loss

Loss = 

对于代码来说就是矩阵的计算，代码如下：

    def lambda_rank_loss(self, scores, labels):'''lambda rank损失'''#delta_lambda计算rank = tf.range(1., tf.cast(self.config['num_samples'], dtype=tf.float32) + 1)rank = tf.tile(rank, [self.config['batch_size']])rank = tf.reshape(rank, tf.shape(labels))rel = 2 ** labels - 1sorted_label = tf.sort(labels, direction='DESCENDING')sorted_rel = 2 ** sorted_label - 1cg_discount = tf.math.log(1. + rank)dcg_m = rel / cg_discountdcg = tf.reduce_sum(dcg_m)stale_ij = dcg_mnew_ij = rel / tf.transpose(cg_discount, perm=[0, 2, 1])stale_ji = tf.transpose(stale_ij, perm=[0, 2, 1])new_ji = tf.transpose(new_ij, perm=[0, 2, 1])#new dcgdcg_new = dcg - stale_ij + new_ij - stale_ji + new_ji#delta dcgdcg_max = tf.reduce_sum(sorted_rel / cg_discount)ndcg_delta = tf.abs(dcg_new - dcg) / dcg_max#s_i_minus_s_j = scores - tf.transpose(scores, perm=[0, 2, 1])#上三角矩阵mask1 = tf.linalg.band_part(ndcg_delta, 0, -1)#下三角矩阵mask2 = tf.linalg.band_part(s_i_minus_s_j, -1, 0)_loss = mask1 * tf.transpose(mask2, perm=[0, 2, 1])loss = tf.reduce_sum(_loss)return loss

三、模型训练

将Bert计算出的logits当作相关性r，带入到上面的loss中训练就行了，在实际过程中，还有一个对相关性大小的界定，模型输出的r为0-1之间的数值，阈值定在多少，相关性为1，会影响最终模型的效果，因此需要在测试集上进行探索。

四、总结

以上就是对bert模型精排算法的探索与实践，总的来说大体框架还是没太大的变化，主要是数据集构造和loss函数的选择，数学公式还是有一点复杂，如果数据集质量不够好还是不推荐使用，因为最终效果指标不好界定，top1和top2区别也不一定太大，收益不是特别明显。