@slavahead 一、介绍         Transformer 在 NLP 方面取得了进化进步，这已经不是什么秘密了。基于转换器，许多其他机器学习模型已经发展起来。其中之一是BERT，它主要由几个堆叠的变压器编码器组成。除了用于情感分析或问答等一系列不同的问题外，BERT在构建词嵌入（表示词的语义含义的数字向量）方面也越来越受欢迎。         以嵌入的

1 简介 句子对评分任务（Pairwise sentence scoring tasks）在NLP上有非常广泛的应用，如信息检索、问答、复制问题检测、聚类等。 有两种处理句子对的方法： （1）cross-encoder，两个句子同时输入到网络模型中，对输入句子对采用全注意力方法，如BERT，其有较好的表现力，却在实际场景中运行效率低、开销大。如在n=10000个句子中找到相似的句子对，BERT