【python 走进NLP】文本相似度各种距离计算

本文主要是介绍【python 走进NLP】文本相似度各种距离计算，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

计算文本相似度有什么用？

1、反垃圾文本的捞取
“诚聘淘宝兼职”、“诚聘打字员”…这样的小广告满天飞，作为网站或者APP的运营者，不可能手动将所有的广告文本放入屏蔽名单里，挑几个典型广告文本，与它满足一定相似度就进行屏蔽。

2、推荐系统
在微博和各大BBS上，每一篇文章/帖子的下面都有一个推荐阅读，那就是根据一定算法计算出来的相似文章。

3、冗余过滤
我们每天接触过量的信息，信息之间存在大量的重复，相似度可以帮我们删除这些重复内容，比如，大量相似新闻的过滤筛选。

总结：
对垃圾文本（比如小广告）进行批量屏蔽；
对大量重复信息（比如新闻）进行删减；
对感兴趣的相似文章进行推荐，等等。
信息检索，搜索引擎

主要内容：

1. 余弦相似度
2. 欧氏距离
3. 曼哈顿距离
4. 切比雪夫距离
5. 杰尔德距离
6. 汉明距离
7. 标准化欧式距离
8. 皮尔逊相关系数

# -*- coding:utf-8 -*-import numpy as np
from scipy.spatial.distance import pdist# 余弦相似度
def cos_dist(vec1,vec2):""":param vec1: 向量1:param vec2: 向量2:return: 返回两个向量的余弦相似度"""dist1=float(np.dot(vec1,vec2)/(np.linalg.norm(vec1)*np.linalg.norm(vec2)))return dist1# 欧氏距离def euc_dist(vec1,vec2):""":param vec1: 向量1:param vec2: 向量2:return: 返回两个向量的欧式距离"""vec1=np.mat(vec1)vec2=np.mat(vec2)dist1=float(np.sqrt(np.sum(np.square(vec1-vec2))))return dist1# 曼哈顿距离def mah_dist(vec1,vec2):""":param vec1: 向量1:param vec2: 向量2:return: 返回两个向量的曼哈顿距离"""vec1=np.mat(vec1)vec2=np.mat(vec2)dist1=float(np.sum(np.abs(vec1-vec2)))return dist1# 切比雪夫距离
def cheb_dist(vec1,vec2):""":param vec1: 向量1:param vec2: 向量2:return: 返回两个向量的切比雪夫距离"""vec1=np.mat(vec1)vec2=np.mat(vec2)dist1=float(np.max(np.abs(vec1-vec2)))return dist1# 杰尔德距离
def yac_dist(vec1,vec2):""":param vec1: 向量1:param vec2: 向量2:return: 返回两个向量的杰尔德距离"""Vec=np.vstack([vec1,vec2])dist1=pdist(Vec,'jaccard')return dist1[0]# 汉明距离def han_dist(vec1,vec2):""":param vec1: 向量1:param vec2: 向量2:return: 返回两个向量的汉明距离"""Vec = np.vstack([vec1, vec2])dist1 = pdist(Vec, 'hamming')return dist1[0]*len(vec1)# 标准化欧式距离def se_euc_dist(vec1,vec2):""":param vec1: 向量1:param vec2: 向量2:return: 返回两个向量的标准化欧式距离"""Vec = np.vstack([vec1, vec2])dist1= pdist(Vec, 'seuclidean')return dist1[0]# 皮尔逊相关系数
def corrcoef_dist(vec1,vec2):""":param vec1: 向量1:param vec2: 向量2:return: 返回两个向量的皮尔逊相关系数"""Vec = np.vstack([vec1, vec2])dist1=np.corrcoef(Vec)[0][1]return dist1if __name__ == '__main__':vec1=[1,2,3,4]vec2=[5,6,7,8]dist1=cos_dist(vec1,vec2)print("余弦相似度：%s"  %dist1)dist1=euc_dist(vec1,vec2)print("欧氏距离：%s"  %dist1)dist1=mah_dist(vec1,vec2)print("曼哈顿距离：%s"  %dist1)dist1=cheb_dist(vec1,vec2)print("切比雪夫距离：%s"  %dist1)dist1=yac_dist(vec1,vec2)print("杰尔德距离：%s"  %dist1)dist1=han_dist(vec1,vec2)print("汉明距离：%s"  %dist1)dist1=se_euc_dist(vec1,vec2)print("标准化欧氏距离：%s"  %dist1)dist1=corrcoef_dist(vec1,vec2)print("皮尔逊相关系数：%s" %dist1)

运行结果：

余弦相似度：0.9688639316269662
欧氏距离：8.0
曼哈顿距离：16.0
切比雪夫距离：4.0
杰尔德距离：1.0
汉明距离：4.0
标准化欧氏距离：2.8284271247461903
皮尔逊相关系数：1.0Process finished with exit code 0

除了scipy 包可以计算距离和相似度，sklearn 包当然也可以计算相似度，更简单方便。举个余弦夹角相似度的例子。

# -*- encoding=utf-8 -*-from sklearn.metrics.pairwise import pairwise_distancesa=[[1,2,3,4],[5,6,7,8]]# 余弦夹角相似度
cosine=pairwise_distances(a,metric='cosine')
cosine_similarity=1-cosine[0,1]
print("余弦相似度：%s" % cosine_similarity)

运行结果和上面是一样的

余弦相似度：0.9688639316269662Process finished with exit code 0

这篇关于【python 走进NLP】文本相似度各种距离计算的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---