本文主要是介绍相似度与相异度,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
第1关:用相关系数计算直线之间的相似度
任务描述
相关知识
欧几里得相关系数
余弦相关系数
泊松相关系数
编程要求
测试说明
代码:
第2关:基于相似度度量的商品推荐
相关知识
协同过滤算法基本原理
协同过滤算法的实现步骤
编程要求
测试说明
代码:
第1关:用相关系数计算直线之间的相似度
任务描述
本关任务:计算各种相关系数方法下的直线(数据)相似度
相关知识
为了完成本关任务,你需要掌握:
- 欧几里得相关系数
- 余弦相关系数
- 泊松相关系数(也称皮尔逊相关系数)
欧几里得相关系数
利用欧几里得相关系数计算数据集的的相似度,一般是基于每对对象间的距离计算的。 其原理公式为:
def euclidean(p, q):# 如果两数据集数目不同,计算两者之间都对应有的数same = 0for j in p:if j in q:same += 1# 计算欧几里德距离,并将其标准化e = sum([(p[j] - q[j]) ** 2 for j in range(same)]) return 1 / (1 + e ** 0.5) euclidean([1, 2, 3, 4, 5],[2, 4, 6, 8, 10])
输出:
0.3090169943749474
余弦相关系数
余弦相似度,取值在-1和1之间。如果两个向量方向相反,那么等于-1;如果两个向量方向相同,那么等于1。所以,两个向量之间的夹角越小,其夹角余弦越大(越相似)。因此余弦相似度可以用来度量两个变量之间的相似程度。
因为我们需要对比的是直线之间的相似度,根据数据集之间的数据距离来计算相似度明显不太可取。所以,我们需要利用余弦相关系数来计算直线之间的相似度。就比如直线y=5x+3与直线y=5x+8的相似度。即可以看出两个数据集[5,3]与[5,8].计算它们之间的相似度如下: 余弦相关系数原理公式为:
代码如下:
def cosine_similarity(x, y):xx = 0.0yy = 0.0xy = 0.0for i in range(len(x)):xx += x[i] * x[i]yy += y[i] * y[i]xy += x[i] * y[i] xx_sqrt = xx ** 0.5print(xx)print(yy)print(xy)yy_sqrt = yy ** 0.5cos = xy/(xx_sqrt*yy_sqrt)return cos cosine_similarity([5,3],[5,8])
输出:
0.890761869708233
泊松相关系数
上述余弦相关系数所使用的数据(两条直线)是二维数据,当我们将数据集扩增到多维数据时,即数据集(x1,x2,...,xn)与数据集(y1,y2,...,yn),对这些数据进行标准化,获得的向量之间的夹角的余弦,即皮尔逊相关系数。 其原理如图所示:
接下来我们选取deaths.csv(已上传数据集)中的一部分数据,即选取用户用户(UID)84001001与用户(UID)84001003从2004/1/20到2004/20/20这段日期的数据,再比较相似度。 获取数据代码如下:
import pandas as pd df=pd.csv('./deaths.csv') print(df.head) print(df.loc[[0,1,16],'2004/1/20':'4/20/20'].values.tolist()) # 选取了第0,1,16行的用户从2004/1/20到2004/20/20这段日期的数据
print(df.head)的截图如下:
获得的三行数据如下: [[0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 3], [0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]]
#泊松相关系数 import scipy import numpy from scipy.stats import pearsonr x =numpy.array([0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,2,2,2,1]) y =numpy.array([1,1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,3]) r_row, p_value = pearsonr(x, y) print ("用户(UID)84001001与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为",r_row) # print (p_value)
输出如下: 用户(UID)84001001与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为 0.5508226327552435
编程要求
请从数据集中获得数据,计算用户(UID)84001033与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度(其中用户84001033序号即为16)
测试说明
平台会对你编写的代码进行测试: 预期输出:用户(UID)84001033与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为 0.44908871313907184。
代码:
# 欧几里得相关系数
def euclidean(p, q):# 如果两数据集数目不同,计算两者之间都对应有的数same = 0for i in p:if i in q:same += 1# 计算欧几里德距离,并将其标准化########## Begin ##########e = sum([(p[i] - q[i]) ** 2 for i in range(same)])########## End ########## return 1 / (1 + e ** 0.5)print("欧几里得计算出的相似度为",euclidean([1, 2, 3, 4, 5], [2, 4, 6, 8, 10]))# 余弦相似度
def cosine_similarity(x, y):xx = 0.0yy = 0.0xy = 0.0for i in range(len(x)):xx += x[i] * x[i]yy += y[i] * y[i]xy += x[i] * y[i]xx_sqrt = xx ** 0.5
# print(xx)
# print(yy)
# print(xy)yy_sqrt = yy ** 0.5cos = xy/(xx_sqrt*yy_sqrt)return cosprint('余弦相关系数计算出的相似度为',cosine_similarity([5,3],[5,8]))#泊松相关系数
import scipy
import numpy
from scipy.stats import pearsonr########## Begin ##########
x =numpy.array([0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1])
########## End ##########
y =numpy.array([1,1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,3])r_row, p_value = pearsonr(x, y)
print ("用户(UID)84001033与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为",r_row)
# print (p_value)
第2关:基于相似度度量的商品推荐
任务描述
本关任务:通过协同过滤算法完成推荐系统应用实例。
相关知识
为了完成本关任务,你需要掌握:
- 了解协同过滤算法原理,
- 通过协同过滤算法实现商品推荐。
协同过滤算法基本原理
俗话说“物以类聚、人以群分”,如果你喜欢看《海贼王》、《火影忍者》等动漫,另外有个人也都喜欢这些动漫,而且他还喜欢《死神》,则很有可能你也喜欢《死神》这部动漫。
基本思想:购买了商品A的客户可能也会购买与商品A相似的商品B;与用户A相似的用户B可能也会购买用户A买过的上。
协同过滤算法的实现步骤
(一):找到与目标用户兴趣相似的用户集合
通常用
Jaccard 公式
或者余弦相似度
计算两个用户之间的相似度。设N(u)
为用户 u 喜欢的物品集合,N(v)
为用户 v 喜欢的物品集合,那么 u 和 v 的相似度是多少呢:通过第一关的知识,我们了解到
Jaccard 公式
和余弦相似度
计算公式为:Jaccard 公式:
余弦相似度:
假设目前共有4个用户: A、B、C、D;共有5个物品:a、b、c、d、e。用户与物品的关系(用户喜欢物品),如下图所示:
# 目标用户(A用户喜欢a、b、d商品) target_user = {'A':['a','b','d']} print(f'目标用户:{target_user}') # 相似用户用户() alike_user = {'B': ['a','c'],'C': ['b','e'],'D':['c','d','e']} print(f'相似用户:{alike_user}')
输出:
目标用户:{'A': ['a', 'b', 'd']}
相似用户:{'B': ['a', 'c'], 'C': ['b', 'e'], 'D': ['c', 'd', 'e']}
# 总共商品类型 key_value = [] value1 = target_user.values() for item in value1:for good in item:# 如果不再就添加到键值(错别字2333)if good not in key_value:key_value.append(good) value2 = alike_user.values() for item in value2:for good in item:if good not in key_value:key_value.append(good) print(f'总共商品类型:{key_value}')
输出:
总共商品类型:['a', 'b', 'd', 'c', 'e']
为计算方便,通常首先需要建立“物品—用户”的倒排表,如下图所示:
new_table = [] for good in key_value:new_dict = {}user_list = []# 目标用户key_value_list = target_user.items()# print(key_value_list)for key_value in key_value_list:key = key_value[0]value = key_value[1]if (good in value) & (key not in user_list):user_list.append(key)# new_dict[good] = user_list# new_table.append(new_dict)# 相似用户key_value_list = alike_user.items()# print(key_value_list)for key_value in key_value_list:key = key_value[0]value = key_value[1]if (good in value) & (key not in user_list):user_list.append(key)new_dict[good] = user_listnew_table.append(new_dict) print(new_table)
输出:
[{'a': ['A', 'B']}, {'b': ['A', 'C']}, {'d': ['A', 'D']}, {'c': ['B', 'D']}, {'e': ['C', 'D']}]
如果喜欢物品 a 的用户有 A 和 B,那么在矩阵中他们两两加1,如下图所示:
计算用户两两之间的相似度,以余弦相似度为例,对上图进行进一步计算:
# 计算余弦相似度 import pandas as pd import numpy as np df = pd.DataFrame(data=np.zeros((4,4)), columns=['A','B','C','D'],index=['A','B','C','D']) print(df) # 统计交集 for item in new_table:print(list(item.values())[0])label = list(item.values())[0]x = label[0]y = label[1]df.loc[x,y] = df.loc[x,y] + 1df.loc[y,x] = df.loc[y,x] + 1 print(df) # 计算两两之间的相似度 count_list = {} for i in ['A','B','C','D']:count = df.loc[i,:].sum()count_list[i] = count print(count_list)
输出:
A B C D
A 0.0 0.0 0.0 0.0
B 0.0 0.0 0.0 0.0
C 0.0 0.0 0.0 0.0
D 0.0 0.0 0.0 0.0
['A', 'B'] ['A', 'C'] ['A', 'D'] ['B', 'D'] ['C', 'D']
A B C D
A 0.0 1.0 1.0 1.0
B 1.0 0.0 0.0 1.0
C 1.0 0.0 0.0 1.0
D 1.0 1.0 1.0 0.0
{'A': 3.0, 'B': 2.0, 'C': 2.0, 'D': 3.0}
for i in ['A','B','C','D']:for j in ['A', 'B', 'C', 'D']:df.loc[i,j] = df.loc[i,j] / np.sqrt(count_list[i] * count_list[j]) print(df)
(二):根据用户集合给目标用户推荐物品 首先需要从矩阵中找出与目标用户 u 最相似的 K 个用户,用集合
S(u,K)
表示,将 S 中用户喜欢的物品全部提取出来,并去除 u 已经喜欢的物品。对于每个候选物品 i ,用户 u 对它感兴趣的程度用如下公式计算:
其中
rvi
表示用户 v 对 i 的喜欢程度,在本例中都是为1,在一些需要用户给予评分的推荐系统中,则要代入用户评分。举个例子,假设我们要给 A 推荐物品,选取 K = 3 个相似用户,相似用户则是: B、C、D,那么他们喜欢过并且 A 没有喜欢过的物品有:c、e,那么分别计算
p(A,c)
和p(A,e)
:
看样子用户 A 对 c 和 e 的喜欢程度可能是一样的,在真实的推荐系统中,只要按得分排序,取前几个物品就可以了。
# 计算p(A,c)和p(A,e) p_Ac = df.loc['A','B'] + df.loc['A','D'] print(f'p(A,c):{p_Ac}') p_Ae = df.loc['A','C'] + df.loc['A','D'] print(f'p(A,e):{p_Ae}') if p_Ac > p_Ae:print("用户A对c商品更感兴趣,将e商品推荐给A") elif p_Ac < p_Ae:print("用户A对e商品更感兴趣,将e商品推荐给A") else:print("用户A对c商品和e商品同样感兴趣!")
输出:
p(A,c):0.7415816237971964
p(A,e):0.7415816237971964
用户A对c商品和e商品同样感兴趣!
编程要求
根据本节关卡知识,完成本关实训。
测试说明
无
代码:
# (一):找到与目标用户兴趣相似的用户集合
# ########## Begin ##########
# 目标用户(A用户喜欢a、b、d商品)
target_user = {'A':['a','b','d']}
print(f'目标用户:{target_user}')
# 相似用户用户()
alike_user = {'B':['a','c'],'C':['b','e'],'D':['c','d','e']}
print(f'相似用户:{alike_user}')
# ########## End ##########
# 倒排表"""
a A B C
"""
# 总共商品类型
key_value = []
value1 = target_user.values()
for item in value1:for good in item:# 如果不在就添加到键值if good not in key_value:key_value.append(good)
value2 = alike_user.values()
########## Begin ##########
for item in value2:for good in item:if good not in key_value:key_value.append(good)
print(f'总共商品类型:{key_value}')
########## End ##########
new_table = []
for good in key_value:new_dict = {}user_list = []# 目标用户key_value_list = target_user.items()# print(key_value_list)for key_value in key_value_list:key = key_value[0]value = key_value[1]if (good in value) & (key not in user_list):user_list.append(key)# new_dict[good] = user_list# new_table.append(new_dict)# 相似用户key_value_list = alike_user.items()# print(key_value_list)for key_value in key_value_list:key = key_value[0]value = key_value[1]if (good in value) & (key not in user_list):user_list.append(key)new_dict[good] = user_listnew_table.append(new_dict)
print(new_table)
########## Begin ##########
# 计算余弦相似度
import pandas as pd
import numpy as np
df = pd.DataFrame(data=np.zeros((4,4)), columns=['A','B','C','D'],index=['A','B','C','D'])
print(df)
# 统计交集
for item in new_table:print(list(item.values())[0])label = list(item.values())[0]x = label[0]y = label[1]df.loc[x,y] = df.loc[x,y] + 1df.loc[y,x] = df.loc[y,x] + 1
print(df)
########## End ########### 计算两两之间的相似度
count_list = {}
for i in ['A','B','C','D']:count = df.loc[i,:].sum()count_list[i] = count
print(count_list)
# 计算余弦相似度
########## Begin ##########
for i in ['A','B','C','D']:for j in ['A', 'B', 'C', 'D']:df.loc[i,j] = df.loc[i,j] / np.sqrt(count_list[i] * count_list[j])
########## End ##########
print(df)
########## Begin ##########
# 计算p(A,c)和p(A,e)
p_Ac = df.loc['A','B'] + df.loc['A','D']
print(f'p(A,c):{p_Ac}')
p_Ae = df.loc['A','C'] + df.loc['A','D']
print(f'p(A,e):{p_Ae}')
########## End ##########
if p_Ac > p_Ae:print("用户A对c商品更感兴趣,将e商品推荐给A")
elif p_Ac < p_Ae:print("用户A对e商品更感兴趣,将e商品推荐给A")
else:print("用户A对c商品和e商品同样感兴趣!")
开始你的任务吧,祝你成功!
这篇关于相似度与相异度的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!