【Educoder数据挖掘实训】相似度与相异度

本文主要是介绍【Educoder数据挖掘实训】相似度与相异度，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

【Educoder数据挖掘实训】相似度与相异度

开挖！！！！！！

T1 用相关系数计算直线之间的相似度

这关分为没啥关系的三部分，分别是欧几里得相关系数、余弦相关系数和泊松相关系数。
他们的公式都比较直观：
欧几里得相关系数的计算方式是按照对应点的相对距离来算的，也就是 $\sqrt{\sum\limits_{i = 1}^{n}(x_i - y_i)^2}$ .
余弦相关系数则将两个数据看做两个 $n$ 维向量，计算方式为： $cos(\theta) = \frac{\sum\limits_{i = 1}^n (x_i\times y_i)}{\sum\limits_{i = 1}^{n}x_i^2\sum\limits_{i = 1}^{n}y_i^2}$ 。
泊松相关系数将两个数据看成是数据集，计算方式为： $\rho_{XY} = \frac{E((X - EX)(Y - EY))}{\sqrt{DX}\sqrt{DY}}$ 。

其中第一部分代码只需要按照公式复刻一遍即可。
泊松部分的代码需要认真看一眼实训，实训给出的样例中提及了日期，只需要复制另一个人的日期即可。
代码如下：

# 欧几里得相关系数
def euclidean(p, q):# 如果两数据集数目不同，计算两者之间都对应有的数same = 0for i in p:if i in q:same += 1# 计算欧几里德距离,并将其标准化# ***********Begin**********e = sum([(p[i] - q[i]) ** 2 for i in range(same)])# ************End***********   return 1 / (1 + e ** 0.5)
print("欧几里得计算出的相似度为",euclidean([1, 2, 3, 4, 5], [2, 4, 6,8, 10]))
# 余弦相似度
def cosine_similarity(x, y):xx = 0.0yy = 0.0xy = 0.0for i in range(len(x)):xx += x[i] * x[i]yy += y[i] * y[i]xy += x[i] * y[i]xx_sqrt = xx ** 0.5yy_sqrt = yy ** 0.5cos = xy/(xx_sqrt*yy_sqrt)return cos
print('余弦相关系数计算出的相似度为',cosine_similarity([5,3],[5,8]))
#泊松相关系数
import scipy
import numpy
from scipy.stats import pearsonr
########## Begin ##########
x =numpy.array([0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1])
########## End ##########
y =numpy.array([1,1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,3])
r_row, p_value = pearsonr(x, y)
print ("用户(UID)84001033与用户(UID)84001003从2004/1/20到4/20/20这段日期的相似度为",r_row)

T2 基于相似度度量的商品推荐

这一关主要提及了 $J a cc a r d$ 公式和余弦相似度，并在代码里要求复现余弦相似度的过程。

这个过程的核心思想是，将用户的喜欢商品列表转换成：每个商品被哪些用户喜欢。
我们将喜欢列表成为表 $1$ ，被喜欢列表成为表 $2$ 。
在构造系数的时候，对于两个不同的用户取二者表 $1$ 的交集计算数量加到一个横纵元素都为全体用户的表中，例如用户 $A$ 和用户 $B$ 共同喜欢三个商品 $a, b, c$ ，那么空表中 $(A, B), (B, A)$ 都为 $3$ 。
然后我们用余弦计算公式把该表中所有整数都计算为余弦相似度。

对于每个用户 $P$ 在推荐商品的时候，对于一个商品 $x$ ， $x$ 的表 $2$ 中每一个用户除去 $P$ 的余弦值加在一起，成为 $x$ 的推荐度。取所有 $P$ 的表 $1$ 里没有的商品中推荐值最大的商品推荐给 $P$ 即可。

# （一）：找到与目标用户兴趣相似的用户集合
########## Begin ##########
# 目标用户(A用户喜欢a、b、d商品)
target_user = {'A':['a','b','d']}
print(f'目标用户：{target_user}')
# 相似用户用户()
alike_user = {'B': ['a','c'],'C': ['b','e'],'D':['c','d','e']}
print(f'相似用户：{alike_user}')
########## End ##########
# 倒排表
"""
a A B C
"""
# 总共商品类型
key_value = []
value1 = target_user.values()
for item in value1:for good in item:# 如果不再就添加到键值if good not in key_value:key_value.append(good)
value2 = alike_user.values()
########## Begin ##########
for item in value2:for good in item:if good not in key_value:key_value.append(good)
print(f'总共商品类型：{key_value}')
########## End ##########
new_table = []
for good in key_value:new_dict = {}user_list = []# 目标用户key_value_list = target_user.items()# print(key_value_list)for key_value in key_value_list:key = key_value[0]value = key_value[1]if (good in value) & (key not in user_list):user_list.append(key)# new_dict[good] = user_list# new_table.append(new_dict)# 相似用户key_value_list = alike_user.items()# print(key_value_list)for key_value in key_value_list:key = key_value[0]value = key_value[1]if (good in value) & (key not in user_list):user_list.append(key)new_dict[good] = user_listnew_table.append(new_dict)
print(new_table)
########## Begin ##########
# 计算余弦相似度
import pandas as pd
import numpy as np
df = pd.DataFrame(data=np.zeros((4,4)), columns=['A','B','C','D'],index=['A','B','C','D'])
print(df)
# 统计交集
for item in new_table:print(list(item.values())[0])label = list(item.values())[0]x = label[0]y = label[1]df.loc[x,y] = df.loc[x,y] + 1df.loc[y,x] = df.loc[y,x] + 1
print(df)
########## End ##########
# 计算两两之间的相似度
count_list = {}
for i in ['A','B','C','D']:count = df.loc[i,:].sum()count_list[i] = count
print(count_list)
# 计算余弦相似度
########## Begin ##########
for i in ['A','B','C','D']:for j in ['A', 'B', 'C', 'D']:df.loc[i,j] = df.loc[i,j] / np.sqrt(count_list[i] * count_list[j])
########## End ##########
print(df)
########## Begin ##########
# 计算p(A,c)和p(A,e)
p_Ac = df.loc['A','B'] + df.loc['A','D']
print(f'p(A,c):{p_Ac}')
p_Ae = df.loc['A','C'] + df.loc['A','D']
print(f'p(A,e):{p_Ae}')
########## End ##########
if p_Ac > p_Ae:print("用户A对c商品更感兴趣，将e商品推荐给A")
elif p_Ac < p_Ae:print("用户A对e商品更感兴趣，将e商品推荐给A")
else:print("用户A对c商品和e商品同样感兴趣！")