隐私保护多领域推荐的紧密度共聚类联邦概率偏好分布模型

2023-11-04 23:52
文章标签 分布 推荐 模型 保护 隐私 领域 概率 共聚 联邦 偏好 紧密度

本文主要是介绍隐私保护多领域推荐的紧密度共聚类联邦概率偏好分布模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

论文链接

Federated Probabilistic Preference Distribution Modelling with Compactness Co-Clustering for Privacy-Preserving Multi-Domain Recommendation

引言

这篇论文提出的概率偏好分布是通过使用高斯分布来表示用户和项目的偏好。在论文中，作者提出了一种名为Federated Probabilistic Preference Distribution Modelling（联邦概率偏好分布建模）的新方法，该方法旨在解决隐私保护的多领域推荐问题。该方法在局部领域中建模用户/项目的概率偏好分布，并通过全局服务器聚合这些用户偏好分布。此外，作者还提出了一种紧凑性共聚类方法，用于在FPPDM++中利用用户的相似性关系。这种方法可以聚集具有相似口味或特征的用户。

相关工作

这部分主要工作概述了相关研究领域的发展，以及与本文提出的工作方法的关系。本文主要关注的是在保护用户隐私的情况下，如何在多个领域之间提供高质量的推荐。现有的跨领域推荐（CDR）模型在解决保护用户隐私的多领域推荐问题方面表现不佳。此外，这些多个领域都遇到了数据稀疏性问题。
文章首先介绍了一些跨领域推荐（CDR）模型，如DARec、DOML和CDRIB等。这些模型在处理多领域推荐问题时，主要关注用户-项目交互作用，而忽略了潜在的语义关系。此外，这些模型主要依赖嵌入而非分布来表示用户和项目，这可能导致在某些情况下的不准确理解用户的偏好。
接下来，文章提出了基于联邦学习的FPPDM（Federated Probabilistic Preference Distribution Modelling）方法，用于在保护用户隐私的情况下，解决多领域推荐问题。FPPDM涉及两个主要组件，即本地领域建模组件和全局服务器聚合组件。本地领域建模组件利用神经网络捕获用户/项目的偏好分布，通过在本地领域建模用户-项目评分交互作用。全局服务器聚合组件则聚集用户的偏好分布，并将它们发送回本地领域。
为了进一步利用用户的相似性关系，文章还提出了一种紧凑性共聚类方法，用于FPPDM++。紧凑性共聚类方法可以基于用户的口味或特征聚集用户，从而提供更满意的结果。通过使用紧凑性共聚类方法，模型能够在保护用户隐私的情况下，实现高质量的跨领域推荐。

方法论

这部分主要内容描述了Federated Probabilistic Preference Distribution Modelling（FPPDM）框架的设计以及如何解决Privacy-Preserving Multi-Domain Recommendation（PP-MDR）问题。FPPDM框架包括两个主要组件：1）本地领域建模组件，用于基于用户-项目评分交互来建模用户/项目的概率偏好分布；2）全局服务器聚合组件，负责聚合用户的偏好分布并将它们发送回到本地领域。
在FPPDM++中，作者提出了一种紧凑性共聚类方法，通过聚类用户的偏好分布来进一步提高推荐结果的准确性。这种方法可以聚集具有类似偏好或特征的用户，从而在保护用户隐私的同时提供更满意的推荐结果。
在这里插入图片描述

联邦概率偏好分布(FPPDM)

客户端领域建模组件

FPPDM涉及两个主要的组件：本地领域建模组件和全局服务器聚合组件。本地领域建模组件用于基于用户-项目评分交互来建模用户/项目的概率偏好分布。

  • 定义用户和项目的一热编码向量；
  • 利用图卷积神经网络（GCNN）建模用户/项目的偏好分布；
  • 利用用户和项目交互的信息建立用户-项目交互图；
  • 通过引入用户嵌入和项目嵌入来更好地聚合有用信息；
  • 利用分布基于的度量学习损失函数训练模型来预测用户对项目的评分；
  • 提出一个正则化项以减小相应的本地用户分布与全局用户分布之间的距离；
  • 将训练好的本地用户分布发送到全局服务器。

为减小相应的本地用户分布与全局用户分布之间的距离，我们提出了以下正则化项：
L P = ∑ k ( µ k − µ ) 2 + ∑ k ( σ k 2 − σ 2 ) 2 L_P = ∑_k (µ_k - µ)^2 + ∑_k (σ_k^2 - σ^2)^2 LP​=∑k​(µk​−µ)2+∑k​(σk2​−σ2)2
其中， D k = d i a g ( A k 1 ) D_k = diag(A_k 1) Dk​=diag(Ak​1)表示 k − t h k-th k−th 领域的度矩阵， A k A_k Ak​ 表示 k − t h k-th k−th 领域的用户和项目的交互关系矩阵，I 是单位矩阵。
这个正则化项通过计算 µ k µ_k µk​（k-th 领域的用户均值）与全局用户均值µ之间的平方差和 σ k 2 σ_k^2 σk2​
（k-th 领域的用户协方差）与全局用户协方差 σ 2 σ^2 σ2之间的平方差，来约束本地用户分布与全局用户分布的差异。通过优化这个正则化项，我们可以使本地用户分布与全局用户分布更接近，从而提高推荐效果。
使得本地用户和全局用户分布更加接近的作用如下：

  1. 改善用户偏好建模：本地用户分布与全局用户分布更接近可以更准确地建模用户偏好，特别是在数据稀疏性问题下。这有助于提高推荐系统的准确性和性能。
  2. 知识聚合和共享：通过使本地用户分布与全局用户分布更接近，可以更好地聚合和共享不同领域的用户信息，从而提高跨领域推荐的性能。
  3. 私保推荐：在保护用户隐私的前提下，使本地用户分布与全局用户分布更接近有助于实现高质量的跨领域推荐，同时避免了直接在不同领域上共享用户-项目评分信息的问题。
  4. 用户归类：通过使本地用户分布与全局用户分布更接近，可以更好地归类用户，从而在推荐过程中提供更个性化和准确的推荐结果。
全局服务器聚合组件

这部分的内容关于全局服务器聚合组件，主要讨论了在多个不同的领域之间聚合和更新用户分布。全局服务器聚合组件的主要任务是处理来自多个不同领域的用户分布，并将它们聚合到一个全局用户分布中，以便在多个领域之间共享知识。通过这种聚合和更新，全局服务器聚合组件可以在数据稀疏性问题下提高用户-项目建模的准确性。
全局服务器聚合组件的关键工作是：
聚合和更新全局用户分布：全局服务器聚合组件利用用户-项目评分交互来建模用户的偏好分布。在训练过程中，本地领域会将用户分布发送到全局服务器，并在全局服务器中聚合和更新全局用户分布。
保护用户隐私：全局服务器聚合组件只需输送用户偏好分布的均值和协方差，而不是原始用户-项目评分交互。这样做可以防止恢复原始用户-项目评分交互，同时还可以通过加密方法（如同态加密）来进一步增强安全性。
总之，全局服务器聚合组件的主要功能是聚合和更新用户偏好分布，以解决隐私保护多领域推荐（PPMDR）问题。通过这种聚合和更新，全局服务器聚合组件可以在数据稀疏性问题下提高用户-项目建模的准确性。

用户偏好分布的均值和协方差
  1. 均值（Mean）表示用户在不同项目上的平均偏好。均值为向量形式，其中每个元素表示用户对某个项目的偏好。
  2. 协方差（Covariance）表示用户在不同项目上的偏好关系。协方差为矩阵形式，其中每个元素表示用户在两个项目上的偏好关系。

(FPPDM++)

++相比普通版本提出了紧凑型聚类的策略。
在论文中，紧凑性聚类的策略是通过两个主要组件实现的：局部领域建模组件和全局服务器聚合组件。局部领域建模组件用于基于用户与物品之间的评分交互来建模用户/物品的概率偏好分布。全局服务器聚合组件旨在收集重叠用户信息以进行知识共享。
为了更好地实现推荐结果，研究人员在FPPDM++中提出了紧凑性聚类方法。该方法旨在利用具有相似喜好和特征的用户进行聚类。同时，利用紧凑性聚类策略还可以进一步减少数据稀疏性问题。
具体来说，紧凑性聚类方法通过以下步骤来实现：

  1. 首先，根据领域内用户的相似性，计算用户之间的相似度。
  2. 然后，将用户分成M个组，以获得更紧凑的用户表示。
  3. 接下来，利用熵-based K-Means方法来确定每个数据与相应聚类之间的关系。
  4. 最后，通过最小化局部用户分布与这些聚类分布之间的距离，缩小局部用户分布与聚类分布之间的距离。
  5. 通过紧凑性聚类，具有相似喜好或特征的用户将具有更紧凑的表示。这种策略可以提高模型性能，并提供更准确的推荐结果。
    这篇论文使用基于熵的Kmeans聚类方法，这是本文与其他论文看到的一个不一样的地方。
    基于熵的聚类方比比普通聚类方法相比，不仅要求聚类中的各个元素相似度尽可能的高，还要求聚类中的点域其他聚类中的点尽可能的相似度低。
    在这里插入图片描述

实验

实验设置

  • 数据集：介绍了Douban和Amazon两个数据集的详细信息。
  • 基线：列举了比较的最先进模型，包括DARec、DOML、CDRIB、FedMF和PriCDR。
  • 实验设置：描述了实验中的不同任务，如Douban的多领域推荐和Amazon的跨领域推荐任务。
  • 评估指标：用于评估推荐性能的指标，如Top@5和Top@10。
  • 实验过程：描述了实验过程中的五个随机实验并计算平均结果。

推荐性能

这部分主要内容描述了在Douban和Amazon数据集上的推荐性能比较。作者将FPPDM与其他最先进模型（如PMLAM、NeuMF、DARec、DOML、CDRIB和FedMF）进行比较。实验结果表明，FPPDM在Douban和Amazon数据集上的性能明显优于其他模型。此外，FPPDM++通过引入紧密共聚方法，进一步提高了模型性能。

分析

本部分主要探讨了FPPDM（联邦概率偏好分布建模）与其几个变体（FPPDM++）在Douban和Amazon数据集上的性能比较。FPPDM++揭示了如何通过利用用户的偏好分布和使用紧凑型共聚簇策略来提高模型性能。
实验结果表明，FPPDM++在两个数据集上均取得了较好的性能，尤其是在保护用户隐私的多领域推荐设置下。此外，FPPDM++与其几个变体的性能进行了比较，以了解每个组件如何对最终性能做出贡献。通过比较不同的实验结果，可以得出FPPDM++在保护用户隐私的同时，能够更好地捕捉用户的偏好，并在多领域推荐挑战中取得较好的性能。

结论

在本文中，提出了一种名为联邦概率偏好分布建模（FPPDM）的方法，用于解决多领域推荐问题。该方法通过将用户和项目的分布建模为高斯分布，并使用联邦学习策略在多个领域之间共享用户的偏好信息。此外，我们还提出了一种具有紧凑性的协同聚类方法，以进一步提高模型性能。通过在Douban和Amazon数据集上的实证研究，我们证明了所提出的方法在保护隐私的同时，能够显著提高推荐效果。

这篇关于隐私保护多领域推荐的紧密度共聚类联邦概率偏好分布模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/346041。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
深入探索协同过滤：从原理到推荐模块案例

深入探索协同过滤：从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤（UserCF）2. 基于物品的协同过滤（ItemCF）3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代，推荐系统成为连接用户与内容的桥梁。本文聚焦于
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
hdu4865(概率DP)

hdu4865(概率DP)

题意：已知前一天和今天的天气概率，某天的天气概率和叶子的潮湿程度的概率，n天叶子的湿度，求n天最有可能的天气情况。 思路：概率DP，dp[i][j]表示第i天天气为j的概率，状态转移如下：dp[i][j] = max(dp[i][j, dp[i-1][k]*table2[k][j]*table1[j][col] )  代码如下： #include <stdio.h>#include
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2