【Python-图结构准备】“pickled object“、 调整邻接矩阵使其对称、图加自环 图邻接矩阵归一化、稀疏邻接矩阵格式转换

2024-05-14 18:04
文章标签 python 对称 object 转换 格式 结构 准备 调整 稀疏 邻接矩阵 归一化 自环 图加 pickled

本文主要是介绍【Python-图结构准备】“pickled object“、 调整邻接矩阵使其对称、图加自环 图邻接矩阵归一化、稀疏邻接矩阵格式转换，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

  • 引言：python代码学习，本博客对python的"pickled object" （腌制对象，也叫序列化对象）， 调整邻接矩阵使其对称、图加自环 & 图邻接矩阵归一化、稀疏邻接矩阵格式转换从代码实现的角度进行介绍。我们先引入一段代码，通过这段代码来解释相应的知识点。
with open('data/' + args.dataset + '_mean_' + args.diffusion_model + str(10*args.seed_rate) + '.SG', 'rb') as f:graph = pickle.load(f)adj, inverse_pairs = graph['adj'], graph['inverse_pairs']adj = adj + adj.T.multiply(adj.T > adj) - adj.multiply(adj.T > adj)
adj = normalize_adj(adj + sp.eye(adj.shape[0]))
adj = torch.Tensor(adj.toarray()).to_sparse()
  • 上述代码是什么意思呢？我们逐行来分析。

知识点一：pickled object

  • “pickled object”（腌制对象）是指一个已经被序列化（serialized）的对象。序列化是将对象的状态信息转换为可以存储或传输的形式的过程。在Python中，这个过程通常是通过pickle模块来完成的。

  • 当使用pickle模块的dump函数将一个对象序列化到一个文件或字节流中时，这个对象就被"pickled"（腌制）了。序列化后的数据可以被存储在文件中，通过网络传输，或者以其他方式保存，被"pickled"的数据可以被pickle模块的load函数重新加载，恢复成原始的对象。

  • 例如，如果你有一个复杂的Python对象，比如一个包含多个嵌套字典和列表的数据结构，你可以使用pickle将其序列化到一个文件中：

import pickle
# 创建一个复杂的数据结构
data = {'name': 'Alice','age': 30,'friends': ['Bob', 'Charlie'],'scores': {'math': 90, 'english': 85}
}
# 将数据结构序列化到一个文件中
with open('data.pkl', 'wb') as f:pickle.dump(data, f)
  • 之后，你可以使用pickle.load函数从文件中加载这个pickled对象，并恢复成原始的数据结构：
# 从文件中加载pickled对象
with open('data.pkl', 'rb') as f:loaded_data = pickle.load(f)
# 现在loaded_data包含了原始的数据结构
print(loaded_data)
  • 需要注意的是，pickle模块是Python特有的，它生成的序列化数据是依赖于Python的实现细节的，因此不能跨语言使用。此外，由于pickle可以重建任何Python对象，包括执行代码，因此它可能存在安全风险，不应该用于加载不受信任或未经身份验证的数据。

知识点二 调整邻接矩阵使其对称

  • 本文开头提到的代码中，adj, inverse_pairs = graph['adj'], graph['inverse_pairs'] 这行代码从名为graph的字典中提取了两个键值对，adj和inverse_pairs。adj通常代表图的邻接矩阵，而inverse_pairs则是一些额外的图信息。
  • adj = adj + adj.T.multiply(adj.T > adj) - adj.multiply(adj.T > adj) ：
    • adj.T 是矩阵 adj 的转置矩阵。
    • (adj.T > adj) 是一个布尔矩阵，其中每个元素是 adj.T 中的元素与 adj 中对应位置的元素比较的结果。如果 adj.T 中的元素大于 adj 中的对应元素，则该位置为 True，否则为 False。
    • adj.T.multiply(adj.T > adj) 是矩阵乘法，它将 adj.T 中的每个元素与其对应位置的布尔值相乘。如果布尔值为 True，则结果是 adj.T 中的元素；如果布尔值为 False，则结果是 0。
    • adj.multiply(adj.T > adj) 是同样的操作，但是这次是使用 adj 矩阵。
    • adj + adj.T.multiply(adj.T > adj) - adj.multiply(adj.T > adj) 将原始矩阵 adj 与步骤3的结果相加，然后减去步骤4的结果。
    • 最终，这行代码的结果是一个新的矩阵，其中每个元素是原始矩阵 adj 中的元素，如果 adj.T 中的对应元素大于 adj 中的元素，则该元素被替换为 adj.T 中的对应元素；否则，该元素保持不变。换句话说，这行代码将 adj 中的每个元素替换为 adj.T 中对应位置的元素，前提是 adj.T 中的元素大于 adj 中的元素。
    • 如果用数学表达式来描述这个操作，对于矩阵 adj 中的每个元素 a_ij，新的值 a’_ij 将是：a'_ij = a_ij + (a_ji - a_ij) * (a_ji > a_ij)，其中 a_ji 是 adj 的转置矩阵中对应位置的元素。如果 a_ji > a_ij，则 a’_ij = a_ji；否则，a’_ij = a_ij。

知识点三 图加自环 & 图邻接矩阵归一化

  • adj = normalize_adj(adj + sp.eye(adj.shape[0])) 这行代码调用了一个名为normalize_adj的函数，该函数用于归一化邻接矩阵。在归一化之前，它先将单位矩阵（sp.eye(adj.shape[0])）加到adj上。单位矩阵的对角线元素都是1，非对角线元素都是0，这个操作是为了确保每个节点至少与自己相连（自环）。
  • 其中 normalize_adj函数为：
def normalize_adj(mx):"""Row-normalize sparse matrix"""rowsum = np.array(mx.sum(1))r_inv_sqrt = np.power(rowsum, -0.5).flatten()r_inv_sqrt[np.isinf(r_inv_sqrt)] = 0.r_mat_inv_sqrt = sp.diags(r_inv_sqrt)return mx.dot(r_mat_inv_sqrt).transpose().dot(r_mat_inv_sqrt)

  • rowsum = np.array(mx.sum(1)) ：这行代码计算了输入矩阵 mx 的每行之和，并将结果存储在 rowsum 数组中。

  • r_inv_sqrt = np.power(rowsum, -0.5).flatten()：这行代码计算了 rowsum 数组中每个元素的负二分之一次方，即求每个行和的平方根的倒数。这样做的目的是为了准备对矩阵进行归一化。flatten() 函数将结果展平为一维数组。

  • r_inv_sqrt[np.isinf(r_inv_sqrt)] = 0. ：这行代码检查 r_inv_sqrt 数组中是否有无穷大的值（这可能是因为行和为0导致的），并将这些无穷大的值替换为0。

  • r_mat_inv_sqrt = sp.diags(r_inv_sqrt)：这行代码使用 r_inv_sqrt 数组创建了一个对角稀疏矩阵 r_mat_inv_sqrt，其中对角线上的元素是 r_inv_sqrt 中的值。

  • return mx.dot(r_mat_inv_sqrt).transpose().dot(r_mat_inv_sqrt) ：这行代码返回了归一化后的矩阵。首先，mx.dot(r_mat_inv_sqrt) 将原始矩阵 mx 与 r_mat_inv_sqrt 相乘，这实际上是对 mx 的每一列进行缩放，使得每行的和为1。然后，transpose() 函数将结果转置，接着再次与 r_mat_inv_sqrt 相乘。这个转置和再次相乘的操作确保了归一化后的矩阵是对称的，这在图数据处理中是常见的，因为邻接矩阵通常是对称的。

知识点四 稀疏矩阵格式转换

  • adj = torch.Tensor(adj.toarray()).to_sparse() 这行代码将归一化后的邻接矩阵从稀疏矩阵格式转换为密集矩阵格式（toarray()），然后将其转换为PyTorch张量（torch.Tensor）。最后，它将这个张量转换为稀疏张量（to_sparse()）。稀疏张量是一种优化表示，用于存储大多数元素为0的矩阵，这样可以节省内存和计算资源。
    在这行代码中，toarray() 和 to_sparse() 是两个不同的操作，它们分别将稀疏矩阵转换为密集数组，然后再将密集数组转换回稀疏张量。下面是这两个操作的详细解释：

  • toarray() ：这个方法用于将稀疏矩阵（通常是 SciPy 的稀疏矩阵格式，如 scipy.sparse.csr_matrix 或 scipy.sparse.csc_matrix）转换为密集数组（即 NumPy 数组）。稀疏矩阵是一种特殊的矩阵表示形式，它只存储非零元素的位置和值，而不是存储整个矩阵的所有元素，这样可以节省内存和计算资源，特别是当矩阵非常稀疏时。toarray() 方法将稀疏矩阵转换为常规的二维数组，其中包含了所有元素，包括零元素。

  • to_sparse() ：这个方法用于将密集张量（在 PyTorch 中是 torch.Tensor）转换为稀疏张量。在 PyTorch 中，稀疏张量是一种特殊的数据结构，它只存储非零元素的位置和值。这种表示形式对于处理大规模稀疏数据非常有用，因为它可以减少内存使用并提高计算效率。to_sparse() 方法创建一个稀疏张量，其中包含了密集张量中的非零元素。

  • 这行代码的意义在于：首先，它将原始的稀疏矩阵转换为密集数组，这可能是因为某些操作（如矩阵乘法）在密集数组上更容易执行，或者是因为需要将数据转换为 PyTorch 可以处理的格式。然后，它将密集数组转换回稀疏张量。这可能是因为在 PyTorch 中进行后续的稀疏矩阵操作，或者是因为稀疏张量在内存使用和计算效率方面有优势。

这篇关于【Python-图结构准备】“pickled object“、 调整邻接矩阵使其对称、图加自环 图邻接矩阵归一化、稀疏邻接矩阵格式转换的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/989462。

相关文章

python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...
usaco 1.3 Mixing Milk (结构体排序 qsort) and hdu 2020(sort)

usaco 1.3 Mixing Milk (结构体排序 qsort) and hdu 2020(sort)

到了这题学会了结构体排序 于是回去修改了 1.2 milking cows 的算法~ 结构体排序核心： 1.结构体定义 struct Milk{int price;int milks;}milk[5000]; 2.自定义的比较函数，若返回值为正，qsort 函数判定a>b ；为负，a<b；为0，a==b； int milkcmp(const void *va,c
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
nudepy，一个有趣的 Python 库！

nudepy，一个有趣的 Python 库！

更多资料获取 📚 个人网站：ipengtao.com 大家好，今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址：https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中，检测图像中的不适当内容（例如裸露图像）是一个重要的任务。nudepy 是一个基于 Python 的库，专门用于检测图像中的不适当内容。该
阅读更多...
自定义类型：结构体(续)

自定义类型：结构体(续)

目录 一. 结构体的内存对齐 1.1 为什么存在内存对齐？ 1.2 修改默认对齐数 二. 结构体传参 三. 结构体实现位段 一. 结构体的内存对齐 在前面的文章里我们已经讲过一部分的内存对齐的知识，并举出了两个例子，我们再举出两个例子继续说明： struct S3{double a;int b;char c;};int mian(){printf("%zd\n",s
阅读更多...
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

在 Python 开发中，管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等，都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools？ pip-tools 是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。它主要包含两个核心工具：pip-compile 和 pip
阅读更多...
HTML提交表单给python

HTML提交表单给python

python 代码 from flask import Flask, request, render_template, redirect, url_forapp = Flask(__name__)@app.route('/')def form():# 渲染表单页面return render_template('./index.html')@app.route('/submit_form',
阅读更多...
easyui同时验证账户格式和ajax是否存在

easyui同时验证账户格式和ajax是否存在

accountName: {validator: function (value, param) {if (!/^[a-zA-Z][a-zA-Z0-9_]{3,15}$/i.test(value)) {$.fn.validatebox.defaults.rules.accountName.message = '账户名称不合法（字母开头，允许4-16字节，允许字母数字下划线）';return fal
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2