千万级别的数据导出Redis、php

2024-08-21 23:52

本文主要是介绍千万级别的数据导出Redis、php,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

要处理千万级别数据涵盖了多表联查、条件筛选、Redis缓存优化、yield生成器优化内存,以及将数据导出到Excel文件。

方案概述

  1. 多表分步查询:避免直接的多表联查,通过逐表查询并在应用层进行数据组合,以减少数据库的锁定风险

  2. Redis 缓存:在多表联查过程中使用 Redis 进行中间结果的缓存,减少数据库查询次数。

  3. yield生成器:通过 PHP 的 yield 生成器逐条处理数据,减少内存占用。

  4. 分批导出:使用 PhpSpreadsheet 进行数据的分批写入,控制内存占用。

MySQL 表结构示例

假设有三张表 orderscustomers, 和 products,分别存储订单信息、客户信息和商品信息。

CREATE TABLE customers (id BIGINT PRIMARY KEY,name VARCHAR(255),email VARCHAR(255)
);CREATE TABLE products (id BIGINT PRIMARY KEY,name VARCHAR(255),price DECIMAL(10, 2)
);CREATE TABLE orders (id BIGINT PRIMARY KEY,customer_id BIGINT,product_id BIGINT,quantity INT,order_date DATETIME,FOREIGN KEY (customer_id) REFERENCES customers(id),FOREIGN KEY (product_id) REFERENCES products(id)
);

1. 分步查询与数据组合

首先分步查询每个表的数据,然后在应用层面合并这些数据,避免复杂的 SQL JOIN 操作

function fetchOrders($pdo, $batchSize, $offset, $conditions) {$sql = "SELECT * FROM orders WHERE $conditions LIMIT :limit OFFSET :offset";$stmt = $pdo->prepare($sql);$stmt->bindValue(':limit', $batchSize, PDO::PARAM_INT);$stmt->bindValue(':offset', $offset, PDO::PARAM_INT);$stmt->execute();return $stmt->fetchAll(PDO::FETCH_ASSOC);
}function fetchCustomers($pdo, $customerIds) {$inQuery = implode(',', array_fill(0, count($customerIds), '?'));$sql = "SELECT * FROM customers WHERE id IN ($inQuery)";$stmt = $pdo->prepare($sql);$stmt->execute($customerIds);return $stmt->fetchAll(PDO::FETCH_ASSOC);
}function fetchProducts($pdo, $productIds) {$inQuery = implode(',', array_fill(0, count($productIds), '?'));$sql = "SELECT * FROM products WHERE id IN ($inQuery)";$stmt = $pdo->prepare($sql);$stmt->execute($productIds);return $stmt->fetchAll(PDO::FETCH_ASSOC);
}function combineData($orders, $customers, $products) {$customerMap = array_column($customers, null, 'id');$productMap = array_column($products, null, 'id');foreach ($orders as &$order) {$order['customer_name'] = $customerMap[$order['customer_id']]['name'] ?? '';$order['product_name'] = $productMap[$order['product_id']]['name'] ?? '';$order['price'] = $productMap[$order['product_id']]['price'] ?? 0.0;}return $orders;
}

2. 使用 Redis 缓存中间数据

在进行下一步的查询和数据处理之前,缓存中间结果,减少重复查询。

function cacheOrdersInRedis($redis, $orders, $batchSize) {foreach ($orders as $order) {$redis->rpush('orders_cache', json_encode($order));}
}function getOrdersFromRedis($redis, $batchSize) {return array_map('json_decode', $redis->lrange('orders_cache', 0, $batchSize - 1));
}

3. 使用 yield 优化内存使用

通过 yield 逐条处理数据,避免内存占用过多。

function orderGenerator($redis, $batchSize) {while (true) {$orders = getOrdersFromRedis($redis, $batchSize);if (empty($orders)) {break;}foreach ($orders as $order) {yield $order;}// 删除已经处理的数据$redis->ltrim('orders_cache', $batchSize, -1);}
}

4. 分批导出到 Excel

使用 PhpSpreadsheet 分批写入数据到 Excel 文件中。

use PhpOffice\PhpSpreadsheet\Spreadsheet;
use PhpOffice\PhpSpreadsheet\Writer\Xlsx;function exportToExcel($filename, $dataGenerator) {$spreadsheet = new Spreadsheet();$sheet = $spreadsheet->getActiveSheet();$row = 1;foreach ($dataGenerator as $dataRow) {$col = 1;foreach ($dataRow as $value) {$sheet->setCellValueByColumnAndRow($col, $row, $value);$col++;}$row++;}$writer = new Xlsx($spreadsheet);$writer->save($filename);
}

5. 综合实现

$pdo = new PDO("mysql:host=localhost;dbname=test", "user", "pass");
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);$batchSize = 10000;
$cacheKey = "orders_cache";
$filename = "export.xlsx";// 假设要筛选最近一个月的订单
$conditions = "order_date >= DATE_SUB(NOW(), INTERVAL 1 MONTH)";// 清空 Redis 缓存
$redis->del($cacheKey);$offset = 0;
while ($orders = fetchOrders($pdo, $batchSize, $offset, $conditions)) {// 获取关联数据$customerIds = array_column($orders, 'customer_id');$productIds = array_column($orders, 'product_id');$customers = fetchCustomers($pdo, $customerIds);$products = fetchProducts($pdo, $productIds);// 合并数据$combinedData = combineData($orders, $customers, $products);// 缓存数据到 RediscacheOrdersInRedis($redis, $combinedData, $batchSize);$offset += $batchSize;
}// 使用 `yield` 生成器逐条获取数据并导出
$dataGenerator = orderGenerator($redis, $batchSize);
exportToExcel($filename, $dataGenerator);echo "Data export completed.";

优化点

  1. 分步查询:避免直接进行多表 JOIN,减少数据库锁表风险。

  2. Redis 缓存:中间结果缓存到 Redis,减少重复的数据库查询,提高效率。

  3. yield 生成器:逐条处理数据,避免一次性加载大量数据到内存中,优化内存使用。

  4. 分批导出:通过 PhpSpreadsheet 分批写入 Excel,控制内存消耗。

这样可以有效避免大规模联表查询带来的锁表问题,同时保持数据处理的效率和内存的合理使用。

 

这篇关于千万级别的数据导出Redis、php的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1094644

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个