mysql存在10亿条数据,如何高效随机返回N条纪录,sql如何写

2023-10-28 23:45

本文主要是介绍mysql存在10亿条数据,如何高效随机返回N条纪录,sql如何写,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1 低效方案

1.使用ORDER BY RAND():

SELECT * FROM your_table
ORDER BY RAND()
LIMIT 1;
这将随机排序表中的所有行,并且通过LIMIT 1仅返回第一行,从而返回一个随机记录。然而,对于大型表来说,ORDER BY RAND()可能会导致性能问题,因为它需要对整个表进行排序。

2 高效方案

2.使用RAND()函数和WHERE子句:
SELECT * FROM your_table
WHERE RAND() <= 0.01
LIMIT 1;

这个方法将RAND()函数与一个WHERE子句一起使用,以限制只有很小一部分行被选中(在这个例子中,是1%的行),然后再从中选择一行。这种方法对于大型表来说,通常比ORDER BY RAND()更高效,
因为它不需要对整个表进行排序,但需要调整0.01的值以控制所选行的数量。
请注意,这两种方法都可以返回一个随机的记录,但是在大型表上,第一种方法可能会导致性能问题。根据你的需求和数据库规模,你可以选择适合你的方法。


3 mysql order by rand()内部查询原理

ORDER BY RAND() 在 MySQL 中用于随机排序查询结果的行。其内部工作原理如下:
生成随机数(seed): 当执行 ORDER BY RAND() 查询时,MySQL会生成一个随机种子 (seed)。这个种子通常基于系统时间或其他因素,以确保每次查询都有一个不同的种子。这个种子用来初始化伪随机数生成器。
计算随机值: 随机种子被用于伪随机数生成器,该生成器会计算一系列随机数。这些随机数将与查询结果的行相关联,以确定它们的排序顺序。
排序: 使用生成的随机数对查询结果的行进行排序。每行都与一个随机数相关联,根据这些随机数的值进行排序。这会导致行的顺序在每次查询时都不同,从而实现了随机排序。
返回结果: 排序完成后,查询返回结果,其中行的顺序是随机的。
虽然 ORDER BY RAND() 可以实现随机排序,但它在大型数据表上可能会导致性能问题,因为它需要对整个结果集进行排序。这种方法的效率不高,
特别是对于包含大量行的表。在这种情况下,可能需要考虑其他方法,例如使用 WHERE RAND() <= some_value 的方式来随机选择行,这不涉及全局排序,因此性能更好。

这篇关于mysql存在10亿条数据,如何高效随机返回N条纪录,sql如何写的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/296781

相关文章

MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

《MySQL日期时间格式化函数DATE_FORMAT()的使用示例详解》`DATE_FORMAT()`是MySQL中用于格式化日期时间的函数,本文详细介绍了其语法、格式化字符串的含义以及常见日期... 目录一、DATE_FORMAT()语法二、格式化字符串详解三、常见日期时间格式组合四、业务场景五、总结一、

mysql线上查询之前要性能调优的技巧及示例

《mysql线上查询之前要性能调优的技巧及示例》文章介绍了查询优化的几种方法,包括使用索引、避免不必要的列和行、有效的JOIN策略、子查询和派生表的优化、查询提示和优化器提示等,这些方法可以帮助提高数... 目录避免不必要的列和行使用有效的JOIN策略使用子查询和派生表时要小心使用查询提示和优化器提示其他常

C++实现回文串判断的两种高效方法

《C++实现回文串判断的两种高效方法》文章介绍了两种判断回文串的方法:解法一通过创建新字符串来处理,解法二在原字符串上直接筛选判断,两种方法都使用了双指针法,文中通过代码示例讲解的非常详细,需要的朋友... 目录一、问题描述示例二、解法一:将字母数字连接到新的 string思路代码实现代码解释复杂度分析三、

grom设置全局日志实现执行并打印sql语句

《grom设置全局日志实现执行并打印sql语句》本文主要介绍了grom设置全局日志实现执行并打印sql语句,包括设置日志级别、实现自定义Logger接口以及如何使用GORM的默认logger,通过这些... 目录gorm中的自定义日志gorm中日志的其他操作日志级别Debug自定义 Loggergorm中的

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

《mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据》文章主要介绍了如何从.frm和.ibd文件恢复MySQLInnoDB表结构和数据,需要的朋友可以参... 目录一、恢复表结构二、恢复表数据补充方法一、恢复表结构(从 .frm 文件)方法 1:使用 mysq

mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespace id不一致处理

《mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespaceid不一致处理》文章描述了公司服务器断电后数据库故障的过程,作者通过查看错误日志、重新初始化数据目录、恢复备... 周末突然接到一位一年多没联系的妹妹打来电话,“刘哥,快来救救我”,我脑海瞬间冒出妙瓦底,电信火苲马扁.

golang获取prometheus数据(prometheus/client_golang包)

《golang获取prometheus数据(prometheus/client_golang包)》本文主要介绍了使用Go语言的prometheus/client_golang包来获取Prometheu... 目录1. 创建链接1.1 语法1.2 完整示例2. 简单查询2.1 语法2.2 完整示例3. 范围值

springMVC返回Http响应的实现

《springMVC返回Http响应的实现》本文主要介绍了在SpringBoot中使用@Controller、@ResponseBody和@RestController注解进行HTTP响应返回的方法,... 目录一、返回页面二、@Controller和@ResponseBody与RestController

MySQL进阶之路索引失效的11种情况详析

《MySQL进阶之路索引失效的11种情况详析》:本文主要介绍MySQL查询优化中的11种常见情况,包括索引的使用和优化策略,通过这些策略,开发者可以显著提升查询性能,需要的朋友可以参考下... 目录前言图示1. 使用不等式操作符(!=, <, >)2. 使用 OR 连接多个条件3. 对索引字段进行计算操作4