使用堆查找前K个最大值兼谈程序优化(下)

2023-12-12 18:48

本文主要是介绍使用堆查找前K个最大值兼谈程序优化(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


         在建立正确性的回归测试之后,继续前进。  首先用性能工具分析下, 发现有点悲剧: 效率又倒退了。去除不必要的系统调用后, Profile分析结果如下:

         

         

          七、 一些小改进

          生成一亿个随机数也比较耗时, 可以看到rand()耗费时间并不多,但creatListInternal 耗费时间却很多, 可以推断, 模运算上耗费了很多时间。可以消除模运算。使用(1+rand()+rand()) * (1+rand()) 来生成随机数, (1-65535)*(1-32768) ,可以随机生成1- 65535*32768 之间的任何数。当然,这只是个简单的算法,会有重复元素。 此外,还可以启用编译器优化选项。

          

          八、 聚焦热点区域, 减少比较次数

          不去优化次要的地方,再次聚焦热点区域。 可以发现,fastFindkthMax 的主要时间几乎都花在 fastMaxHeapify 上。 只要改进 fastMaxHeapify 的比较次数即可。 对于结点有左右孩子结点的大多数情形,原来的实现中,总要进行两次与heapsize的比较; 但事实上只需要进行一次比较, 对相应代码做一些改动, 即可获得一定的提速。代码如下:

if (rch <= heapsize) {if ((*(list+lch)) > temp) {curr_largest = lch;}  if ((*(list+rch)) > (*(list+curr_largest))) {curr_largest = rch;}}else {if (lch <=heapsize && (*(list+lch)) > temp) {curr_largest = lch;}}

          

          

          九、 高速缓存的影响

          在(上篇)中,一位博友提醒说高速缓存也起着重要的影响。 感谢他的提醒! 鉴于自己在这方面掌握不够扎实,暂时留空。

          十、  回到算法, 思路比较

         要提速,还是要寻找更好的算法改进。 有没有更好的算法呢?  本文的算法有点“笨拙”, 先分配N个数,然后对这N个数建最大堆, 最后依次找出K个最大数。另有两种思路如下:

         1.  最小堆。 首先在N个数中选择K个数建立K个元素的最小堆。 接着, for i = K+1 to N : 如果 i 小于最小堆的根元素, 那么直接不做理会; 如果 i 大于最小堆的根元素,那么, 将其替代堆的根元素,并重构最小堆。 其正确性如下: A。 初始状态下, 堆中所有元素都比空元素大; B。 对于每次重构最小堆之后, 堆中的元素总是比被替代出来的所有元素要大;C。 当循环结束后,堆中的元素就比所有不在堆中的元素要大。其效率为 O(K + NlogK) ; 

         2.  分治。 分而治之总是一种有效的策略。 先将N个数分成b 堆, 每堆 N/b 个数。 对于每个堆找出前K个从大到小排序的最大数 b*O(N/b+Klog(N/b)) ;最后, 在这b个堆的已排序的K个最大数(bK)找出前K个最大数(O(b+(K-1)logb))。这种算法对于多处理器、并行执行机器更为有效,其时间为O(N/b+Klog(N/b)+b+(K-1)logb) + C(N), C是通信时间。对于大数据量处理来说, 并行算法是一种非常值得研究的领域。 

          

          

这篇关于使用堆查找前K个最大值兼谈程序优化(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/485598

相关文章

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm

Java Optional的使用技巧与最佳实践

《JavaOptional的使用技巧与最佳实践》在Java中,Optional是用于优雅处理null的容器类,其核心目标是显式提醒开发者处理空值场景,避免NullPointerExce... 目录一、Optional 的核心用途二、使用技巧与最佳实践三、常见误区与反模式四、替代方案与扩展五、总结在 Java

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

Qt中QUndoView控件的具体使用

《Qt中QUndoView控件的具体使用》QUndoView是Qt框架中用于可视化显示QUndoStack内容的控件,本文主要介绍了Qt中QUndoView控件的具体使用,具有一定的参考价值,感兴趣的... 目录引言一、QUndoView 的用途二、工作原理三、 如何与 QUnDOStack 配合使用四、自

C++使用printf语句实现进制转换的示例代码

《C++使用printf语句实现进制转换的示例代码》在C语言中,printf函数可以直接实现部分进制转换功能,通过格式说明符(formatspecifier)快速输出不同进制的数值,下面给大家分享C+... 目录一、printf 原生支持的进制转换1. 十进制、八进制、十六进制转换2. 显示进制前缀3. 指

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

shell编程之函数与数组的使用详解

《shell编程之函数与数组的使用详解》:本文主要介绍shell编程之函数与数组的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录shell函数函数的用法俩个数求和系统资源监控并报警函数函数变量的作用范围函数的参数递归函数shell数组获取数组的长度读取某下的

使用Python开发一个带EPUB转换功能的Markdown编辑器

《使用Python开发一个带EPUB转换功能的Markdown编辑器》Markdown因其简单易用和强大的格式支持,成为了写作者、开发者及内容创作者的首选格式,本文将通过Python开发一个Markd... 目录应用概览代码结构与核心组件1. 初始化与布局 (__init__)2. 工具栏 (setup_t

Python虚拟环境终极(含PyCharm的使用教程)

《Python虚拟环境终极(含PyCharm的使用教程)》:本文主要介绍Python虚拟环境终极(含PyCharm的使用教程),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录一、为什么需要虚拟环境?二、虚拟环境创建方式对比三、命令行创建虚拟环境(venv)3.1 基础命令3

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理(NLP)领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用:Pi