调优专题
Hadoop企业开发案例调优场景
需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4 3 3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
JVM内存调优原则及几种JVM内存调优方法
JVM内存调优原则及几种JVM内存调优方法 1、堆大小设置。 2、回收器选择。 1、在对JVM内存调优的时候不能只看操作系统级别Java进程所占用的内存，这个数值不能准确的反应堆内存的真实占用情况，因为GC过后这个值是不会变化的，因此内存调优的时候要更多地使用JDK提供的内存查看工具，比如JConsole和Java VisualVM。 2、对JVM内存的系统级的调优主要的目的是减少
Linux系统性能调优详解
前言 在服务器运维和管理中，Linux系统的性能调优是确保服务稳定性和响应速度的关键。通过对系统进行细致的调优，可以显著提升处理能力，优化资源利用率。本文将详细介绍Linux性能调优的多个方面，包括系统监控、磁盘优化、内存管理、网络配置等，并提供实用的技巧和工具。 简介 Linux性能调优是一个涉及多个层面的复杂过程，旨在确保系统资源得到最佳利用，从而提高整体性能和响应速度。 调优实践
高性能计算应用优化之代码实现调优(一)
本章将介绍代码实现过程中使用到的调优方法。在软件开发早期，开发者更多关注代码功能的实现，对代码的性能关注较少，随着代码规模增加，不合理的代码实现方法所带来的性能包袱逐渐凸显。因此，需要对原有代码实现进行优化，如修改不合理的访存顺序，使代码更易于被编译器优化等。 浮点数运算 浮点数运算是科学计算中开销最大的部分之一，特别是双精度除法，合理地设计实现浮点数运算环节可以显著提高程序的性能。 由于单
经验笔记：SQL调优
SQL调优经验笔记 引言 SQL调优是确保数据库系统高效运行的重要环节。通过对查询语句、数据库配置、硬件资源等方面进行优化，可以显著提升数据库性能，进而增强应用程序的整体表现。以下是基于常见调优手段和实践经验整理的一份经验笔记。 1. 查询语句优化 1.1 避免使用SELECT * 只选择需要的列，减少不必要的数据传输。 示例： -- 不推荐SELECT * FROM users WH
Flink在大规模状态数据集下的checkpoint调优
今天接到一个同学的反馈问题，大概是： Flink程序运行一段时间就会报这个错误，定位好多天都没有定位到。checkpoint时间是5秒，20秒都不行。 Caused by: java.io.IOException: Could not flush and close the file system output stream to hdfs://HDFSaaaa/flink/PointWid
学不会去当产品吧？Flink实战任务调优
背景 在大数据领域我们都知道，开发是最简单，任务的合理调优、问题排查才是最重要的。 我们在之前的文章《Flink面试通关手册》中也讲解过，作者结合线上出现的一些问题，总结了一些任务调优需要注意的点。 一些简单的原则 我们在之前的文章《Flink面试通关手册》中提到过一个问题，Flink任务延迟高，想解决这个问题，你会如何入手？ 当时我们给出的答案是： 在Flink的后台任务管理中，
Spark学习之路 （十四）SparkCore的调优之资源调优JVM的GC垃圾收集器
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、概述 二、垃圾收集器(garbage collector (GC)) 是什么？ 三、为什么需要GC？ 四、为什么需要多种GC？ 五、对象存活的判断 六、垃圾回收算法 6.1 标记 -清除算法 6.2 复制算法 6.3 标记-整理算法 6.4 分代收集算法 七、垃圾收集器 7.1 Serial收集器
Spark学习之路 （十三）SparkCore的调优之资源调优JVM的基本架构
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、JVM的结构图 1.1 Java内存结构 1.2 如何通过参数来控制各区域的内存大小 1.3 控制参数 1.4 JVM和系统调用之间的关系 二、JVM各区域的作用 2.1 Java堆（Heap） 2.2 方法区（Method Area） 2.3 程序计数器（Program Counter R
Spark学习之路 （十二）SparkCore的调优之资源调优
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、概述 二、Spark作业基本运行原理 三、资源参数调优 3.1 num-executors 3.2 executor-memory 3.3 executor-cores 3.4 driver-memory 3.5 spark.default.parallelism 3.6 spark.storag
Spark学习之路 （十）SparkCore的调优之Shuffle调优
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 一、概述 二、shuffle的定义 三、ShuffleManager发展概述 四、HashShuffleManager的运行原理 4.1 未经优化的HashShuffleManager 4.2 优化后的HashShuffleManager 五、SortShuffleManager运行原理 5.1 普通
Spark学习之路 （九）SparkCore的调优之数据倾斜调优
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 目录 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 某个task执行特别慢的情况 某个task莫名其妙内存溢出的情况 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二：过滤少数导致倾斜的key 解决方案三：提
Spark学习之路 （八）SparkCore的调优之开发调优
《2021年最新版大数据面试题全面开启更新》 欢迎关注github《大数据成神之路》 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔
大数据面试通关手册 | Kylin入门/原理/调优/OLAP解决方案和行业典型应用
Kylin入门/原理/调优/OLAP解决方案和行业典型应用一网打尽。 一：背景历史和使命 背景和历史 现今，大数据行业发展得如火如荼，新技术层出不穷，整个生态欣欣向荣。作为大数据领域最重要的技术的 Apache Hadoop 最初致力于简单的分布式存储，然后在此基础之上实现大规模并行计算，到如今在实时分析、多维分析、交互式分析、机器学习甚至人工智能等方面有了长足的发展。 2013 年年初，在
【硬刚Hive】Hive面试题(8)Hive调优全方位指南(三)
3、Hive架构层面 3.1 启用本地抓取（默认开启） Hive 的某些 SQL 语句需要转换成 MapReduce 的操作，某些 SQL 语句就不需要转换成 MapReduce 操作，但是同学们需要注意，理论上来说，所有的 SQL 语句都需要转换成 MapReduce 操作，只不过Hive 在转换 SQL 语句的过程中会做部分优化，使某些简单的操作不再需要转换成 MapReduce，例如
【硬刚Hive】Hive面试题(7)Hive调优全方位指南(二)
2、HQL层面优化 2.1 执行计划 explain select * from movies; 2.1 列、行、分区裁剪 列裁剪就是在查询时只读取需要的列 行裁剪就是在查询时只读取需要的行，也就是提前过滤 分区剪裁就是在查询的时候只读取需要的分区。 set hive.optimize.cp = true; 列裁剪，取数只取查询中需要用到的列，默认是trueset hive
【硬刚Hive】Hive面试题(6)Hive调优全方位指南(一)
正文目录 1、表层面 1.1 利用分区表优化 1.2 利用分桶表优化 1.3 选择合适的文件存储格式 1.4 选择合适的压缩格式 2、HQL层面优化 2.1 执行计划 2.1 列、行、分区裁剪 2.2 谓词下推 2.3 合并小文件 2.4 合理设置MapTask并行度 2.5 合理设置ReduceTask并行度 2.6 Join优化 2.7 CBO优化 2.8
Flink重点难点：Flink任务综合调优(Checkpoint/反压/内存)
在阅读本文之前，你应该阅读过的系列： 《Flink重点难点：时间、窗口和流Join》 《Flink重点难点：网络流控和反压》 《Flink重点难点：维表关联理论和Join实战》 《Flink重点难点：内存模型与内存结构》 《Flink重点难点：Flink Table&SQL必知必会(一)》 Flink重点难点：Flink Table&SQL必知必会(二) CheckPoint调优
Spark GC 调优
我们的Spark环境目前主要问题是数据量大后一些task的GC Time 特别长，多则几分钟，少则几十秒，实在不能忍受。参考databricks的 Tuning Java Garbage Collection for Spark Applications对我们的环境优化后，效果比较明显。 选择垃圾收集器 如果分配给单个Executor的Heap足够大(我认为超过32G)时使用G1，
Linux 性能调优技巧
1理解 Linux 性能的基本组成 CPU 使用率：衡量 CPU 在单位时间内被占用的程度。内存使用：关注的是活跃内存与缓存内存的比例，以及是否有过多的交换。I/O 性能：磁盘读写速度直接影响应用程序的响应时间和吞吐量。网络性能：数据包的丢失率、延迟和带宽都是衡量标准。内核与进程管理：内核如何调度进程、管理内存、处理中断等都会影响性能。 2. CPU 性能调优 处理器亲和性：taskset
JVM性能调优之5种垃圾收集器
JDK垃圾收集器 一、Serial GC垃圾收集器Serial GC的工作原理Serial GC的特点Serial GC的配置参数Serial GC的适用场景Serial GC的优缺点优点：缺点： Serial GC的总结 二、Parallel GC垃圾收集器Parallel GC的工作原理Parallel GC的特点Parallel GC的配置参数Parallel GC的适用场景Paral
828华为云征文｜华为云Flexus X实例docker部署srs6并调优，协议使用webrtc与rtmp
828华为云征文｜华为云Flexus X实例docker部署srs6并调优，协议使用webrtc与rtmp 华为云最近正在举办828 B2B企业节，Flexus X实例的促销力度非常大，特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求，一定不要错过这个机会。赶紧去看看吧！ 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新
一文讲懂大模型调优技术
随着人工智能技术的迅猛发展，大模型（如GPT系列、BERT等）已成为推动自然语言处理、计算机视觉等领域进步的重要驱动力。然而，大模型的调优过程复杂且资源消耗巨大，对开发者提出了严峻的挑战。本文旨在全面解析大模型调优的关键技术，为开发者提供一套系统性的调优指南。 目录 一、引言 二、大模型调优的挑战 1. 计算资源需求 2. 数据质量与数量 3. 超参数优化 4. 模型收敛与过拟合
浅谈数据库、JVM、缓存、SQL等性能调优方法和原则
浅谈数据库、JVM、缓存、SQL等性能调优方法和原则 java互联网架构 2019-07-07 13:19:00 性能优化基本是BAT等一线互联网公司程序员必备的技能，以下为大家完整揭晓性能完整的优化方案和方法：包含web网站调优、数据库、JVM调优、架构调优等方案。 第一：Web网站调优 1、尽可能减少HTTP请求：图片合并 （css sprites），Js脚本文件合并、css文件
MySQL Innodb 插入调优
1）提高数据库插入性能中心思想：尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项： 1）将 innodb_flush_log_at_trx_commit 配置设定为0；按过往经验设定为0，插入速度会有很大提高。 0: Write the log buffer to the log file and flush the