数据探查系列:如何进行有意义的探索性数据分析(EDA)

2023-12-28 13:12

本文主要是介绍数据探查系列:如何进行有意义的探索性数据分析(EDA),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

如何进行有意义的探索性数据分析(EDA)

目录

  • 1. 设置
    • 1.1 导入库
    • 1.2 导入数据
    • 1.3 数据集特征
    • 1.4 数据集属性
  • 2. 探索训练集和测试集
    • 2.1 训练集 - 快速概览
    • 2.2 训练集 - 基本统计
    • 2.3 测试集 - 快速概览
    • 2.4 测试集 - 基本统计
  • 3. 特征分布
  • 4. 数据不平衡检查 - 为什么重要
    • 4.1 不平衡数据需要不同的处理方法
  • 5. 我们应该删除异常值吗?
    • 5.1 检查训练集中的异常值
    • 5.2 四分位距(IQR)
    • 5.3 检测和删除异常值
    • 5.4 我们做了什么?
  • 6. 处理重复值
  • 7. 相关性
  • 8. 更多可视化

1 | 设置

1.1 导入库

# 导入所需的库
import numpy as np
import pandas as pd
import seaborn as sns
import plotly.express as px
import tkinter
from matplotlib import pyplot as plt
from sklearn.model_selection import cross_val_score
from collections import Counter
# 设置seaborn的样式为ticks,并将上下文设置为talk
sns.set(style="ticks", context="talk")

<a id="1.2"></a>
## <b>1.2 <span style='color:#F1A424'>导入数据</span></b>```python
# 读取训练数据和测试数据
try:# 尝试从指定路径读取训练数据和测试数据raw_train = pd.read_csv('/kaggle/input/playground-series-s3e4/train.csv', index_col='id')raw_test = pd.read_csv('/kaggle/input/playground-series-s3e4/test.csv', index_col='id')
except:# 如果指定路径读取失败,则从当前路径读取训练数据和测试数据raw_train = pd.read_csv('train.csv', index_col='id')raw_test = pd.read_csv('test.csv', index_col='id')

1.3 数据集特征

比赛的数据集(包括训练集和测试集)是从一个在信用卡欺诈检测(https://www.kaggle.com/datasets/mlg-ulb/creditcardfraud)上训练的深度学习模型生成的。特征分布与原始数据集接近,但并非完全相同。请随意将原始数据集用作比赛的一部分,既可以探索差异,也可以查看是否将原始数据集纳入训练可以提高模型性能。

请注意,与之前的Tabular Tuesdays数据集相比,这个比赛的基础数据集要大得多,因此可能包含更多的伪像。

https://www.kaggle.com/competitions/playground-series-s3e4/overview

1.4 数据集属性

数据集说明

该数据集仅包含经过PCA转换的数值型输入变量。不幸的是,由于保密问题,我们无法提供原始特征和更多关于数据的背景信息。特征V1、V2、…、V28是通过PCA获得的主成分,唯一没有经过PCA转换的特征是’Time’和’Amount’。特征’Time’表示每个交易与数据集中第一笔交易之间经过的秒数。特征’Amount’表示交易金额,该特征可以用于基于示例的成本敏感学习。特征’Class’是响应变量,如果是欺诈交易则取值为1,否则为0。

  • Id - 每行的唯一标识符。

  • Time - 该交易与数据集中第一笔交易之间经过的秒数

  • V1-V28 - 经过降维处理以保护用户身份和敏感特征的特征

  • Amount - 交易金额

  • Class - 目标类别(1表示欺诈交易,0表示真实交易)

🔝返回目录🔝

2 | 探索训练集和测试集

训练数据集中的观察结果:

  • 共有32列:30列连续型变量,0列分类变量,1列id和1列目标变量
  • 共有219129行
  • 类别是目标变量
  • 没有缺失值

测试数据集中的观察结果:

  • 共有31列:30列连续型数据,0列分类数据和1列id
  • 共有146087行
  • 没有缺失值

2.1 训练数据集 - 快速概览

# 查看训练数据的前几行
raw_train.head()
TimeV1V2V3V4V5V6V7V8V9...V21V22V23V24V25V26V27V28AmountClass
id
00.02.074329-0.129425-1.1374180.412846-0.192638-1.2101440.110697-0.2634770.742144...-0.334701-0.8878400.336701-0.110835-0.2914590.207733-0.076576-0.0595771.980
10.01.998827-1.250891-0.520969-0.894539-1.122528-0.270866-1.0292890.050198-0.109948...0.054848-0.0383670.133518-0.461928-0.465491-0.464655-0.009413-0.03823884.000
20.00.0915351.004517-0.223445-0.4352490.667548-0.9883510.948146-0.084789-0.042027...-0.326725-0.8037360.1544950.951233-0.5069190.0850460.2244580.0873562.690
30.01.979649-0.184949-1.0642060.120125-0.215238-0.648829-0.087826-0.0353670.885838...-0.095514-0.0797920.167701-0.0429390.000799-0.096148-0.057780-0.0738391.000
40.01.025898-0.1718271.2037171.243900-0.6365721.099074-0.9386510.5692390.692665...0.0991570.6089080.027901-0.2628130.257834-0.2528290.1083380.0210511.000

5 rows × 31 columns

2.2 训练数据集 - 基本统计信息

# 使用describe()函数对raw_train进行描述性统计分析
raw_train.describe()
TimeV1V2V3V4V5V6V7V8V9...V21V22V23V24V25V26V27V28AmountClass
count219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000...219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000219129.000000
mean62377.4153760.0960080.0483450.5921020.069273-0.1615550.133688-0.1282240.149534-0.048337...-0.031064-0.050852-0.050531-0.0029920.1240050.0098810.0140340.01731366.3598030.002140
std25620.3485691.3954251.1598051.1328841.2531251.0695301.2024110.8172070.7162121.054143...0.4227770.5978120.3181750.5931000.4067410.4738670.2333550.164859150.7950170.046214
min0.000000-29.807725-44.247914-19.722872-5.263650-37.591259-25.659750-31.179799-28.903442-8.756951...-14.689621-8.748979-11.958588-2.836285-3.958591-1.858672-9.234767-4.5516800.0000000.000000
25%47933.000000-0.846135-0.573728-0.027154-0.769256-0.847346-0.631835-0.646730-0.095948-0.711444...-0.190418-0.473099-0.174478-0.332540-0.126080-0.318330-0.050983-0.0095125.9900000.000000
50%63189.0000000.3859130.0469370.7358950.064856-0.229929-0.087778-0.0989700.111219-0.131323...-0.042858-0.032856-0.0633070.0387080.145934-0.0863880.0159050.02216321.9000000.000000
75%77519.0000001.1906610.8141451.3061100.9193530.3568560.4823880.3855670.3909760.583715...0.1091870.3549100.0602210.3945660.4029260.2538690.0768140.06698768.9300000.000000
max120580.0000002.43049416.0684736.14557812.54799734.58126016.23396739.82409918.27058613.423914...22.0629456.16354112.7343914.5727393.1116243.40234413.12361823.2637467475.0000001.000000

8 rows × 31 columns

2.3 测试数据集 - 快速概览

raw_test.head()
TimeV1V2V3V4V5V6V7V8V9...V20V21V22V23V24V25V26V27V28Amount
id
219129120580.02.115519-0.691809-1.305514-0.685655-0.641265-0.764784-0.924262-0.023030-0.230126...0.0673670.2417080.6825240.037769-0.546859-0.123055-0.0848890.004720-0.02194429.95
219130120580.01.743525-1.681429-0.547387-1.061113-0.6958252.458824-1.6328591.0735291.068183...0.4417880.5432781.2945710.3095413.703925-0.2425790.0687080.0026290.064690163.50
219131120580.02.205568-1.571445-0.238965-1.662517-1.652324-0.054701-1.6820640.105613-1.177858...-0.366906-0.1315270.0866230.2913750.739087-0.543006-0.2978130.043699-0.03785516.00
219132120580.01.989728-0.972909-1.938259-1.440129-0.166855-0.7940480.252889-0.3997892.079398...-0.049136-0.080115-0.010732-0.0385500.6568300.343470-0.627529-0.024338-0.036143120.98
219133120580.0-1.943548-1.6687610.363601-0.9776102.684779-2.0376810.039709-0.048895-0.281749...0.3916270.083389-0.3069180.247822-0.391799-0.790716-0.0257060.3307580.3355371.98

5 rows × 30 columns

2.4 测试数据集 - 基本统计信息

# 使用describe()函数对raw_test数据进行描述性统计分析
raw_test.describe()
TimeV1V2V3V4V5V6V7V8V9...V20V21V22V23V24V25V26V27V28Amount
count146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000...146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000146087.000000
mean144637.9281660.512929-0.013098-0.697478-0.2732580.321856-0.0502040.0734190.043803-0.071620...-0.0566780.0447290.1754610.0184710.016029-0.118352-0.0151990.0062360.00203566.182463
std14258.0253961.6284551.2477491.2925221.3657521.1462151.3328800.9466810.7495130.924996...0.4583640.4490170.7107040.3595970.6339290.4797200.4461540.2559350.174613153.151535
min120580.000000-34.755944-37.803827-18.934952-5.497560-25.639591-14.133040-18.715915-26.926164-4.823352...-26.412867-13.087263-5.392649-12.814296-2.789084-3.361564-1.743223-9.412538-8.2623390.000000
25%132698.000000-0.679988-0.715885-1.619268-1.021205-0.418547-0.891441-0.570042-0.231824-0.634695...-0.237529-0.166715-0.393667-0.135059-0.368957-0.409938-0.284914-0.066037-0.0574475.990000
50%144493.0000000.2857980.009058-0.719060-0.4829450.306851-0.3728130.1185450.014979-0.075909...-0.0967290.0583930.2501690.0178350.029727-0.142325-0.069342-0.003539-0.02695521.790000
75%156140.0000001.9740150.8274200.0738740.3697250.9559970.3027240.7345030.2969690.513770...0.0657530.2448170.7495550.1675140.5621380.1829370.2166320.0693340.06695466.000000
max172790.0000002.45290112.3901284.49264011.23292824.35281816.59663527.02395512.0983227.888980...15.82926115.3335465.77124517.4816094.5417244.5559603.37474812.67396813.0932294630.600000

8 rows × 30 columns

🔝返回目录🔝

3 | 特征分布

# 获取数值型特征列
numeric_columns = (list(raw_train.loc[:, 'Time':'Amount']))# 创建一个图形对象
fig = plt.figure(figsize=(20, 50))# 设置子图的行数和列数
rows, cols = 10, 3# 遍历数值型特征列
for idx, num in enumerate(numeric_columns[:30]):# 在图形对象中添加子图ax = fig.add_subplot(rows, cols, idx+1)# 设置网格线的透明度和轴ax.grid(alpha = 0.7, axis ="both")# 绘制训练集的核密度估计曲线sns.kdeplot(x = num, fill = True, color ="#3386FF", linewidth=0.6, data = raw_train, label = "Train")# 绘制测试集的核密度估计曲线sns.kdeplot(x = num, fill = True, color ="#EFB000", linewidth=0.6, data = raw_test, label = "Test")      # 设置x轴标签ax.set_xlabel(num)# 添加图例ax.legend()# 调整子图的布局
fig.tight_layout()# 显示图形对象
fig.show()

对于训练集和测试集来说,“时间”(Time)的分布非常不同。这可能会导致严重的问题,因为算法将更容易地区分这些集合。

我们可以通过将时间分解为一天中的小时特征或删除它来转换时间。

# 从原始训练数据中删除'Time'列,得到训练数据集
train_df = raw_train.drop('Time', axis=1)# 从原始测试数据中删除'Time'列,得到测试数据集
test_df = raw_test.drop('Time', axis=1)

🔝返回目录🔝

4 | 数据不平衡检查 - 为什么它很重要

# 创建一个包含两种颜色的调色板
palette = ["#ADD8E6","#EFB000"]
# 给饼图添加注释
# 获取训练数据集中每个类别的数量,并转换为列表
l1 = list(train_df['Class'].value_counts())
# 计算每个类别在总数中的比例,并乘以100,得到饼图的数值
pie_values = [l1[0] / sum(l1) * 100, l1[1] / sum(l1) * 100]# 创建一个包含两个子图的图形,设置图形大小为(20, 7)
fig = plt.subplots(nrows=1, ncols=2, figsize=(20, 7))# 在第一个子图中绘制饼图
plt.subplot(1, 2, 1)
plt.pie(pie_values, labels=['Genuine', 'Fraud'], autopct='%1.2f%%',  # 设置饼图上显示的百分比格式startangle=90,  # 设置饼图的起始角度为90度explode=(0.1, 0.1),  # 设置饼图中每个扇区的偏移量,使其突出显示colors=palette,  # 设置饼图的颜色wedgeprops={'edgecolor': 'black', 'linewidth': 1, 'antialiased': True})  # 设置饼图的边缘颜色、线宽和抗锯齿效果
plt.title('Fraud vs Genuine transactions in train data set %');  # 设置子图标题# 在第二个子图中绘制柱状图
plt.subplot(1, 2, 2)
ax = sns.countplot(data=train_df, x='Class', palette=palette,  # 设置柱状图的颜色edgecolor='black')  # 设置柱状图的边缘颜色
for i in ax.containers:ax.bar_label(i,)  # 在每个柱状图上添加标签,显示每个类别的数量
ax.set_xticklabels(['Genuine', 'Fraud'])  # 设置x轴刻度标签为类别名称plt.title('Fraud vs Genuine transactions in train data set')  # 设置子图标题
plt.show()  # 显示图形

4.1 不平衡数据需要不同的方法

我们有**99.8%的真实交易(218,660笔),只有0.214%**的欺诈交易(469笔)!

这意味着盲猜(押注真实交易)将给我们**99.8%**的准确率。

  • 不要使用准确率作为不平衡数据集的度量标准 - 它通常会非常高且具有误导性(您可以使用AUC-ROC、召回率、F1分数等)。
  • 考虑利用欠采样或过采样技术。
  • 在训练测试拆分期间使用分层拆分。
  • 在处理异常值时要特别小心(您可以删除有意义的信息)。

5 | 我们应该删除异常值吗?

5.1 检查训练数据集中的异常值

# 定义一个函数,用于绘制数据集中数值型变量的箱线图
# 参数包括数据集、数值型变量列表、行数、列数和总标题
def boxplots_custom(dataset, columns_list, rows, cols, suptitle):# 创建一个绘图对象和子图对象fig, axs = plt.subplots(rows, cols, sharey=True, figsize=(16,25))# 设置总标题fig.suptitle(suptitle,y=1, size=25)# 将子图对象展平为一维数组axs = axs.flatten()# 遍历数值型变量列表,绘制每个变量的箱线图for i, data in enumerate(columns_list):# 使用seaborn库的boxplot函数绘制箱线图sns.boxplot(data=dataset[data], orient='h', ax=axs[i])# 设置每个子图的标题,包括变量名和偏度值axs[i].set_title(data + ', skewness is: '+str(round(dataset[data].skew(axis = 0, skipna = True),2)))# 调用函数,绘制训练集中数值型变量的箱线图
boxplots_custom(dataset=train_df, columns_list=numeric_columns, rows=10, cols=3, suptitle='Boxplots for each variable')
# 调整子图的布局
plt.tight_layout()

看起来我们在异常值方面有很大的问题:

  • 巨大的异常值;

  • 高度偏斜的数据;

  • 很多异常值。

5.2 四分位距 (IQR)

Tukey’s (1977) 方法用于检测偏斜或非钟形分布的数据中的异常值,因为它不做分布假设。然而,对于小样本大小,Tukey’s 方法可能不适用。一般规则是,不在 (Q1 - 1.5 IQR) 和 (Q3 + 1.5 IQR) 范围内的任何值都是异常值,并可以被移除。

四分位距离(IQR)是最常用的异常值检测和移除方法之一。

过程:

  1. 找到第一四分位数,Q1。
  2. 找到第三四分位数,Q3。
  3. 计算 IQR。IQR = Q3-Q1。
  4. 将正常数据范围定义为下限为 Q1-1.5 IQR,上限为 Q3+1.5 IQR。
def IQR_method(df, n, features):"""使用Tukey IQR方法,接受一个数据框并返回一个索引列表,该列表对应于包含n个以上异常值的观测值。"""outlier_list = [] # 初始化一个空列表,用于存储异常值的索引for column in features: # 遍历每个特征列# 第一四分位数(25%)Q1 = np.percentile(df[column], 25)# 第三四分位数(75%)Q3 = np.percentile(df[column],75)# 四分位距(IQR)IQR = Q3 - Q1# 异常值步长outlier_step = 1.5 * IQR# 确定异常值索引列表outlier_list_column = df[(df[column] < Q1 - outlier_step) | (df[column] > Q3 + outlier_step )].index# 将异常值索引列表添加到总的异常值列表中outlier_list.extend(outlier_list_column)# 选择包含多于n个异常值的观测值outlier_list = Counter(outlier_list)        multiple_outliers = list(k for k, v in outlier_list.items() if v > n)# 计算低于和高于边界值的记录数out1 = df[df[column] < Q1 - outlier_step]out2 = df[df[column] > Q3 + outlier_step]# 打印删除的异常值总数print('删除的异常值总数为:', out1.shape[0]+out2.shape[0])return multiple_outliers

5.3 检测和删除异常值


# 使用IQR方法检测并处理离群值
Outliers_IQR = IQR_method(train_df, 1, numeric_columns)# 在原始数据集中删除离群值,并重新设置索引
df_out = train_df.drop(Outliers_IQR, axis=0).reset_index(drop=True)
Total number of deleted outliers is: 20617

5.4我们做了什么?

# 打印输出在删除异常值之前数据集中的欺诈交易数量
print ('The amount of frauds in df before dropping outliers: ', len(train_df[train_df['Class'] == 1]))# 打印输出在删除异常值之后数据集中的欺诈交易数量
print ('The amount of frauds in df after dropping outliers: ', len(df_out[df_out['Class'] == 1]))
The amount of frauds in df before dropping outliers:  469
The amount of frauds in df after dropping outliers:  188

通过删除异常值,我们丢失了约**40%的非常重要的数据!我们不应该这样做!**

我们有几个选择,但对于这项研究,我们将回到删除异常值之前的阶段。这里一个非常有趣的选择是创建一个仅包含异常值的新数据框。您可以在此处查看此方法的结果:

https://www.kaggle.com/code/marcinrutecki/credit-card-fraud-detection-tensorflow

🔝返回目录🔝

6 | 处理重复值

# 打印数据集中重复值的数量
print('Number of duplicated values in dataset: ', train_df.duplicated().sum())
Number of duplicated values in dataset:  94
# 复制train_df数据框并赋值给df
df = train_df.copy()# 删除df数据框中的重复行
df.drop_duplicates(inplace=True)# 打印提示信息,表示重复值已成功删除
print("Duplicated values dropped succesfully")# 打印100个"*",用于分隔输出信息
print("*" * 100)
Duplicated values dropped succesfully
****************************************************************************************************

让我们检查一下是否有任何欺诈交易被删除了。这很重要,因为如果是这样的话,我们应该再次考虑它们是否是真正的重复交易。

# 打印在去除重复值之前df中的欺诈数量
print ('The amount of frauds in df before dropping duplicates: ', len(train_df[train_df['Class'] == 1]))# 打印在去除重复值之后df中的欺诈数量
print ('The amount of frauds in df after dropping duplicates: ', len(df[df['Class'] == 1]))
The amount of frauds in df before dropping duplicates:  469
The amount of frauds in df after dropping duplicates:  469

如我们所见,我们没有丢失任何重要的数据。

🔝返回目录🔝

7 | 相关性

# 创建一个11x11的图像
plt.figure(figsize=(11, 11))# 计算数据集的相关系数矩阵
corr = df.corr()# 创建一个与相关系数矩阵相同形状的布尔矩阵,上三角为True,下三角为False
mask = np.triu(np.ones_like(corr, dtype=bool))# 使用热力图可视化相关系数矩阵,只显示上三角部分,颜色映射为viridis
sns.heatmap(corr, mask=mask, robust=True, center=0, square=True, cmap="viridis", linewidths=.6)# 设置图像标题
plt.title('Correlation Table')# 显示图像
plt.show()


# 创建一个大小为7x4的图形
plt.figure(figsize=(7,4))# 计算数据框df中'Class'列与其他列的相关系数,并取绝对值,按照相关系数的大小进行排序,并绘制柱状图
d = df.corr()['Class'][:-1].abs().sort_values().plot(kind='bar', title='Highly correlated features with Class')

🔝返回目录🔝

8 | 更多可视化

# 设置绘图大小
plt.figure(figsize=(10,10))# 绘制联合分布图,x轴为V3,y轴为V1,颜色按照Class分类,数据来源为df,调色板为dark,点的大小为9
sns.jointplot(x='V3', y='V1',hue='Class', data=df, palette='dark', s=9)
<seaborn.axisgrid.JointGrid at 0x7f36c0b01f50><Figure size 720x720 with 0 Axes>


# 设置图形大小
plt.figure(figsize=(10,10))# 创建联合图
# x轴为特征V14,y轴为特征V8
# 根据Class变量的不同值对数据点进行着色
# 使用'dark'调色板进行着色
# 设置数据点的大小为6
sns.jointplot(x='V14', y='V8', hue='Class', data=df, palette='dark', s=6)
<seaborn.axisgrid.JointGrid at 0x7f36c0b01050><Figure size 720x720 with 0 Axes>

🔝返回目录🔝

这篇关于数据探查系列:如何进行有意义的探索性数据分析(EDA)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/546059

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中,我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试,如何有效地规划和启动测试,如何评估测试是否成功,您应该关注哪些指标,多年来我们发现的常见错误等等。 什么是A/B测试? A/B测试(有时称为“分割测试”)是一种实验类型,其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体,以查看哪一种效果最好。 本质上,A/B测