如何实现下采样(教科书级别教你拿捏)

2024-08-22 04:12

本文主要是介绍如何实现下采样(教科书级别教你拿捏),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在数据处理、信号处理、图像处理以及机器学习等多个领域中,下采样(Downsampling)是一项至关重要的技术。下采样旨在减少数据集中的样本数量,同时尽量保留原始数据的关键信息,以便在降低计算成本、提高处理速度或适应特定分析需求时仍然保持数据的代表性。本文将详细介绍下采样的基本概念、应用场景以及几种常用的实现方法。

一、下采样的基本概念

下采样,也称为降采样,是通过对原始数据进行抽样或聚合操作,以较低的频率重新表示数据的过程。在图像处理中,这通常意味着减少图像的分辨率;在信号处理中,则可能意味着减少采样率。下采样的目标是减少数据量,同时尽可能保持数据的统计特性和重要特征。

二、下采样的应用场景

  1. 图像处理:在图像压缩、图像缩放、特征提取等场景中,下采样能够减少图像的像素数量,降低处理难度和存储需求。
  2. 信号处理:在音频和视频处理中,下采样可以降低信号的采样率,以适应不同的播放设备或网络传输要求。
  3. 机器学习:在训练大规模数据集时,下采样可以帮助减少计算量,加速模型训练过程,尤其是在处理不平衡数据集时,下采样可以有效平衡类别分布。

例子:

import pandas as pd
import matplotlib.pyplot as plt
from pylab import mpl
import numpy as npdef cm_plot(y, yp):from sklearn.metrics import confusion_matriximport matplotlib.pyplot as pltcm = confusion_matrix(y, yp)plt.matshow(cm, cmap=plt.cm.Blues)plt.colorbar()for x in range(len(cm)):for y in range(len(cm)):plt.annotate(cm[x, y], xy=(y, x), horizontalalignment='center',verticalalignment='center')plt.ylabel('True label')plt.xlabel('Predicted label')return pltdata = pd.read_csv(r"./creditcard.csv")from sklearn.preprocessing import StandardScalerscaler = StandardScaler()
a = data[['Amount']]
data['Amount'] = scaler.fit_transform(data[['Amount']])data = data.drop(['Time'], axis=1)positive_eg = data[data['Class'] == 0]
negative_eg = data[data['Class'] == 1]
np.random.seed(seed=4)
positive_eg = positive_eg.sample(len(negative_eg))
data_c = pd.concat([positive_eg,negative_eg])
print(data_c)mpl.rcParams['font.sans-serif'] = ['Microsoft YaHei']
mpl.rcParams['axes.unicode_minus'] = Falselabels_count = pd.value_counts(data['Class'])
plt.title("正负例样本数")
plt.xlabel("类别")
plt.ylabel("频数")
labels_count.plot(kind='bar')
plt.show()from sklearn.model_selection import train_test_splitx = data_c.drop('Class', axis=1)
y = data_c.Class
x_train, x_test, y_train, y_test = \train_test_split(x, y, train_size=0.3, random_state=0)from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegressionscores = []
c_param_range = [0.01, 0.1, 1, 10, 100]
for i in c_param_range:lr = LogisticRegression(C=i, penalty='l2', solver='lbfgs', max_iter=1000)score = cross_val_score(lr, x_train, y_train, cv=8, scoring='recall')score_mean = sum(score) / len(score)scores.append(score_mean)print(score_mean)best_c = c_param_range[np.argmax(scores)]lr = LogisticRegression(C=best_c, penalty='l2', max_iter=1000)
lr.fit(x_train, y_train)from sklearn import metricstrain_predicted = lr.predict(x_train)
print(metrics.classification_report(y_train, train_predicted))
cm_plot(y_train, train_predicted).show()test_predicted = lr.predict(x_test)
print(metrics.classification_report(y_test, test_predicted))
cm_plot(y_test, test_predicted).show()x1 = data.drop('Class', axis=1)
y1 = data.Class
x1_train, x1_test, y1_train, y1_test = \train_test_split(x1, y1, train_size=0.3, random_state=0)test_predicted_big = lr.predict(x1_test)
print(metrics.classification_report(y1_test, test_predicted_big))
cm_plot(y1_test, test_predicted_big).show()recalls = []
thresholds = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9]
for i in thresholds:y_perdict_proba = lr.predict_proba(x_test)y_perdict_proba = pd.DataFrame(y_perdict_proba)y_perdict_proba = y_perdict_proba.drop([0], axis=1)y_perdict_proba[y_perdict_proba[[1]] > i] = 1y_perdict_proba[y_perdict_proba[[1]] <= i] = 0recall = metrics.recall_score(y_test, y_perdict_proba[1])recalls.append(recall)print("{} Recall metric in the testing dataset: {:.3f}".format(i, recall))
  1. 导入库

    • pandas 用于数据处理。
    • matplotlib.pyplot 和 pylab.mpl 用于绘图。
    • numpy 用于数值计算。
    • sklearn 中的 confusion_matrix 和其他模块用于机器学习任务。
  2. 定义混淆矩阵绘制函数 cm_plot

    • 计算混淆矩阵,并用 matplotlib 绘制。
    • 在矩阵中添加每个元素的值,便于观察。
  3. 数据加载和预处理

    • 读取数据集 creditcard.csv
    • 标准化 Amount 特征,确保其均值为 0,方差为 1。
    • 删除 Time 列,因为它对模型训练没有帮助。
    • 对数据进行平衡处理:通过随机抽样将正负样本数量调整一致。
    • 打印平衡后的数据集。
  4. 绘制正负例样本数的柱状图

    • 使用 pandas 计算每个类别的样本数,并用 matplotlib 绘制柱状图。
  5. 模型训练和评估

    • 划分数据集为训练集和测试集。
    • 使用逻辑回归模型,调整正则化参数 C,并通过交叉验证评估模型的召回率。
    • 选择最佳的 C 参数,并用其训练最终模型。
    • 输出训练集和测试集上的分类报告,并绘制混淆矩阵。
  6. 对整个数据集的最终模型评估

    • 重新划分数据集为训练集和测试集,并评估模型的性能。
    • 打印最终的分类报告和混淆矩阵。
  7. 调整阈值进行召回率分析

    • 修改预测概率的阈值,计算不同阈值下的召回率。
    • 绘制不同阈值下的召回率,帮助理解模型在不同条件下的表现。

这篇关于如何实现下采样(教科书级别教你拿捏)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1095205

相关文章

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

opencv图像处理之指纹验证的实现

《opencv图像处理之指纹验证的实现》本文主要介绍了opencv图像处理之指纹验证的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、简介二、具体案例实现1. 图像显示函数2. 指纹验证函数3. 主函数4、运行结果三、总结一、

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》:本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

基于SpringBoot实现文件秒传功能

《基于SpringBoot实现文件秒传功能》在开发Web应用时,文件上传是一个常见需求,然而,当用户需要上传大文件或相同文件多次时,会造成带宽浪费和服务器存储冗余,此时可以使用文件秒传技术通过识别重复... 目录前言文件秒传原理代码实现1. 创建项目基础结构2. 创建上传存储代码3. 创建Result类4.

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很