如何实现下采样(教科书级别教你拿捏)

2024-08-22 04:12

本文主要是介绍如何实现下采样(教科书级别教你拿捏),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在数据处理、信号处理、图像处理以及机器学习等多个领域中,下采样(Downsampling)是一项至关重要的技术。下采样旨在减少数据集中的样本数量,同时尽量保留原始数据的关键信息,以便在降低计算成本、提高处理速度或适应特定分析需求时仍然保持数据的代表性。本文将详细介绍下采样的基本概念、应用场景以及几种常用的实现方法。

一、下采样的基本概念

下采样,也称为降采样,是通过对原始数据进行抽样或聚合操作,以较低的频率重新表示数据的过程。在图像处理中,这通常意味着减少图像的分辨率;在信号处理中,则可能意味着减少采样率。下采样的目标是减少数据量,同时尽可能保持数据的统计特性和重要特征。

二、下采样的应用场景

  1. 图像处理:在图像压缩、图像缩放、特征提取等场景中,下采样能够减少图像的像素数量,降低处理难度和存储需求。
  2. 信号处理:在音频和视频处理中,下采样可以降低信号的采样率,以适应不同的播放设备或网络传输要求。
  3. 机器学习:在训练大规模数据集时,下采样可以帮助减少计算量,加速模型训练过程,尤其是在处理不平衡数据集时,下采样可以有效平衡类别分布。

例子:

import pandas as pd
import matplotlib.pyplot as plt
from pylab import mpl
import numpy as npdef cm_plot(y, yp):from sklearn.metrics import confusion_matriximport matplotlib.pyplot as pltcm = confusion_matrix(y, yp)plt.matshow(cm, cmap=plt.cm.Blues)plt.colorbar()for x in range(len(cm)):for y in range(len(cm)):plt.annotate(cm[x, y], xy=(y, x), horizontalalignment='center',verticalalignment='center')plt.ylabel('True label')plt.xlabel('Predicted label')return pltdata = pd.read_csv(r"./creditcard.csv")from sklearn.preprocessing import StandardScalerscaler = StandardScaler()
a = data[['Amount']]
data['Amount'] = scaler.fit_transform(data[['Amount']])data = data.drop(['Time'], axis=1)positive_eg = data[data['Class'] == 0]
negative_eg = data[data['Class'] == 1]
np.random.seed(seed=4)
positive_eg = positive_eg.sample(len(negative_eg))
data_c = pd.concat([positive_eg,negative_eg])
print(data_c)mpl.rcParams['font.sans-serif'] = ['Microsoft YaHei']
mpl.rcParams['axes.unicode_minus'] = Falselabels_count = pd.value_counts(data['Class'])
plt.title("正负例样本数")
plt.xlabel("类别")
plt.ylabel("频数")
labels_count.plot(kind='bar')
plt.show()from sklearn.model_selection import train_test_splitx = data_c.drop('Class', axis=1)
y = data_c.Class
x_train, x_test, y_train, y_test = \train_test_split(x, y, train_size=0.3, random_state=0)from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegressionscores = []
c_param_range = [0.01, 0.1, 1, 10, 100]
for i in c_param_range:lr = LogisticRegression(C=i, penalty='l2', solver='lbfgs', max_iter=1000)score = cross_val_score(lr, x_train, y_train, cv=8, scoring='recall')score_mean = sum(score) / len(score)scores.append(score_mean)print(score_mean)best_c = c_param_range[np.argmax(scores)]lr = LogisticRegression(C=best_c, penalty='l2', max_iter=1000)
lr.fit(x_train, y_train)from sklearn import metricstrain_predicted = lr.predict(x_train)
print(metrics.classification_report(y_train, train_predicted))
cm_plot(y_train, train_predicted).show()test_predicted = lr.predict(x_test)
print(metrics.classification_report(y_test, test_predicted))
cm_plot(y_test, test_predicted).show()x1 = data.drop('Class', axis=1)
y1 = data.Class
x1_train, x1_test, y1_train, y1_test = \train_test_split(x1, y1, train_size=0.3, random_state=0)test_predicted_big = lr.predict(x1_test)
print(metrics.classification_report(y1_test, test_predicted_big))
cm_plot(y1_test, test_predicted_big).show()recalls = []
thresholds = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9]
for i in thresholds:y_perdict_proba = lr.predict_proba(x_test)y_perdict_proba = pd.DataFrame(y_perdict_proba)y_perdict_proba = y_perdict_proba.drop([0], axis=1)y_perdict_proba[y_perdict_proba[[1]] > i] = 1y_perdict_proba[y_perdict_proba[[1]] <= i] = 0recall = metrics.recall_score(y_test, y_perdict_proba[1])recalls.append(recall)print("{} Recall metric in the testing dataset: {:.3f}".format(i, recall))
  1. 导入库

    • pandas 用于数据处理。
    • matplotlib.pyplot 和 pylab.mpl 用于绘图。
    • numpy 用于数值计算。
    • sklearn 中的 confusion_matrix 和其他模块用于机器学习任务。
  2. 定义混淆矩阵绘制函数 cm_plot

    • 计算混淆矩阵,并用 matplotlib 绘制。
    • 在矩阵中添加每个元素的值,便于观察。
  3. 数据加载和预处理

    • 读取数据集 creditcard.csv
    • 标准化 Amount 特征,确保其均值为 0,方差为 1。
    • 删除 Time 列,因为它对模型训练没有帮助。
    • 对数据进行平衡处理:通过随机抽样将正负样本数量调整一致。
    • 打印平衡后的数据集。
  4. 绘制正负例样本数的柱状图

    • 使用 pandas 计算每个类别的样本数,并用 matplotlib 绘制柱状图。
  5. 模型训练和评估

    • 划分数据集为训练集和测试集。
    • 使用逻辑回归模型,调整正则化参数 C,并通过交叉验证评估模型的召回率。
    • 选择最佳的 C 参数,并用其训练最终模型。
    • 输出训练集和测试集上的分类报告,并绘制混淆矩阵。
  6. 对整个数据集的最终模型评估

    • 重新划分数据集为训练集和测试集,并评估模型的性能。
    • 打印最终的分类报告和混淆矩阵。
  7. 调整阈值进行召回率分析

    • 修改预测概率的阈值,计算不同阈值下的召回率。
    • 绘制不同阈值下的召回率,帮助理解模型在不同条件下的表现。

这篇关于如何实现下采样(教科书级别教你拿捏)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1095205

相关文章

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

【数据结构】——原来排序算法搞懂这些就行,轻松拿捏

前言:快速排序的实现最重要的是找基准值,下面让我们来了解如何实现找基准值 基准值的注释:在快排的过程中,每一次我们要取一个元素作为枢纽值,以这个数字来将序列划分为两部分。 在此我们采用三数取中法,也就是取左端、中间、右端三个数,然后进行排序,将中间数作为枢纽值。 快速排序实现主框架: //快速排序 void QuickSort(int* arr, int left, int rig

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

Kubernetes PodSecurityPolicy:PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy:PSP能实现的5种主要安全策略 1. 特权模式限制2. 宿主机资源隔离3. 用户和组管理4. 权限提升控制5. SELinux配置 💖The Begin💖点点关注,收藏不迷路💖 Kubernetes的PodSecurityPolicy(PSP)是一个关键的安全特性,它在Pod创建之前实施安全策略,确保P

工厂ERP管理系统实现源码(JAVA)

工厂进销存管理系统是一个集采购管理、仓库管理、生产管理和销售管理于一体的综合解决方案。该系统旨在帮助企业优化流程、提高效率、降低成本,并实时掌握各环节的运营状况。 在采购管理方面,系统能够处理采购订单、供应商管理和采购入库等流程,确保采购过程的透明和高效。仓库管理方面,实现库存的精准管理,包括入库、出库、盘点等操作,确保库存数据的准确性和实时性。 生产管理模块则涵盖了生产计划制定、物料需求计划、

C++——stack、queue的实现及deque的介绍

目录 1.stack与queue的实现 1.1stack的实现  1.2 queue的实现 2.重温vector、list、stack、queue的介绍 2.1 STL标准库中stack和queue的底层结构  3.deque的简单介绍 3.1为什么选择deque作为stack和queue的底层默认容器  3.2 STL中对stack与queue的模拟实现 ①stack模拟实现