【lightgbm, xgboost, nn代码整理一】lightgbm做二分类，多分类以及回归任务（含python源码）

2024-06-12 22:38
文章标签 lightgbm 分类 源码 xgboost nn python 代码 回归 整理 任务

本文主要是介绍【lightgbm, xgboost, nn代码整理一】lightgbm做二分类，多分类以及回归任务（含python源码），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

lightgbm做二分类，多分类以及回归任务（含python源码）

浏览更多内容，可访问：http://www.growai.cn

1. 简介

内心一直想把自己前一段时间写的代码整理一下，梳理一下知识点，方便以后查看，同时也方便和大家交流。希望我的分享能帮助到一些小白用户快速前进，也希望大家看到不足之处慷慨的指出，相互学习，快速成长。我将从三个部分介绍数据挖掘类比赛中常用的一些方法，分别是lightgbm、xgboost和keras实现的mlp模型，分别介绍他们实现的二分类任务、多分类任务和回归任务，并给出完整的开源python代码。这篇文章主要介绍基于lightgbm实现的三类任务。如果只需源码，可以直接跳到文章末尾链接

2.数据加载

该部分数据是基于拍拍贷比赛截取的一部分特征，随机选择了5000个训练数据，3000个测试数据。针对其中gender、cell_province等类别特征，直接进行重新编码处理。原始数据的lable是0-32，共有33个类别的数据。针对二分类任务，将原始label为32的数据直接转化为1，label为其他的数据转为0；回归问题就是将这些类别作为待预测的目标值。代码如下：其中gc是释放不必要的内存。

## category feature one_hot
test_data['label'] = -1
data = pd.concat([train_data, test_data])
cate_feature = ['gender', 'cell_province', 'id_province', 'id_city', 'rate', 'term']
for item in cate_feature:data[item] = LabelEncoder().fit_transform(data[item])train = data[data['label'] != -1]
test = data[data['label'] == -1]## Clean up the memory
del data, train_data, test_data
gc.collect()## get train feature
del_feature = ['auditing_date', 'due_date', 'label']
features = [i for i in train.columns if i not in del_feature]## Convert the label to two categories
train['label'] = train['label'].apply(lambda x: 1 if x==32 else 0)
train_x = train[features]
train_y = train['label'].values
test = test[features]

3.二分类任务

params = {'num_leaves': 60, #结果对最终效果影响较大，越大值越好，太大会出现过拟合'min_data_in_leaf': 30,'objective': 'binary', #定义的目标函数'max_depth': -1,'learning_rate': 0.03,"min_sum_hessian_in_leaf": 6,"boosting": "gbdt","feature_fraction": 0.9,	#提取的特征比率"bagging_freq": 1,"bagging_fraction": 0.8,"bagging_seed": 11,"lambda_l1": 0.1,				#l1正则# 'lambda_l2': 0.001,		#l2正则"verbosity": -1,"nthread": -1,				#线程数量，-1表示全部线程，线程越多，运行的速度越快'metric': {'binary_logloss', 'auc'},	##评价函数选择"random_state": 2019,	#随机数种子，可以防止每次运行的结果不一致# 'device': 'gpu' ##如果安装的事gpu版本的lightgbm,可以加快运算}folds = KFold(n_splits=5, shuffle=True, random_state=2019)
prob_oof = np.zeros((train_x.shape[0], ))
test_pred_prob = np.zeros((test.shape[0], ))## train and predict
feature_importance_df = pd.DataFrame()
for fold_, (trn_idx, val_idx) in enumerate(folds.split(train)):print("fold {}".format(fold_ + 1))trn_data = lgb.Dataset(train_x.iloc[trn_idx], label=train_y[trn_idx])val_data = lgb.Dataset(train_x.iloc[val_idx], label=train_y[val_idx])clf = lgb.train(params,trn_data,num_round,valid_sets=[trn_data, val_data],verbose_eval=20,early_stopping_rounds=60)prob_oof[val_idx] = clf.predict(train_x.iloc[val_idx], num_iteration=clf.best_iteration)fold_importance_df = pd.DataFrame()fold_importance_df["Feature"] = featuresfold_importance_df["importance"] = clf.feature_importance()fold_importance_df["fold"] = fold_ + 1feature_importance_df = pd.concat([feature_importance_df, fold_importance_df], axis=0)test_pred_prob += clf.predict(test[features], num_iteration=clf.best_iteration) / folds.n_splitsthreshold = 0.5
for pred in test_pred_prob:result = 1 if pred > threshold else 0

上面的参数中目标函数采用的事binary，评价函数采用的是{'binary_logloss', 'auc'}，可以根据需要对评价函数做调整，可以设定一个或者多个评价函数；'num_leaves'对最终的结果影响较大，如果值设置的过大会出现过拟合现象。

针对模型训练部分，采用的事5折交叉训练的方法，常用的5折统计有两种：StratifiedKFold和KFold，其中最大的不同是StratifiedKFold分层采样交叉切分，确保训练集，测试集中各类别样本的比例与原始数据集中相同，实际使用中可以根据具体的数据分别测试两者的表现。

最后fold_importance_df表存放的事模型的特征重要性，可以方便分析特征重要性

4.多分类任务

params = {'num_leaves': 60,'min_data_in_leaf': 30,'objective': 'multiclass','num_class': 33,'max_depth': -1,'learning_rate': 0.03,"min_sum_hessian_in_leaf": 6,"boosting": "gbdt","feature_fraction": 0.9,"bagging_freq": 1,"bagging_fraction": 0.8,"bagging_seed": 11,"lambda_l1": 0.1,"verbosity": -1,"nthread": 15,'metric': 'multi_logloss',"random_state": 2019,# 'device': 'gpu' }folds = KFold(n_splits=5, shuffle=True, random_state=2019)
prob_oof = np.zeros((train_x.shape[0], 33))
test_pred_prob = np.zeros((test.shape[0], 33))## train and predict
feature_importance_df = pd.DataFrame()
for fold_, (trn_idx, val_idx) in enumerate(folds.split(train)):print("fold {}".format(fold_ + 1))trn_data = lgb.Dataset(train_x.iloc[trn_idx], label=train_y.iloc[trn_idx])val_data = lgb.Dataset(train_x.iloc[val_idx], label=train_y.iloc[val_idx])clf = lgb.train(params,trn_data,num_round,valid_sets=[trn_data, val_data],verbose_eval=20,early_stopping_rounds=60)prob_oof[val_idx] = clf.predict(train_x.iloc[val_idx], num_iteration=clf.best_iteration)fold_importance_df = pd.DataFrame()fold_importance_df["Feature"] = featuresfold_importance_df["importance"] = clf.feature_importance()fold_importance_df["fold"] = fold_ + 1feature_importance_df = pd.concat([feature_importance_df, fold_importance_df], axis=0)test_pred_prob += clf.predict(test[features], num_iteration=clf.best_iteration) / folds.n_splits
result = np.argmax(test_pred_prob, axis=1)

该部分同上面最大的区别就是该表了损失函数和评价函数。分别更换为'multiclass'和'multi_logloss'，当进行多分类任务是必须还要指定类别数：'num_class'。

5.回归任务

params = {'num_leaves': 38,'min_data_in_leaf': 50,'objective': 'regression','max_depth': -1,'learning_rate': 0.02,"min_sum_hessian_in_leaf": 6,"boosting": "gbdt","feature_fraction": 0.9,"bagging_freq": 1,"bagging_fraction": 0.7,"bagging_seed": 11,"lambda_l1": 0.1,"verbosity": -1,"nthread": 4,'metric': 'mae',"random_state": 2019,# 'device': 'gpu'}def mean_absolute_percentage_error(y_true, y_pred):return np.mean(np.abs((y_true - y_pred) / (y_true))) * 100def smape_func(preds, dtrain):label = dtrain.get_label().valuesepsilon = 0.1summ = np.maximum(0.5 + epsilon, np.abs(label) + np.abs(preds) + epsilon)smape = np.mean(np.abs(label - preds) / summ) * 2return 'smape', float(smape), Falsefolds = KFold(n_splits=5, shuffle=True, random_state=2019)
oof = np.zeros(train_x.shape[0])
predictions = np.zeros(test.shape[0])train_y = np.log1p(train_y) # Data smoothing
feature_importance_df = pd.DataFrame()
for fold_, (trn_idx, val_idx) in enumerate(folds.split(train_x)):print("fold {}".format(fold_ + 1))trn_data = lgb.Dataset(train_x.iloc[trn_idx], label=train_y.iloc[trn_idx])val_data = lgb.Dataset(train_x.iloc[val_idx], label=train_y.iloc[val_idx])clf = lgb.train(params,trn_data,num_round,valid_sets=[trn_data, val_data],verbose_eval=200,early_stopping_rounds=200)oof[val_idx] = clf.predict(train_x.iloc[val_idx], num_iteration=clf.best_iteration)fold_importance_df = pd.DataFrame()fold_importance_df["Feature"] = featuresfold_importance_df["importance"] = clf.feature_importance()fold_importance_df["fold"] = fold_ + 1feature_importance_df = pd.concat([feature_importance_df, fold_importance_df], axis=0)predictions += clf.predict(test, num_iteration=clf.best_iteration) / folds.n_splitsprint('mse %.6f' % mean_squared_error(train_y, oof))
print('mae %.6f' % mean_absolute_error(train_y, oof))result = np.expm1(predictions) #reduction
result = predictions

在回归任务中对目标函数值添加了一个log平滑，如果待预测的结果值跨度很大，做log平滑很有很好的效果提升。
代码链接：github

写在后面

欢迎您关注作者知乎：ML与DL成长之路

推荐关注公众号：AI成长社，ML与DL的成长圣地。

这篇关于【lightgbm, xgboost, nn代码整理一】lightgbm做二分类，多分类以及回归任务（含python源码）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1055537。

相关文章

C++对象布局及多态实现探索之内存布局（整理的很多链接）

C++对象布局及多态实现探索之内存布局（整理的很多链接）

本文通过观察对象的内存布局，跟踪函数调用的汇编代码。分析了C++对象内存的布局情况，虚函数的执行方式，以及虚继承，等等 文章链接：http://dev.yesky.com/254/2191254.shtml      论C/C++函数间动态内存的传递 (2005-07-30)   当你涉及到C/C++的核心编程的时候，你会无止境地与内存管理打交道。 文章链接：http://dev.yesky
阅读更多...
uniapp接入微信小程序原生代码配置方案（优化版）

uniapp接入微信小程序原生代码配置方案（优化版）

uniapp项目需要把微信小程序原生语法的功能代码嵌套过来，无需把原生代码转换为uniapp，可以配置拷贝的方式集成过来 1、拷贝代码包到src目录 2、vue.config.js中配置原生代码包直接拷贝到编译目录中 3、pages.json中配置分包目录，原生入口组件的路径 4、manifest.json中配置分包，使用原生组件 5、需要把原生代码包里的页面修改成组件的方
阅读更多...
公共筛选组件（二次封装antd）支持代码提示

公共筛选组件（二次封装antd）支持代码提示

如果项目是基于antd组件库为基础搭建，可使用此公共筛选组件 使用到的库 npm i antdnpm i lodash-esnpm i @types/lodash-es -D /components/CommonSearch index.tsx import React from 'react';import { Button, Card, Form } from 'antd'
阅读更多...
17.用300行代码手写初体验Spring V1.0版本

17.用300行代码手写初体验Spring V1.0版本

1.1.课程目标 1、了解看源码最有效的方式，先猜测后验证，不要一开始就去调试代码。 2、浓缩就是精华，用 300行最简洁的代码 提炼Spring的基本设计思想。 3、掌握Spring框架的基本脉络。 1.2.内容定位 1、 具有1年以上的SpringMVC使用经验。 2、 希望深入了解Spring源码的人群，对 Spring有一个整体的宏观感受。 3、 全程手写实现SpringM
阅读更多...
Python 字符串占位

Python 字符串占位

在Python中，可以使用字符串的格式化方法来实现字符串的占位。常见的方法有百分号操作符 % 以及 str.format() 方法 百分号操作符 % name = "张三"age = 20message = "我叫%s，今年%d岁。" % (name, age)print(message) # 我叫张三，今年20岁。 str.format() 方法 name = "张三"age
阅读更多...
代码随想录算法训练营：12/60

代码随想录算法训练营：12/60

非科班学习算法day12 | LeetCode150:逆波兰表达式 ，Leetcode239: 滑动窗口最大值  目录 介绍 一、基础概念补充： 1.c++字符串转为数字 1. std::stoi, std::stol, std::stoll, std::stoul, std::stoull（最常用） 2. std::stringstream 3. std::atoi, std
阅读更多...
记录AS混淆代码模板

记录AS混淆代码模板

开启混淆得先在build.gradle文件中把 minifyEnabled false改成true,以及shrinkResources true//去除无用的resource文件 这些是写在proguard-rules.pro文件内的 指定代码的压缩级别 -optimizationpasses 5 包明不混合大小写 -dontusemixedcaseclassnames 不去忽略非公共
阅读更多...
springboot家政服务管理平台 LW +PPT+源码+讲解

springboot家政服务管理平台 LW +PPT+源码+讲解

3系统的可行性研究及需求分析 3.1可行性研究 3.1.1技术可行性分析 经过大学四年的学习，已经掌握了JAVA、Mysql数据库等方面的编程技巧和方法，对于这些技术该有的软硬件配置也是齐全的，能够满足开发的需要。 本家政服务管理平台采用的是Mysql作为数据库，可以绝对地保证用户数据的安全；可以与Mysql数据库进行无缝连接。 所以，家政服务管理平台在技术上是可以实施的。 3.1
阅读更多...
雨量传感器的分类和选型建议

雨量传感器的分类和选型建议

物理原理分类 机械降雨量计（雨量桶）：最早使用的降雨量传感器，通过漏斗收集雨水并记录。主要用于长期降雨统计，故障率较低。电容式降雨量传感器：基于两个电极之间的电容变化来计算降雨量。当降雨时，水滴堵住电极空间，改变电容值，从而计算降雨量。超声波式降雨量传感器：利用超声波的反射来计算降雨量。适用于大降雨量的场合。激光雷达式降雨量传感器：利用激光技术测量雨滴的速度、大小和形状等参数，并计算降雨量。主
阅读更多...
一道经典Python程序样例带你飞速掌握Python的字典和列表

一道经典Python程序样例带你飞速掌握Python的字典和列表

Python中的列表（list）和字典（dict）是两种常用的数据结构，它们在数据组织和存储方面有很大的不同。 列表（List） 列表是Python中的一种有序集合，可以随时添加和删除其中的元素。列表中的元素可以是任何数据类型，包括数字、字符串、其他列表等。列表使用方括号[]表示，元素之间用逗号,分隔。 定义和使用 # 定义一个列表 fruits = ['apple', 'banana
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2