kaggle竞赛宝典 | 量化竞赛第一名的网络模型

2024-08-25 21:12

本文主要是介绍kaggle竞赛宝典 | 量化竞赛第一名的网络模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文来源公众号“kaggle竞赛宝典”,仅用于学术分享,侵权删,干货满满。

原文链接:量化竞赛第一名的网络模型

1 简介

今天我们重温Jane Street 大赛第一名的网络模型。该次赛事数据集包含了一组匿名的特征,feature_{0...129},代表真实的股市数据。数据集中的每一行代表一个交易机会,你需要预测一个动作值:1表示进行交易,0表示放弃。每笔交易都有一个相关的权重和响应,它们一起代表交易的回报。日期列是一个整数,表示交易的日期,而ts_id表示时间顺序。

该赛事的第一名选手采用的是AutoEncoder+MLP的网络模型。一起回顾学习一下。

2 模型

2.1 模型结构

模型主要由三个模块组成:

  1. 加入高斯噪音的Autoencoder模块;

  2. Decoder之后数据的原始Loss;

  3. 原始数据+Encoder数据的原始问题的Loss;

2.2 相关细节

  1. 使用自编码器创建新特征,并与原始特征连接,作为下游MLP模型的输入

  2. 在每个交叉验证分割中一起训练自编码器和MLP,以防止数据泄漏

  3. 向自编码器添加目标信息(监督学习),迫使其生成更相关的特征,并为梯度的反向传播创建捷径

  4. 在编码器前添加高斯噪声层,以进行数据增强并防止过拟合

  5. 使用Swish激活函数代替ReLU,以防止“死亡神经元”并平滑梯度

  6. MLP使用批归一化和Dropout

  7. 使用3个不同的随机种子训练模型,并取平均值以减少预测方差

  8. 仅使用在最后两个交叉验证分割中训练的模型(具有不同种子),因为它们已经看到更多的数据

  9. 仅监控MLP的二元交叉熵损失,而不是整体损失,以便早停

  10. 使用Hyperopt找到最佳超参数集

3 核心代码

def create_ae_mlp(num_columns, num_labels, hidden_units, dropout_rates, ls = 1e-2, lr = 1e-3):inp = tf.keras.layers.Input(shape = (num_columns, ))x0 = tf.keras.layers.BatchNormalization()(inp)encoder = tf.keras.layers.GaussianNoise(dropout_rates[0])(x0)encoder = tf.keras.layers.Dense(hidden_units[0])(encoder)encoder = tf.keras.layers.BatchNormalization()(encoder)encoder = tf.keras.layers.Activation('swish')(encoder)decoder = tf.keras.layers.Dropout(dropout_rates[1])(encoder)decoder = tf.keras.layers.Dense(num_columns, name = 'decoder')(decoder)x_ae = tf.keras.layers.Dense(hidden_units[1])(decoder)x_ae = tf.keras.layers.BatchNormalization()(x_ae)x_ae = tf.keras.layers.Activation('swish')(x_ae)x_ae = tf.keras.layers.Dropout(dropout_rates[2])(x_ae)out_ae = tf.keras.layers.Dense(num_labels, activation = 'sigmoid', name = 'ae_action')(x_ae)x = tf.keras.layers.Concatenate()([x0, encoder])x = tf.keras.layers.BatchNormalization()(x)x = tf.keras.layers.Dropout(dropout_rates[3])(x)for i in range(2, len(hidden_units)):x = tf.keras.layers.Dense(hidden_units[i])(x)x = tf.keras.layers.BatchNormalization()(x)x = tf.keras.layers.Activation('swish')(x)x = tf.keras.layers.Dropout(dropout_rates[i + 2])(x)out = tf.keras.layers.Dense(num_labels, activation = 'sigmoid', name = 'action')(x)model = tf.keras.models.Model(inputs = inp, outputs = [decoder, out_ae, out])model.compile(optimizer = tf.keras.optimizers.Adam(learning_rate = lr),loss = {'decoder': tf.keras.losses.MeanSquaredError(), 'ae_action': tf.keras.losses.BinaryCrossentropy(label_smoothing = ls),'action': tf.keras.losses.BinaryCrossentropy(label_smoothing = ls), },metrics = {'decoder': tf.keras.metrics.MeanAbsoluteError(name = 'MAE'), 'ae_action': tf.keras.metrics.AUC(name = 'AUC'), 'action': tf.keras.metrics.AUC(name = 'AUC'), }, )return model

4 参考文献

  1. https://www.kaggle.com/competitions/jane-street-market-prediction/discussion/224348

  2. https://www.kaggle.com/code/gogo827jz/jane-street-supervised-autoencoder-mlp

THE END !

文章结束,感谢阅读。您的点赞,收藏,评论是我继续更新的动力。大家有推荐的公众号可以评论区留言,共同学习,一起进步。

这篇关于kaggle竞赛宝典 | 量化竞赛第一名的网络模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1106669

相关文章

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》:本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为