天气数据集-Jena Climate dataset

2024-06-03 02:20

本文主要是介绍天气数据集-Jena Climate dataset,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

天气数据集-Jena Climate dataset

1.数据集基本信息

  • Dataset Name:  mpi_saale_2021b.csv  

  • Size: 26495 rows;  1 year (2021), 10 min  

  • 气象学、农业、环境科学

  • 开源机构:  Max Planck Institute for Biogeochemistry

2.数据特征

2.1 特征简介

  • 数据共有31个特征,包括一些地理测量数据,如气压、温度、湿度、降雨量、风向等等

  • 我们是希望通过各种测量数据预测气温,这里很多特征是类似的,比如不同高度下的温度就是彼此相似

2.2 特征可视化

因为这个数据随时间变化,我们直接画出数据各个特征随时间变化的趋势图, 这里用index作为x 轴:

2.3 数据特征细节

1. ‘Date Time', 日期和时间2. ‘p (mbar)',  大气压力(毫bar) 3. ’T (degC)',  温度(摄氏度)4. ‘rh (%)', relative_humidity 相对湿度 (%)5. ‘sh (g/kg)', 每千克空气中的水汽含量6. ‘Tpot (K)', 相当位温(以开尔文为单位)> 指在将大气气块压缩或扩张到参考压力下(通常为1000毫巴),使其在对流过程中不发生任何相变(即凝结或蒸发)的温度> 开尔文(Kelvin)是温度的国际单位,通常用于科学和工程领域。开尔文温度标度是绝对温度标度,以绝对零度(零度的-273.15摄氏度)作为零点。开尔文温度通常用符号 "K" 表示,不加摄氏度符号。因此,绝对零度为0K,而水的冰点是273.15K,水的沸点是373.15K。> 空气在湿度和压力保持恒定时的温度7. ‘Tdew (degC)', 露点温度(以摄氏度为单位)> 指空气在恒定压力下,通过降低温度使其饱和,产生露珠或霜的温度。简单来说,就是当空气中的水汽凝结成液态水或冰时的温度。露点温度通常用来描述空气中的湿度。当露点温度与空气温度相近时,空气的相对湿度较高;当它们之间的差距较大时,相对湿度较低。> 在气象学中,露点温度是一个重要的指标,用于衡量空气中的水汽含量以及空气的湿度。较高的露点温度意味着空气中含有较多的水汽,较低的露点温度则表示空气较为干燥。露点温度也是天气预报中的一个重要参数,因为它与空气中的水汽含量直接相关,对天气的变化和降水的可能性具有一定的预测意义。8. ‘VPmax (mbar)', 最大水汽压力(以毫巴为单位)> 在达到饱和状态时,液体表面的蒸汽压力达到最大值,此时液体中的分子以与气体中相同的速率从液体表面蒸发,并与气体中的分子再次凝结,这样就建立了动态平衡。9. ’VPact (mbar)', 实际水汽压力(以毫巴为单位)> 液体表面上的蒸汽与液体达到动态平衡时的压力。液体分子会不断从液体表面蒸发成气体,同时也会有气体分子再凝结成液体,当这两个过程达到平衡时,液体表面上就会有一定的蒸汽压。蒸汽压受温度和液体性质的影响,温度越高,蒸汽压越高;液体的性质(比如分子间力)也会影响蒸汽压的大小。10. ‘VPdef (mbar)', 水汽压力缺失(以毫巴为单位)> 际水汽压力与空气中饱和水汽压力之间的差值11. ‘H2OC (mmol/mol)', 水汽含量(以毫摩尔/毫摩尔为单位)12. ‘rho (g/m**3)', 空气密度(以克/立方米为单位)13. ‘wv (m/s)',  风速 (米/秒)> 强风可能伴随着暴风雨或暴风14. ‘wd (deg)',  风向(度)15. ‘rain (mm)',  降雨量(毫米)> 降水的数量,可用于判断是否下雨16. ‘SWDR (W/m**2)', 短波辐射(瓦特/平方米)> 短波辐射(Shortwave Downward Radiation)是指太阳短波辐射能量在大气层顶进入地面或水面的辐射能量。它是太阳能辐射的一部分,主要包括可见光和紫外光,通常以瓦特每平方米(W/m²)为单位表示。短波辐射是地球能量平衡中的一个重要组成部分,它决定了地球表面的能量收入。> 在气象学和气候学中,短波辐射是一个重要的气象参数,用于分析太阳辐射对地球能量平衡和气候变化的影响。它受到大气中云量、气溶胶、水汽含量等因素的影响,因此对于研究大气辐射传输和气候模拟具有重要意义。17. ‘SDUR (s)', 短波辐射持续时间(以秒为单位)18. ’TRAD (degC)', 地表温度(以摄氏度为单位)19. ‘Rn (W/m**2)',  净辐射(以瓦特/平方米为单位)20. ‘ST002 (degC)', 地表温度在 2 厘米深度的测量值(以摄氏度为单位)21. ’ST004 (degC)', 地表温度在 4 厘米深度的测量值(以摄氏度为单位)22. ‘ST008 (degC)', 地表温度在 8 厘米深度的测量值(以摄氏度为单位)23. ‘ST016 (degC)',  地表温度在 16 厘米深度的测量值(以摄氏度为单位)24. ’ST032 (degC)', 地表温度在 32 厘米深度的测量值(以摄氏度为单位)25. ’ST064 (degC)', 地表温度在 64 厘米深度的测量值(以摄氏度为单位)26. ‘ST128 (degC)', 地表温度在 128 厘米深度的测量值(以摄氏度为单位)27. ‘SM008 (%)', 土壤湿度在 8 厘米深度的测量值(以百分比表示)28. ‘SM016 (%)', 土壤湿度在 16 厘米深度的测量值(以百分比表示)29. ‘SM032 (%)', 土壤湿度在 32 厘米深度的测量值(以百分比表示)30. ’SM064 (%)', 土壤湿度在 64 厘米深度的测量值(以百分比表示)31. ‘SM128 (%)'   土壤湿度在 128 厘米深度的测量值(以百分比表示)

3.数据预处理

3.1 特征选择

- 由于顺序数据index和data性质类似,这里删掉 “Data Time”

- 由于ST002(degC)-ST064(degC)是不同地表高度的温度,和我们要预测的数据T(degC),在性质上类似,因此全部删掉

3.2 输入输出

我们计划用RNN模型来预测温度,大概是知道前n-1时刻的特征数据(包括温度),预测第n时刻的温度,因此:

我们要对shape为(26495,31)的数据进行处理。

  • 先删掉不需要的特征13个,剩下18个,删后的shape为(26495,18)

  • 我们用过8个连续时间点预测第9个时间点,即模型输入为 x = (_, 8, 18), 输出为 y = (_, 1)

> 这里的shape留了个空位给batch_size,用于模型批量化处理数据

  • 我们假设输出的参考真实值为标签y‘,即数据集中第三列特征

参考链接

  • LSTM 原版: Weather forecast using LSTM networks
  • 天气数据集:   Max-Planck-Institut fuer Biogeochemie - Wetterdaten

这篇关于天气数据集-Jena Climate dataset的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1025772

相关文章

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模