Python批量下载ERA5数据

2023-11-07 03:28
文章标签 python 数据 批量 下载 era5

本文主要是介绍Python批量下载ERA5数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. ERA5数据简介

ERA5是第五代ECMWF大气再分析全球气候数据(ECMWF),该数据集的第一部分现在可以公开使用(1979年到3个月内)。ERA5数据提供每小时的大气、陆地和海洋气候变量的估计值,地球数据精确到了30km网格,包括了137层的大气数据。
网址:ERA-5

2. 下载数据的准备工作

(1) 注册CDS账号

可使用邮箱直接注册,注册网址如下:https://cds.climate.copernicus.eu/user/register?destination=%2F%23!%2Fhome
注册完后查看自己的邮箱,会给个链接设置密码。

(2) 获取API key

  • 注册完成后,进行登录,点击右上角的用户,查看用户信息,找到下图框出的API key:
    在这里插入图片描述

(3) 创建".cdsapirc"文件

  • 在路径 “C:\Users\用户名” 底下创建 “.cdsapirc” 文件(打开文本文档,输入下面内容后,另存为,选择文件类型-”所有文件“,文件名: “.cdsapirc”),在 “.cdsapirc” 文件输入的内容如下:
url: https://cds.climate.copernicus.eu/api/v2
key: UID:API Key

其中UID替换为上图红框给出的UID的数字,API key也替换为红框框住部分的数字。

(4) 安装cdsapi第三方库

pip install cdsapi

在这里插入图片描述

3. 批量下载

以下载ERA5-Land hourly data from 1950 to present中的数据举例:

  • 选择自己需要的数据、年份、月份、天、时间、以及空间位置

在这里插入图片描述

  • 然后下滑到最后,点击“Show API request” 选项,得到下面所示的图,其中“Terms of use”是一些条例,得先点击同意,才能下载。
    在这里插入图片描述
  • 将上述代码复制到一个.py文件下,然后Python运行,即可下载再分析数据。

4. 批量下载数据

  • 例如,要下载 “ERA5 hourly data on single levels from 1979 to present” 数据集中1979年到2020年每个月的全球2 m温度再分析数据,并保存为nc文件。
import cdsapi
import calendarc = cdsapi.Client()  # 创建用户# 数据信息字典
dic = {'product_type': 'reanalysis',  # 产品类型'format': 'netcdf',  # 数据格式'variable': '2m_temperature',  # 变量名称'year': '',  # 年,设为空'month': '',  # 月,设为空'day': [],  # 日,设为空'time': [  # 小时'00:00', '01:00', '02:00', '03:00', '04:00', '05:00','06:00', '07:00', '08:00', '09:00', '10:00', '11:00','12:00', '13:00', '14:00', '15:00', '16:00', '17:00','18:00', '19:00', '20:00', '21:00', '22:00', '23:00']
}# 通过循环批量下载1979年到2020年所有月份数据
for y in range(1979, 2021):  # 遍历年for m in range(1, 13):  # 遍历月day_num = calendar.monthrange(y, m)[1]  # 根据年月,获取当月日数# 将年、月、日更新至字典中dic['year'] = str(y)dic['month'] = str(m).zfill(2)dic['day'] = [str(d).zfill(2) for d in range(1, day_num + 1)]filename = 'E:\\Data\\ERA5\\1979-2020\\2m_temperature\\' + str(y) + str(m).zfill(2) + '.nc'  # 文件存储路径c.retrieve('reanalysis-era5-single-levels', dic, filename)  # 下载数据

5. 可使用IDM加速下载

详情请参考:https://blog.csdn.net/qq_39373443/article/details/118086241

这篇关于Python批量下载ERA5数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/360932

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

常用的jdk下载地址

jdk下载地址 安装方式可以看之前的博客: mac安装jdk oracle 版本:https://www.oracle.com/java/technologies/downloads/ Eclipse Temurin版本:https://adoptium.net/zh-CN/temurin/releases/ 阿里版本: github:https://github.com/

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal