利用python批量将.shp文件转换坐标生成.geojson文件,再将.geojson转换成.csv文件,最后将csv文件插入数据库表

本文主要是介绍利用python批量将.shp文件转换坐标生成.geojson文件,再将.geojson转换成.csv文件,最后将csv文件插入数据库表,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第一步:.shp批量转.geojson

# author: JMY
# 创建时间: 2024/2/26 17:12
# 批量将.shp文件生成geojson文件并转换坐标为3857import os
import geopandas as gpd# 定义输入和输出文件夹路径
input_folder = 'shp文件'
output_folder = 'geojson文件'# 定义输入和输出坐标系
out_proj = 'EPSG:3857'# 获取输入文件夹下所有的 Shapefile 文件
shapefiles = [f for f in os.listdir(input_folder) if f.endswith('.shp')]# 循环处理每个 Shapefile 文件
for index, shapefile in enumerate(shapefiles):print('转换第%d条数据...' % (index+1))# 读取 Shapefile 文件gdf = gpd.read_file(os.path.join(input_folder, shapefile))# 对几何数据进行坐标系转换gdf.to_crs(out_proj, inplace=True)# 构造输出文件名,将 '.shp' 替换为 '.geojson'output_file = os.path.splitext(shapefile)[0] + '.geojson'# 保存为 GeoJSON 文件gdf.to_file(os.path.join(output_folder, output_file), driver='GeoJSON')print('Shapefile 转换为包含 EPSG:3857 坐标系的 GeoJSON 完成!')

第二步:.geojson批量转.csv

# author: JMY
# 创建时间: 2024/2/23 15:16
# 批量将geojson文件生成csv文件import os
import geopandas as gpd
import json# 定义一个函数,用于从几何信息中提取坐标
def extract_coordinates(geom):if geom:return json.dumps(geom.__geo_interface__['coordinates'])else:return None# 输入目录和输出目录路径
input_dir = 'geojson文件'  # GeoJSON 文件所在目录路径
output_dir = 'csv文件'  # CSV 文件保存目录路径# 获取输入目录下的所有 GeoJSON 文件名
file_names = [f for f in os.listdir(input_dir) if f.endswith('.geojson')]# 初始化ID计数器
id_counter = 0for index,file_name in enumerate(file_names):print('插入第%d条数据...' % (index+1))input_file = os.path.join(input_dir, file_name)# 读取 GeoJSON 数据并创建 GeoDataFrame 对象data = gpd.read_file(input_file)# 在DataFrame中插入一个自增的'id'列作为第一列,并累加ID计数器data.insert(0, 'id', range(1 + id_counter, len(data) + id_counter + 1))data.insert(1, 'cun_id', -1)# 提取 'coordinates' 和 'type' 信息data['type'] = data['geometry'].apply(lambda geom: geom.geom_type if geom else None)data['coordinates'] = data['geometry'].apply(extract_coordinates)# 删除原始的 'geometry' 列data = data.drop('geometry', axis=1)# 更新ID计数器id_counter += len(data)# 将所有字段中的空值设置为 nulldata = data.fillna(value='null')# 指定输出文件名(与原始文件同名,只改变后缀名)output_file = os.path.splitext(os.path.basename(input_file))[0] + '.csv'output_full_path = os.path.join(output_dir, output_file)# 导出为 CSV 文件data.to_csv(output_full_path, index=False)print("输出完成......")

第三步:.csv批量插入数据库表

# author: JMY
# 创建时间: 2024/2/23 16:35
# 多个csv文件导入数据库同一张表中import os
import glob
import pandas as pd
import mysql.connector# 建立与MySQL数据库的连接
conn = mysql.connector.connect(host='', # 主机ipuser='', # 账号password='', # 密码database='' # 数据库
)# CSV目录路径
csv_directory = 'csv文件'# 获取目录中的所有CSV文件
csv_files = glob.glob(os.path.join(csv_directory, '*.csv'))# 创建游标对象
cursor = conn.cursor()# 循环处理每个CSV文件
for index,csv_file in enumerate(csv_files):print('插入第%d条数据...'%(index+1))# 读取CSV文件data = pd.read_csv(csv_file, encoding='utf-8')  # 根据实际情况指定编码# 将除了'id'和'cun_id'外的其他字段转换为字符串类型for column in data.columns:if column not in ['id','cun_id']:data[column] = data[column].astype(str)# 构建SQL插入语句table_name = 'village_yjjbnt'  # 表名columns = ', '.join(data.columns)values = ', '.join(['%s'] * len(data.columns))insert_query = f"INSERT INTO {table_name} ({columns}) VALUES ({values})"# 批量插入数据records = data.values.tolist()cursor.executemany(insert_query, records)# 提交事务
conn.commit()# 关闭游标和连接
cursor.close()
conn.close()print("数据导入mysql成功...")

这篇关于利用python批量将.shp文件转换坐标生成.geojson文件,再将.geojson转换成.csv文件,最后将csv文件插入数据库表的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/762393

相关文章

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很