全国地铁站数据实时更新：Python + 高德地图实战

本文主要是介绍全国地铁站数据实时更新：Python + 高德地图实战，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

数据抓取呢，非常注重时效性。本篇文章记录于2024年8月，介绍如何使用Python和高德地图来获取中国各大城市的最新地铁站数据。通过python脚本，可以直接获取最新的地铁站信息，确保数据与高德地图的数据源同步更新，数据来源：高德地图 | 地铁图 (amap.com)；

另外本专栏主打的就是直接copy直接运行即可，动一下脑子，都是对代码的不尊重，对了下面的库包如果没装的话还是要装一下的，关键的也就一个BeautifulSoup包了；

完整代码#运行环境Python 3.11

import json
import requests
from bs4 import BeautifulSoup# 设置请求头，模拟浏览器行为
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}# 初始化已获取的地铁站ID集合
got_sid = set()
# 初始化线路字典
lines = {}def output_lines():# 输出线路信息到CSV文件with open('lines.csv', 'a+') as f:# 写入CSV文件的表头print('城市行政区划代码', '城市名', '线路id', '线路名', sep=',', file=f)# 遍历所有线路信息for line_id, line in lines.items():# 写入具体线路信息print(line['cityCode'], line['cityName'], line_id, line['lineName'], sep=',', file=f)def get_message(ID, cityname, name):"""获取指定城市的地铁线路信息"""# 构造地铁线路数据的URLurl = f'http://map.amap.com/service/subway?_1555502190153&srhdata={ID}_drw_{cityname}.json'# 发送HTTP GET请求response = requests.get(url=url, headers=headers)# 解析响应内容为文本html = response.text# 将文本解析为JSON对象result = json.loads(html)# 打开或创建用于存储地铁站数据的CSV文件with open('stations.csv', 'a+') as f:# 遍历每一条地铁线路for i in result['l']:# 遍历该线路下的每个地铁站for j in i['st']:# 获取线路名称line_name = i['ln']# 如果线路有分线，则添加分线标识if i['la']:line_name += f"({i['la']})"# 记录线路信息city_code = IDcity_name = nameline_id = i['ls']lines[line_id] = {'lineId': line_id,'lineName': line_name,'cityCode': city_code,'cityName': city_name,}# 记录地铁站信息station = {'cityCode': city_code,'cityName': city_name,'stationId': j['sid'],'stationName': j['n'],'stationPosition': j['sl'],'stationLines': j['r'],}# 如果该地铁站ID已存在于已获取的集合中，则跳过if station['stationId'] in got_sid:continue# 将地铁站ID添加到已获取的集合中got_sid.add(station['stationId'])# 打印地铁站信息print(*station.values())# 将地铁站信息写入CSV文件print(*station.values(), file=f, sep=',')def get_city():"""获取城市列表，并对每个城市调用get_message函数获取其地铁站信息"""# 构造获取城市列表的URLurl = 'http://map.amap.com/subway/index.html?&1100'# 发送HTTP GET请求response = requests.get(url=url, headers=headers)# 解析响应内容为HTML文本html = response.text# 处理编码问题html = html.encode('ISO-8859-1').decode('utf-8')# 使用BeautifulSoup解析HTMLsoup = BeautifulSoup(html, 'lxml')# 获取城市列表res1 = soup.find_all(class_="city-list fl")[0]res2 = soup.find_all(class_="more-city-list")[0]# 打开或创建用于存储地铁站数据的CSV文件with open('stations.csv', 'a+') as f:# 写入CSV文件的表头print('城市行政区划代码', '城市名', '地铁站ID', '地铁站名', '经度', '纬度', '所属线路',sep=',', file=f)# 遍历第一个城市列表中的城市链接for i in res1.find_all('a'):# 获取城市ID值ID = i['id']# 获取城市拼音名cityname = i['cityname']# 获取城市名name = i.get_text()# 调用get_message函数获取该城市的地铁站信息get_message(ID, cityname, name)# 遍历第二个城市列表中的城市链接for i in res2.find_all('a'):# 获取城市ID值ID = i['id']# 获取城市拼音名cityname = i['cityname']# 获取城市名name = i.get_text()# 调用get_message函数获取该城市的地铁站信息get_message(ID, cityname, name)# 主程序入口
if __name__ == '__main__':# 获取城市列表，并对每个城市调用get_message函数get_city()# 输出所有线路信息output_lines()

运行结束会保存二个文件夹一个line.csv，一个station.csv；