使用python批量采集国家法律法规数据库——科学学习使用！遵守法律！绿色合规！

本文主要是介绍使用python批量采集国家法律法规数据库——科学学习使用！遵守法律！绿色合规！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

模块使用:
- 使用Python的requests模块进行网络请求操作。
目标网址:
- 国家法律法规数据库网址
实现步骤:
1. 模拟浏览器请求:
  - 设置请求头信息模拟浏览器行为。
2. 请求网址并循环获取数据:
  - 循环页面以获取数据，设置查询参数并使用requests.get()请求数据。
3. 提取数据并保存文件:
  - 从返回的JSON数据提取文档ID，请求文档内容并保存为文件。

import requests# 模拟浏览器对url地址发送请求
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
}
# 请求网址 目录页链接
link = 'https://flk.npc.gov.cn/api/'
# for 循环页数
for page in range(1, 8):print(f'正在下载第{page}页数据：')# 查询参数p = {'page': page,'type': 'flfg','searchType': 'title;vague','sortTr': 'f_bbrq_s;desc','gbrqStart': '','gbrqEnd': '','sxrqStart': '','sxrqEnd': '','sort': 'true','size': '10','_': '1713881559870',}# 发送请求link_json = requests.get(url=link, params=p, headers=headers).json()print(link_json)# for循环遍历 提取IDfor index in link_json['result']['data']:docx_id = index['id']print(docx_id)# url地址url = 'https://flk.npc.gov.cn/api/detail'# 请求参数data = {'id': docx_id}# 发送请求response = requests.post(url=url, data=data, headers=headers)# 获取响应json数据json_data = response.json()# 解析数据# 提取文档名称title = json_data['result']['title']down_load = 'https://wb.flk.npc.gov.cn' + json_data['result']['body'][0]['path']# 对下载地址发送请求，获取二进制数据content = requests.get(url=down_load, headers=headers).content# 提取文件格式name = down_load.split('.')[-1]# 保存数据with open('content\\' + title + '.' + name, mode='wb') as f:# 写入数据f.write(content)print(down_load)