Python爬虫 l 中国农药信息网的农药登记数据

本文主要是介绍Python爬虫 l 中国农药信息网的农药登记数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、爬取目标

二、完整源码

#""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
#
# Copyright (c) 2024 愤怒的it男, All Rights Reserved.
# FileName : code.py
# Date     : 2024.01.14
# Author   : 愤怒的it男
# Version  : 1.0.0
# Node     : 欢迎关注微信公众号【愤怒的it男】
#
#""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""import csv
import requests
from lxml import etree
from prettytable import PrettyTabledef getData(baseUrl, data, headers): response = requests.post(url=baseUrl, data=data, headers=headers)html = etree.HTML(response.text)trs = html.xpath("//table[@id='tab']/tr")data = []for index,tr in enumerate(trs):text = tr.xpath("td//text()")if index !=0:text = [text[1].strip(),text[3],text[4],text[5],text[6],text[7],text[9].strip()]data.append(text)return datadef printData(result):table = PrettyTable()table.field_names = ["登记证号", "农药名称", "农药类别", "剂型", "总含量", "有效期至", "登记证持有人"]table.add_rows(result)print(table)def saveData(result):with open('农药登记数据.csv', 'w', encoding='utf-8', newline='') as file:writer = csv.writer(file)writer.writerows(result)def main():baseUrl = 'https://www.icama.cn/BasicdataSystem/pesticideRegistration/queryselect.do'headers = {'Content-Type':'application/x-www-form-urlencoded','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}data = "pageNo=1&pageSize=50000&djzh=&nymc=&cjmc=&sf=&nylb=&zhl=&jx=&zwmc=&fzdx=&syff=&dx=&yxcf=&yxcf_en=&yxcfhl=&yxcf2=&yxcf2_en=&yxcf2hl=&yxcf3=&yxcf3_en=&yxcf3hl=&yxqs_start=&yxqs_end=&yxjz_start=&yxjz_end=&accOrfuzzy=2"result = getData(baseUrl, data, headers)printData(result)saveData(result)if __name__== "__main__" :main()

三、源码简析

1、请求头headers以及请求载荷data

在Chrome浏览器开发者工具中抓包分析，可以知道本实例的请求属于POST请求，请求头的Content-Type为application/x-www-form-urlencoded，还有名称/值对的请求载荷数据，所以请求头headers以及请求载荷data设置如下：

baseUrl = 'https://www.icama.cn/BasicdataSystem/pesticideRegistration/queryselect.do'
headers = {'Content-Type':'application/x-www-form-urlencoded','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
data = "pageNo=1&pageSize=50000&djzh=&nymc=&cjmc=&sf=&nylb=&zhl=&jx=&zwmc=&fzdx=&syff=&dx=&yxcf=&yxcf_en=&yxcfhl=&yxcf2=&yxcf2_en=&yxcf2hl=&yxcf3=&yxcf3_en=&yxcf3hl=&yxqs_start=&yxqs_end=&yxjz_start=&yxjz_end=&accOrfuzzy=2"

请求头中的Content-Type，就是B端发给S端的数据类型描述，即告诉服务器端，我给你传的数据是某种类型的，然后服务器端针对不同类型的数据做出不同的反应。常见的Content-Type类型：

application/x-www-form-urlencoded：载荷被URL编码为名称/值对的数据。
multipart/form-data：载荷被编码为二进制类型的数据（一般用来上传文件）。
application/json：载荷被编码为json格式的数据。
text/xml：载荷被编码为XML格式的数据。

通过requests.get()进行GET请求时不存在请求实体部分，浏览器把载荷参数转换成一个字串a=1&b=2，然后把这个字串用?追加到URL尾部，因此请求头不需要设置Content-Type字段。
通过requests.post()进行POST请求时，传入报文的参数有两个，一个是data，一个是json。用data参数提交数据时，request.body的内容则为a=1&b=2这种形式，用json参数提交数据时，request.body的内容则为{"a": 1, "b": 2}这种形式。

2、'utf-8’编码格式打开文件

在使用open函数时，如果不指定文件编码格式，默认使用系统的编码格式。由于本人系统的编码格式为gbk，所以出现了以下错误：

UnicodeEncodeError: 'gbk' codec can't encode character '\u2022' in position 12: illegal multibyte sequence

即’gbk’编码格式不能编码字符’\u2022’，所以需要指定文件编码格式，可以使用’utf-8’编码格式来打开文件。

def saveData(result):with open('农药登记数据.csv', 'w', encoding='utf-8', newline='') as file:writer = csv.writer(file)writer.writerows(result)

四、爬取结果

+------------+--------------------------------+-----------------------+--------------------------+--------------------------------------------------------+------------+--------------------------------------------+
|  登记证号  |            农药名称            |        农药类别       |           剂型           |                         总含量                         |  有效期至  |                登记证持有人                |
+------------+--------------------------------+-----------------------+--------------------------+--------------------------------------------------------+------------+--------------------------------------------+
| PD20095400 |             咯菌腈             |         杀菌剂        |        可湿性粉剂        |                          50%                           | 2029-4-26  |         瑞士先正达作物保护有限公司         |
| PD20141067 |          氰烯·己唑醇           |         杀菌剂        |          悬浮剂          |                          20%                           | 2029-4-24  |        陕西上格之路生物科学有限公司        |
| PD20141065 |          噻嗪·毒死蜱           |         杀虫剂        |        可湿性粉剂        |                          30%                           | 2029-4-24  |        陕西上格之路生物科学有限公司        |
| PD20141049 |             吡蚜酮             |         杀虫剂        |        水分散粒剂        |                          70%                           | 2029-4-23  |        福建新农大正生物工程有限公司        |
| PD20095204 |             乙烯利             |     植物生长调节剂    |           水剂           |                          40%                           | 2029-4-23  |            侨昌现代农业有限公司            |
| PD20095203 |             烯唑醇             |         杀菌剂        |           原药           |                          95%                           | 2029-4-23  |        江苏七洲绿色化工股份有限公司        |
| PD20095180 |          苯·吡·甲草胺          |         除草剂        |         泡腾粒剂         |                          31%                           | 2029-4-23  |            丹东明珠科技有限公司            |
| PD20095175 |          藤酮·辛硫磷           |         杀虫剂        |           乳油           |                          18%                           | 2029-4-23  |      广西施乐农化科技开发有限责任公司      |
| PD20095172 |             溴敌隆             |         杀鼠剂        |           母液           |                          0.5%                          | 2029-4-23  |     辽宁省沈阳爱威科技发展股份有限公司     |
| PD20095167 |             辛硫磷             |         杀虫剂        |           乳油           |                          40%                           | 2029-4-23  |        福建新农大正生物工程有限公司        |
| PD20095163 |             烯唑醇             |         杀菌剂        |        可湿性粉剂        |                         12.5%                          | 2029-4-23  |        江苏七洲绿色化工股份有限公司        |
| PD20095155 |            复硝酚钠            |     植物生长调节剂    |           水剂           |                          1.4%                          | 2029-4-23  |            德州祥龙生化有限公司            |
| PD20095146 |          五氯·福美双           |         杀菌剂        |           粉剂           |                          40%                           | 2029-4-23  |       禾美思（山东）植物保护有限公司       |
| PD20095129 |             吡虫啉             |         杀虫剂        |        可湿性粉剂        |                          10%                           | 2029-4-23  |          江苏快达农化股份有限公司          |
| PD20095126 |            三十烷醇            |     植物生长调节剂    |         可溶液剂         |                          0.1%                          | 2029-4-23  |          浙江大鹏药业股份有限公司          |
| PD20095125 |             莠去津             |         除草剂        |        可湿性粉剂        |                          48%                           | 2029-4-23  |         河南贝力沃生物科技有限公司         |
| PD20095115 |     三氯吡氧乙酸丁氧基乙酯     |         除草剂        |           乳油           |                        480克/升                        | 2029-4-23  |          四川利尔作物科学有限公司          |
| PD20095108 |         高效氟吡甲禾灵         |         除草剂        |           原药           |                          96%                           | 2029-4-23  |              首建科技有限公司              |
| PD20095095 |          吡虫·杀虫单           |         杀虫剂        |        可湿性粉剂        |                          35%                           | 2029-4-23  |          河南常见生物科技有限公司          |
| PD20141042 |          磺草·莠去津           |         除草剂        |          悬浮剂          |                          40%                           | 2029-4-22  |            吉林金秋农药有限公司            |
| PD20095083 |           异丙甲草胺           |         除草剂        |           乳油           |                        720克/升                        | 2029-4-21  |         河南金田地农化有限责任公司         |