06.爬虫---urllib与requests请求实战(POST)

本文主要是介绍06.爬虫---urllib与requests请求实战(POST)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

POST请求
Python中的POST请求是HTTP协议中的一种请求方法，用于向服务器提交数据。与GET请求不同，POST请求将数据封装在请求体中，而不是在URL中传递。通常情况下，POST请求用于向服务器提交表单数据、上传文件等操作。

urllib与requests详细介绍在这里，就不再叙述，避免文章重复，杂乱 --urllib与requests请求实战(GET)

1.Urllib模块

使用示例:

import urllib.parse
import urllib.requesturl = 'http://baidu.com'
data = bytes(urllib.parse.urlencode({'name': 'meng','age': 19}), encoding='utf-8')
response = urllib.request.urlopen(url, data=data)
print(response.read().decode('utf-8'))

2.Requests模块

使用示例:

import requestsurl = 'http://baidu.com'
headers = {'User-Agent': 'xxxx'
}data = {'name': 'meng', 'age': 19}response = requests.post(url, data = data,headers = headers)
print(response.text)

3.实战(Requests)

以 https://e.juejin.cn/resources/github 为例



从这个https://e.juejin.cn/resources/github 接口拿到了载荷，也就是 请求体 body

{"category": "trending","period": "month","lang": "python","offset": 0,"limit": 30
}

接下来就可以通过代码去拿数据了

import requestsurl = 'https://e.juejin.cn/resources/github'
headers = {# 伪装浏览器'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 ''Safari/537.36'
}
#载荷 请求体
data = {"category": "trending","period": "month","lang": "python","offset": 0,"limit": 30
}
response = requests.post(url, data=data, headers=headers)
print(response.text)

返回数据:

注意:下面是请求不通的实例

• 请求地址：
  
• 请求体：
  
• 响应体：
  
• 代码如下：

import requestsurl = 'https://api.juejin.cn/recommend_api/v1/short_msg/hot?aid=6587&uuid=7352457603614098982'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.289 ''Safari/537.36','Content-Type':'application/json'
}data = {'cursor': '0','limit': 30,'id_type': 4,'sort_type': 200
}
response = requests.post(url,data=data,headers=headers)
print(response.json())

• 返回结果:

{'err_no': 2, 'err_msg': '参数错误', 'data': None}

参数错误???,也是困扰了我个多小时，当我把参数拿出来对比时发现了有点微妙

response = requests.post(url,data=data,headers=headers)
print(response.request.body)
print(response.json())

response.request.body 返回了

cursor=0&limit=30&id_type=4&sort_type=200

cursor 原本是字符串 ‘0’ ,转后变成了 0

• 修改请求代码

response = requests.post(url,json=data,headers=headers)
print(response.request.body)
print(response.json())

response.request.body 返回了

{"cursor": "0", "limit": 30, "id_type": 4, "sort_type": 200}

• 修改后返回结果:

拿到了！！！，哎

这篇关于06.爬虫---urllib与requests请求实战(POST)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---