requests.exceptions.TooManyRedirects: Exceeded 30 redirects.

2024-04-02 13:38

本文主要是介绍requests.exceptions.TooManyRedirects: Exceeded 30 redirects.,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在使用get或者post的爬虫的时候可能会报错:
raise TooManyRedirects(‘Exceeded %s redirects.’ % self.max_redirects, response=resp)
requests.exceptions.TooManyRedirects: Exceeded 30 redirects.’

原因
因为header头的改变,例如爬虫爬取豆瓣页面的时候,登录header头里面的Host:www.douban.com,但是登录成功以后爬取电影页面的相关内容的时候,Host:movie.douban.com

可以根据google查看header头的改变,这里可以参考百度http://jingyan.baidu.com/article/27fa73268ff4e146f8271f33.html

这篇关于requests.exceptions.TooManyRedirects: Exceeded 30 redirects.的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/870129

相关文章

Python应用开发——30天学习Streamlit Python包进行APP的构建(9)

st.area_chart 显示区域图。 这是围绕 st.altair_chart 的语法糖。主要区别在于该命令使用数据自身的列和指数来计算图表的 Altair 规格。因此,在许多 "只需绘制此图 "的情况下,该命令更易于使用,但可定制性较差。 如果 st.area_chart 无法正确猜测数据规格,请尝试使用 st.altair_chart 指定所需的图表。 Function signa

2024年6月24日-6月30日(ue独立游戏为核心)

试过重点放在独立游戏上,有个indienova独立游戏团队是全职的,由于他们干了几个月,节奏暂时跟不上,紧张焦虑了。五一时也有点自暴自弃了,实在没必要,按照自己的节奏走即可。精力和时间也有限,放在周末进行即可。除非哪天失业了,再也找不到工作了,再把重心放在独立游戏上。 另外,找到一个同样业余的美术,从头做肉鸽游戏,两周一次正式交流即可。节奏一定要放慢,不能影响正常工作生活。如果影响到了,还不如自

韩顺平0基础学java——第30天

p600-611 坦克大战! 艰难推进中 坦克大战-子弹 发射子弹 1.当发射一颗子弹后,就相当于启动一个线程 2.玩家拥有子弹对象,当按下J时,就启动发射行为(线程),让子弹不停移动,形成射击的过程。 3.面板mypanel需要不停重绘,才能出现这个效果 4.当子弹移动到面板边界时,就销毁子弹线程。   增加功能:让敌人发射子弹,且可以有多颗子弹。 1.在敌人坦克类中增加V

根据序列:2/1,3/2,5/3,...生成前30项打印出并求和

根据斐波那契数列 def fab(max): def fib_loop_while(max):max = maxa, b = 0, 1while max &

c#编程:有一个分数序列,2/1,3/2,5/3,8/5,13/8,21/13....找出数列的规律并求出其前30项的和

using System;using System.Collections.Generic;using System.Linq;using System.Text;//有一个分数序列,2/1,3/2,5/3,8/5,13/8,21/13....找出数列的规律并求出其前30项的和namespace ans1{class Program{static void Main(string[]

python requests爬虫

1、介绍 requests是爬虫的利器,可以设置代理ip,cookies,headers等多种反爬虫手段,过滤数据笨的办法可以使用正则,比较可靠稳定的办法使用xpath,找了一个爬虫腾讯招聘的code简要说下 2、代码 设置tr标签的属性值:tr[@class='c bottomline']td[1] 表示第一个td标签.// : 表示选取当前节点开始匹配,直到匹配到符合条件的 # -

Gone框架介绍30 - 使用`goner/gin`提供Web服务

gone是可以高效开发Web服务的Golang依赖注入框架 github地址:https://github.com/gone-io/gone 文档地址:https://goner.fun/zh/ 使用goner/gin提供Web服务 文章目录 使用`goner/gin`提供Web服务注册相关的Goners编写Controller挂载路由路由处理函数io.Readerchan any

requests请求时,遇到的Accept-Encoding问题

在使用requests请求链接的时候,发现请求得到的内容总是一堆乱码: 此时请求的headers里的Accept-Encoding是这样写的: headers = {'Accept-Encoding': 'gzip, deflate','User-Agent': str('Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Geck

【Rust日报】 2019-03-30

使用rust與tensor來做臉部辨識 Read more Ocypod: 一個用Redis來備份的工作佇列 基於actix來實作,目前看起來功能還沒有 beanstalkd 之類的老牌 job queue 完整 不過效能應該是可以期待的,使用json來溝通 如果之後能直接支援 protobuff 就好了 畢竟json比protobuff慢多了 Read more sgx sdk 1.0了 In

【Rust日报】 2019-05-30:使用最新的 async/await 的一些例子

一个说明借用/Move细节的鲜活例子 如下面例子,直接传一个元组进去,不行。索引里面的元素,直接传,可以。为什么? fn f(input: (usize, &mut usize)) {unimplemented!()}fn call_f_a_bunch_of_times(input: (usize, &mut usize)) {for _ in 0..10 {// f(input); //