首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
超话专题
Python爬虫实战(三) 免登录爬取东野圭吾超话——看看你喜欢的书上榜没?
微博爬虫可以不借助selenium,直接用Chrome下的手机端模式打开,找到其封装的json数据,即可爬取,具体步骤如下。 分析过程 以东野圭吾超话为例,网址为微博超话。进入页面后,使用Chrome浏览器的检查功能,打开手机端模式如下: 刷新界面,进行抓包,可发现数据的封装地址。 接下来,我们分析一下翻页原理,向下滑动界面,对比两者的UR
阅读更多...