本文主要是介绍python爬取某人所有微博_用python写网络爬虫爬取新浪微博评论,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文详细介绍了如何利用python实现微博评论的爬取,可以爬取指定微博下的评论。基于的策略是找到微博评论接口,先登录微博,获取cookies,使用requests库发送请求,并且将数据存储到mysql中。
首先微博的站点有四个,pc 端weibo.com
、weibo.cn
以及移动端 m.weibo.com
(无法在电脑上浏览)、m.weibo.cn
。在网上大致浏览了一下,普遍都认为移动端爬取比较容易,故选择移动端m.weibo.cn进行爬取。
登陆m.weibo.cn之后,找到指定微博,例如榜姐的微博如下图。
打开浏览器开发者模式,点击network,勾选XHR,刷新浏览器,发现出现下图中的一些请求。
点开红色方框中的链接,查看我们需要的信息,从可以找到请求链接,以及请求得到的数据,此页包含19条评论。
<
这篇关于python爬取某人所有微博_用python写网络爬虫爬取新浪微博评论的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!