本文主要是介绍爬取热搜排行榜数据(以微博为例)再保存数据库用的是selenium,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
爬取热搜排行榜数据(以微博为例)再保存数据库
- [1] 下载好所需要的第三方库
- [2] 先确定要爬取的url
- [3] 开始我们的请求数据
- [4] 确保数据库的正常连接输送
- [5] 保存进自己的数据库
好了,大概就是以上五点。
第一点:第三方库的安装,
需要准备`
import requests
from selenium.webdriver import Chrome,ChromeOptions
import time
import pymysql
import traceback`
就上面的五个包就足够了。
可以看我的上一篇博客,有安装教程,这里我就不详细谢啦,附一下上篇连接https://blog.csdn.net/XY52wiue/article/details/112975003
下面开始我们的实际操作。
第二步,确定要爬取的url
url = https://s.weibo.com/top/summary
打开技术这个样子,当然你也可以换网站,其实都一样的啦。
第三步,发送请求啦
先粘贴下代码吧各位,少安毋躁呀
def get_webhot(): #热搜函数url ="https://s.weibo.com/top/summary" # 微博的地址res = requests.get(url)#这个就是再后台上面运行那个浏览器,不在表面上占用你的option = ChromeOptions()option.add_argument('--headless'
这篇关于爬取热搜排行榜数据(以微博为例)再保存数据库用的是selenium的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!