本文主要是介绍Selenium抓取百度首页TOP6新闻标题链接，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
注意点：
1. 安装chromedriver
在淘宝镜像上下载一个和自己Google浏览器版本一样的Chromedriver, 推荐放在 chrome.exe 同一目录下
2.提取标签中的属性内容
-- .get_attribute('标签属性')
3.提取标签中的text内容
-- text
4.使用 unquote() 对URL进行解码
-- link = unquote(link)
from selenium import webdriver
import time
from urllib.parse import unquote# 计算机中chromedriver.exe的绝对位置
# "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
driver = webdriver.Chrome("C:\chromedriver.exe")
# 请求网站
driver.get("https://www.baidu.com")
# 最大化窗口
driver.maximize_window()
# 获取当前访问的url
url = driver.current_url
print('现在的网址是:', url)
# 显示网页源码
html = driver.page_source
# 将源码保存以便观察
with open('html.html','w', encoding='utf-8') as f:f.write(html)
# 获取cookie
# cookie = driver.get_cookies()
# cookie = {i['name']:i['value'] for i in cookie}
# print('获取到的cookie：\n', cookie)
time.sleep(5)
# 用selenium自带的定位功能定位信息
url = driver.find_elements_by_xpath('//a[@class="title-content c-link c-font-medium c-line-clamp1"]')
# 创建个空字典准备存放信息
item = {}
# 遍历获取到的信息进行清洗
for i in url:item_news = {}# element返回的是一个对象，不能直接在xpath中使用.text方法,要在结尾使用number = i.find_element_by_xpath('.//span').textnews = i.find_element_by_xpath('.//span[@class="title-content-title"]').text# 同理，获取属性标签的时候不能直接//href，要用.get_attribute('href')方法link = i.get_attribute('href')# url解码item_news[news] = unquote(link)item[int(number)] = item_news
# 将字典排序
item_list = sorted(item.items())
# 输出结果
for i in item_list:print('热度排名:', i[0], end='\t')print(list(i[1].keys())[0])print(list(i[1].values())[0])
# print('首页新闻', text)
time.sleep(3)
这篇关于Selenium抓取百度首页TOP6新闻标题链接的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
