Python网络爬虫（三）：Selenium--以携程酒店为例

2024-04-03 20:12
文章标签 python selenium 网络 爬虫 酒店 为例 携程

本文主要是介绍Python网络爬虫（三）：Selenium--以携程酒店为例，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 Selenium简介

        Selenium是一个用于网站应用程序自动化的工具，它可以直接运行在浏览器中，就像真正的用户在操作一样。它相当于一个机器人，可以模拟人类在浏览器上的一些行为，比如输入文本、点击、回车等。Selenium支持多种浏览器，本文以Chrome浏览器为例。chromedriver是一个驱动Chrome浏览器的驱动程序，针对不同的浏览器有不同的driver。

        1.1 Selenium的优缺点

        优点：浏览器能请求到的数据，Selenium同样能请求到，爬虫稳定，适用于所有类型的动态渲染网页。

        缺点：代码量大、容易被反爬、性能低。笔者认为性能低、速度慢是其最大缺点。

2 浏览器基本操作

        浏览器基本操作包括打开浏览器、设置窗口大小、设置打开浏览器位置、关闭浏览器、前进、后退、刷新、获取网页代码等。下面先通过代码来演示如何打开网页并设置浏览器窗口的大小以及打开位置：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Optionsurl = 'https://hotels.ctrip.com/hotels/396376.html#ctm_ref=hp_htl_pt_pro_01'  # 携程上海虹桥宾馆主页
service = Service(executable_path=r'D:\anaconda\Scripts\chromedriver.exe')  # 指定chromedriver位置
opt = Options()
opt.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36"')
opt.add_argument('--disable-blink-features=AutomationControlled')  # 隐藏浏览器痕迹
driver = webdriver.Chrome(service=service, options=opt)  # 实例化浏览器对象
# driver.maximize_window()  # 浏览器窗口最大化
# driver.set_window_position(1000, 20)    # 设置浏览器打开位置
# driver.set_window_size(800,800)    # 设置浏览器窗口大小
driver.get(url)  # 打开网页

        接下来演示如何前进、后退、刷新网页。需要注意的是，Selenium打开不同的网页或者进行前进、后退时，都是在同一个窗口下操作的，不会打开新的窗口：

driver.get('https://hotels.ctrip.com/hotels/396376.html#ctm_ref=hp_htl_pt_pro_01')  # 打开携程
time.sleep(1)url2 = 'https://www.jd.com'    # 打开京东
driver.get(url2)
time.sleep(1)driver.back()    # 回退
time.sleep(1)driver.forward()    # 前进
time.sleep(1)driver.refresh()    # 刷新页面
time.sleep(1)source = driver.page_source    # 获取当前页面源代码

         接下来用一个表格展示Selenium浏览器的基本操作：

浏览器基本操作
方法说明
get()打开浏览器

maximize_window()

浏览器窗口最大化

set_window_position（）

设置浏览器打开位置

set_window_size()

设置浏览器窗口大小
back()回退
forward()前进
        refresh()刷新页面
page_source获取网页源代码
close()关闭当前标签页
quit()退出浏览器

3 网页元素定位

        Selenium抓取网页信息是在开发者工具的Elements选项卡里，Selenium定位网页元素主要通过元素的属性值或者元素在HTML里的路径位置，主要的定位方式如下：

定位方式方法
ID定位driver.find_element(By.ID, 'ID')
name定位driver.find_element(By.NAME, 'NAME')
class定位driver.find_element(By.CLASS_NAME, 'CLASS_NAME')
标签名定位                driver.find_element(By.TAG_NAME, 'TAG_NAME')
xpath定位driver.find_element(By.XPATH, 'XPATH')
CSS选择器定位driver.find_element(By.CSS_SELECTOR, 'CSS_SELECTOR')

        下面来演示如何定位评论标签，并点击，先看下图：

         打开携程任意一个酒店页面，这里以上海虹桥宾馆为例，打开开发者工具，点击Elements选项卡左侧的箭头，然后将鼠标悬停在页面“显示所有...条点评”链接上，点击，开发者工具中就自动定位到了选中的标签，在选中的标签上右击--Copy--Copy XPath，这样就复制了该标签的XPath路径，为“//*[@id="ibu-hotel-detail-head"]/div[2]/div[2]/div[1]/div/div/div[1]/p[2]”，然后调用click()方法点击，代码如下：

element_comment = driver.find_element(By.XPATH,'//*[@id="ibu-hotel-detail-head"]/div[2]/div[2]/div[1]/div/div/div[1]/p[2]')
element_comment.click()

 4 网页元素操控

        操控网页元素在网页元素定位后才能执行，Selenium可以模拟任何操作，比如单机、右击、拖拉、滚动、复制粘贴或者文本输入等，操作方式可分为三大类：常规操作、鼠标事件操作和键盘事件操作。

        4.1 常规操作

        常规操作包含文本清除、文本输入、单击元素、提交表单、获取元素值等。下面以打开京东首页并在搜索框输入mate60Pro，按回车搜索为例：

import timefrom selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keysurl = 'https://jd.com'
driver = webdriver.Chrome()
driver.get(url)
driver.maximize_window()
# 输入昵称和密码
input_element = driver.find_element(By.XPATH, '//*[@id="key"]')
input_element.send_keys('mate60Pro', Keys.ENTER)
time.sleep(3)

         上述例子分别执行了打开京东首页、窗口最大化、定位搜索框位置、输入文本“mate60Pro”、键盘按下回车操作。

        下面列出一些实际开发中常见的操作方式：

代码作用
driver.find_element(By.ID, 'X').clear()清除X标签的内容
driver.find_element(By.ID, 'X').location获取元素在网页中的坐标位置，坐标格式：{'y':20, 'x':100}
driver.find_element(By.ID, 'X').get_attribute('id')获取元素的某个属性值
driver.find_element(By.ID, 'X').is_displayed()判断X元素在网页上是否可见
driver.find_element(By.ID, 'X').is_selected()判断X元素是否被选，通常用于checkbox和radio标签，返回值为True或False
“”“selected标签的选值”“”    from selenium.webdriver.support.select import Select
Select(driver.find_element(By.ID, 'X')).select_by_index('2')根据下拉框的索引来选取
Select(driver.find_element(By.ID, 'X')).select_by_index('book')根据下拉框的value属性来选取
Select(driver.find_element(By.ID, 'X')).select_by_visible_text('beijing')根据下拉框的值来选取

 4.2 鼠标事件

        鼠标事件操作由Selenium的ActionChains类来实现。ActionChains类定义了多种鼠标操作方法，具体的操作方法如下表所示：

ActionChains类的鼠标操作方法
操作方法说明示例
perform        执行鼠标事件click(element).perform()，click是鼠标单击事件，perform是执行这个单击事件
reset_actions取消鼠标事件

click(element).reset_actions()，click

是鼠标单击事件，reset_actions是取消单击事件

click鼠标单击click(element)，element是某个元素对象
click_and_hold长按鼠标左键click_and_hold(element)，element是某个元素对象
context_click长按鼠标右键context_click(element)，element是某个元素对象
double_click鼠标双击        double_click(element)，element是某个元素对象
drag_and_drop对元素长按左键并移动到另一个元素的位置后释放鼠标左键drag_and_drop(element,element1)，element是某个元素对象，element1是目标元素对象
drag_and_drop_by_offset对元素长按左键并移动到指定的坐标位置drag_and_drop_by_offset(element, x, y)，element是某个元素对象，x是偏移的x坐标， y是偏移的y坐标
key_down对元素长按键盘中的某个按键        key_down(Keys.CONTROL, element)，Keys.CONTROL是由Keys定义的键盘事件，element是某个元素对象
key_up对元素释放键盘中的某个按键key_up(Keys.CONTROL, element)，Keys.CONTROL是由Keys定义的键盘事件，element是某个元素对象
move_by_offset对当前鼠标所在位置进行偏移move_by_offset(x, y)，x是偏移的x坐标， y是偏移的y坐标
move_to_element将鼠标移动到某个元素所在的位置move_to_element(element)，element是某个元素对象
move_to_element_with_offset将鼠标移动到某个元素并偏移一定位置move_to_element_with_offset(element, x, y)，element是某个元素对象，x是偏移的x坐标， y是偏移的y坐标
pause设置暂停执行时间pause(60)
release释放鼠标长按操作release(element)，element是某个元素对象，如果element为空，对当前鼠标的位置长按操作进行释放
send_keys执行文本输入send_keys(value)，value是输入的内容
send_keys_to_element对当前元素执行文本输入send_keys_to_element(element, value)， element是某个元素对象，value是输入的内容

        以上方法都是在ActionChains类所定义的类方法，若想使用这些操作方法，必须将ActionChains类实例化后才能调用。以B站的登录页面为例，通过鼠标操作方法去双击网页中的“登录”按钮。

        

import timefrom selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChainsurl = 'https://passport.bilibili.com/login'
driver = webdriver.Chrome()
driver.get(url)
driver.maximize_window()
time.sleep(1)
# 输入昵称和密码
element = driver.find_element(By.CLASS_NAME, 'btn_primary disabled')
ActionChains(driver).double_click(element).perform()
time.sleep(3)

        上述代码中，首先将ActionChains实例化，实例化的时候传入driver对象。实例化之后就可以直接调用鼠标事件操作方法，这些方法需要传入element对象，element是网页中某个标签元素。最后再调用perform方法，这是一个执行命令，因为鼠标可以执行拖拉、长按等持久性的操作，调用perform方法可以让这个鼠标操作马上执行。

        4.3 键盘事件

        键盘事件是模拟人为按下键盘的某个按键，主要通过send_keys方法来实现。以百度搜索为例，利用键盘的快捷键实现搜索内容的变换。代码如下：

import timefrom selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keysurl = 'https://www.baidu.com'
driver = webdriver.Chrome()
driver.get(url)# 获取输入框标签对象
element = driver.find_element(By.XPATH, '//*[@id="kw"]')
element.send_keys('我爱python')
time.sleep(2)# 删除最后的一个文字
element.send_keys(Keys.BACK_SPACE)
time.sleep(2)# 添加输入空格键和“教程”
element.send_keys(Keys.SPACE)
element.send_keys('教程')
time.sleep(2)# ctrl+a 全选输入框内容
element.send_keys(Keys.CONTROL, 'a')
time.sleep(2)# ctrl+x 剪切输入框内容
element.send_keys(Keys.CONTROL, 'x')
time.sleep(2)# ctrl+v 粘贴内容到输入框
element.send_keys(Keys.CONTROL, 'v')
time.sleep(2)# 通过回车键来代替单击操作
driver.find_element(By.ID, 'su').send_keys(Keys.ENTER)

 5 携程酒店评论采集

        先看一下采集的评论：

        附上完整代码：

import csv
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains
from lxml import etreeclass XcSpider:def __init__(self):self.opt = Options()self.opt.debugger_address = '127.0.0.1:8888'self.opt.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36"')self.opt.add_argument('--incognito')self.opt.add_argument('--disable-blink-features=AutomationControlled')  # 隐藏浏览器痕迹self.service = Service(executable_path=r'D:\anaconda\Scripts\chromedriver.exe')self.driver = webdriver.Chrome(options=self.opt, service=self.service)self.driver.implicitly_wait(10)self.f = open('携程酒店评论.csv', 'a', encoding='utf-8-sig', newline='')self.writer = csv.DictWriter(self.f,fieldnames=['score', 'brief_comment', 'content', 'time_location', 'username','room_type', 'room_type2', 'checkin', 'comment_num'])self.writer.writeheader()def fetch_source(self, url):self.driver.get(url)time.sleep(3)self.driver.find_element(by=By.XPATH,value='//*[@id="ibu-hotel-detail-head"]/div[2]/div[2]/div[1]/div/div/div[1]/p[2]').click()source = self.driver.page_sourceself.parse_html(source)ActionChains(driver=self.driver).move_by_offset(400, 400).perform()time.sleep(3)# 执行js代码，滚动条往下拉500像素js = "window.scrollTo(0,500);"self.driver.execute_script(js)count = 1while count < 235:print(f'正在爬取第{count}页数据...')count += 1next_button = self.driver.find_element(by=By.XPATH,value='//*[@id="ibu_hotel_review"]/div/ul[2]/li/div/div[2]/div[2]/div[12]/ul/li[3]/a/i')next_button.click()time.sleep(1)source = self.driver.page_sourceself.parse_html(source)self.driver.execute_script(js)def parse_html(self, source):tree = etree.HTML(source)div_list = tree.xpath('//*[@id="ibu_hotel_review"]/div/ul[2]/li/div/div[2]/div[2]/div[position() < 11]')for div in div_list:score = div.xpath('./div/div[2]/div[1]/div/div[1]/strong/text()')score = self.handle_list(score)brief_comment = div.xpath('./div/div[2]/div[1]/div/div[2]/text()')brief_comment = self.handle_list(brief_comment)content = div.xpath('./div/div[2]/div[2]/p/text()')content = self.handle_list(content)time_location = div.xpath('./div/div[2]/div[3]/div[2]/text()')time_location = self.handle_list(time_location)username = div.xpath('./div/div[1]/div[1]/div/p/text()')username = self.handle_list(username)room_type = div.xpath('./div/div[1]/div[2]/ul/li[1]/span/text()')room_type = self.handle_list(room_type)checkin = div.xpath('./div/div[1]/div[2]/ul/li[2]/span/text()')checkin = self.handle_list(checkin)room_type2 = div.xpath('./div/div[1]/div[2]/ul/li[3]/span/text()')room_type2 = self.handle_list(room_type2)comment_num = div.xpath('./div/div[1]/div[2]/ul/li[4]/span/text()')comment_num = self.handle_list(comment_num)dit = {'score':score,'brief_comment': brief_comment,'content': content,'time_location': time_location,'username': username,'room_type': room_type,'room_type2': room_type2,'checkin': checkin,'comment_num': comment_num,}self.writer.writerow(dit)def handle_list(self, xpath_list):if xpath_list:xpath_list = xpath_list[0].strip()return xpath_listelse:return ''def main(self):self.fetch_source('https://hotels.ctrip.com/hotels/396376.html#ctm_ref=hp_htl_pt_pro_01')self.f.close()if __name__ == '__main__':XS = XcSpider()XS.main()

                

这篇关于Python网络爬虫（三）：Selenium--以携程酒店为例的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/873867。

相关文章

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整
阅读更多...
Python Websockets库的使用指南

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.
阅读更多...
Linux系统配置NAT网络模式的详细步骤(附图文)

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子
阅读更多...
揭秘Python Socket网络编程的7种硬核用法

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器：探测开放端口2.简易 HTTP 服务器：10 秒搭个网页3.局域网游戏：多人联机对战4.
阅读更多...
使用Python实现快速搭建本地HTTP服务器

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》：本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.
阅读更多...
Python使用自带的base64库进行base64编码和解码

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意
阅读更多...
Python基于wxPython和FFmpeg开发一个视频标签工具

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优
阅读更多...
Python如何使用__slots__实现节省内存和性能优化

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景：内存吃得满满的类__slots__：你的内存管理小助手举个大概的例子：看看效果如何？1.
阅读更多...
Python+PyQt5实现多屏幕协同播放功能

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述：突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专
阅读更多...
Python中随机休眠技术原理与应用详解

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2