python selenium+phontomjs的详细用法及简单案例

2024-03-10 17:48

本文主要是介绍python selenium+phontomjs的详细用法及简单案例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

运行环境python2.7

相关模块需要自行下载安装

将phontomjs插件放入环境变量所在的路径


(提示:1.因为phontomjs是无界面浏览器,所以可以通过截图来直观展示  2.selenium类似于按键精灵,代替手动点击网页)


模拟访问百度并截图

#coding:utf8
# 导入包
from selenium import webdriver# 使用插件phontomjs
driver=webdriver.PhantomJS()#访问百度
driver.get("http://www.baidu.com/")#截图
driver.save_screenshot("baidu.png")




模拟浏览器的前进和后退


#coding:utf8
from selenium import webdriver
obj=webdriver.PhantomJS()
try:obj.get('http://www.baidu.com') #访问百度obj.save_screenshot('13.png')obj.get('http://www.sina.com.cn') #访问新浪obj.save_screenshot('14.png')obj.back()          #返回百度obj.save_screenshot('15.png')obj.forward()       #前进到新浪obj.save_screenshot('16.png')
except Exception as e:print e

设置浏览器的宽高

#coding:utf8
from selenium import webdriver
obj=webdriver.PhantomJS()
obj.set_page_load_timeout(5)
obj.set_window_size('360','360') #设置浏览器宽高为480,800
try:obj.get("http://www.baidu.com")obj.save_screenshot('12.png') #截图
except Exception as e:print e

对页面对话框等做一些操作

#coding:utf-8
from selenium import webdriver
obj=webdriver.PhantomJS()
obj.set_page_load_timeout(50)
try:obj.get('http://www.baidu.com')print obj.find_element_by_id("cp").text #获取元素的文本信息obj.find_element_by_id('kw').clear()  #清除输入框内容obj.find_element_by_id('kw').send_keys('hello')  #在输入框内输入helloobj.find_element_by_id('su').click()    #用于点击按钮# obj.find_element_by_id('su').submit()   #用于提交表单内容obj.save_screenshot('17.png')
except Exception as e:print e

截取全屏

#coding:utf8
from selenium import webdriver
obj=webdriver.PhantomJS()
obj.set_page_load_timeout(5)#设置全屏
obj.maximize_window()try:obj.get("http://www.baidu.com")obj.save_screenshot('11.png')
except Exception as e:print e

定位节点和标签

#coding:utf8
from selenium import webdriverobj = webdriver.PhantomJS()
obj.set_page_load_timeout(5)
try:obj.get('http://www.baidu.com')obj.find_element_by_id('kw')  # 通过ID定位obj.find_element_by_class_name('s_ipt')  # 通过class属性定位obj.find_element_by_name('wd')  # 通过标签name属性定位obj.find_element_by_tag_name('input')  # 通过标签属性定位obj.find_element_by_css_selector('#kw')  # 通过css方式定位obj.find_element_by_xpath("//input[@id='kw']")  # 通过xpath方式定位obj.find_element_by_link_text("贴吧")  # 通过xpath方式定位print obj.find_element_by_id('kw').tag_name  # 获取标签的类型
except Exception as e:print e

添加代理和报头

#coding:utf8
from selenium import webdriver
from random import choiceuser_agent=["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36""Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0""Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299""Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"
]# 引入配置对象DesiredCapabilities
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
dcap = dict(DesiredCapabilities.PHANTOMJS)
#从USER_AGENTS列表中随机选一个浏览器头,伪装浏览器
dcap["phantomjs.page.settings.userAgent"] = (choice(user_agent))
# 不载入图片,爬页面速度会快很多
dcap["phantomjs.page.settings.loadImages"] = False
# 设置代理
service_args = ['--proxy=61.135.217.7:80','--proxy-type=socks5']
#打开带配置信息的phantomJS浏览器
driver = webdriver.PhantomJS( desired_capabilities=dcap,service_args=service_args)
# 隐式等待5秒,可以自己调节
driver.implicitly_wait(5)
# 设置10秒页面超时返回,类似于requests.get()的timeout选项,driver.get()没有timeout选项
# 以前遇到过driver.get(url)一直不返回,但也不报错的问题,这时程序会卡住,设置超时选项能解决这个问题。
driver.set_page_load_timeout(10)
# 设置10秒脚本超时时间
driver.set_script_timeout(10)driver.get('http://ip38.com/')
driver.save_screenshot("5.png")



键盘事件

#coding:utf8
from selenium.webdriver.common.keys import Keys
from selenium import webdriver
obj=webdriver.PhantomJS()
obj.set_page_load_timeout(10)
try:obj.get('http://www.baidu.com')obj.find_element_by_id('kw').send_keys(Keys.TAB)obj.find_element_by_id('kw').send_keys('hello')obj.find_element_by_id('kw').send_keys(Keys.CONTROL,'a')   #ctrl + a 全选输入框内容obj.find_element_by_id('kw').send_keys(Keys.CONTROL,'x')   #ctrl + x 剪切输入框内容obj.find_element_by_id('kw').send_keys(u'美女')obj.find_element_by_id('su').send_keys(Keys.ENTER)obj.save_screenshot('18.png')except Exception as e:print e

添加代理ip
#coding:utf8
from selenium import webdriverbrowser=webdriver.PhantomJS()
# browser.get('http://ip38.com/')
# browser.save_screenshot("3.png")  # 截图保存# 利用DesiredCapabilities(代理设置)参数值,重新打开一个sessionId,我看意思就相当于浏览器清空缓存后,加上代理重新访问一次url
proxy=webdriver.Proxy()
proxy.http_proxy='112.74.32.237:6666'
# 将代理设置添加到webdriver.DesiredCapabilities.PHANTOMJS中
proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)
browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)
browser.get('http://ip38.com/')
browser.save_screenshot("2.png")# 还原为系统代理
# proxy=webdriver.Proxy()
# # proxy.proxy_type=ProxyType.DIRECT
# proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)
# browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)
# browser.get('http://ip38.com/')


这篇关于python selenium+phontomjs的详细用法及简单案例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/795014

相关文章

将Mybatis升级为Mybatis-Plus的详细过程

《将Mybatis升级为Mybatis-Plus的详细过程》本文详细介绍了在若依管理系统(v3.8.8)中将MyBatis升级为MyBatis-Plus的过程,旨在提升开发效率,通过本文,开发者可实现... 目录说明流程增加依赖修改配置文件注释掉MyBATisConfig里面的Bean代码生成使用IDEA生

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S