基础篇(6) splash应用

2024-08-28 18:58
文章标签 基础 应用 splash

本文主要是介绍基础篇(6) splash应用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

     selenium是浏览器测试自动化工具，很容易完成鼠标点击，翻页等动作，确定是一次只能加载一个页面，无法异步渲染页面，也就限制了selenium爬虫的抓取效率。

    splash可以实现异步渲染页面，可以同时渲染几个页面。缺点是在页面点击，，模拟登陆方面没有selenium灵活。

1、docker安装splash

docker安装splash镜像
[ywadmin@wzy_woyun ~]$docker pull scrapinghub/splash
#后台运行
[ywadmin@wzy_woyun ~]$ docker run -d -p 8050:8050 --name=splash scrapinghub/splash
#root用户开放8050端口
[root@wzy_woyun ~]# firewall-cmd --permanent --add-port=8050/tcp
success
[root@wzy_woyun ~]# firewall-cmd --reload
Success

2、splash中的对象

2.1、args属性

该属性可以获取加载时配置的参数，比如url。

function main(splash, args)

      local url = args.url

end

上面的代码等同于下面

function main(splash, args)

      local url = splash.args.url

end

3.2、js_enabled属性

接着我们重新代用eval()方法执行JavaScript代码，运行时发现报错。这个属性是splash的JavaScript执行开关，可以将其配置为true或者false来控制是否执行JavaScript代码，默认为true。

function main(splash, args)splash:go("https://www.baidu.com")splash:js_enabled = false -- 禁止加载JavaScript代码splash:wait(0.5)local title = splash:evaljs("document.title") --获取网页标题return {html = splash:html(),title = title,   }
end

接着我们重新代用eval()方法执行JavaScript代码，运行时发现报错。

一般不用设置次属性，默认是开启的。

2.3、resource_timeout属性

属性可以设置加载的超时时间，单位是秒。如果设置为0或者nil(类似py中的None)，表示不进行超时检测。

function main(splash, args)splash.resource_timeout = 5splash:go("https://www.taobao.com")return splash:html()
end

2.4、images_enabled属性

    images_enabled属性表示可以设置图片是否加载，默认情况下是加载的，默认为true。如果设置图片不加载，那么加载网页速度会快。

function main(splash, args)splash.images_enabled = falsesplash:go("https://www.taobao.com")return {splash:html(),splash.png}
end

2.5、plugins_enabled属性

该属性表示是否开启浏览器插件。默认情况是开启，默认值为true。

function main(splash, args)splash.plugins_enabled = falsesplash:go("https://www.taobao.com")return {splash:html(),splash.png(),}
end

2.6、scroll_position属性

控制浏览页面上下或者左右滚动，这个属性是比较常用的属性。

function main(splash, args) splash:go("https://www.taobao.com")splash.scroll_postion={x=300,y=500}return {splash:html(),splash.png()}
end

其中x=300表示向右移动300像素，y=500表示向下移动500像素。

3、splash中的方法

3.1、go()方法

go方法用来请求某个链接，而且它可以模拟get和post请求，同时支持传入请求头、表单等数据。

function main(splash)splash:go{"http://www.sxt.cn", http_method="POST", body="name=17703181473"}splash:wait(2)return {html=splash:html()}
end

3.2、wait()方法

wait()方法控制页面的等待时间：

splash:wait{time, cancel_on_redirect=false, cancel_on_error=true}

function main(splash)splash:go("https://www.taobao.com")splash:wait(2)return {html=splash:html()}
end

3.3、jsfunc()方法

直接调用JavaScript定义的方法，但是所调用的方法需要用双中括号包围，这相当于实现了JavaScript方法到Lua脚本的转换。

function main(splash, args)splash:go("http://www.baidu.cn")local scroll_to = splash:jsfunc("window.scrollTo")scroll_to(0, 300)return {png = splash:png(),html = splash:html()}
end

3.4、evaljs()方法和runjs()方法

function main(splash, args)splash:go("https://www.baidu.com")splash:runjs("foo = function() { return 'sxt' }")local result = splash:evaljs("foo()")return result
end

3.5、send_text()

send_text()方法是填写文本的功能

function main(splash)splash:go("https://www.baidu.com/")input = splash:select("#kw")input:send_text('Splash')splash:wait(3)return splash:png()
end

3.6、url()方法

获取当前在访问的URL

function main(splash, args)splash:go("https://www.baidu.com")return splash:url()
end

3.7、get_cookies()方法

function main(splash, args)splash:go("http://www.baidu.com")splash:wait(2)local cookies = splash:get_cookies()return {cookies = cookies,html = splash:html(),png = splash:png(),har = splash:har(),}
end

 

3.7、  add_cookie()方法

添加cookies

【语法】

cookies = splash:add_cookie{name, value, path=nil, domain=nil, expires=nil, httpOnly=nil, secure=nil}

function main(splash)splash:add_cookie{"sessionid", "123456abcdef", "/", domain="http://bjsxt.com"}splash:go("http://bjsxt.com/")return splash:html()
end

3.8、clear_cookies()方法

function main(splash)splash:go("https://www.bjsxt.com/")splash:clear_cookies()return splash:get_cookies()
end

3.9、set_user_agent()方法

 

function main(splash, args)splash:set_user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36")splash:go("http://httpbin.org/get")splash:wait(5)return {html = splash:html(),png = splash:png(),   }
end

注意set_user_agent()方法后面直接跟具体的值。

3.10、set_custom_headers()方法

set_custom_headers()方法是用来设置请求头信息。

function main(splash, args)splash:set_custom_headers({["User-Agent"]="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",["Host"]="www.httpbin.org"})splash:go("http://httpbin.org/get")splash:wait(5)return {html = splash:html(),png = splash:png(),   }
end

4、splash与python整合

Splash与Python结合其实就python调用splash的api。

4.1、render.html应用

import requests
from urllib.parse import quote
# 1、render.html
# 次接口用于获取JavaScript渲染的页面的HTML代码，接口地址就是Splash的运行地址加次接口名称，如http://192.168.2.10:8050/render.html
url = "http://192.168.2.10:8050/render.html?url=http://www.hnwznz.com&wait=2"
response = requests.get(url)
print(response.text)# 2、render.png 此接口可以获取网页截图
url_2= "http://192.168.2.10:8050/render.png?url=https://www.jd.com&wait=3&width=1000&height=700"
response_2 = requests.get(url_2)
with open("jd.png","wb") as f:f.write(response.content)

4.2、execute的调用

#3、execute 作为最强大的接口，用次接口便可实现与Lua脚本的对接。lua = """
function main(splash, args)return "hello"
end
"""
url_3 = "http://192.168.2.10:8050/execute?lua_source="+quote(lua)
response_3 = requests.get(url_3)
print(response_3.text)

【例子】

import requests
from fake_useragent import UserAgent
from urllib.parse import quote
url = "https://www.guazi.com/bj/buy/"
lua_script = '''
function main(splash, args)splash:go('{}')splash:wait(1)return splash:html()
end
'''.format(url)
splash_url = "http://192.168.2.10:8050/execute?lua_source={}".format(quote(lua_script))
response = requests.get(splash_url, headers={"User-Agent": UserAgent().random})
response.encoding = 'utf-8'
print(response.text)

5、应用例子

5.1、爬取京东商品

import json
import requests
from lxml import etree
from urllib.parse import quote
lua = '''
function main(splash, args)local treat = require("treat")local response = splash:http_get("https://search.jd.com/Search?keyword=相机&enc=utf-8")return {html = treat.as_string(response.body),url = response.url,status = response.status}    
end
'''
# 线上部署的服务，需要将localhost换成服务器的公网地址（不是内网地址）
url = 'http://192.168.2.10:8050/execute?lua_source=' + quote(lua)
response = requests.get(url)
# 由于使用splash，response.text返回结果为{"status":200,"html":"xxxxxxxxx","url":"yyyyyy"}
html = json.loads(response.text)['html']
# print(html)
tree = etree.HTML(html)# 单品
products_1 = tree.xpath('//div[@class="gl-i-wrap"]')
for item in products_1:try:name_1 = item.xpath('./div[@class="p-name p-name-type-2"]/a/em/text()')[0]price_1 = item.xpath('./div[@class="p-price"]/strong/@data-price | ./div[@class="p-price"]/strong/i/text()')[0]print(name_1)print(price_1)except:pass
print("="*90)

 

 

这篇关于基础篇(6) splash应用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1115606。

相关文章

Python中随机休眠技术原理与应用详解

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2
阅读更多...
Python Dash框架在数据可视化仪表板中的应用与实践记录

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash？1.1
阅读更多...
C#基础之委托详解(Delegate)

C#基础之委托详解(Delegate)

《C#基础之委托详解(Delegate)》：本文主要介绍C#基础之委托(Delegate),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 委托定义2. 委托实例化3. 多播委托（Multicast Delegates）4. 委托的用途事件处理回调函数LINQ
阅读更多...
Android Kotlin 高阶函数详解及其在协程中的应用小结

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民（First-ClassCitizen）,使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数？3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda
阅读更多...
Java中&和&&以及|和||的区别、应用场景和代码示例

Java中&和&&以及|和||的区别、应用场景和代码示例

《Java中&和&&以及|和||的区别、应用场景和代码示例》：本文主要介绍Java中的逻辑运算符&、&&、|和||的区别,包括它们在布尔和整数类型上的应用,文中通过代码介绍的非常详细,需要的朋友可... 目录前言1. & 和 &&代码示例2. | 和 ||代码示例3. 为什么要使用 & 和 | 而不是总是使
阅读更多...
Python循环缓冲区的应用详解

Python循环缓冲区的应用详解

《Python循环缓冲区的应用详解》循环缓冲区是一个线性缓冲区,逻辑上被视为一个循环的结构,本文主要为大家介绍了Python中循环缓冲区的相关应用,有兴趣的小伙伴可以了解一下... 目录什么是循环缓冲区循环缓冲区的结构python中的循环缓冲区实现运行循环缓冲区循环缓冲区的优势应用案例Python中的实现库
阅读更多...
SpringBoot整合MybatisPlus的基本应用指南

SpringBoot整合MybatisPlus的基本应用指南

《SpringBoot整合MybatisPlus的基本应用指南》MyBatis-Plus,简称MP,是一个MyBatis的增强工具,在MyBatis的基础上只做增强不做改变,下面小编就来和大家介绍一下... 目录一、MyBATisPlus简介二、SpringBoot整合MybatisPlus1、创建数据库和
阅读更多...
python中time模块的常用方法及应用详解

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石：time.time()典型场景：程序性能分析进阶技巧：结合上下文管理器实现自动计时
阅读更多...
Java逻辑运算符之&&、|| 与&、 |的区别及应用

Java逻辑运算符之&&、|| 与&、 |的区别及应用

《Java逻辑运算符之&&、||与&、|的区别及应用》：本文主要介绍Java逻辑运算符之&&、||与&、|的区别及应用的相关资料,分别是&&、||与&、|,并探讨了它们在不同应用场景中... 目录前言一、基本概念与运算符介绍二、短路与与非短路与：&& 与 & 的区别1. &&：短路与（AND）2. &：非短
阅读更多...
Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么？Spring AI 的主要功能包括1、环境准备2
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2