影刀实例二,小某书如何持续下载图片

2023-11-28 14:52

本文主要是介绍影刀实例二,小某书如何持续下载图片,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一,案例背景:

      小某书平台,利用影刀rpa搜索关键词,然后下载对应文章的图片.

二,思路

1. 登录小某书平台,将网页放大最大【手动完成,作为初始状态】

2. 利用影刀命令【打开输入对话框】获得要搜索的关键词

3.利用命令【填写输入框】接受2的结果,填入搜索框,并点击搜索

4.因为之想下载图文,不涉及视频,所以在点击 【图文】

5.重点来了,本来批量获得相类似的元素一般使用【循环相似元素】或者【循环相似列表】就可以,但是这了面设计一个很重要的概念”懒加载“

三 ,懒加载 介绍 

简单说:就是所有的元素不在屏幕上一次展现,这就造成了无法一次取到所有对象的困难.

常用的套路为:无限循环嵌套【循环像素元素】

需要注意的事项为:1.无限循环,必须设定退出条件.2.无限循环必须去重

如何去做,需要更具具体场景去做.这里就不在赘述

四 ,如何是的程序稳定性更好

前三步,已经获得了所有笔记的链接,循环笔记链接列表就可以

每打开一个可以利用一下步骤获得图片中心思想是模拟人工:

1. 点击图片

2.弹出下载图片,点击.随机等待几秒

3.获得笔记题目元素文本,命名下载图片

但是但是但是,下载超过200左右的时候,在运行会发现无发下载

这是为什么呢?

就是:1点击图片后 没有出现2,而是复制图片或者链接.应该是触发了反爬机制

如何解决呢,利用条件分支分情况解决

思路如下,点击图片后,出现下载图片就按照原先处理,没有则利用【网页截图】命令处理一下 

五,总结一下 

实践出真知,套路得人心

处理懒加载问题得套路要深深记忆在脑袋里,这个是常见得网页自动化的场景,记住思路一通百通.

规避反爬虫机制,有的时候并不一定需要高深的编程知识,更重要的是实践中仔细观察,理清思路.

谢谢大家,希望觉得对大家又帮助的话 ,关注我并多提意见

 

这篇关于影刀实例二,小某书如何持续下载图片的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/429869

相关文章

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

常用的jdk下载地址

jdk下载地址 安装方式可以看之前的博客: mac安装jdk oracle 版本:https://www.oracle.com/java/technologies/downloads/ Eclipse Temurin版本:https://adoptium.net/zh-CN/temurin/releases/ 阿里版本: github:https://github.com/

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

C++操作符重载实例(独立函数)

C++操作符重载实例,我们把坐标值CVector的加法进行重载,计算c3=c1+c2时,也就是计算x3=x1+x2,y3=y1+y2,今天我们以独立函数的方式重载操作符+(加号),以下是C++代码: c1802.cpp源代码: D:\YcjWork\CppTour>vim c1802.cpp #include <iostream>using namespace std;/*** 以独立函数

实例:如何统计当前主机的连接状态和连接数

统计当前主机的连接状态和连接数 在 Linux 中,可使用 ss 命令来查看主机的网络连接状态。以下是统计当前主机连接状态和连接主机数量的具体操作。 1. 统计当前主机的连接状态 使用 ss 命令结合 grep、cut、sort 和 uniq 命令来统计当前主机的 TCP 连接状态。 ss -nta | grep -v '^State' | cut -d " " -f 1 | sort |

2. 下载rknn-toolkit2项目

官网链接: https://github.com/airockchip/rknn-toolkit2 安装好git:[[1. Git的安装]] 下载项目: git clone https://github.com/airockchip/rknn-toolkit2.git 或者直接去github下载压缩文件,解压即可。

Android 10.0 mtk平板camera2横屏预览旋转90度横屏拍照图片旋转90度功能实现

1.前言 在10.0的系统rom定制化开发中,在进行一些平板等默认横屏的设备开发的过程中,需要在进入camera2的 时候,默认预览图像也是需要横屏显示的,在上一篇已经实现了横屏预览功能,然后发现横屏预览后,拍照保存的图片 依然是竖屏的,所以说同样需要将图片也保存为横屏图标了,所以就需要看下mtk的camera2的相关横屏保存图片功能, 如何实现实现横屏保存图片功能 如图所示: 2.mtk

Spring MVC 图片上传

引入需要的包 <dependency><groupId>commons-logging</groupId><artifactId>commons-logging</artifactId><version>1.1</version></dependency><dependency><groupId>commons-io</groupId><artifactId>commons-

Prompt - 将图片的表格转换成Markdown

Prompt - 将图片的表格转换成Markdown 0. 引言1. 提示词2. 原始版本 0. 引言 最近尝试将图片中的表格转换成Markdown格式,需要不断条件和优化提示词。记录一下调整好的提示词,以后在继续优化迭代。 1. 提示词 英文版本: You are an AI assistant tasked with extracting the content of

Java Websocket实例【服务端与客户端实现全双工通讯】

Java Websocket实例【服务端与客户端实现全双工通讯】 现很多网站为了实现即时通讯,所用的技术都是轮询(polling)。轮询是在特定的的时间间隔(如每1秒),由浏览器对服务器发 出HTTP request,然后由服务器返回最新的数据给客服端的浏览器。这种传统的HTTP request 的模式带来很明显的缺点 – 浏 览器需要不断的向服务器发出请求,然而HTTP