如何实现对亚马逊网站产品搜索结果网页中自动上下页的翻页

2024-06-02 14:44

本文主要是介绍如何实现对亚马逊网站产品搜索结果网页中自动上下页的翻页,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

需要在亚马逊网站中通过关键词搜索产品时,实现对网页自动进行点击上下页链接翻页,以便进行数据提取。经观察发现,包含上下页翻页链接的HTML内容及代码如下所示:

在这里插入图片描述

<a href="/s?k=iphone+charger&amp;crid=1EE3FWFFFIWJEOF&amp;ref=sr_pg_2" aria-label="Go to previous page, page 1" class="s-pagination-item s-pagination-previous s-pagination-button s-pagination-separator"><svg xmlns="http://www.w3.org/2000/svg" width="8" height="12" viewBox="0 0 8 12" focusable="false" aria-hidden="true"><path d="M5.874.35a1.28 1.28 0 011.761 0 1.165 1.165 0 010 1.695L3.522 6l4.113 3.955a1.165 1.165 0 010 1.694 1.28 1.28 0 01-1.76 0L0 6 5.874.35z"></path></svg>Previous</a>

如下图所示:
在这里插入图片描述
每个翻页链接都包括一个属性aria-label及页码说明:

aria-label=“Go to previous page, page 1”

则可以通过下面的JavaScript选择器及字符判断代码定位所要的翻页元素标签,并实现自动点击。

// 通过定位并点击下一页链接Next翻页
function goToNextPage() {const nextPageLink = Array.from(document.querySelectorAll('a[aria-label^="Go to next page"]')).find(link => link.textContent.trim().includes('Next'));
console.log(targetLink);if (nextPageLink) {nextPageLink.click();}
}

自动定位并点击上一页:

// 通过定位并点击上一页链接Previous翻页
function goToPreviousPage() {const previousPageLink = Array.from(document.querySelectorAll('a[aria-label^="Go to previous page"]')).find(link => link.textContent.trim().includes('Previous'));
console.log(previousPageLink);if (previousPageLink) {previousPageLink.click();}
}

另外,如果还想知道当前页的页码,可以通过网页url超链接里的参数page获得,比如当前URL为:

https://www.amazon.com/s?k=iphone+charger&page=3&sprefix=%2Caps%2C620&ref=sr_pg_3

这里的page=3就是当前页码,代码如下:

//获取当前页面url
const urlParams = new URLSearchParams(window.location.search);
const pageValue = urlParams.get('page');
console.log(pageValue);

但是在最开始的第一页,url里面没有page这个参数,可以通过翻页链接里的页码来获取,有一个span是这样的:

<span class="s-pagination-item s-pagination-selected" aria-label="Current page, page 3">3</span>

aria-label=“Current page, page 3”,意思是当前页面为第3页。可以这样获取:

//获取当前页码
const currentPage = document.querySelector('span.s-pagination-item.s-pagination-selected').getAttribute('aria-label').match(/page (\d+)/)[1];
console.log(currentPage);

自动点击回到第1页:

document.querySelector('a[aria-label="Go to page 1"]').click();

这个程序在亚马逊美国站时没有问题,但是在其他非英语站点就会有问题,需要把Go to page换成对应的语言。

这篇关于如何实现对亚马逊网站产品搜索结果网页中自动上下页的翻页的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1024262

相关文章

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

opencv图像处理之指纹验证的实现

《opencv图像处理之指纹验证的实现》本文主要介绍了opencv图像处理之指纹验证的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、简介二、具体案例实现1. 图像显示函数2. 指纹验证函数3. 主函数4、运行结果三、总结一、

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》:本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

基于SpringBoot实现文件秒传功能

《基于SpringBoot实现文件秒传功能》在开发Web应用时,文件上传是一个常见需求,然而,当用户需要上传大文件或相同文件多次时,会造成带宽浪费和服务器存储冗余,此时可以使用文件秒传技术通过识别重复... 目录前言文件秒传原理代码实现1. 创建项目基础结构2. 创建上传存储代码3. 创建Result类4.

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很