实例操作教你爬取京东的商品数据|实现大批量数据采集API接口

2024-03-05 11:52

本文主要是介绍实例操作教你爬取京东的商品数据|实现大批量数据采集API接口,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数据采集API接口可以实现搜索及商品详情数据的大批量稳定采集

提出问题

如何在京东商城爬取出各个商品的相关信息(价格、名称、评价、店铺名等等),比如,打开web京东网站,在搜索框输入关键字:口红。那么商品展示列表的所有商品的信息,怎么爬下来,怎么保存到表格中?

我们来看看怎么实现这个功能。

图片

解决思路

1、打开网站,输入关键字,点击搜索按钮;

2、将右侧下拉框拉到最下面,保证获取到全部的数据;

3、将每一个商品进行遍历,把每个item中的价格、名称、店铺、评价数量全部获取到;

4、将获取的信息,装在表格中。

图片

import timeimport pandas as pdfrom selenium import webdriverimport requestsfrom selenium.webdriver import Keysfrom selenium.webdriver.common.by import By
if __name__ == '__main__':    search_word = input("请输入你要搜索的商品:")    page_size = int(input("请输入你要爬取的页数:"))    prices, names, commits, shops = [], [], [], []    # 打开浏览器    driver = webdriver.Chrome()    driver.get("https://www.jd.com")    time.sleep(1)    # 将web网页窗口最大化    driver.maximize_window()    # 找到搜索框    input_box = driver.find_element(By.ID, "key")    # 将搜索的字输入到京东搜索框中    input_box.send_keys(search_word)    # 按下enter键    input_box.send_keys(Keys.ENTER)
    # range(page_size)    for i in range(page_size):        # 将下拉框拖到最下面:        driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')        time.sleep(3)  # 确保在向下拖动的过程中,数据全部加载出来,加几秒等待
        # 获取所有的li        good_lists = driver.find_elements(By.XPATH, '//*[@id="J_goodsList"]/ul/li')
        for item in good_lists:            # 找到产品的价格            price = item.find_element(By.CLASS_NAME, "p-price").text            # 找到商品的名字            name = item.find_element(By.CLASS_NAME, "p-name").text            # 找到商品的评论            commit = item.find_element(By.CLASS_NAME, "p-commit").text            # 找到商品的店铺            shop = item.find_element(By.CLASS_NAME, "p-shop").text            # 将每一次爬到的数据信息,追加到列表[ ]中            prices.append(price)            names.append(name)            commits.append(commit)            shops.append(shop)
        # 点击下一页        driver.find_element(By.CLASS_NAME, "pn-next").click()
    df = pd.DataFrame({        "价格": prices,        "名称": names,        "评论": commits,        "商家": shops    })
    # 将数据保存到excel表格中    df.to_excel("{}.xlsx".format(search_word))

(左右滑动查看完整代码)

图片

以上就是一个比较基础的爬虫Demo,通过selenium来实现,爬取的数据的业务逻辑较为简单,最后生成放在表格中就可以了。

这篇关于实例操作教你爬取京东的商品数据|实现大批量数据采集API接口的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/776424

相关文章

mybatis执行insert返回id实现详解

《mybatis执行insert返回id实现详解》MyBatis插入操作默认返回受影响行数,需通过useGeneratedKeys+keyProperty或selectKey获取主键ID,确保主键为自... 目录 两种方式获取自增 ID:1. ​​useGeneratedKeys+keyProperty(推

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

c++ 类成员变量默认初始值的实现

《c++类成员变量默认初始值的实现》本文主要介绍了c++类成员变量默认初始值,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录C++类成员变量初始化c++类的变量的初始化在C++中,如果使用类成员变量时未给定其初始值,那么它将被

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Java操作Word文档的全面指南

《Java操作Word文档的全面指南》在Java开发中,操作Word文档是常见的业务需求,广泛应用于合同生成、报表输出、通知发布、法律文书生成、病历模板填写等场景,本文将全面介绍Java操作Word文... 目录简介段落页头与页脚页码表格图片批注文本框目录图表简介Word编程最重要的类是org.apach