python爬取淘宝热卖商品（附xpath下载）

2023-11-09 19:10
文章标签 python 商品 淘宝 下载 爬取 xpath 热卖

本文主要是介绍python爬取淘宝热卖商品（附xpath下载），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

本文采用的主要工具是xpath，如果没有下载的可以点开此链接下载:https://pan.baidu.com/share/init?surl=GXPm1kMENXhOkefKcEQnlA
提取码:8wwv
xpath工具使用方法，即简单实战链接：https://blog.csdn.net/weixin_45859193/article/details/107064009
注意：本文xpath工具查找是有点难找的，我找了挺久（是我太菜了,嘿嘿…），所以如果不是很懂xpath的建议先看看我上面的简单实战链接去试试在过来看，这样可能会比较好懂点…(我也希望有大佬可以提点提点我改进代码，欢迎评论！)

爬虫离不开的四大步骤

1.目标url（这个是开头，也是很重要的一步）
2.发送请求
3.解析数据
4.保存数据

那么搞懂这些后就来开始实战吧!

开始

按照第一步来,应该是需要获取目标的url地址，所以我们点开淘宝热卖https://re.taobao.com,然后再里面随便搜索你喜欢的商品，然后把链接复制起来，放到代码里，因为我们是要指定爬取的所以代码要这样写：


url=input('请输入想查找的链接:')
#使用正则匹配，查看是不是我们要求的网页
url_link=re.findall("https://(.*?)/",url)
#这里是记个时，如果到5次就给他提示吧....
i=0
#死循环
while True:#判断是不是点进了淘宝热卖if url_link==['re.taobao.com']:breakelse:url = input('请重新输入淘宝热卖的链接:')url_link = re.findall("https://(.*?)/", url)i+=1#如果用户输入5次还是一样给出提示= =if i==5:print('提示：请进入https://re.taobao.com官网获取链接!')

这是开始的大概思路，直接点的意思就是判断你点开的链接是不是淘宝热卖的，不是的话就会一直循环，循环…嘿嘿嘿…
然后是不是到了我们得第二步，发送请求了，因为我们获取了url地址，所以就要来个发送请求

#模拟浏览器
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36'}
#发送请求
response=requests.get(url,headers=headers).content.decode()

是不是，你这时候是不是开始觉得爬虫其实也就这掌握了这4步奏，是不是很简单!

然后是不是继续到了我们的第三步的解析数据:

#解析成xpath格式
html=etree.HTML(response)
#价格
req_list=html.xpath('//span[@class="pricedetail"]//strong//text()')
#名字
name_list=html.xpath('//span[@class="title"]/@title')
#付款人数
host_list=html.xpath('//span[@class="payNum"]//text()')
#商家名字
host_1_list=html.xpath('//span[@class="shopNick"]//text()')
#评分,提示一下这里我找了挺久，因为id没加上多出了几个，淘宝也是坑
score_list=html.xpath('//div[@id="J_waterfallWrapper"]//span//b//text()')
#链接
link_list=html.xpath('//div[@id="J_waterfallWrapper"]//div[@class="item"]//a/@href')
#如实描述,创建几个空列表,获取这些评分，因为淘宝有坑，想爬准确只能3个3个爬，但是想打印出来，有点麻烦（我太菜了= =）

是不是围绕着这四步走是不是很顺利（其实不是的，我找评分，找了一个小时，因为有干扰数据,我太笨了有点晚才发现,呜呜呜…）

在这里我先来几张图片提醒一下大家，爬淘宝评分的坑

正常的我们去用xpath应该是这样吧
在这里插入图片描述每个数据3个，我着一页有200个数据，顶多600个，那15个怎么来的，起初我不想管他，回来发现，不能不管，因为有些数据会不一样，最后我往下翻，发现这五个商品，刚好也就是15个数据，不过这广告是想暗示我的头发吗…（突然一阵风从我头上吹过，很凉快…）
在这里插入图片描述

当场吐血，淘宝这么会玩…
最后再经历了一点磨难后，我找了一个和他们不一样的数据，就是id就是这个[//div[@id=“J_waterfallWrapper”],这是我发现下面那5个没有，但是上面的数据都在那里，所以就好办啦!

到了我们最后一步，保存数据，是不是一个爬虫就已经大功告成啦，所以爬虫是需要耐心滴!

#如实描述，创建几个空列表，来保存后面3个数据
temp=[]
#服务态度
temp_1=[]
#发货速度
temp_2=[]
i_1=0
#一开始的数据放进去
temp.append(score_list[i_1])
temp_1.append(score_list[i_1+1])
temp_2.append(score_list[i_1+2])for i in range(0,200):#防止报错try:i_1 += 3temp.append(score_list[i_1])temp_1.append(score_list[i_1+1])temp_2.append(score_list[i_1+2])except:break
#转化为浮点型，后面要进行总分评测
temp = list(map(float, temp))
temp_1 = list(map(float, temp_1))
temp_2 = list(map(float, temp_2))
#打印
mylog=open('淘宝商品大全.log',mode='a',encoding='utf-8')
for req,name,host,host_1,tem,tem_1,tem_2,link in zip(req_list,name_list,host_list,host_1_list,temp,temp_1,temp_2,link_list):sum=(tem+tem_1+tem_2)/3print('名字：%s 价格：$%s 付款人数：%s 商家名字：%s\n如实描述：%.1f 服务态度：%.1f 发货速度：%.1f 总分:%.2f''\n链接：%s\n-------------'%(name,req,host,host_1,tem,tem_1,tem_2,sum,link),file=mylog)
mylog.close()
print('爬取完成-v-')

代码块

import requests
from lxml import etree
import re
import sysurl=input('请输入想查找的链接:')
#使用正则匹配，查看是不是我们要求的网页
url_link=re.findall("https://(.*?)/",url)
#这里是记个时，如果到5次就给他提示吧....
i=0
#死循环
while True:#判断是不是点进了淘宝热卖if url_link==['re.taobao.com']:breakelse:url = input('请重新输入淘宝热卖的链接:')url_link = re.findall("https://(.*?)/", url)i+=1#如果用户输入5次还是一样给出提示= =if i==5:print('提示：请进入https://re.taobao.com官网获取链接!')#模拟浏览器
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36'}
#发送请求
response=requests.get(url,headers=headers).content.decode()
#解析成xpath格式
html=etree.HTML(response)
#价格
req_list=html.xpath('//span[@class="pricedetail"]//strong//text()')
#名字
name_list=html.xpath('//span[@class="title"]/@title')
#付款人数
host_list=html.xpath('//span[@class="payNum"]//text()')
#商家名字
host_1_list=html.xpath('//span[@class="shopNick"]//text()')
#评分,提示一下这里我找了挺久，因为id没加上多出了几个，淘宝也是坑
score_list=html.xpath('//div[@id="J_waterfallWrapper"]//span//b//text()')
#链接
link_list=html.xpath('//div[@id="J_waterfallWrapper"]//div[@class="item"]//a/@href')
#如实描述，创建几个空列表，来保存后面3个数据
temp=[]
#服务态度
temp_1=[]
#发货速度
temp_2=[]
i_1=0
#一开始的数据放进去
temp.append(score_list[i_1])
temp_1.append(score_list[i_1+1])
temp_2.append(score_list[i_1+2])for i in range(0,200):#防止报错try:i_1 += 3temp.append(score_list[i_1])temp_1.append(score_list[i_1+1])temp_2.append(score_list[i_1+2])except:break
#转个型
temp = list(map(float, temp))
temp_1 = list(map(float, temp_1))
temp_2 = list(map(float, temp_2))
#打印
#mylog=open('淘宝商品大全.log',mode='a',encoding='utf-8')
for req,name,host,host_1,tem,tem_1,tem_2,link in zip(req_list,name_list,host_list,host_1_list,temp,temp_1,temp_2,link_list):sum=(tem+tem_1+tem_2)/3print('名字：%s 价格：$%s 付款人数：%s 商家名字：%s\n如实描述：%.1f 服务态度：%.1f 发货速度：%.1f 总分:%.2f''\n链接：%s\n-------------'%(name,req,host,host_1,tem,tem_1,tem_2,sum,link))
#mylog.close()
print('爬取完成-v-')

效果

我就随便搜个电脑的链接吧！
在这里插入图片描述
其实我还是喜欢不保存，因为用的是pycharm所以打开链接方便
在这里插入图片描述

这篇关于python爬取淘宝热卖商品（附xpath下载）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/378046。

相关文章

Python结合PyWebView库打造跨平台桌面应用

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验
阅读更多...
一文详解如何在Python中从字符串中提取部分内容

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》：本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST（抽象语法树）、字符串操作... 目录前言解决方案方法一：使用正则表达式方法二：使用 Pyparsing方法三：使用 AST方法四：使用字
阅读更多...
Python列表去重的4种核心方法与实战指南详解

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1：集合(set)去重法（最快速）方法2：顺序遍历法（保持顺序）方法3：副本删除法（原地修改）方法4：
阅读更多...
Python运行中频繁出现Restart提示的解决办法

Python运行中频繁出现Restart提示的解决办法

《Python运行中频繁出现Restart提示的解决办法》在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的Python程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼... 目录问题描述代码示例无限循环递归调用内存泄漏解决方案1. 检查代码逻辑无限循环递归调用内存泄漏2.
阅读更多...
Python中判断对象是否为空的方法

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化
阅读更多...
使用Python构建一个Hexo博客发布工具

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加
阅读更多...
python logging模块详解及其日志定时清理方式

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》：本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo
阅读更多...
Python如何自动生成环境依赖包requirements

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》：本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、
阅读更多...
如何将Python彻底卸载的三种方法

如何将Python彻底卸载的三种方法

《如何将Python彻底卸载的三种方法》通常我们在一些软件的使用上有碰壁,第一反应就是卸载重装,所以有小伙伴就问我Python怎么卸载才能彻底卸载干净,今天这篇文章,小编就来教大家如何彻底卸载Pyth... 目录软件卸载①方法：②方法：③方法：清理相关文件夹软件卸载①方法：首先，在安装python时，下
阅读更多...
python uv包管理小结

python uv包管理小结

《pythonuv包管理小结》uv是一个高性能的Python包管理工具,它不仅能够高效地处理包管理和依赖解析,还提供了对Python版本管理的支持,本文主要介绍了pythonuv包管理小结,具有一... 目录安装 uv使用 uv 管理 python 版本安装指定版本的 Python查看已安装的 Python
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2