Python实现淘宝商品数据爬取——静态网页爬虫(仅供学习,切勿无限制爬取)

本文主要是介绍Python实现淘宝商品数据爬取——静态网页爬虫(仅供学习,切勿无限制爬取),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、关于淘宝网

淘宝网是亚太地区较大的网络零售、商圈,由阿里巴巴集团在2003年5月创立。淘宝网是中国深受欢迎的网购零售平台,拥有近5亿的注册用户数,每天有超过6000万的固定访客,同时每天的在线商品数已经超过了8亿件,平均每分钟售出4.8万件商品。

二、我们的目标是什么?

1、爬取淘宝页面某类商品的价格、名称、店家地址、交易数量;
2、以列表的形式将每一个商品的数据存入.csv文件中;
3、实现与用户的交互功能,不用修改程序也可以进行爬虫;
4、打包程序,以方便更换设备时也可以使用。

三、淘宝网爬虫思路

警告

警告:淘宝网的robots协议设定不允许爬虫,本文仅供爬虫学习,切勿对淘宝网进行大规模爬虫,否则后果自负

爬虫思路

淘宝网“每天的在线商品数已经超过了8亿件,平均每分钟售出4.8万件商品”,如此巨大的数据量,如何在淘宝网上爬取下来呢?
其实,淘宝网的搜索功能就是一个“爬虫”,通过键入“关键词”,实现对服务器的访问,返回你需要的商品序列。一般情况下,返回100页,每页48或60个商品。如下图:返回页数
1、我们需要做的是对每一页进行遍历,爬取每个商品的价格、名称、店家地址、交易数量等数据。
2、这时候我们需要看看“源码”(任意位置右键→查看网页源代码),淘宝网返回静态网页,采用html编写,源码如下图:源码
3、查看“上图源码”,我们发现:
价格数据为"view_price":“8.50”;
名称数据为"raw_title":“爱好圆珠笔按压式子弹头油笔批发办公学生用”
店家地址数据为"item_loc":“浙江 温州”
交易数量数据为"view_sales":“1.0万+人付款”
4、之后我们需要用python的re(正则表达式)库对上述数据进行提取(关于正则表达式的编写,大家可以看一下:正则表达式-菜鸟教程)
5、提取完成之后,就是存储的问题了,我们需要把提取出来的数据用特定格式存储在我们的计算机中,本文采用的存储格式是csv。
以上就是整个“淘宝网爬虫”思路。

四、程序编写

#--author--张俊杰@Nick
#coding:utf-8
import requests
import re
import time
import csvdef getHTMLText(url):try:#每次登陆淘宝,淘宝都会以加密方式返回登陆账号和密码信息,如果使用程序访问的话,需要发送post请求,这时需要发送cookie,以实现自动登录。请使用自己的cookie,复制到header字典中。header={"User-Agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
"cookie":“输入你的cookie”}r = requests.get(url,headers=header,timeout = 30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""def parsePage(ilt,html):try:#请百度搜索正则表达式的菜鸟教程,勤加练习,必有大成。plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)loc = re.findall(r'\"item_loc\"\:\".*?\"',html)sale = re.findall(r'\"view_sales\"\:\"[\d\.]*.*?\"',html)for i in range(len(plt)):price = eval(plt[i].split(':')[1])title = eval(tlt[i].split(':')[1])location = eval(loc[i].split(':')[1])sales = eval(sale[i].split(':')[1])ilt.append([price,title,location,sales])except:print("")def printGoodsList(ilt):tplt = "{:4}\t{:6}\t{:8}\t{:8}\t{:8}"print(tplt.format("序号","价格","商品名称","商品地址","付款数量"))output_list=["序号","价格","商品名称","商品地址","付款数量"]#存储路径需根据需要更改with open('C:/Users/你杰哥/Desktop/python/淘宝/'+str(goods)+'('+str(depth*48)+'条数据)'+'.csv',"a+",encoding='GB18030',newline='') as csvfile:w=csv.writer(csvfile)w.writerow(output_list)csvfile.close()count=0for g in ilt:count = count+1print(tplt.format(count,g[0],g[1],g[2],g[3]))out_putlist=[count,g[0],g[1],g[2],g[3]]#存储路径需根据需要更改with open('C:/Users/你杰哥/Desktop/python/淘宝/'+str(goods)+'('+str(depth*48)+'条数据)'+'.csv',"a+",encoding='GB18030',newline='') as csvfile:w=csv.writer(csvfile)w.writerow(out_putlist)csvfile.close()def main(goods,depth):start_url='https://s.taobao.com/search?q='+goodsinfoList =[]for i in range(depth):try:url = start_url + '&s='+ str(44*i)# 下面是我的网址简化过程,最好学习一下。
#1、https://s.taobao.com/search?q=圆珠笔&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20190826&ie=utf8&p4ppushleft=1%2C48&s=0
#2、https://s.taobao.com/search?q=圆珠笔&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20190826&ie=utf8&p4ppushleft=1%2C48
#3、https://s.taobao.com/search?q=圆珠笔
#4、这个网址就可以实现我们需要的数据返回。html= getHTMLText(url)parsePage(infoList,html)except:continue#print(html)        printGoodsList(infoList)#实现超级简单的用户交互,想爬取什么就爬取什么
goods=input("请输入你需要搜索的商品:")
#本文仅供学习,爬虫深度的设置,请理性设置
depth=int(input("请输入需要爬取的页数(请尝试在淘宝中搜索该商品关键词,查看返回页码,请理性设置爬虫深度):"))
#传参,需把外部参数传入main函数中。
main(goods,depth)
#提醒
print("数据爬取结束")
time.sleep(10)

五、封装TB.py成.exe文件

在TB.py同目录下右键打开cmd,执行pyinstaller -F TB.py #TB.py为编写的python文件(如果不会封装,请看我上一篇文章)打包TB.py

六、执行TB.exe文件

1、双击TB.exe;
2、输入关键词(比如圆珠笔)、爬虫页数(depth)(比如2);输入关键词、depth
3、爬虫结束

爬虫结束
4、爬虫结果
爬虫结果

七、总结

1、Python程序简洁,各种第三方库支持,爬虫方便;
2、在初次爬取淘宝网时出现了“无法访问”的问题,这是因为程序访问受限,需发送post请求,创建字典,发送User-Agent和cookie;
3、静态网页爬虫需对网页源代码进行分析,确定数据位置和特征;
4、正则表达式是一种非常简便的数据匹配方式,请认真学习用法,勤加练习;
5、程序编写、运行会遇到很多的问题,耐心解决;
6、淘宝网是不允许爬虫的,所以此帖仅供学习爬虫技术,不建议大家对淘宝网网页进行大规模爬取。

这篇关于Python实现淘宝商品数据爬取——静态网页爬虫(仅供学习,切勿无限制爬取)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/243570

相关文章

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu