【python 爬虫】python淘宝爬虫实战(selenum+phontomjs)

2024-09-07 07:18

本文主要是介绍【python 爬虫】python淘宝爬虫实战(selenum+phontomjs),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、需求目标
进去淘宝页面,搜索耐克关键词,抓取 商品的标题,链接,价格,城市,旺旺号,付款人数,进去第二层,抓取商品的销售量,款号等。

这里写图片描述

这里写图片描述

这里写图片描述

2、结果展示
这里写图片描述

3、源代码

# encoding: utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import time
import pandas as pd
time1=time.time()
from lxml import etree
from selenium import webdriver
#########自动模拟
driver=webdriver.PhantomJS(executable_path='D:/Python27/Scripts/phantomjs.exe')
import re#################定义列表存储#############
title=[]
price=[]
city=[]
shop_name=[]
num=[]
link=[]
sale=[]
number=[]#####输入关键词耐克(这里必须用unicode)
keyword="%E8%80%90%E5%85%8B"for i in range(0,1):try:print "...............正在抓取第"+str(i)+"页..........................."url="https://s.taobao.com/search?q=%E8%80%90%E5%85%8B&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20170710&ie=utf8&bcoffset=4&ntoffset=4&p4ppushleft=1%2C48&s="+str(i*44)driver.get(url)time.sleep(5)html=driver.page_sourceselector=etree.HTML(html)title1=selector.xpath('//div[@class="row row-2 title"]/a')for each in title1:print each.xpath('string(.)').strip()title.append(each.xpath('string(.)').strip())price1=selector.xpath('//div[@class="price g_price g_price-highlight"]/strong/text()')for each in price1:print eachprice.append(each)city1=selector.xpath('//div[@class="location"]/text()')for each in city1:print eachcity.append(each)num1=selector.xpath('//div[@class="deal-cnt"]/text()')for each in num1:print eachnum.append(each)shop_name1=selector.xpath('//div[@class="shop"]/a/span[2]/text()')for each in shop_name1:print eachshop_name.append(each)link1=selector.xpath('//div[@class="row row-2 title"]/a/@href')for each in link1:kk="https://" + eachlink.append("https://" + each)if "https" in each:print eachdriver.get(each)else:print "https://" + eachdriver.get("https://" + each)time.sleep(3)html2=driver.page_sourceselector2=etree.HTML(html2)sale1=selector2.xpath('//*[@id="J_DetailMeta"]/div[1]/div[1]/div/ul/li[1]/div/span[2]/text()')for each in sale1:print eachsale.append(each)sale2=selector2.xpath('//strong[@id="J_SellCounter"]/text()')for each in sale2:print eachsale.append(each)if "tmall"  in kk:number1 = re.findall('<ul id="J_AttrUL">(.*?)</ul>', html2, re.S)for each in number1:m = re.findall('>*号:&nbsp;(.*?)</li>', str(each).strip(), re.S)if len(m) > 0:for each1 in m:print each1number.append(each1)else:number.append("NULL")if "taobao" in kk:number2=re.findall('<ul class="attributes-list">(.*?)</ul>',html2,re.S)for each in number2:h=re.findall('>*号:&nbsp;(.*?)</li>', str(each).strip(), re.S)if len(m) > 0:for each2 in h:print each2number.append(each2)else:number.append("NULL")if "click" in kk:number.append("NULL")except:passprint len(title),len(city),len(price),len(num),len(shop_name),len(link),len(sale),len(number)# #
# ######数据框
data1=pd.DataFrame({"标题":title,"价格":price,"旺旺":shop_name,"城市":city,"付款人数":num,"链接":link,"销量":sale,"款号":number})
print data1
# 写出excel
writer = pd.ExcelWriter(r'C:\\taobao_spider2.xlsx', engine='xlsxwriter', options={'strings_to_urls': False})
data1.to_excel(writer, index=False)
writer.close()time2 = time.time()
print u'ok,爬虫结束!'
print u'总共耗时:' + str(time2 - time1) + 's'
####关闭浏览器
driver.close()

这篇关于【python 爬虫】python淘宝爬虫实战(selenum+phontomjs)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1144418

相关文章

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

利用Python调试串口的示例代码

《利用Python调试串口的示例代码》在嵌入式开发、物联网设备调试过程中,串口通信是最基础的调试手段本文将带你用Python+ttkbootstrap打造一款高颜值、多功能的串口调试助手,需要的可以了... 目录概述:为什么需要专业的串口调试工具项目架构设计1.1 技术栈选型1.2 关键类说明1.3 线程模

Python ZIP文件操作技巧详解

《PythonZIP文件操作技巧详解》在数据处理和系统开发中,ZIP文件操作是开发者必须掌握的核心技能,Python标准库提供的zipfile模块以简洁的API和跨平台特性,成为处理ZIP文件的首选... 目录一、ZIP文件操作基础三板斧1.1 创建压缩包1.2 解压操作1.3 文件遍历与信息获取二、进阶技

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

Python中的getopt模块用法小结

《Python中的getopt模块用法小结》getopt.getopt()函数是Python中用于解析命令行参数的标准库函数,该函数可以从命令行中提取选项和参数,并对它们进行处理,本文详细介绍了Pyt... 目录getopt模块介绍getopt.getopt函数的介绍getopt模块的常用用法getopt模

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.