苏宁易购爬虫价格寻找

今天做了一个关于苏宁易购的爬虫，找价格网址规律时花了很多时间，终于做出来了。

首先调用Chrome的Inspect工具，在搜索框中直接搜价格

可以找到唯一一个文件(nspcsale)

下一步过滤器中直接搜nsp，找到这个文件， 得到其url

比如我这个是 https://pas.suning.com/nspcsale_0_000000000646450414_000000000646450414_0070167435_180_377_3770100_502282_1000112_9112_10862_Z001___R9011303_0.2___.html

那么接下来重点来了，如何在爬虫程序中获取这个url呢

分析一下url, 以每个“_”为分隔，一次搜索每串数字
比如上面的
000000000646450414
0070167435
502282
R9011303
0.2
你会发现这些数字均在所请求的图书详情页响应中，但是有些数字可能会重复出现
我多开了几个页面进行对比，找出了_其具体所在位置 (均以键值对形式存在)
partnumber :000000000646450414
vendorCode : 0070167435
category1 : 502282
catenlds : R9011303
weight : 0.2

但是注意，图书的话url到此为止，笔记本电脑后面还会接一个brandId
所以要爬取数据时要分区

至于其他那几个数，可以不用去管， 是不变的部分
如果去搜的话，可以发现它们要么在…CityBly 或者…StreetBly 或者是cmmdyType，总之是跟地方有关，只要位置不变就不变

总结起来，获取方法就是

爬虫得到每个商品详情页的url, 据此url获取字符串响应

正则匹配其对应的关键词 比如 (python中)

 re.findall("\"vendorCode\":'(.*?)',",response.content.decode())

分别得到每串数字

价格所在的网址页url是

"https://pas.suning.com/nspcsale_0_{}_{}_{}_180_377_3770100_{}_{}1000112_9112
_10862_Z001__{}_{}__.html".format(...)

下面是网页预览示例，可以看到netPrice是现在价格，json.loads转字典类型直接提取就行了