本文主要是介绍爬虫与反爬之艺龙反爬(code值的生成,上,参数篇),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
最近发现该网站的code值生成方式是改了又改(一周一改?简直是爬虫劝退),难道是因为网络上的爬虫请求量增大了还是怎么回事!!
本文只提供学术研究。
肉文来了:
此处针对详情页来研究,
通过debug可已找生成code的js函数 abcdefg, 其参数dynamicScrip(dynamicScript = "KP1XdhhXPrLWzxAhwj...........)可以在请求中找到(如下图),参数type则为字符串"detail",
另外如果在发起该请求时必须携带cookie(不然一会请求的时候会给假数据,去年还没有这个操作,只是会在此请求中写入一些cookie),不然会给假数据,至于cookie初始哪里来,可以清掉所有cookie刷新下页面来看一下,通过抓包可以发现,如下图,
这篇文章就说到这里,因为要是把解析也写进来,还需要再贴上几张图,那样文章会比较长,看起来不舒服,写起来更不舒服,具体解析可以看下篇。
这篇关于爬虫与反爬之艺龙反爬(code值的生成,上,参数篇)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!