多线程爬取知乎答案中的高清图片（知乎钓鱼图片真的很多，，，，)，使用jupyter可以直接运行

本文主要是介绍多线程爬取知乎答案中的高清图片（知乎钓鱼图片真的很多，，，，)，使用jupyter可以直接运行，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

'''需要用到的'''
import requests
import re
import json
import time
from multiprocessing.dummy import Pool
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64',
'sec-ch-ua': '" Not;A Brand";v="99", "Microsoft Edge";v="91", "Chromium";v="91"'}
begin = 0在这里插入代码片
'''获取图片url并存入json文件'''
fp = open('you yi ge piao liang de mei mei.json', 'a', encoding = 'utf-8')
while 1:offset = 20 * beginurl = f'https://www.zhihu.com/api/v4/questions/28152313/answers?include=data%2Ccontent&limit=20&offset={offset}''''这个网址就是随便打开一个问题，然后打开调试模式（F12>F5刷新>调试模式里面的网络>XHR>然后滚动鼠标让页面多加载几个回答，知乎默认五个回答会请求一次XHR文件，然后你就会看到一个名为answer，，，，的XHR，是json格式，我们在构建url的时候，把知乎默认的5个answer一次xhr改为20，即limit=20(再大好像出错)，然后offset即偏移量，我们从0开始，然后加载了0-19共20个回答，下一次加载就需要跳过这20个，offset=20，以此类推'''begin += 1r = requests.get(url,headers=headers)r.encoding = 'utf8'data = r.json()['data']if not data:breakfor data_ in data:res = data_['content']try:pic_url = re.findall("<noscript>.*?original=\"(.*?)\?.*?</noscript>",res)'''感觉re正则表达式非常强大，有了它就可以舍弃bs4，xpath等等之类的，这里的代码采用了非贪婪模式，因为每个回答有很多的图片，所以有很多的<noscript>，，，</noscript>，非贪婪模式就只会匹配最先遇到的。这行代码里面的\是转义字符，表示其后面的那个字符不具有特俗含义了，就是个普通字符了'''for url in pic_url:fp.write(json.dumps(url)+'\n')except:continue
fp.close()
'''多线程下载图片'''
def f(url):data = requests.get(url,headers = headers)with open(f'H:/zhihu_answer/'+re.findall('.*/(.*)',url)[0],'wb') as dd:dd.write(data.content)if __name__ == "__main__":pool = Pool(processes=10)'''python自带的multiprocessing多进程库其中.dummy是用threading写的包含multiprocessing库中各种函数的多线程库，也就是说俩函数一样，就是一个是多进程一个多线程，多线程的应用不需要再去使用threading库去构造了，人家已经给你封装好了。但是切记，多线程多进程一定要在if __name__ == "__main__":下运行，不然会报错'''with open('mei mei.json', 'r', encoding = 'utf-8') as fp:url_list = fp.readlines()for url_ in url_list:url = json.loads(url_)pool.apply_async(f,(url,))pool.close()pool.join()