我用python爬取了知乎Top沙雕问题排行榜

本文主要是介绍我用python爬取了知乎Top沙雕问题排行榜，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：数据森麟

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

这两天偶然上网的时候，被知乎上一个名为“玉皇大帝住在平流层还是对流层”的问题吸引，本以为只是小打小闹，殊不知这个问题却在知乎上引发了强烈共鸣，浏览次数500W+，7000+关注：
在这里插入图片描述

数据来源

知乎非常“贴心”地专门有一个问题可以满足我们的需求，出人意料的是这个问题居然有243个回答，并且陶飞同学获得了3W+的赞同
在这里插入图片描述
我们从中爬取了所有回答中出现的问题链接，共用400多个问题，其中陶飞就提供了200+，在此向陶飞同学表示感谢，帮助我们构建了“沙雕数据库”，这部分代码如下：

import re
import selenium
from selenium import webdriver
import requests
from bs4 import BeautifulSoup
import pandas as pd
import timedriver = webdriver.Chrome()
driver.maximize_window()url = 'https://www.zhihu.com/question/37453271'
js='window.open("'+url+'")'
driver.execute_script(js)
driver.close()
driver.switch_to_window(driver.window_handles[0])
for i in range(100):js="var q=document.documentElement.scrollTop=10000000"  driver.execute_script(js)all_html = [k.get_property('innerHTML') for k in driver.find_elements_by_class_name('AnswerItem')]
all_text = ''.join(all_html)#all_text = all_text.replace('\u002F','/')
all_text = all_text.replace('questions','question')
pat = 'question/\d+'
questions = list(set([k for k in re.findall(pat,all_text)]))

获得到了问题的对应的编号后，就可以去各自的页面获取各个问题对应的的标题、浏览数等信息，如下图所示：
在这里插入图片描述
这部分代码如下：

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0',
'Connection': 'keep-alive'}
cookies ='v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18'
cookie = {}
for line in cookies.split(';'):name, value = cookies.strip().split('=', 1)cookie[name] = valuequestions_df = pd.DataFrame(columns = ['title','visit','follower','answer','is_open'])for i in range(len(questions)):try:url = 'https://www.zhihu.com/'+questions[i]html = requests.get(url,cookies=cookie, headers=header).contentbsObj = BeautifulSoup(html.decode('utf-8'),"html.parser")text = str(bsObj)title = bsObj.find('h1',attrs={'class':'QuestionHeader-title'}).textvisit = int(re.findall('"visitCount":\d+',text)[0].replace('"visitCount":',''))follower = int(re.findall('"followerCount":\d+',text)[0].replace('"followerCount":',''))answer = int(re.findall('"answerCount":\d+',text)[0].replace('"answerCount":',''))is_open = int(len(re.findall('问题已关闭',text))==0)questions_df = questions_df.append({'title':title,'visit':visit,'follower':follower,'answer':answer,'is_open':is_open},ignore_index=True)time.sleep(2)print(i)except:print('错误'+str(i))

数据分析

在分享出最终的“沙雕排行榜”前，我们首先严肃认真（lixinggongshi）的进行一波分析，主要看一下问题中的关键词，首先是所有词云的词云：
在这里插入图片描述
看来这些问题大多是源自于大家对于人生的探索，否则“为什么”，“如果”，“怎么办”也不会出现那么多，出人意料的是“体验”这个知乎专属tag居然并不多，可能是出于对知乎的尊重，和“体验”相关的问题都不会问得那么“沙雕”。