本文主要是介绍blind网站爬虫，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1 介绍
文本对https://www.teamblind.com/ 网站进行爬虫
对特殊的领域进行爬虫，用户可以先选择领域，然后进行爬虫，例如，文本是对https://www.teamblind.com/topics/General-Topics/Health-Wellness进行爬虫
2 主要代码
获取帖子内容
def get_comment(title_url, headers_list):headers = random.choice(headers_list)title_content = get_page(title_url, headers)title_soup = BeautifulSoup(title_content, 'html.parser')print(title_soup)title = title_soup.find_all(class_='word-break')[0].text.strip() # 获取标题contents = title_soup.find_all(id='contentArea')[0].text.strip() # 获取帖子的内容reviews_soup = title_soup.find_all(class_='comment_area') # 获取评论reviews = []for review_soup in reviews_soup:review = review_soup.find_all(class_='detail')[0].text.strip()if len(review) != 0:reviews.append(review)result = {}result["title"] = titleresult["contents"] = contentsresult["reviews"] = reviewsreturn result定制化爬虫开发，联系Q 596520206
3 结果展示
保存为json格式，包含字段：title、 contents、reviews等
这篇关于blind网站爬虫的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
