python scrapy爬虫框架 抓取BOSS直聘平台 数据可视化统计分析

本文主要是介绍python scrapy爬虫框架 抓取BOSS直聘平台 数据可视化统计分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用python scrapy实现BOSS直聘数据抓取分析

前言

  随着金秋九月的悄然而至,我们迎来了业界俗称的“金九银十”跳槽黄金季,周围的朋友圈中弥漫着探索新机遇的热烈氛围。然而,作为深耕技术领域的程序员群体,我们往往沉浸在代码的浩瀚宇宙中,享受着解决技术难题的乐趣,却也不经意间与职场外部的风云变幻保持了一定的距离,对行业动态或许仅有一鳞半爪的了解,甚至偶有盲区。

  但正是这份对技术的执着与热爱,铸就了我们程序猿独有的智慧与创造力。面对信息获取的局限,我们从不轻言放弃,而是选择以技术为舟,智慧为帆,主动出击,寻找破局之道。于是,我,一个满怀热情的程序员,决定利用我的技术专长,为这一难题量身打造解决方案。

  我将运用python爬虫技术,构建一套针对于BOSS直聘平台的数据抓取和统计分析脚本。这个脚本不仅能够实时抓取并分析薪资范围、所需经验和学历,还能根据关键词进行检索。如此,即便我们身处技术的深海,也能保持对外部世界的敏锐洞察,确保在每一次职业抉择中都能做出最优选择。

  通过这样的尝试,我希望能为广大的程序员朋友们搭建起一座桥梁,连接技术与职场,让每一位程序猿都能在技术的海洋中自由遨游的同时,也能精准把握每一次跃向更广阔天地的机会。

效果图

抓取的部分数据

在这里插入图片描述

统计分析图表

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

技术栈

  • 项目整体使用scrapy爬虫框架
  • 使用selenium解决动态网页加载
  • 使用pandas进行数据分析统计
  • 使用matplotlib实现图表生成

源代码

由于spiders框架会自动生成目录结构,所以这里我只放出核心代码,为大家提供一个思路,完整代码可访问我的GitHub.
import scrapy
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.support.ui import WebDriverWait# 爬虫代码
class BossSpider(scrapy.Spider):name = "bossSpider"# 设置输出文件custom_settings = {'FEED_URI': 'BossData.csv',}# 创建WebDriver实例,不能开启无头模式,否则无法获取到数据driver = webdriver.Edge()query = input("输入要搜索的职位、公司:")page = 1def start_requests(self):url = f"https://www.zhipin.com/web/geek/job?query={self.query}&city=100010000"self.driver.get(url)yield scrapy.Request(url, callback=self.parse, meta={'driver': self.driver})def parse(self, response, **kwargs):driver = response.meta['driver']try:# 等待元素加载成功WebDriverWait(driver, 60).until(ec.presence_of_element_located((By.XPATH, '//div[@class="search-job-result"]//li[@class="job-card-wrapper"]')))job_elements = driver.find_elements(By.XPATH,'//div[@class="search-job-result"]//li[@class="job-card-wrapper"]')for element in job_elements:data_store = DataStore()# 职位名称data_store['name'] = element.find_element(By.XPATH, './/span[@class="job-name"]').text# 工作地点data_store['area'] = element.find_element(By.XPATH, './/span[@class="job-area"]').text# 薪水data_store['salary'] = element.find_element(By.XPATH, './/span[@class="salary"]').text# 标签(经验、学历)tag = element.find_element(By.XPATH, './/ul[@class="tag-list"]')tag_list = tag.find_elements(By.TAG_NAME, 'li')data_store['experience'] = tag_list[0].textdata_store['education'] = tag_list[1].text# 联系人data_store['contact_person'] = element.find_element(By.XPATH, './/div[@class="info-public"]').text# 公司logocompany_logo = element.find_element(By.XPATH, './/div[@class="company-logo"]')logo_img = company_logo.find_element(By.TAG_NAME, 'a').get_attribute('href')data_store['company_logo'] = logo_img# 公司名称data_store['company_name'] = element.find_element(By.XPATH, './/h3[@class="company-name"]').text# 公司标签company_tag_list = element.find_element(By.XPATH, './/ul[@class="company-tag-list"]')tag_list = company_tag_list.find_elements(By.TAG_NAME, 'li')data_store['company_tag'] = ','.join([tag.text for tag in tag_list if tag.text])# 职位描述footer = element.find_element(By.XPATH, './/div[@class="job-card-footer clearfix"]')tag_list = footer.find_elements(By.TAG_NAME, 'li')data_store['tag_list'] = ','.join([tag.text for tag in tag_list if tag.text])# 公司福利data_store['info_desc'] = footer.find_element(By.XPATH, './/div[@class="info-desc"]').textyield data_store.dataself.page += 1if self.page <= 3:next_page_url = f"https://www.zhipin.com/web/geek/job?query={self.query}&city=100010000&page={self.page}"self.driver.get(next_page_url)yield scrapy.Request(next_page_url, callback=self.parse, meta={'driver': self.driver})except Exception as e:# 处理超时异常或其他异常print(f"Error: {e}")yield None# 存储抓到的数据
class DataStore:def __init__(self):self.data = {}def __setitem__(self, key, value):self.data[key] = valuedef __getitem__(self, item):return self.data[item]
import pandas as pd
import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体为黑体
plt.rcParams['axes.unicode_minus'] = False  # 正确显示负号# 数据分析
def data_analyse(csv, column, title, x_label, y_label):# 读取CSV文件data = pd.read_csv(csv)# 计数,并按升序排列value_counts = data[column].value_counts(ascending=True).sort_index(ascending=True)# 绘制柱状图value_counts.plot(kind='bar')# 在每个柱子顶部添加数字for i, val in enumerate(value_counts):plt.text(i, val, int(val), ha='center', va='bottom')# 设置标题plt.title(title)# 设置X轴标签plt.xlabel(x_label)# 设置Y轴标签plt.ylabel(y_label)# 自动调整子图参数,使之填充整个图表区域,边距不足时可能报错,但不会影响程序执行plt.tight_layout()plt.show()if __name__ == '__main__':data_analyse('BossData.csv', 'salary', '薪资统计', '范围', '数量')data_analyse('BossData.csv', 'experience', '经验统计', '经验', '数量')data_analyse('BossData.csv', 'education', '学历统计', '学历', '数量')

未来功能扩展

  • 不局限在BOSS平台,扩展多种平台的抓取和分析。
  • 增加更多的检索条件,提炼更加精准的数据分析。
  • 如果有足够的精力,可以考虑将数据存储在数据库表中,然后利用SQL语句和后端逻辑进行深入的数据分析还可以通过前端图表组件,如ECharts或D3.js,来创建直观且美观的数据可视化。

合法性

  • robots协议:由于互联网开放、互联互通的特点,尽管互联网企业可以在robots协议中通过技术术语告知搜索引擎的网络机器人其希望或不希望抓取的网页内容,但robots协议的初衷是为了指引搜索引擎的网络机器人更有效的抓取对网络用户有用的信息,从而更好地促进信息共享,而不应将robots协议作为限制信息流通的工具。
  • 技术手段:没有使用模拟登录、破解反爬机制等涉及网络安全的技术手段。
  • 数据用途:爬取的数据不会用于商业用途或侵犯个人隐私。
  • 网站压力:没有使用突破其IP封锁的技术,不会造成DDoS攻击。
  • 本程序仅供学习和研究之用。若您使用或参考本程序进行任何可能导致违法行为的操作,相关责任将由您自行承担。我们建议您在使用过程中遵守相关法律法规,确保所有行为合法合规。

结束语

  代码行数不多,能以少量的代码实现复杂的功能,是每位程序员的至高追求。在我当前的项目中,尽管所实现的功能看似并不纷繁复杂,但正是得益于Python语言的简洁与强大,使得这一过程变得既高效又优雅。Python以其易读性、易写性及丰富的库支持,极大地简化了开发流程,让我能够专注于功能的实现而非语法细节。

  当然,技术世界日新月异,BOSS直聘平台作为一个不断发展的平台,未来很可能会进行更新迭代。在此,我想对关注此项目的朋友们说,如果您在使用或测试过程中,提前发现了因平台更新而导致的功能兼容性问题,请不吝私信于我。我将在力所能及且时间允许的情况下,积极跟进并更新代码,以确保项目的持续可用性和稳定性。

  让我们共同期待,通过不断的学习与交流,能够在这个充满挑战与机遇的编程世界中,携手前行,共创更加辉煌的成就!

这篇关于python scrapy爬虫框架 抓取BOSS直聘平台 数据可视化统计分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143497

相关文章

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言:为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文