python scrapy爬虫框架 抓取BOSS直聘平台 数据可视化统计分析

本文主要是介绍python scrapy爬虫框架 抓取BOSS直聘平台 数据可视化统计分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用python scrapy实现BOSS直聘数据抓取分析

前言

  随着金秋九月的悄然而至,我们迎来了业界俗称的“金九银十”跳槽黄金季,周围的朋友圈中弥漫着探索新机遇的热烈氛围。然而,作为深耕技术领域的程序员群体,我们往往沉浸在代码的浩瀚宇宙中,享受着解决技术难题的乐趣,却也不经意间与职场外部的风云变幻保持了一定的距离,对行业动态或许仅有一鳞半爪的了解,甚至偶有盲区。

  但正是这份对技术的执着与热爱,铸就了我们程序猿独有的智慧与创造力。面对信息获取的局限,我们从不轻言放弃,而是选择以技术为舟,智慧为帆,主动出击,寻找破局之道。于是,我,一个满怀热情的程序员,决定利用我的技术专长,为这一难题量身打造解决方案。

  我将运用python爬虫技术,构建一套针对于BOSS直聘平台的数据抓取和统计分析脚本。这个脚本不仅能够实时抓取并分析薪资范围、所需经验和学历,还能根据关键词进行检索。如此,即便我们身处技术的深海,也能保持对外部世界的敏锐洞察,确保在每一次职业抉择中都能做出最优选择。

  通过这样的尝试,我希望能为广大的程序员朋友们搭建起一座桥梁,连接技术与职场,让每一位程序猿都能在技术的海洋中自由遨游的同时,也能精准把握每一次跃向更广阔天地的机会。

效果图

抓取的部分数据

在这里插入图片描述

统计分析图表

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

技术栈

  • 项目整体使用scrapy爬虫框架
  • 使用selenium解决动态网页加载
  • 使用pandas进行数据分析统计
  • 使用matplotlib实现图表生成

源代码

由于spiders框架会自动生成目录结构,所以这里我只放出核心代码,为大家提供一个思路,完整代码可访问我的GitHub.
import scrapy
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.support.ui import WebDriverWait# 爬虫代码
class BossSpider(scrapy.Spider):name = "bossSpider"# 设置输出文件custom_settings = {'FEED_URI': 'BossData.csv',}# 创建WebDriver实例,不能开启无头模式,否则无法获取到数据driver = webdriver.Edge()query = input("输入要搜索的职位、公司:")page = 1def start_requests(self):url = f"https://www.zhipin.com/web/geek/job?query={self.query}&city=100010000"self.driver.get(url)yield scrapy.Request(url, callback=self.parse, meta={'driver': self.driver})def parse(self, response, **kwargs):driver = response.meta['driver']try:# 等待元素加载成功WebDriverWait(driver, 60).until(ec.presence_of_element_located((By.XPATH, '//div[@class="search-job-result"]//li[@class="job-card-wrapper"]')))job_elements = driver.find_elements(By.XPATH,'//div[@class="search-job-result"]//li[@class="job-card-wrapper"]')for element in job_elements:data_store = DataStore()# 职位名称data_store['name'] = element.find_element(By.XPATH, './/span[@class="job-name"]').text# 工作地点data_store['area'] = element.find_element(By.XPATH, './/span[@class="job-area"]').text# 薪水data_store['salary'] = element.find_element(By.XPATH, './/span[@class="salary"]').text# 标签(经验、学历)tag = element.find_element(By.XPATH, './/ul[@class="tag-list"]')tag_list = tag.find_elements(By.TAG_NAME, 'li')data_store['experience'] = tag_list[0].textdata_store['education'] = tag_list[1].text# 联系人data_store['contact_person'] = element.find_element(By.XPATH, './/div[@class="info-public"]').text# 公司logocompany_logo = element.find_element(By.XPATH, './/div[@class="company-logo"]')logo_img = company_logo.find_element(By.TAG_NAME, 'a').get_attribute('href')data_store['company_logo'] = logo_img# 公司名称data_store['company_name'] = element.find_element(By.XPATH, './/h3[@class="company-name"]').text# 公司标签company_tag_list = element.find_element(By.XPATH, './/ul[@class="company-tag-list"]')tag_list = company_tag_list.find_elements(By.TAG_NAME, 'li')data_store['company_tag'] = ','.join([tag.text for tag in tag_list if tag.text])# 职位描述footer = element.find_element(By.XPATH, './/div[@class="job-card-footer clearfix"]')tag_list = footer.find_elements(By.TAG_NAME, 'li')data_store['tag_list'] = ','.join([tag.text for tag in tag_list if tag.text])# 公司福利data_store['info_desc'] = footer.find_element(By.XPATH, './/div[@class="info-desc"]').textyield data_store.dataself.page += 1if self.page <= 3:next_page_url = f"https://www.zhipin.com/web/geek/job?query={self.query}&city=100010000&page={self.page}"self.driver.get(next_page_url)yield scrapy.Request(next_page_url, callback=self.parse, meta={'driver': self.driver})except Exception as e:# 处理超时异常或其他异常print(f"Error: {e}")yield None# 存储抓到的数据
class DataStore:def __init__(self):self.data = {}def __setitem__(self, key, value):self.data[key] = valuedef __getitem__(self, item):return self.data[item]
import pandas as pd
import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体为黑体
plt.rcParams['axes.unicode_minus'] = False  # 正确显示负号# 数据分析
def data_analyse(csv, column, title, x_label, y_label):# 读取CSV文件data = pd.read_csv(csv)# 计数,并按升序排列value_counts = data[column].value_counts(ascending=True).sort_index(ascending=True)# 绘制柱状图value_counts.plot(kind='bar')# 在每个柱子顶部添加数字for i, val in enumerate(value_counts):plt.text(i, val, int(val), ha='center', va='bottom')# 设置标题plt.title(title)# 设置X轴标签plt.xlabel(x_label)# 设置Y轴标签plt.ylabel(y_label)# 自动调整子图参数,使之填充整个图表区域,边距不足时可能报错,但不会影响程序执行plt.tight_layout()plt.show()if __name__ == '__main__':data_analyse('BossData.csv', 'salary', '薪资统计', '范围', '数量')data_analyse('BossData.csv', 'experience', '经验统计', '经验', '数量')data_analyse('BossData.csv', 'education', '学历统计', '学历', '数量')

未来功能扩展

  • 不局限在BOSS平台,扩展多种平台的抓取和分析。
  • 增加更多的检索条件,提炼更加精准的数据分析。
  • 如果有足够的精力,可以考虑将数据存储在数据库表中,然后利用SQL语句和后端逻辑进行深入的数据分析还可以通过前端图表组件,如ECharts或D3.js,来创建直观且美观的数据可视化。

合法性

  • robots协议:由于互联网开放、互联互通的特点,尽管互联网企业可以在robots协议中通过技术术语告知搜索引擎的网络机器人其希望或不希望抓取的网页内容,但robots协议的初衷是为了指引搜索引擎的网络机器人更有效的抓取对网络用户有用的信息,从而更好地促进信息共享,而不应将robots协议作为限制信息流通的工具。
  • 技术手段:没有使用模拟登录、破解反爬机制等涉及网络安全的技术手段。
  • 数据用途:爬取的数据不会用于商业用途或侵犯个人隐私。
  • 网站压力:没有使用突破其IP封锁的技术,不会造成DDoS攻击。
  • 本程序仅供学习和研究之用。若您使用或参考本程序进行任何可能导致违法行为的操作,相关责任将由您自行承担。我们建议您在使用过程中遵守相关法律法规,确保所有行为合法合规。

结束语

  代码行数不多,能以少量的代码实现复杂的功能,是每位程序员的至高追求。在我当前的项目中,尽管所实现的功能看似并不纷繁复杂,但正是得益于Python语言的简洁与强大,使得这一过程变得既高效又优雅。Python以其易读性、易写性及丰富的库支持,极大地简化了开发流程,让我能够专注于功能的实现而非语法细节。

  当然,技术世界日新月异,BOSS直聘平台作为一个不断发展的平台,未来很可能会进行更新迭代。在此,我想对关注此项目的朋友们说,如果您在使用或测试过程中,提前发现了因平台更新而导致的功能兼容性问题,请不吝私信于我。我将在力所能及且时间允许的情况下,积极跟进并更新代码,以确保项目的持续可用性和稳定性。

  让我们共同期待,通过不断的学习与交流,能够在这个充满挑战与机遇的编程世界中,携手前行,共创更加辉煌的成就!

这篇关于python scrapy爬虫框架 抓取BOSS直聘平台 数据可视化统计分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143497

相关文章

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定