【Python爬虫】招聘网站实战合集第一弹:爬取前程无忧

2024-02-17 02:50

本文主要是介绍【Python爬虫】招聘网站实战合集第一弹:爬取前程无忧,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

爬个妹子总是没过,没办法,咱们来爬爬招聘网站吧~

在这里插入图片描述

本次以前程无忧为例,看看Python的工资如何。

这是今天的重点

1、爬虫的基本流程
2、re正则表达式模块的简单使用
3、requests模块的使用
4、保存csv

使用的软件

python 3.8
pycharm 2021专业版
pycharm 社区版 (免费) 没有主题
专业版 (需要激活码)
使用的模块
requests >>> pip install requests (数据请求模块) 第三方模块
re
json
csv
time

爬虫最基本的思路

一. 数据来源分析

  1. 确定我们要的爬取的内容是什么?
    招聘基本数据信息
  2. 通过开发者工具进行抓包分析, 分析这些数据是从哪里可以获得
    开发者工具怎么打开 : F12 或者 鼠标右键点击检查

二. 代码实现步骤: 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

  1. 发送请求, 对于url地址发送请求
    https://search.51job.com/list/010000%252C020000%252C030200%252C040000%252C090200,000000,0000,00,9,99,python,2,1.html
  2. 获取数据, 获取服务器发给我们返回的数据响应数据
  3. 解析数据, 提取我们想要的数据内容 (比如 招聘标题, 招聘薪资…)
  4. 保存数据, 保存到csv文件

OK,思路都清楚的话,咱们来康康代码。

首先导入模块

import requests  # 数据请求 第三方模块 pip install requests
import re  # 正则表达式模块
import json  # 序列化与反序列化
import pprint  # 格式化输出模块
import csv  # 保存csv数据

算了,我直接贴代码吧,流程都写清楚了,我把注释也标上了。

关于这篇文章,也有相对应的视频教程:

(<> “复制代码”)

f = open('python招聘数据1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题','公司名字','城市','薪资','招聘信息','公司属性','公司规模','企业性质','招聘发布日期','公司详情页','招聘详情页',
])
csv_writer.writeheader() # 写入表头数据
for page in range(1, 11):#  1. 发送请求, 对于url地址发送请求url = f'https://search.51job.com/list/010000%252C020000%252C030200%252C040000%252C090200,000000,0000,00,9,99,python,2,{page}.html'# 把python代码进行伪装, 伪装浏览器对服务器发送请求# User-Agent 浏览器的基本信息headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'}response = requests.get(url=url, headers=headers)  # 调用 requests这个模块里面get方法对于 url发送请求#  2. 获取数据, 获取服务器发给我们返回的数据响应数据# <Response [200]> <> 表示response响应对象 200 状态码 表示请求成功# response.text 获取响应体的文本数据(网页源代码)# print(response.text)# 3. 解析数据, 提取我们想要的数据内容 (比如 招聘标题, 招聘薪资...)# 解析方法: re正则表达式, css选择器 xpath  根据服务器返回的数据内容, 选择最适合的解析方式# 遇事不决 .*? 元字符 . 可以匹配任意字符串除了换行符以外 * 匹配前一个字符串 0个或者多个 ? 非贪婪匹配模式# [] 表示列表# {} 可能想到的是字典数据类型# .*? 可以匹配任意字符串 除了 换行符\n# 通过re模块调用 findall 方法 'window.__SEARCH_RESULT__ = (.*?)</script>' 要匹配的数据内容  response.text从哪里匹配数据 [0] 列表索引取第一个元素# 正则表达式详细内容讲解 在VIP课程里面 要讲三个小时左右html_data = re.findall('window.__SEARCH_RESULT__ = (.*?)</script>', response.text, re.S)[0]# print(html_data)# print(type(html_data))# 把这个字符串数据类型 转成 字典数据类型 通过键值对取值方式提取想要的内容json_data = json.loads(html_data)# print(type(json_data))# 字符串的时候 里面的引号是双引号 字典时候就变成了单引号# print(json_data)# pprint.pprint(json_data['engine_jds'])# 字典取值 根据冒号左边的内容, 提取冒号右边的内容# parsel 数据解析for index in json_data['engine_jds']:# pprint.pprint(index)dit = {'标题': index['job_name'],'公司名字': index['company_name'],'城市': index['workarea_text'],'薪资': index['providesalary_text'],'招聘信息': '|'.join(index['attribute_text']),'公司属性': index['companyind_text'],'公司规模': index['companysize_text'],'企业性质': index['companytype_text'],'招聘发布日期': index['issuedate'],'公司详情页': index['company_href'],'招聘详情页': index['job_href'],}csv_writer.writerow(dit)print(dit)

[

关于Python的技术储备

在这里给大家分享一些免费的课程供大家学习,下面是课程里面的截图,扫描最下方的二维码就能全部领取

1.Python所有方向的学习路线

在这里插入图片描述

2.学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
在这里插入图片描述

3.学习资料

在这里插入图片描述

4.实战资料

实践是检验真理的唯一标准。这里的压缩包可以让你再闲暇之余帮你提升你的个人能力。
在这里插入图片描述

5.视频课程

在这里插入图片描述

好啦今天的分享就到这里结束了,快乐的时光总是短暂呢,想学习更多课程的小伙伴不要着急,有更多惊喜哦~

这篇关于【Python爬虫】招聘网站实战合集第一弹:爬取前程无忧的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/716455

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

滚雪球学Java(87):Java事务处理:JDBC的ACID属性与实战技巧!真有两下子!

咦咦咦,各位小可爱,我是你们的好伙伴——bug菌,今天又来给大家普及Java SE啦,别躲起来啊,听我讲干货还不快点赞,赞多了我就有动力讲得更嗨啦!所以呀,养成先点赞后阅读的好习惯,别被干货淹没了哦~ 🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,助你一臂之力,带你早日登顶🚀,欢迎大家关注&&收藏!持续更新中,up!up!up!! 环境说明:Windows 10

nudepy,一个有趣的 Python 库!

更多资料获取 📚 个人网站:ipengtao.com 大家好,今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址:https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中,检测图像中的不适当内容(例如裸露图像)是一个重要的任务。nudepy 是一个基于 Python 的库,专门用于检测图像中的不适当内容。该