爬取猎聘网招聘信息,我竟发现了最实用的程序员学习路线!

2023-10-11 22:10

本文主要是介绍爬取猎聘网招聘信息,我竟发现了最实用的程序员学习路线!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

转自:https://mp.weixin.qq.com/s/lmGsjZdNP9HVlegBRMOZQw

 

前两天,刚好看到网上的一些学习路线图,又对比了招聘网站上的要求,发现这两者其实差不多。

所以就用爬虫爬取了猎聘网上的岗位信息,对这些招聘信息进行处理,从中找出需要掌握的一些语言和工具,从而有目的地进行学习,更快的提高自己的能力,让自己不再为不知道学习线路而烦恼,也能够更好的符合招聘要求。

 

                                                             

                                                                                                查看网页

                                                                                            搜索首页

                                                                                                   详细要求

从这个岗位职责中,可以看出需要掌握的工具或语言绝大多数都是以英文为主。所以主要提取英文就行了。至于其他的信息就不进行提取了

                                                                

                                                                                               流程

 

  1.                                                                      爬取搜索到的岗位链接;

  2.                                                                      进一步爬取详细的岗位要求;

  3.                                                                      提取其中英文单词;

  4.                                                                      pyecharts展示。

    1.                                 

                                                                爬取招聘岗位

    2. 使用BeautifulSoup进行解析,主要将岗位名称、详细链接、公司、薪资、位置和学历要求这几个信息存到MongoDB中就好。

    3. def getLink(seachname, pagenum):for i in range(pagenum):url = "https://www.liepin.com/zhaopin/?init=-1&key={}&curPage={}".format(seachname, i)web_data = requests.get(url=url, headers=header)soup = BeautifulSoup(web_data.content, 'lxml')job_list = soup.select(".sojob-list > li")for item in job_list:name = item.select(".job-info > h3")[0]['title']link = item.select(".job-info > h3 > a")[0]['href']company = item.select(".company-name > a")[0].textsalary = item.select(".text-warning")[0].textlocation = item.select(".area")[0].texteducation = item.select(".edu")[0].textdata = {"title": name,"link": link,"company": company,"salary": salary,"location": location,"education": education,}pywork.insert(data) #使用MongoDB存储

       

                                                                        

                                                                                                   详细岗位要求

由于任职要求中有<br>标签,需要将其切除,而且由于使用BeautifulSoup解析,所以<br>是tag对象,需要创建对象再删除。被这个问题困住了好久。之后将所有爬取到的岗位要求都写到一个文件中,方便后期使用JieBa切分。

def getInfo(url, demands_text):web_data = requests.get(url, headers=header)soup = BeautifulSoup(web_data.content, 'lxml')try:demands = soup.select(".content-word")[0].contentsdemands = sorted(set(demands), key=demands.index)# 删除<br/>delete_str = "<br/>"br_tag = BeautifulSoup(delete_str, "lxml").brdemands.remove(br_tag)# 拼接所有要求for item in demands:demands_text += item.replace("
", "")#写入文件f = open('demands.txt', mode='a+', encoding='UTF-8')f.write(demands_text + "
")f.close()except:logging.log("warning...")

                                                                   

                                                                                                     分词

使用JieBa分词之后,还需要将一些单词例如:or,pc等上删除,本着“宁可错杀一千,不可放过一个”的原则,所以将少于1个字母的单词使用正则去掉

def CutWordByJieBa(txt, seachname):seg_list = jieba.cut(txt, cut_all=True)w1 = "/ ".join(seg_list)  # 全模式fil = re.findall('[a-zA-Z]{1,}/', w1) # 提取英文strl = ""for i in fil:strl += istrl = strl.lower() # 全部转换为小写

                                                               

                                                                                              可视化

 在这部分,之前只想着将需要掌握的工具用词云进行展示就好。然而,有点幸运呀!当使用Navicat12连接到MongoDB的时候,发现它有自动作图分析的功能。所以先用Navicat中的功能,简单的来看一下总体情况:

以爬虫工程师为关键词查询后,使用pyecharts进行数据展示:

 

                                                             

                                                                                                 重点

对比词云和bar图,感觉词云更加准确。但是柱状图却更便于分类,比如上图就可以发现需要掌握的工具可以分为三类:

  1. 数据库:MySQL、Oracle、MongoDB;

  2. 解析:XPath、CSS;

  3. 反爬:Cookie、IP、Scrapy、JWT。

其中JWT(JSON Web Token)我就不认识。所以通过这种方式,我就可以找到自己的盲区,就算不深入了解学习,但是百度一下,大概了解它是什么,还是可以的

                                                               

                                                                                                 最后

 

如果有感兴趣的小伙伴,可以自己动手试一下。个人感觉这些排名前10的工具对自己的学习线路、职业规划还是有点帮助的。也希望能够对那些正在迷茫的朋友有所帮助!

作者简介:Don Lex,在校大学生,正在发育并且渴望成为一个有技术、有情怀的coder。个人公众号 Python绿洲。

声明:本文为作者投稿,版权归对方所有。

这篇关于爬取猎聘网招聘信息,我竟发现了最实用的程序员学习路线!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/191163

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中,我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试,如何有效地规划和启动测试,如何评估测试是否成功,您应该关注哪些指标,多年来我们发现的常见错误等等。 什么是A/B测试? A/B测试(有时称为“分割测试”)是一种实验类型,其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体,以查看哪一种效果最好。 本质上,A/B测

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti