抓取前程无忧51job岗位数据，实现数据可视化——心得体会

最近找工作，经常浏览51job，刚好学了python一段时间了，所以有了一个想法：为什么不将我需要的岗位信息给爬出来呢？

在51job网站搜索“数据分析师”，查看源代码，发现每一个招聘公告包含岗位、公司、薪资、地区等信息。所以可以实现如下几个目的：

1.根据关键词抓取招聘信息；

2.连接mysql，创建表格，并插入数据；

3.初步清洗数据，实现可视化

一、网页抓取函数

https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=

这个是搜索“数据分析师”的网址，乍一看十分复杂，立马就没弄下去的欲望了。

发现这么一长串url只有

https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,1.html

是必须的。而

%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588

则正好是“数据分析师”的urlencode，那么我们可以利用这一点，更改搜索关键词

而且%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,1.html中html前的数字对应着页码

因此可以通过更改keyword和页码，进一步选择我们需要的信息。

def Get_html(data,i):Url="https://search.51job.com/list/000000,000000,0000,00,9,99,"+data+",2,%s.html"%i #data是自定义搜索关键词，i的大小则直接控制了爬取信息量header = {'User-Agent':'Mozilla/5.0'} #头部信息r=requests.get(Url,headers=header)print(r.url)print(r.status_code)r.encoding=r.apparent_encoding#print(r.text)return(r.text) #函数返回html

万里长征完成第一步o.o

接下来就是解析html，进一步爬取岗位、公司、薪资、地区和url信息。

这个阶段卡了2个多小时（习惯用beautifulsoup爬取）。

代码1：

def Get_data(html):
    soup=BeautifulSoup(html,"html.parser")
    for div in soup.find_all("div",class_="el"):  #find_all()遍历结果为列表
        print(div)

输出结果：

<div class="el">
<p class="t1 ">
<em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
<input class="checkbox" jt="0" name="delivery_jobid" style="display:none" type="checkbox" value="109229565"/>
<span>
<a href="https://jobs.51job.com/shenyang/109229565.html?s=01&amp;t=0" οnmοusedοwn="" target="_blank" title="数据分析师">
                                    数据分析师                                </a>
</span>
</p>
<span class="t2"><a href="https://jobs.51job.com/all/co5314555.html" target="_blank" title="沈阳市和平区鹏润衣世界服装批发城">沈阳市和平区鹏润衣世界服装批发城</a></span>
<span class="t3">沈阳</span>
<span class="t4">6-8千/月</span>
<span class="t5">03-19</span>
</div>
发现再怎么利用beautifulsoup的函数也无法对div子节点的属性进行爬取。（习惯了用beautifulsoup，一下子不知道怎么办了）

这时候说明百度还是很重要的

发现除了beautifulsoup库外，xpath也可以实现这个功能。（详细功能自行百度）

代码2：

def Get_data(html,name):html = etree.HTML(html)divs = html.xpath("//div[@id='resultList']/div[@class='el']")print(divs)for div in divs:job1=div.xpath("./p/span/a/@title")print(job1[0])job_url1=div.xpath("./p/span/a/@href")print(job_url1)job_company1=div.xpath("./span[@class='t2']/a/@title")print(job_company1)job_area1=div.xpath("./span[@class='t3']/text()")print(job_area1)job_salary1=div.xpath("./span[@class='t4']/text()")print(job_salary1)try:job_salary.append(job_salary1[0])job_area.append(job_area1[0])shuju.append((job1[0], job_url1[0], job_company1[0], job_area1[0], job_salary1[0]))except:print("异常")print(shuju)print(job_salary,job_area)print(len(job_salary),len(job_area)) #查看招聘信息数量return(shuju,job_salary,job_area)

二、连接mysql数据库，创建表格，插入数据

利用pymysql库

代码1（创建表格函数）：

def Mysql_create_table(name):client=pymysql.connect(user="root",host="localhost",passwd="*******",db="xiaolimao")cursor=client.cursor()sql="create table if not exists table_%s"%name+"(job VARCHAR(100),job_url VARCHAR(100),job_company VARCHAR(100),job_area VARCHAR(100),job_salary VARCHAR(100));"cursor.execute(sql)cursor.close()client.close()

写入爬取数据:

代码2：

def Mysql_data(name,shuju):client=pymysql.connect(user="root",host="localhost",passwd="********",db="xiaolimao")cursor=client.cursor()sql="insert into table_%s"%name+" values(%s,%s,%s,%s,%s)"cursor.executemany(sql,shuju)client.commit()cursor.close()client.close()

处理结果：

三、初步筛选数据，做工资分布图（地点-薪资）

51job爬出的薪资数据均为string格式，且为1-2万/月或者1-2千/月格式。地点为城市或者城市-区格式

首先将工资数据进行处理：

def Num_salary():for num in job_salary: #job_salary 为工资列表if("万/月" in num ): Num=(re.findall(r"\d+\.?\d*",num))  #将工资字符串中数字提取出n=int((float(Num[0])+float(Num[1]))*10000/2)  #将工资区间平均化elif ("千/月" in num ):Num = (re.findall(r"\d+\.?\d*", num))n = int((float(Num[0]) + float(Num[1])) * 1000 / 2)data_salary.append(n) # 新的工资列表print(data_salary)return (data_salary)

然后城市处理：

def Num_area():for area in job_area:if "-" in area:Area = area.split("-")[0] #将带有区的地点只取城市else :Area=areadata_area.append(Area)print(data_area)print(len(data_area))return (data_area)

处理结果：

[20000, 9000, 6500, 6500, 15500, 9000, 7000, 5250, 7000, 9000, 12500, 7000, 9000, 7000, 5250, 10000, 9000, 8500, 7000, 6500, 7000, 9000, 18000, 9000, 7000, 6500, 12000, 12000, 12500, 11500, 11500, 8500, 5250, 7000, 7000, 7000, 6000, 12500, 7000, 5250, 5250, 9500, 9000, 9000, 7000, 6250, 6500, 7500, 4500, 10000, 7000, 15000, 14500, 8000, 25000, 7000, 12500, 27500, 9000, 25000, 15000, 8500, 7000, 5500, 24000, 10000, 10000, 6000, 16000, 11500, 12500, 12500, 17500, 7500, 11500, 9000, 7500, 12500, 7000, 7000, 11500, 11500, 12500, 6000, 12500, 5250, 11500, 7000, 12000, 9000, 12500, 10500, 12500, 7000, 6750, 6500, 9000, 9000, 10000, 5250, 5000, 5250, 7250, 9000, 7000, 6000, 9000, 9000, 9000, 9000, 7000, 12500, 4150, 6000, 5250, 9000, 17500, 20000, 20000, 5500, 8500, 4500, 7500, 8500, 6000, 5750, 22500, 11500, 11500, 5250, 12500, 7500, 7500, 5000, 17500, 9000, 19000, 15000, 12500, 5500, 11500, 11500, 6000, 6750, 11500, 12500, 12500]

['杭州', '无锡', '深圳', '异地招聘', '异地招聘', '无锡', '广州', '广州', '广州', '广州', '北京', '广州', '北京', '广州', '广州', '深圳', '深圳', '广州', '广州', '上海', '广州', '南昌', '深圳', '广州', '成都', '上海', '上海', '广州', '广州', '北京', '广州', '上海', '成都', '广州', '深圳', '上海', '合肥', '上海', '武汉', '郑州', '郑州', '广州', '上海', '广州', '杭州', '佛山', '中山', '海口', '异地招聘', '深圳', '沈阳', '上海', '异地招聘', '重庆', '上海', '北京', '北京', '珠海', '上海', '上海', '广州', '上海', '西安', '上海', '深圳', '深圳', '北京', '异地招聘', '南京', '深圳', '上海', '广州', '成都', '金华', '广州', '北京', '广州', '西安', '青岛', '异地招聘', '广州', '广州', '上海', '北京', '深圳', '沈阳', '成都', '大连', '武汉', '武汉', '南京', '武汉', '上海', '广州', '上海', '西安', '广州', '宜昌', '上海', '广州', '长沙', '昆明', '杭州', '福州', '广州', '佛山', '广州', '北京', '北京', '深圳', '广州', '深圳', '苏州', '温州', '异地招聘', '广州', '武汉', '北京', '广州', '上海', '广州', '深圳', '广州', '上海', '郑州', '郑州', '广州', '深圳', '上海', '广州', '上海', '广州', '深圳', '广州', '上海', '深圳', '北京', '深圳', '杭州', '广州', '上海', '上海', '合肥', '深圳', '上海', '北京', '杭州']

然后发现，在城市列表中存在“异地招聘”非城市名字符串。将城市列表中“异地招聘”元素删除并将其对应的工资列表中的元素删除。

def Get_rid(i):for j in range(i):  # 列表在删除元素时因为地址的更变会导致部分元素删除不彻底，此处加一个循环为了更彻底，i与爬取信息量有关for area in data_area :if area == "异地招聘" :data_salary.pop(data_area.index(area))data_area.remove(area)

处理结果：

[20000, 9000, 6500, 9000, 7000, 5250, 7000, 9000, 12500, 7000, 9000, 7000, 5250, 10000, 9000, 8500, 7000, 6500, 7000, 9000, 18000, 9000, 7000, 6500, 12000, 12000, 12500, 11500, 11500, 8500, 5250, 7000, 7000, 7000, 6000, 12500, 7000, 5250, 5250, 9500, 9000, 9000, 7000, 6250, 6500, 7500, 10000, 7000, 15000, 8000, 25000, 7000, 12500, 27500, 9000, 25000, 15000, 8500, 7000, 5500, 24000, 10000, 10000, 16000, 11500, 12500, 12500, 17500, 7500, 11500, 9000, 7500, 12500, 7000, 11500, 11500, 12500, 6000, 12500, 5250, 11500, 7000, 12000, 9000, 12500, 10500, 12500, 7000, 6750, 6500, 9000, 9000, 10000, 5250, 5000, 5250, 7250, 9000, 7000, 6000, 9000, 9000, 9000, 9000, 7000, 12500, 4150, 6000, 9000, 17500, 20000, 20000, 5500, 8500, 4500, 7500, 8500, 6000, 5750, 22500, 11500, 11500, 5250, 12500, 7500, 7500, 5000, 17500, 9000, 19000, 15000, 12500, 5500, 11500, 11500, 6000, 6750, 11500, 12500, 12500] ['杭州', '无锡', '深圳', '无锡', '广州', '广州', '广州', '广州', '北京', '广州', '北京', '广州', '广州', '深圳', '深圳', '广州', '广州', '上海', '广州', '南昌', '深圳', '广州', '成都', '上海', '上海', '广州', '广州', '北京', '广州', '上海', '成都', '广州', '深圳', '上海', '合肥', '上海', '武汉', '郑州', '郑州', '广州', '上海', '广州', '杭州', '佛山', '中山', '海口', '深圳', '沈阳', '上海', '重庆', '上海', '北京', '北京', '珠海', '上海', '上海', '广州', '上海', '西安', '上海', '深圳', '深圳', '北京', '南京', '深圳', '上海', '广州', '成都', '金华', '广州', '北京', '广州', '西安', '青岛', '广州', '广州', '上海', '北京', '深圳', '沈阳', '成都', '大连', '武汉', '武汉', '南京', '武汉', '上海', '广州', '上海', '西安', '广州', '宜昌', '上海', '广州', '长沙', '昆明', '杭州', '福州', '广州', '佛山', '广州', '北京', '北京', '深圳', '广州', '深圳', '苏州', '温州', '广州', '武汉', '北京', '广州', '上海', '广州', '深圳', '广州', '上海', '郑州', '郑州', '广州', '深圳', '上海', '广州', '上海', '广州', '深圳', '广州', '上海', '深圳', '北京', '深圳', '杭州', '广州', '上海', '上海', '合肥', '深圳', '上海', '北京', '杭州']

非城市名字符串全部删除

最后成图：

def Geo_chart(name): #利用pyecharts库的Geo函数做图data_geo=[]data_salary_max=np.max(data_salary) #利用工资列表最大值做为比例尺最大值print(data_salary_max)for i in range(len(data_area)-1):data_geo.append((data_area[i],data_salary[i]))geo=Geo("%s"%name+"薪资分布图","data from 51job", title_color="#fff", title_pos="center",width=1200, height=600, background_color='#404a59')attr,value=geo.cast(data_geo)geo.add("", attr, value, visual_range=[0, data_salary_max], visual_text_color="#fff", symbol_size=15, is_visualmap=True)geo.show_config()geo.render() #可以自定义保存位置

成果图：

大功告成！！！

总结：

从开始做一直到成功，花了接近一天时间。中间多次想要放弃，不过好在是坚持了下来。

好多东西真的是在自己动手做的时候才发现没有想象中的简单。

参考文章：

1.https://blog.csdn.net/legalhighhigh/article/details/79779832

2.

贴上完整代码：

import requests
import re
from lxml import etree
import pymysql
from pyecharts import Geo
import numpy as np
job_salary=[]
job_area=[]
shuju=[]
data_salary=[]
data_area=[]def Geo_chart(name):data_geo=[]data_salary_max=np.max(data_salary)print(data_salary_max)for i in range(len(data_area)-1):data_geo.append((data_area[i],data_salary[i]))geo=Geo("%s"%name+"薪资分布图","data from 51job", title_color="#fff", title_pos="center",width=1200, height=600, background_color='#404a59')attr,value=geo.cast(data_geo)geo.add("", attr, value, visual_range=[0, data_salary_max], visual_text_color="#fff", symbol_size=15, is_visualmap=True)geo.show_config()geo.render()def Get_html(data,i):Url="https://search.51job.com/list/000000,000000,0000,00,9,99,"+data+",2,%s.html"%iheader = {'User-Agent':'Mozilla/5.0'}r=requests.get(Url,headers=header)print(r.url)print(r.status_code)r.encoding=r.apparent_encoding#print(r.text)return(r.text)    
def Mysql_create_table(name):client=pymysql.connect(user="root",host="localhost",passwd="rongchao123",db="xiaolimao")cursor=client.cursor()sql="create table if not exists table_%s"%name+"(job VARCHAR(100),job_url VARCHAR(100),job_company VARCHAR(100),job_area VARCHAR(100),job_salary VARCHAR(100));"cursor.execute(sql)cursor.close()client.close()def Mysql_data(name,shuju):client=pymysql.connect(user="root",host="localhost",passwd="rongchao123",db="xiaolimao")cursor=client.cursor()sql="insert into table_%s"%name+" values(%s,%s,%s,%s,%s)"cursor.executemany(sql,shuju)client.commit()cursor.close()client.close()def Get_data(html,name):html = etree.HTML(html)divs = html.xpath("//div[@id='resultList']/div[@class='el']")print(divs)for div in divs:job1=div.xpath("./p/span/a/@title")print(job1[0])job_url1=div.xpath("./p/span/a/@href")print(job_url1)job_company1=div.xpath("./span[@class='t2']/a/@title")print(job_company1)job_area1=div.xpath("./span[@class='t3']/text()")print(job_area1)job_salary1=div.xpath("./span[@class='t4']/text()")print(job_salary1)try:job_salary.append(job_salary1[0])job_area.append(job_area1[0])shuju.append((job1[0], job_url1[0], job_company1[0], job_area1[0], job_salary1[0]))except:print("异常")print(shuju)print(job_salary,job_area)print(len(job_salary),len(job_area))return(shuju,job_salary,job_area)def Num_salary():for num in job_salary: #job_salary 为工资列表if("万/月" in num ):Num=(re.findall(r"\d+\.?\d*",num))  #将工资字符串中数字提取出n=int((float(Num[0])+float(Num[1]))*10000/2)  #将工资区间平均化elif ("千/月" in num ):Num = (re.findall(r"\d+\.?\d*", num))n = int((float(Num[0]) + float(Num[1])) * 1000 / 2)data_salary.append(n) # 新的工资列表print(data_salary)return (data_salary)def Num_area():for area in job_area:if "-" in area:Area = area.split("-")[0] #将带有区的地点只取城市else :Area=areadata_area.append(Area)print(data_area)print(len(data_area))return (data_area)def Get_rid(i):for j in range(i):  # 列表在删除元素时因为地址的更变会导致部分元素删除不彻底，此处加一个循环为了更彻底，i与爬取信息量有关for area in data_area :if area == "异地招聘" :data_salary.pop(data_area.index(area))data_area.remove(area)            if __name__=="__main__":kywd=input("关键词：")name=input("表名：")Number=int(input("请输入一个整数："))Mysql_create_table(name)for i in range(1,Number):html=Get_html(kywd,i)Get_data(html,name)Mysql_data(name,shuju)Num_salary()Num_area()Get_rid(Number)print(data_salary,data_area)Geo_chart(kywd)