使用Python爬取前程无忧上南京地区Python职位以及对应工资

获取原始数据

最近在学习Python，做了一个爬虫程序练练手，前程无忧这个网站页面布局还是挺简单的，适合我这种新手。使用requests+bs4爬取
不多说了，先来看看页面布局吧。

这是前程无忧上的职位列表，看上去还是很清楚的

然后再来看看页面布局，使用Google浏览器打开前程无忧网页，然后按下F12

每一个class为el的div就代表一个招聘信息

然后再来看看div里面是怎么布局的，我们需要获取第二列公司名称以及第四列的薪资，其他的暂时不管。

公司名称在el这个div下面的class为t2的span标签下面。

薪资在t4的span标签下面。
这样获取的逻辑就很简单了。

• 首先使用BeautifulSoup解析request获取的html
• 找到所有class=el的div标签的集合
• 在每个el标签下找到t2和t4标签，将它们的内容读取保存在字典中
• 比如：‘南京万瑞建设工程有限公司’：‘12-20万/年’

以上是爬取一页的数据，我们当然不能只能爬取一页这么简单了，往下一页爬取有两种方法：
第一种方法就是获取到下一页的url，然后通过递归调用，不断地爬取
下一页的标签是这样的：

下一页在class等于bk的li标签下的a标签里面，首先要获取下一页的标签next_page，然后通过

next_url = next_page['href']

就可以获取到url，然后重复上述爬取一页的步骤，就可以不断的往下爬取了。

第二种方法我们来研究一下url
https://search.51job.com/list/070200,000000,0000,00,9,99,Python,2,1.html
这是第一页的url，注意最后的Python，2,1
https://search.51job.com/list/070200,000000,0000,00,9,99,Python,2,2.html
这是第二页，区别就是2,1变成了2,2
后面第三页，第四页就不看了，都是一样，只有数字的变化，这样就可以采用for循环了。

urlpri = 'https://search.51job.com/list/070200,000000,0000,00,9,99,Python,2,{page}.html'
for i in range(1,page+1) ：#从1开始，并且page要加1，不然爬取不到最后一页url = urlpri.format(**{'page':i})

下面来看这部分代码：

def salary_python(page):"""获取前程无忧上前page页的Python职位对应的公司名称以及薪水:param page: 页数:return:返回公司名称与薪水对应的字典"""urlpri = 'https://search.51job.com/list/070200,000000,0000,00,9,99,Python,2,{page}.html'info = {}for i in range(1,page+1):url = urlpri.format(**{'page':i})res = requests.get(url)if res.status_code == 200:soup = BeautifulSoup(res.content, 'lxml')jobList = soup.find_all('div', class_='el')for job in jobList:companyName = ''salary = ''companyTag = job.find('span', class_='t2')if companyTag:companyTag1 = companyTag.find('a')if companyTag1:companyName = companyTag1.stringsalaryTag = job.find('span', class_='t4')if salaryTag:salary = salaryTag.stringif companyName and salary: #有些职位没有写薪资，遇到这样的我们就跳过，这地方需要过滤一下info[companyName] = salaryreturn info

看一下运行结果，是可以获取到对应的公司名称以及开出的薪资的，我的pycharm不知道出了啥问题，debug的时候想点开看一下，结果一点开debug就卡死，有知道原因的大神可以来解答一下。

数据简单处理

上面我们获取到的是原始数据，只有这个数据是看不出什么的，所以我们简单处理一下，这里用到Python的pandas模块，需要先安装一下

pip install pandas

主要是对工资进行处理，研究一下发现工资的写法主要包括下面几种

• xx(-xx)万/月
• xx(-xx)万/年
• xx(-xx)千/月
• xx(-xx)百/天
  或者没有万，百，千这种单位，直接是数字加上时间（月，年，天）
  剩下一些少见的单位，像什么万/天、百/月，就不考虑了。

我们单独写一个方法来处理工资的这种表述，统一化成 以月为单位 的形式
比如12万/年，将其转化为10000
对于工资在某一范围的，就取个中间值吧
比如0.6–1.2万/月，转化为9000

下面来看代码：

def handle_salary(s):"""将str类型的薪水表述，转化为flaot类型，并全部转化为 元/月为单位:param s: 字符串类型数据:return: float类型薪水"""if r'万' in s and r'月' in s:matchwMouth1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)matchwMouth2 = re.match(r'(\d+\.*\d*)', s, re.I)if matchwMouth1:sMin = float(matchwMouth1.group(1))sMax = float(matchwMouth1.group(2))salary = (sMax+sMin)/2.0return round(salary*10000, 2)elif matchwMouth2:salary = float(matchwMouth2.group(1))return round(salary*10000, 2)else:return selif r'万' in s and r'年' in s:matchwYear1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)matchwYear2 = re.match(r'(\d+\.*\d*)', s, re.I)if matchwYear1:sMin = float(matchwYear1.group(1))sMax = float(matchwYear1.group(2))salary = (sMax + sMin) / (2.0*12)return round(salary*10000, 2)elif matchwYear2:salary = float(matchwYear2.group(1))/12.0return round(salary*10000, 2)else:return selif r'千' in s and r'月' in s:matchqMouth1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)matchqMouth2 = re.match(r'(\d+\.*\d*)', s, re.I)if matchqMouth1:sMin = float(matchqMouth1.group(1))sMax = float(matchqMouth1.group(2))salary = (sMax + sMin) / 2.0return round(salary*1000, 2)elif matchqMouth2:salary = float(matchqMouth2.group(1))return round(salary*1000, 2)else:return selif r'百' in s and r'天' in s:matchbDay1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)matchbDay2 = re.match(r'(\d+\.*\d*)', s, re.I)if matchbDay1:sMin = float(matchbDay1.group(1))sMax = float(matchbDay1.group(2))salary = (sMax + sMin) / 2.0return round(salary*3000, 2)elif matchbDay2:salary = float(matchbDay2.group(1))return round(salary*3000, 2)else:return selif r'天' in s:matchbDay1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)matchbDay2 = re.match(r'(\d+\.*\d*)', s, re.I)if matchbDay1:sMin = float(matchbDay1.group(1))sMax = float(matchbDay1.group(2))salary = (sMax + sMin) / 2.0return round(salary*30, 2)elif matchbDay2:salary = float(matchbDay2.group(1))return round(salary*30, 2)else:return selif r'月' in s:matchMouth1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)matchMouth2 = re.match(r'(\d+\.*\d*)', s, re.I)if matchMouth1:sMin = float(matchMouth1.group(1))sMax = float(matchMouth1.group(2))salary = (sMax + sMin) / 2.0return round(salary, 2)elif matchMouth2:salary = float(matchMouth2.group(1))return round(salary, 2)else:return selif r'年' in s:matchYear1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)matchYear2 = re.match(r'(\d+\.*\d*)', s, re.I)if matchYear1:sMin = float(matchYear1.group(1))sMax = float(matchYear1.group(2))salary = (sMax + sMin) / (2.0 * 12)return round(salary, 2)elif matchYear2:salary = float(matchYear2.group(1)) / 12.0return round(salary, 2)else:return selse:return s  #工资的表示形式如果不在上述几种形式范围内，就返回它的原有值，这个到后面还要在处理

调试一下，输出都是对的。

接下来用一个for循环，把全部数据处理一下。
奉上代码：

def cleanData(dict):"""清理获取的数据，薪水全部转化为float，单位为 元/月:param dict: 获取的原始数据:return: 返回处理过的数据"""nameList = list(dict.keys())salary = list(dict.values())salaryList = []for item in salary:salaryItem = handle_salary(item)salaryList.append(salaryItem)dataDict = {}for i in range(len(nameList)):dataDict[nameList[i]] = salaryList[i]dataDictNew = {}for key,value in dataDict.items():if isinstance(value,float):dataDictNew[key] = valuedata = {'name': list(dataDictNew.keys()), 'salary': list(dataDictNew.values())}df = pd.DataFrame(data)return df

这里有几点要说明

    dataDict = {}for i in range(len(nameList)):dataDict[nameList[i]] = salaryList[i]

对数据的处理其实到这儿就已经结束了

 dataDictNew = {}for key,value in dataDict.items():if isinstance(value,float):dataDictNew[key] = value

这部分代码是为了过滤掉上面说的handle_salary这个方法没能处理掉的数据，经过处理过的工资，数据类型应该都是float，如果不是float，就将这条数据删除。

    data = {'name': list(dataDictNew.keys()), 'salary': list(dataDictNew.values())}df = pd.DataFrame(data)return df

这是将数据保存为pandas的dataframe形式，关于这种数据结构，可以参考这篇博客
https://www.cnblogs.com/IvyWong/p/9203981.html

保存数据

经过处理过的数据，将它保存在一个csv文件里，方便以后查看，pandas模块有直接处理csv文件的方法，非常方便。

def saveDataCsv(df):"""保存数据到csv文件中:param df: dataframe类型数据:return:"""filename = 'python_51job_salary.csv'try:df.to_csv(filename, encoding='gbk')except UnicodeEncodeError:print("编码错误, 该数据无法写到文件中, 直接忽略该数据")

简单分析

dataframe有个describe()方法，可以简单分析一下数据，我们来看一下

print(dfSalary.describe())  #dfsalary是处理过的数据，保存为dataframe格式

输出：

             salary
count    146.000000       #样本数量
mean   13519.748836     #工资平均值
std     7021.955639         #工资标准差
min     3750.000000        #最小值
25%     9000.000000		#从小到大排列，第25%的那个数
50%    12500.000000      #中位数
75%    15750.000000      #同25%
max    45000.000000       #最大值

还可以利用pandas模块画一个折线图

dfSalary.plot()
plt.show()  #绘制折现图表

工资看上去一万到两万的比较多。
下面这个方法用于统计工资高于某个值所占的比例：

def over(df, num):"""计算高于num的工资所占比例:param df: 原始数据，dataframe类型:param num: 高于工资:return: 比例"""salaryList = df.salary.tolist()overList = [x for x in salaryList if x>num]over = len(overList)*1.0/len(salaryList)return over

print(over(dfSalary,10000))    #工资高于10000所占比例  输出：0.7123287671232876

各位可以看下自己大概在啥水平哈。

新手一枚，代码还有许多不合理之处，欢迎各位大神提出意见，共同进步！！
附上github源码：
https://github.com/cchhgithub/pythonLearning/blob/master/pachong/51job.py