最新 Python3 爬取前程无忧招聘网 mysql和excel 保存数据

本文主要是介绍最新 Python3 爬取前程无忧招聘网 mysql和excel 保存数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Python 爬虫目录
        
        1、最新 Python3 爬取前程无忧招聘网 lxml+xpath
        2、Python3 Mysql保存爬取的数据 正则
        3、Python3 用requests 库 和 bs4 库 最新爬豆瓣电影Top250
        4、Python Scrapy 爬取 前程无忧招聘网
        5、Python3 爬取房价 采用lxml+xpath
        6、持续更新…
        
        
        

本文更新于2021年06月01日

本文爬取网站为https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590,2,1.html?

本文选用的是lxml模块,xpath语法提取数据

推荐谷歌用户一个可以帮助xpath调试的插件
Xpath Helper
在这里插入图片描述

1、进行分析网站

在这里插入图片描述

**

要爬取的职位名、公司名、工作地点、薪资的信息都在class="e"里

**
在这里插入图片描述

分析完就可以用xpath 语法进行调试了
完整代码如下:

from selenium import webdriver
from lxml import etree
import time
import pymysql# 设置不启动浏览器
option = webdriver.ChromeOptions()
option.add_argument('headless')def get_url(url):browser = webdriver.Chrome(options=option)browser.get(url)html_text = browser.page_source# browser.quit()# time.sleep(5)return html_textdef GetData(url):""":param url: 目标网址:return:"""html_text = get_url(url)dom = etree.HTML(html_text)dom_list = dom.xpath('//div[@class="j_result"]/div[@class="in"]/div[@class="leftbox"]//div[@class="j_joblist"]//div[@class="e"]')Job_list = []for t in dom_list:# 1.岗位名称job_name = t.xpath('.//a[@class="el"]//span[@class="jname at"]/text()')[0]# print(job_name)  for test# 2.发布时间release_time = t.xpath('.//a[@class="el"]//span[@class="time"]/text()')[0]# 3.工作地点address = t.xpath('.//a[@class="el"]//span[@class="d at"]/text()')[0]# 4.工资salary_mid = t.xpath('.//a[@class="el"]//span[@class="sal"]')salary = [i.text for i in salary_mid][0]  # 列表解析# 5.公司名称company_name = t.xpath('.//div[@class="er"]//a[@class="cname at"]/text()')[0]# 6.公司类型和规模company_type_size = t.xpath('.//div[@class="er"]//p[@class="dc at"]/text()')[0]# 7.行业indusrty = t.xpath('..//div[@class="er"]//p[@class="int at"]/text()')[0]JobInfo = {'job_name': job_name,'address': address,'salary': salary,'company_name': company_name,'company_type_size': company_type_size,'industry': indusrty,'release_time': release_time}Job_list.append(JobInfo)return Job_listdef SaveSql(data):""":param data: 数据:return:"""# 创建连接db = pymysql.Connect(host='localhost',  # mysql服务器地址port=3306,  # mysql服务器端口号user='root',  # 用户名passwd='123123',  # 密码db='save_data',  # 数据库名charset='utf8'  # 连接编码)# 创建游标cursor = db.cursor()# 使用预处理语句创建表cursor.execute("""create table if not exists Job_info(ID INT PRIMARY KEY AUTO_INCREMENT ,job_name VARCHAR(100) ,address VARCHAR (100),salary  VARCHAR (30),company_name VARCHAR (100) ,company_type_size VARCHAR (100),industry VARCHAR (50),release_time VARCHAR (30))""")for i in data:insert = "INSERT INTO Job_info(" \"job_name,address,salary,company_name,company_type_size,industry,release_time" \")values(%s,%s,'%s',%s,%s,%s,%s)" % (repr(i['job_name']), repr(i['address']), i['salary'], repr(i['company_name']),repr(i['company_type_size']), repr(i['industry']), repr(i['release_time']))try:# 执行sql语句cursor.execute(insert)# 执行sql语句db.commit()print("insert ok")except:# 发生错误时回滚db.rollback()db.commit()# 关闭数据库连接db.closeif __name__ == '__main__':for i in range(301, 451):print('开始存储第' + str(i) + '条数据中')url_pre = 'https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590,2,'url_end = '.html?'url = url_pre + str(i) + url_endSaveSql(GetData(url))time.sleep(3)print('存储完成')

完成后效果

mysql 存储
在这里插入图片描述

Excel 存储(后续更新)
在这里插入图片描述

有不明白的地方欢迎提问

本文更新于2021年06月01日

这篇关于最新 Python3 爬取前程无忧招聘网 mysql和excel 保存数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/680400

相关文章

MySQL 8 中的一个强大功能 JSON_TABLE示例详解

《MySQL8中的一个强大功能JSON_TABLE示例详解》JSON_TABLE是MySQL8中引入的一个强大功能,它允许用户将JSON数据转换为关系表格式,从而可以更方便地在SQL查询中处理J... 目录基本语法示例示例查询解释应用场景不适用场景1. ‌jsON 数据结构过于复杂或动态变化‌2. ‌性能要

SpringBoot+EasyPOI轻松实现Excel和Word导出PDF

《SpringBoot+EasyPOI轻松实现Excel和Word导出PDF》在企业级开发中,将Excel和Word文档导出为PDF是常见需求,本文将结合​​EasyPOI和​​Aspose系列工具实... 目录一、环境准备与依赖配置1.1 方案选型1.2 依赖配置(商业库方案)二、Excel 导出 PDF

MySQL字符串常用函数详解

《MySQL字符串常用函数详解》本文给大家介绍MySQL字符串常用函数,本文结合实例代码给大家介绍的非常详细,对大家学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql字符串常用函数一、获取二、大小写转换三、拼接四、截取五、比较、反转、替换六、去空白、填充MySQL字符串常用函数一、

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

MySQL逻辑删除与唯一索引冲突解决方案

《MySQL逻辑删除与唯一索引冲突解决方案》本文探讨MySQL逻辑删除与唯一索引冲突问题,提出四种解决方案:复合索引+时间戳、修改唯一字段、历史表、业务层校验,推荐方案1和方案3,适用于不同场景,感兴... 目录问题背景问题复现解决方案解决方案1.复合唯一索引 + 时间戳删除字段解决方案2:删除后修改唯一字

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种