Python爬虫实战:爬取人民日报数据写入Mysql

本文主要是介绍Python爬虫实战:爬取人民日报数据写入Mysql,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、写这个爬虫的目的:
学了一段时间的Python、SQL语句,主要想通过这个爬虫熟悉静态网页站点的爬取,以及将爬取数据在数据库中进行操作的过程。
二、目标网站分析:
人民日报网站是静态网站,其页面跳转是通过 URL 的改变完成的,即所有数据一开始就是加载好的。我们只需要去 html 中提取相应的数据即可,不涉及到诸如 Ajax 这样的动态加载方法。
三、用到的主要第三方库:
通过上述分析,主要用了requests、lxml、pymysql、datetime这几个第三方库。其中,requests 库主要用来发起请求及接受响应信息,lxml主要通过Xpath方法来解析html内容,pymysql主要用于将爬取的数据写入Mysql数据库。
四、代码:

import requests
from lxml import etree
import pymysql
from datetime import datetime,timedelta
import timedef download_people_daily(year, month, day):#获取目标网页的 html 内容:def get_html_text(url):headers={'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',}html=requests.get(url,headers=headers)html.raise_for_status()html.encoding="utf-8"return etree.HTML(html.text)url='http://paper.people.com.cn/rmrb/html/'  + year + '-' + month + '/' + day + '/' +'nbs.D110000renmrb_01.htm'#爬取当天报纸的各版面的链接,将其保存为一个数组,并返回:def get_page_link(year,month,day):    selector1=get_html_text(url)temp_pagelink=selector1.xpath('//*[@id="pageLink"]/@href')    #获取版面相对路径pagelink=[]for i1 in range(len(temp_pagelink)):pagelink.append('http://paper.people.com.cn/rmrb/html/'  + year + '-' + month + '/' + day + '/' +temp_pagelink[i1] )    #获取版面绝对路径,并将其添加到一个列表中return pagelink#爬取当天报纸某一版面的所有文章的链接,将其保存为一个数组,并返回:pageurl=get_page_link(year,month,day)articlelink=[]for i2 in pageurl:selector2=get_html_text(i2)temp_articlelink=selector2.xpath('//*[@id="titleList"]/ul/li[*]/a/@href')    #获取文章网址相对路径for i3 in range(len(temp_articlelink)):    articlelink.append('http://paper.people.com.cn/rmrb/html/'  + year + '-' + month + '/' + day + '/' +temp_articlelink[i3])       #获取文章网址绝对路径,并将其添加到一个列表中#爬取当天报纸所有文章的标题、时间版面、正文:title=[]dateinfo=[]content=[]for i4 in articlelink:selector3=get_html_text(i4)single_title=selector3.xpath('/html/body/div[1]/div/div[2]/div[4]/div/h1/text()')      #获取文章标题for i5 in range(len(single_title)):title.append(single_title[i5])single_dateinfo=selector3.xpath('/html/body/div[1]/div/div[2]/div[4]/div/div[1]/text()')     #获取版面时间for i6 in range(len(single_dateinfo)):dateinfo.append(single_dateinfo[i6])single_content=selector3.xpath('//*[@id="ozoom"]/p/text()')      #获取文章正文for i7 in range(len(single_content)):content.append(single_content[i7])# 将获取的信息写入MySQL数据库(不含文章正文):for i in range(len(dateinfo)):db = pymysql.connect(host='localhost', user='root', password='123456', port=3306, db='spiders')cursor = db.cursor()sql = 'INSERT INTO people_daily(dateinfo,articlelink,title) values(%s, %s, %s)'try:cursor.execute(sql, (dateinfo[i],articlelink[i],title[i]))db.commit()except:db.rollback()db.close()def gen_dates(b_date, days):day = timedelta(days = 1)for i in range(days):yield b_date + day * idef get_date_list(beginDate, endDate):start = datetime.strptime(beginDate, "%Y%m%d")      #开始日期end = datetime.strptime(endDate, "%Y%m%d")      #结束日期data = []for d in gen_dates(start, (end-start).days):data.append(d)   return data     #获得开始日期和结束日期之间的日期列表if __name__ == '__main__':'''主函数:程序入口'''# 输入起止日期,爬取之间的新闻beginDate = input('请输入开始日期(格式如 20190808 ):')endDate = input('请输入结束日期(格式如 20190808 ):')data = get_date_list(beginDate, endDate)for d in data:year = str(d.year)month = str(d.month) if d.month >=10 else '0' + str(d.month)day = str(d.day) if d.day >=10 else '0' + str(d.day)download_people_daily(year, month, day)print("爬取完成:" + year + month + day)# time.sleep(1)        # 怕被封 IP 爬一爬缓一缓,爬的少的话可以注释掉

五、爬取效果:
1、编译器中的结果:在编译器提示下输入想要爬取数据的开始日期、结束日期后等待爬取结果。每完成一天的爬取,程序会在窗口中自动显示“爬取完成:********(当天日期)”。在这里插入图片描述
2、Navicat中Mysql的数据写入结果:在上述窗口显示所有日期的爬取均已完成后,在数据库中刷新表单后可以看到数据的写入结果。
在这里插入图片描述

这篇关于Python爬虫实战:爬取人民日报数据写入Mysql的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/677932

相关文章

MySQL 8 中的一个强大功能 JSON_TABLE示例详解

《MySQL8中的一个强大功能JSON_TABLE示例详解》JSON_TABLE是MySQL8中引入的一个强大功能,它允许用户将JSON数据转换为关系表格式,从而可以更方便地在SQL查询中处理J... 目录基本语法示例示例查询解释应用场景不适用场景1. ‌jsON 数据结构过于复杂或动态变化‌2. ‌性能要

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho

MySQL字符串常用函数详解

《MySQL字符串常用函数详解》本文给大家介绍MySQL字符串常用函数,本文结合实例代码给大家介绍的非常详细,对大家学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql字符串常用函数一、获取二、大小写转换三、拼接四、截取五、比较、反转、替换六、去空白、填充MySQL字符串常用函数一、

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java