selenium 爬党建新闻与应用(确定版)

2023-10-09 13:50

本文主要是介绍selenium 爬党建新闻与应用(确定版),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

selenium 爬党建新闻与应用

  • 1、前言:
  • 2、知识点总结:
    • 2.1爬虫指定页码(for循环、格式化字符串)
    • 2.2空列表 怎么把内容插入空列表
    • 2.3selenium点击链接进入子页面抓取内容(新闻抓取案例一)
  • 3、完整代码
  • 4、实际应用

1、前言:

①selenium 去爬
②我爬的数据是新闻的所有内容,目前图片爬不到
③爬所有的新闻数据

被爬网站
我爬的信息是党建网的7页的所有新闻标题、内容、来源这3个字段
1、因为目前只有7页 所以我爬7页,这里可以自己自定义爬虫页码
党建网地址:http://cpc.people.com.cn/GB/64093/64387/index.html
在这里插入图片描述

2、知识点总结:

2.1爬虫指定页码(for循环、格式化字符串)

在这里插入图片描述
这里用到for循环 和格式化字符串知识点 详情:
http://www.python3.vip/tut/py/basic/10/
http://www.python3.vip/tut/py/basic/11/#for-%E5%BE%AA%E7%8E%AF

2.2空列表 怎么把内容插入空列表

在这里插入图片描述

article = []#创建一个空列表
content = wd.find_element_by_xpath("//div[@class='show_text']")# xpath到文章内容
article.append(content.text.strip())#把文章插入到列表中

2.3selenium点击链接进入子页面抓取内容(新闻抓取案例一)

参考地址:https://blog.csdn.net/qq_43251443/article/details/82819887
在这里插入图片描述

3、完整代码

from selenium import webdriver
import  time
# 创建 Webwd 实例对象,指明使用chrome浏览器驱动wd = webdriver.Chrome(r'D:\tools-work\chromedriver_win32\chromedriver.exe')wd.implicitly_wait(5)#等待时间 一定要写# 链接地址
for x in range(1,8):wd.get(f'http://cpc.people.com.cn/GB/64093/64387/index{x}.html')#链接地址# #标题titles = wd.find_elements_by_xpath('/html/body/div[7]/div[1]/ul/li/a')for x in titles:print(x.text)url = wd.find_elements_by_xpath('/html/body/div[7]/div[1]/ul/li/a')length=len(url)for i in range(0, length):  # 遍历列表的循环,使程序可以逐一点击links = wd.find_elements_by_xpath("/html/body/div[7]/div[1]/ul/li/a")  # 在每次循环内都重新获取a标签,组成列表link = links[i]  # 逐一将列表里的a标签赋给linkurl = link.get_attribute('href')  # 提取a标签内的链接,注意这里提取出来的链接是字符串wd.get(url)  # 不能用click,因为click点击字符串没用,直接用浏览器打开网址即可time.sleep(1)  # 留出加载时间#打印来源souce = wd.find_element_by_xpath('/html/body/div[8]/div[1]/div/p[2]/a').text#xpath找到来源print(souce)#打印来源time.sleep(2)#留出加载时间#打印文章内容   因为文章内容太长,所以 这边我给他写入到列表里article = []#创建一个空列表content = wd.find_element_by_xpath("//div[@class='show_text']")# xpath到文章内容# print(content.text)#这里可以打印一下内容article.append(content.text.strip())#把文章插入到列表中print(article)#打印新闻内容#  将数据写入新文件# print("\n")wd.back()  # 后退,返回原始页面目录页time.sleep(1)  # 留出加载时间
print(length)  # 打印列表长度,即有多少篇文章
wd.quit()#关闭列表

代码运行展示
在这里插入图片描述

4、实际应用

1、打印时 根据实际情况 按print去打印,打印时 按需求打印 不用的 给注释了
2、打印完后 可以把内容直接复制到数据库,或者是先存入excle表再复制到数据库
3、xpath用法 这个要自己学习
4、selenium操作 这个要自己学习

参考地址:
https://blog.csdn.net/qq_43251443/article/details/82819887
http://www.python3.vip/tut/py/basic/10/
http://www.python3.vip/tut/py/basic/11/#for-%E5%BE%AA%E7%8E%AF

这篇关于selenium 爬党建新闻与应用(确定版)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/173270

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

zoj3820(树的直径的应用)

题意:在一颗树上找两个点,使得所有点到选择与其更近的一个点的距离的最大值最小。 思路:如果是选择一个点的话,那么点就是直径的中点。现在考虑两个点的情况,先求树的直径,再把直径最中间的边去掉,再求剩下的两个子树中直径的中点。 代码如下: #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

【C++高阶】C++类型转换全攻略:深入理解并高效应用

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:C++ “ 登神长阶 ” 🤡往期回顾🤡:C++ 智能指针 🌹🌹期待您的关注 🌹🌹 ❀C++的类型转换 📒1. C语言中的类型转换📚2. C++强制类型转换⛰️static_cast🌞reinterpret_cast⭐const_cast🍁dynamic_cast 📜3. C++强制类型转换的原因📝

Vue3项目开发——新闻发布管理系统(六)

文章目录 八、首页设计开发1、页面设计2、登录访问拦截实现3、用户基本信息显示①封装用户基本信息获取接口②用户基本信息存储③用户基本信息调用④用户基本信息动态渲染 4、退出功能实现①注册点击事件②添加退出功能③数据清理 5、代码下载 八、首页设计开发 登录成功后,系统就进入了首页。接下来,也就进行首页的开发了。 1、页面设计 系统页面主要分为三部分,左侧为系统的菜单栏,右侧