【python--用pyppeteer爬取知乎中个人回答内容,出现点击个人头像不跳转的问题,如何解决】

本文主要是介绍【python--用pyppeteer爬取知乎中个人回答内容,出现点击个人头像不跳转的问题,如何解决】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

代码如下:

import asyncio
import pyppeteer as pyp
async def antiAntiCrawler(page):await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36')await page.evaluateOnNewDocument('()=>{Object.defineProperties(navigotor,\{webdriver:{get:()=>false}})}')#反爬虫设置
async def getOjSourceCode(loginUrl):width,height=1200,800browser=await pyp.launch(headless=False,    #browser伪装成浏览器并且自动打开userdataDir="E:/python代码/图片爬虫",args=[f'--window-size={width},{height}'])page=await browser.newPage()#浏览器生成后创建一个新的页面await antiAntiCrawler(page)await page.setViewport({'width':width,'height':height})await page.goto(loginUrl)  # 浏览器在登录页面,输入登录      
# #若手动登录,则以下若干行可以去掉# element=await  page.querySelector("#root > div > main > div > div > div > div > div.SignContainer-content > div > div:nth-child(1) > form > div.SignFlow-account > div > label > input")# await element.type("xxxx")# element=await page.querySelector("#root > div > main > div > div > div > div > div.SignContainer-content > div > div:nth-child(1) > form > div.SignFlow-password > div > div")# await element.type("xxxx")# element=await page.querySelector("#root > div > main > div > div > div > div > div.SignContainer-content > div > div:nth-child(1) > form > button")# await element.click()#做等待,等待click的操作时间await page.waitForSelector("#root > div > div:nth-child(2) > header > div.AppHeader-inner.css-qqgmyv > ul > li:nth-child(5) > a",timeout=40000)#等待"回答问题"出现,timeout=30000,毫秒,如果等待时间太久没有出现回答问题的界面,程序不能进行下去设置的时间限制element=await page.querySelector("#Popover15-toggle")#找个人头像await element.click()#点击await page.waitForSelector("#Popover15-content > div > a:nth-child(1)")#等待”我的主页“element = await page.querySelector("#Popover15-content > div > a:nth-child(1)")await element.click()#点击await page.waitForFunction()#等待网页装入完毕element=await  page.querySelectorAll(".ContentItem-title")page2=await browser.newPage()#新打开一个页面await antiAntiCrawler(page2)for element in element[:10]:obj=await element.getProperty("href")url=await obj.jsonValue()await page2.goto(url)element=await element.getProperty("span")#查找span tagobj=await element.getProperty("innerText")text=await obj.jsonValue()print(text)print("-----------------")await browser.close()
def main():url="https://www.zhihu.com/"asyncio.get_event_loop().run_until_complete(getOjSourceCode(url))
main()
出现的问题:

 需要点击的内容:

点击后出现:

但是点击错误,不知道为啥,有没有大佬能帮帮忙啊 

 

这篇关于【python--用pyppeteer爬取知乎中个人回答内容,出现点击个人头像不跳转的问题,如何解决】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/701845

相关文章

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言:为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文

Python设置Cookie永不超时的详细指南

《Python设置Cookie永不超时的详细指南》Cookie是一种存储在用户浏览器中的小型数据片段,用于记录用户的登录状态、偏好设置等信息,下面小编就来和大家详细讲讲Python如何设置Cookie... 目录一、Cookie的作用与重要性二、Cookie过期的原因三、实现Cookie永不超时的方法(一)

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os