爬虫补环境jsdom、proxy、Selenium案例：某条

2024-01-14 08:44
文章标签 selenium 环境 爬虫 案例 proxy jsdom 某条

本文主要是介绍爬虫补环境jsdom、proxy、Selenium案例：某条，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

声明：
该文章为学习使用，严禁用于商业用途和非法用途，违者后果自负，由此产生的一切后果均与作者无关

一、简介

爬虫逆向补环境的目的是为了模拟正常用户的行为，使爬虫看起来更像是一个真实的用户在浏览网站。这样可以减少被网站封禁或限制访问的风险，提高爬取成功率。同时，合理的环境补充也有助于保护爬虫的隐私和安全，避免被恶意攻击或追踪。
由于浏览器和node的差别，很多网站会根据这些差别做一些校验，会导致浏览器的js代码在node没有办法执行，js代码会根据浏览器的这些属性来判断你是不是在真正的浏览器执行的代码，要不是正确的浏览器环境则不会返回正确的数据信息，拿到代码在node里面执行、经常看到这一类型的错误，提示xxx未定义，其实这一块就是浏览器对象的一些特征

二、找出网站加密位置，并扣出代码
  1. js运行 atob(‘aHR0cHM6Ly93d3cudG91dGlhby5jb20v’) 拿到网址，F12打开调试工具，点击推荐发送请求，找到 pc/list/feed 请求，鼠标右击请求找到Copy>Copy as cUrl(cmd)
  2. 打开网站：https://spidertools.cn/#/curl2Request，把拷贝好的curl转成python代码，新建 jrtt.py，把代码复制到该文件
    在这里插入图片描述
  3. 关键字_signature搜索，会发现有_signature赋值的地方
    在这里插入图片描述
  4. 右击该文件，选择在source中打开
    在这里插入图片描述
  5. 在该文件内 Ctrl+F 搜索_signature，会发现有两个赋值的地方全部打上断点
    在这里插入图片描述
    在这里插入图片描述
  6. 点击推荐重新发送请求，会发现断点进入 var n = I(F.getUri(e), e)，鼠标悬浮到 I 上点击蓝色部分快速找到该方法，会发现一个 I(e, t) 方法，在该方法内部打断点
    在这里插入图片描述
    在这里插入图片描述
  7. 点击跳过断点，会进入该断点，分析代码会发现该代码return出去的是 a.call(n, o)，而a=n.sign，n = window.byted_acrawler，o则是请求地址加上参数的一串字符，鼠标悬浮到 window.byted_acrawler 找到 sign方法，点击蓝色部分快速找到该方法，分析代码会发现该函数是jsvmp实现的，jsvmp是js虚拟机保护方案
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  8. 新建jrtt.js，把代码全部拷贝到该文件，再把 o 在控制台输出，拷贝到jrtt.js文件
    在这里插入图片描述
    在这里插入图片描述
三、打断点补环境
  1. 运行jrtt.js，会发现报 window 错误，window是浏览器中的，node环境不存在，在代码顶部补上window：window = global
    在这里插入图片描述
    在这里插入图片描述
  2. 运行jrtt.js，会报 sign 错误，这是因为刚才的sign是声明在 window.byted_acrawler 中，而现在的window中没有byted_acrawler，补上byted_acrawler：
    在这里插入图片描述
    在这里插入图片描述
  3. 运行jrtt.js，会报referrer的错误，在source中的加密文件，搜索 S[R] = S[R][A]，会找到该代码，在该代码处打个日志断点，在日志断点处输出 S[R]、A、S[R]A
    在这里插入图片描述
    在这里插入图片描述
  4. 取消之前所有的断点，除了刚才的日志断点，刷新网页，会发现控制台中打印很多日志，这些就是刚才的日志断点生成的，控制台搜索referrer，会发现是document下的referrer，且值是一个空字符串，在代码顶部补上referrer
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  5. 运行jrtt.js文件 sign 错误，找代码会发现 “undefined” != typeof exports ? exports : void 0，这是环境检测 exports 是node环境的，把代码修改为 “undefined” == typeof exports
    在这里插入图片描述
  6. 运行jrtt.js文件会报 href 错误，同 referrer 一样，在控制台搜索 href，会发现 href 是 location 下的，在代码顶部补上该代码
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  7. 运行jrtt.js文件会报 length 错误，因太多对象有length，所以length不能像href、referrer 一样直接再浏览器控制台搜索，找到拷贝下的加密代码，搜索 S[R] = S[R][A]，找到对应位置添加 console.log(A)
    在这里插入图片描述
    在这里插入图片描述
  8. 运行jrtt.js文件，会发现报错length的对象是protocol，同href、referrer，一样在控制台搜索protocol，会发现 protocol 是 location 下的，在代码顶部补上该代码
    在这里插入图片描述
    在这里插入图片描述
  9. 运行jrtt.js文件，会报userAgent的错误，在控制台搜索userAgent，会发现userAgent是navigator中的，在顶部补上该代码
    在这里插入图片描述
    在这里插入图片描述
  10. 再次运行jrtt.js文件，会发现已经没有报错，参数加密成功，直到现在补了 windows、href、protocol、userAgent这些
    在这里插入图片描述
  11. 验证加密结果：修改jjtt.py，并运行，数据获取成功
    在这里插入图片描述
    在这里插入图片描述
四、吐环境脚本，检测环境

使用Proxy对目标环境进行拦截，检测缺少的环境，Proxy对象由两个部分组成：target、handler
handler：是一个对象，声明了代理target的指定行为，支持的拦截操作，一共13种：

  1. get(target,propKey,receiver)：拦截对象属性的读取。
  • target: 目标对象
  • propKey: 被获取的属性名。
  • receiver: Proxy 或者继承 Proxy 的对象
  1. set(target,propKey,value,receiver)：拦截对象属性的设置，返回一个布尔值（修改成功）。
  • target: 目标对象
  • propKey: 被获取的属性名。
  • value: 新属性值。
  • receiver: Proxy 或者继承 Proxy 的对象
  1. 新建jsProxy.js，放入以下代码，代码可通用，需要扩展的可在该代码基础上扩展
// 代理器封装
function getEnv(proxy_array) {for(var i=0; i<proxy_array.length; i++){handler = `{\nget: function(target, property, receiver) {\nconsole.log('方法：get','    对象：${proxy_array[i]}','    属性：',property,'    属性类型：',typeof property,'    属性值类型：',typeof target[property]);return target[property];},set: function(target, property, value, receiver){\nconsole.log('方法：set','    对象：${proxy_array[i]}','    属性：',property,'    属性类型：',typeof property,'    属性值类型：',typeof target[property]);return Reflect.set(...arguments);}}`;eval(`try{\n${proxy_array[i]};\n${proxy_array[i]} = new Proxy(${proxy_array[i]},${handler});}catch(e){\n${proxy_array[i]}={};\n${proxy_array[i]} = new Proxy(${proxy_array[i]},${handler});}   `)}
}// proxy_array = ['window', 'document', 'location', 'navigator', 'history','screen','target' ]
// getEnv(proxy_array)module.exports = getEnv
  1. 修改jrtt.js，运行jrtt.js，会发现有很多undefined的，这些就是需要补的值，由刚才的断点不环境得知sessionStorage、localStorage、cookie等是不需要补的，所以如果不知道需要补哪些环境，就先补报错的，报错的补完，先验证下，如果验证不通过在补其他的
    在这里插入图片描述
    在这里插入图片描述
  2. 由刚才的报错得知location下的herf获取时值时undefined，所以先补href，直接在控制台输出location.href值补上
    在这里插入图片描述
  3. 重复步骤5，直到没有报错再去验证结果，运行jjtt.py后会发现，虽然没补referrer，但是数据依然获取成功，那是因为referrer是空值，已经在代理中把它之前的值返回了
    在这里插入图片描述
    在这里插入图片描述
五、Selenium补环境

selenium就是一个真实的浏览器环境，可以把扣下来的代码直接用Selenium来进行访问

  1. 新建jrtt.html，把之前扣下的代码拷贝到script下，因为是在浏览器下运行的，所以把之前检验环境的 “undefined” != typeof exports ? exports 还原
    在这里插入图片描述
    在这里插入图片描述

  2. 浏览器打开该html，验证window.byted_acrawler.sign会发现加密成功
    在这里插入图片描述

  3. 新建seleniumJrtt.py，如果运行出错，先检查下自己浏览器和谷歌驱动版本

import os
from selenium import webdriverPRO_DIR = os.path.dirname(os.path.abspath(__file__))
def driver_sig(html_file):option = webdriver.ChromeOptions()option.add_argument('--disable-blink-features=AutomationControlled')option.add_argument('headless')driver = webdriver.Chrome(options=option)driver.get(PRO_DIR +'\\'+ html_file)return driverhtml_file = 'jrtt.html'
driv = driver_sig(html_file)js_code = '''
return window.byted_acrawler.sign(arguments[0]);
'''par = {"url": "https://www.toutiao.com/api/pc/list/feed?channel_id=0&min_behot_time=1700905532&offset=0&refresh_count=7&category=pc_profile_recommend&aid=24&app_name=toutiao_web"
}result = driv.execute_script(js_code,par)print(result)
六、jsdome补环境

在这里插入图片描述

这篇关于爬虫补环境jsdom、proxy、Selenium案例：某条的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/604579。

相关文章

Hadoop企业开发案例调优场景

Hadoop企业开发案例调优场景

需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4    3    3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
深入探索协同过滤：从原理到推荐模块案例

深入探索协同过滤：从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤（UserCF）2. 基于物品的协同过滤（ItemCF）3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代，推荐系统成为连接用户与内容的桥梁。本文聚焦于
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
安装nodejs环境

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本，包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装
阅读更多...
客户案例：安全海外中继助力知名家电企业化解海外通邮困境

客户案例：安全海外中继助力知名家电企业化解海外通邮困境

1、客户背景 广东格兰仕集团有限公司（以下简称“格兰仕”），成立于1978年，是中国家电行业的领军企业之一。作为全球最大的微波炉生产基地，格兰仕拥有多项国际领先的家电制造技术，连续多年位列中国家电出口前列。格兰仕不仅注重业务的全球拓展，更重视业务流程的高效与顺畅，以确保在国际舞台上的竞争力。 2、需求痛点 随着格兰仕全球化战略的深入实施，其海外业务快速增长，电子邮件成为了关键的沟通工具。
阅读更多...
【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站，手机流量可以访问IPV6网络的服务，为什么不在电脑搭建Home Assistant（hass），来控制你的设备呢？@智能家居 @万物互联
阅读更多...
高并发环境中保持幂等性

高并发环境中保持幂等性

在高并发环境中保持幂等性是一项重要的挑战。幂等性指的是无论操作执行多少次，其效果都是相同的。确保操作的幂等性可以避免重复执行带来的副作用。以下是一些保持幂等性的常用方法： 唯一标识符： 请求唯一标识：在每次请求中引入唯一标识符（如 UUID 或者生成的唯一 ID），在处理请求时，系统可以检查这个标识符是否已经处理过，如果是，则忽略重复请求。幂等键（Idempotency Key）：客户端在每次
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2