使用 curl_cffi 解决 Web 抓取中的 TLS/JA3 指纹识别方法

2024-08-29 08:04

本文主要是介绍使用 curl_cffi 解决 Web 抓取中的 TLS/JA3 指纹识别方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述

在网站抓取过程中遇到反爬虫措施而苦苦挣扎?curl_cffi 是一个高级 Python 库,它包装了 cURL 工具,可以帮助您有效地绕过这些障碍。通过模拟浏览器行为并利用 cURL 的功能,curl_cffi 增强了您的抓取器避免检测并顺利执行的能力。在本指南中,我们将探讨 curl_cffi 的工作原理、如何将其用于各种任务以及其局限性。我们还将讨论克服这些局限性的潜在解决方案。

什么是 curl_cffi?

curl_cffi 是一个专为网络请求设计的 Python 库,类似于 requestshttpx 等库。然而,与这些库不同的是,curl_cffi 可以模拟浏览器 TLS/JA3 和 HTTP/2 指纹。curl-impersonate 是一个命令行工具,可以模拟四种主要浏览器并执行 TLS 和 HTTP 握手,就像真实的浏览器一样。curl_cffi 使用 cfficurl-impersonate 包装成 Python 库。

难以解决令人厌烦的验证码,反复失败?

使用 CapSolver 的 AI 驱动的自动网页解封技术,发现无缝的自动验证码解决方案!

领取您的 奖励代码 以获得顶级验证码解决方案;CapSolver: WEBS。兑换后,每次充值后您将获得额外 5% 的奖励,无限使用

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

什么是 TLS/JA3 指纹?

如今,大多数网站使用 HTTPS。为了建立 HTTPS 连接,服务器和客户端之间会进行 TLS 握手,交换信息,例如支持的 TLS 版本和加密算法。不同的客户端具有不同的特征,这些细节通常是稳定的,允许服务器识别请求是来自典型用户浏览器还是自动化脚本。JA3 是一个常用的算法,用于生成 TLS 指纹。它的工作原理是将这些特征连接起来并计算 MD5 哈希值。

使用 curl_cffi

curl_cffi 的使用方法与 requests 非常相似。以下是如何使用 requests 获取 JA3 指纹:

import requestsurl = "https://tls.browserleaks.com/json"
r = requests.get(url)
print(r.json())

你可能会得到类似下面的结果:

{"user_agent": "python-requests/2.32.3","ja3_hash": "8d9f7747675e24454cd9b7ed35c58707","ja3_text": "771,4866-4867-4865-49196-49200-49195-49199-52393-52392-159-158-52394-49327-49325-49326-49324-49188-49192-49187-49191-49162-49172-49161-49171-49315-49311-49314-49310-107-103-57-51-157-156-49313-49309-49312-49308-61-60-53-47-255,0-11-10-16-22-23-49-13-43-45-51-21,29-23-30-25-24,0-1-2","ja3n_hash": "a790a1e311289ac1543f411f6ffceddf","ja3n_text": "771,4866-4867-4865-49196-49200-49195-49199-52393-52392-159-158-52394-49327-49325-49326-49324-49188-49192-49187-49191-49162-49172-49161-49171-49315-49311-49314-49310-107-103-57-51-157-156-49313-49309-49312-49308-61-60-53-47-255,0-10-11-13-16-21-22-23-43-45-49-51,29-23-30-25-24,0-1-2","akamai_hash": "","akamai_text": ""
}

如果您反复发出请求,您会发现您的 JA3 哈希值保持不变。然而,从 Chrome 110 版本开始,TLS ClientHello 扩展的顺序被随机化,这使得网站开发者更容易根据 JA3 指纹来阻止像 requests 这样的库。如果您的请求始终显示相同的 JA3 指纹,它们可能会被识别为来自单个用户,从而增加被标记为机器人的可能性。

以下是如何使用 curl_cffi 来模拟真实的 JA3 指纹:

from curl_cffi import requestsurl = "https://tls.browserleaks.com/json"
r = requests.get(url, impersonate="chrome124")
print(r.json())

impersonate 参数允许您指定要模拟的浏览器和版本。支持的浏览器包括 Chrome、Chrome Android、Edge 和 Safari,版本不断更新。有关详细信息,请参阅 curl_cffi GitHub 仓库。使用 curl_cffi,JA3 指纹将与真实浏览器的指纹一致,并且从 Chrome 110 版本开始,JA3 指纹将在每次请求时发生变化:

{"user_agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36","ja3_hash": "c97c8dac4ca1de968fe230de54f3e0f3","ja3_text": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,16-10-27-18-5-51-23-17513-45-35-43-13-65281-0-11-65037,25497-29-23-24,0","ja3n_hash": "4c9ce26028c11d7544da00d3f7e4f45c","ja3n_text": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,0-5-10-11-13-16-18-23-27-35-43-45-51-17513-65037-65281,25497-29-23-24,0","akamai_hash": "52d84b11737d980aef856699f885ca86","akamai_text": "1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,p"
}

解决 curl_cffi 的限制

虽然 curl_cffi 可以模拟真实的 JA3 指纹,并可能避免机器人挑战和封锁,但它可能并不总是足够。许多网站实施了先进的机器人保护机制,例如 hCaptcha、reCaptcha、Geetest、Cloudflare Turnstile、DataDome 和 AWS WAF。这些系统使用复杂的图像和难以阅读的 JavaScript 挑战来区分人和机器人。有时,即使拥有真实且随机化的 JA3 指纹,也无法避免绕过这些挑战。

如果您遇到 CAPTCHA 挑战,无论您使用哪个请求库,它们都可能是不可避免的。但是,无需担心。CapSolver 为这些问题提供了解决方案。CapSolver 使用基于 AI 的自动化网页解锁技术,可在几秒钟内解决各种机器人挑战。无论处理图像还是复杂问题,CapSolver 都能高效地处理。如果解决方案失败,您将不会产生任何费用。

CapSolver 还提供浏览器扩展,可使用 Selenium 在数据抓取过程中自动解决 CAPTCHA。此外,还提供 API 解决方案,用于在 Scrapy 等框架中解决 CAPTCHA 并获取令牌。所有这些都可以在几秒钟内完成。有关更多详细信息,请参阅 CapSolver 文档。

结论

通过将 curl_cffi 集成到您的网页抓取设置中,您可以有效地模拟真实浏览器行为,以克服 TLS/JA3 指纹挑战。虽然 curl_cffi 为处理这些挑战提供了强大的工具,但高级 CAPTCHA 和机器人检测系统仍然构成重大障碍。CapSolver 提供了一种补充解决方案,可以无缝解决这些 CAPTCHA 挑战,确保您的抓取活动顺利运行。

如需了解更多见解和资源,请访问 CapSolver 网站 并探索 curl_cffi GitHub 仓库。

CapsolverCN官 方代理交流扣 群:497493756

这篇关于使用 curl_cffi 解决 Web 抓取中的 TLS/JA3 指纹识别方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1117304

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

浅谈主机加固,六种有效的主机加固方法

在数字化时代,数据的价值不言而喻,但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露,企业的数据安全面临着前所未有的挑战。为了应对这些挑战,一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案,采用先进的安全容器中间件技术,构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限,即使在管理员权限被恶意利用的情况下,也能确保服务器的安全稳定运行。 普适主机加固措施: