网络抓取的最佳用户代理 2024 | 避免在抓取时被禁止使用 UA

2024-06-11 20:36
文章标签 抓取 使用 最佳 网络 代理 2024 用户 避免 禁止 ua

本文主要是介绍网络抓取的最佳用户代理 2024 | 避免在抓取时被禁止使用 UA，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

你是经常进行网页抓取的人吗？你对你的隐私非常小心吗？那么你一定多次听说过“用户代理”。你知道什么是用户代理吗？它如何影响我们的在线生活呢？

请开始阅读，你会对这篇博客中的一切感兴趣！

什么是用户代理？

用户代理（User Agent，UA）是浏览器或其他客户端软件发送给网页服务器的一串字符串。它可以提供有关用户设备和软件环境的信息。

这串字符串包含在网页请求的HTTP头中，帮助服务器根据用户的具体配置提供适当的内容。

换句话说，用户代理字符串帮助识别用户正在使用的浏览器、设备类型和操作系统。

为什么用户代理对网页抓取很重要？

用户代理对网页抓取至关重要，因为它们有助于模拟人类的浏览行为。它们可以使你的抓取工具看起来像是合法的浏览器，从而避免被网站检测和屏蔽。

通过使用适当或随机变化的用户代理字符串，抓取器可以绕过访问限制，获取正确版本的网页内容，并减少被屏蔽的风险。

  • 注意：使用错误的用户代理可能导致数据提取脚本被屏蔽。

你的网页抓取工具一次又一次被屏蔽？
Nstbrowser 提供全面的网页解锁方案
现在免费试用！

最适合抓取的用户代理是什么？

如果用户代理可以模仿流行和常用的浏览器，它们将被视为最适合网页抓取的用户代理。以下是一些示例：

桌面用户代理

Windows上的Google Chrome

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36

Windows上的Mozilla Firefox

Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0

Windows上的Microsoft Edge

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.59

macOS上的Safari

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.3 Safari/605.1.15

移动用户代理

Android上的Google Chrome

Mozilla/5.0 (Linux; Android 11; Pixel 5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Mobile Safari/537.36

iPhone上的Safari

Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0 Mobile/15E148 Safari/604.1

Android上的Mozilla Firefox

Mozilla/5.0 (Android 11; Mobile; rv:89.0) Gecko/89.0 Firefox/89.0

如何为网页抓取设置用户代理？

1. 用户代理示例代码

有很多方法可以自定义浏览器用户代理，以下是主流开发语言中常见的自定义用户代理示例代码：

Javascript

  • Puppeteer
const puppeteer = require('puppeteer');
(async () => {const browser = await puppeteer.launch();const page = await browser.newPage();await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36');await page.goto('https://example.com');const content = await page.content();console.log(content);await browser.close();
})();
  • Axios
const axios = require('axios');
const fetchData = async () => {try {const response = await axios.get('https://example.com', {headers: {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'}});console.log(response.data);} catch (error) {console.error(error);}
};

Python

  • Requests
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
}
response = requests.get('https://example.com', headers=headers)
print(response.content)
  • Selenium library
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36')
driver = webdriver.Chrome(options=options)
driver.get('https://example.com')

Java

  • HttpClient
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;public class WebScraping {public static void main(String[] args) throws Exception {String url = "https://example.com";CloseableHttpClient httpClient = HttpClients.createDefault();HttpGet request = new HttpGet(url);request.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36");CloseableHttpResponse response = httpClient.execute(request);Document doc = Jsoup.parse(response.getEntity().getContent(), "UTF-8", url);System.out.println(doc.html());        response.close();httpClient.close();}
}
  • Selenium
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;public class WebScrapingWithChrome {public static void main(String[] args) {System.setProperty("webdriver.chrome.driver", "path/to/chromedriver");ChromeOptions options = new ChromeOptions();options.addArguments("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36");WebDriver driver = new ChromeDriver(options);driver.get("https://example.com");String pageSource = driver.getPageSource();System.out.println(pageSource);driver.quit();}
}

Go

  • net/http group
package mainimport ("fmt""io/ioutil""net/http"
)func main() {client := &http.Client{}req, _ := http.NewRequest("GET", "https://example.com", nil)req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36")resp, _ := client.Do(req)defer resp.Body.Close()body, _ := ioutil.ReadAll(resp.Body)fmt.Println(string(body))
}

2. 使用Nstbrowser设置用户代理

无论以上示例中使用了哪种编程语言或工具，HTTP请求头中的UserAgent字段都是通过对应库中的方法或配置进行设置或修改的。

一些反检测浏览器也支持自定义用户代理，下面是一个通过指纹浏览器自定义用户代理的示例，以Nstbrowser为例展示如何通过指纹浏览器自定义用户代理：

Nstbrowser应用

通过UI中的“Profile”面板直接点击“Create”来自定义用户代理。

Nstbrowser API

你也可以通过API方法自定义用户代理，如LaunchBrowser、CreateProfile、Nstbrowser Puppeteer等，以下是使用Puppeteer方法的代码：

import puppeteer from 'puppeteer-core';// LaunchExistBrowser: Connect to or start an existing browser
// You need to create the corresponding profile in advance
// Support custom config
async function launchAndConnectToBrowser(profileId) {const host = 'localhost:8848';const apiKey = 'your api key';const config = {headless: true,autoClose: true,fingerprint: {name: 'browser113',platform: 'windows',kernel: 'chromium',kernelMilestone: '120',hardwareConcurrency: 4,deviceMemory: 8,proxy: '',userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.56 Safari/537.36',}};const query = new URLSearchParams({'x-api-key': apiKey, // requiredconfig: encodeURIComponent(JSON.stringify((config))),});const browserWSEndpoint = `ws://${host}/devtool/launch/${profileId}?${query.toString()}`;console.log('browserWSEndpoint: ', browserWSEndpoint);await execPuppeteer(browserWSEndpoint);
}launchAndConnectToBrowser('your profileId').then();

如何避免你的用户代理被封禁？

如果同一个用户代理发送过多请求，会触发反机器人系统，最终导致封禁。避免这种情况的最好方法是轮换用户代理列表并保持更新。

1. 用户代理轮换

轮换抓取用户代理意味着在进行网页请求时替换它。这使你可以访问更多数据并提高抓取器的效率。这种方法还可以帮助保护你的IP地址免于被封禁和列入黑名单。

如何轮换用户代理？

大多数浏览器支持轮换用户代理头。例如在JS中，预先定义一个可用的用户代理列表，然后从列表中随机或轮换一个用户代理并使用。

const axios = require('axios');// define rotate UserAgent list
const userAgents = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:124.0) Gecko/20100101 Firefox/124.0',// more UerAgent
];
let currentIndex = 0;
async function fetchData() {try {const response = await axios.get('https://example.com', {headers: {'User-Agent': userAgents[currentIndex]}});console.log(response.data);currentIndex = (currentIndex + 1) % userAgents.length;} catch (error) {console.error(error);}
}
fetchData();

通过智能用户代理轮换避免用户代理被封禁
现在免费试用！

你也可以使用自带用户代理轮换功能的反检测浏览器。通过轮换用户代理值，Nstbrowser可以防止反机器人检测并避免封禁抓取活动。

Nstbrowser网页抓取展示了在Nstbrowser客户端配置文件中创建或编辑用户代理指纹的示例。只需点击随机用户代理按钮，如下图所示：

2. 请求之间的随机间隔

保持请求之间的随机间隔，以防止你的抓取器被检测和封禁。

3. 最新的用户代理

过时的用户代理可能导致你的IP被封禁！为了保持流畅无缝的抓取体验，请定期更新你的用户代理。

总结

尽管用户代理字符串可以被客户端修改，但对于网络管理员来说，它仍不足以保护他们的服务器免受机器人流量的侵害。为了避免不确定性和麻烦，反检测浏览器是一个理想的解决方案，可以顺利进行抓取。

Nstbrowser通过其真实的浏览器指纹、CAPTCHA求解器、网页解锁器和无浏览器模式，帮助绕过反机器人检测并解锁99.9%的网站。哦！试试免费版，享受无缝的网页抓取体验！

这篇关于网络抓取的最佳用户代理 2024 | 避免在抓取时被禁止使用 UA的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1052220。

相关文章

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
禁止平板,iPad长按弹出默认菜单事件

禁止平板,iPad长按弹出默认菜单事件

通过监控按下抬起时间差来禁止弹出事件，把以下代码写在要禁止的页面的页面加载事件里面即可     var date;document.addEventListener('touchstart', event => {date = new Date().getTime();});document.addEventListener('touchend', event => {if (new
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
高效+灵活，万博智云全球发布AWS无代理跨云容灾方案！

高效+灵活，万博智云全球发布AWS无代理跨云容灾方案！

摘要 近日，万博智云推出了基于AWS的无代理跨云容灾解决方案，并与拉丁美洲，中东，亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础，将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合，为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日，万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频，介绍了
阅读更多...
2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题

2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题

题库来源：安全生产模拟考试一点通公众号小程序 2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题是由安全生产模拟考试一点通提供，流动式起重机司机证模拟考试题库是根据流动式起重机司机最新版教材，流动式起重机司机大纲整理而成（含2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题参考答案和部分工种参考解析），掌握本资料和学校方法，考试容易。流动式起重机司机考试技
阅读更多...
【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

原文链接： https://tecdat.cn/?p=37628 6月16日，小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞，这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示，公司准备量产，并计划今年四季度开启预售小鹏汇天分体式飞行汽车，探索分体式飞行汽车城际通勤。阅读原文，获取专题报告合集全文，解锁文末271份飞行汽车相关行业研究报告。 据悉，业内人士对飞行汽车行业
阅读更多...
高效录音转文字：2024年四大工具精选！

高效录音转文字：2024年四大工具精选！

在快节奏的工作生活中，能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候，一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具！ 365在线转文字 直达链接：https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具，它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件，只
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2