Java实现一个ip池,让你的蜘蛛畅行无阻

2024-03-18 12:50

本文主要是介绍Java实现一个ip池,让你的蜘蛛畅行无阻,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  玩爬虫的时候,如果访问的太频繁的话,很容易被封ip,一物降一物,有反爬,当然就有反反爬╰( ̄▽ ̄)╭

为了防止ip被封,就可以使用ip代理,让代理服务器帮你完成这个请求,再将请求结果返回给你,是不是很像平时我们用的梯子 ( ‵▽′)ψ ;

使用代理之后,你的每个请求都是由很多个代理服务器帮你完成.国内用的比较多的就是西刺代理,还有其他代理也不错;

下面用java实现一个ip代理池:

这里我使用的是selenium,来爬取的西刺代理,具体可以参考我上一篇文章https://blog.csdn.net/qq_27948811/article/details/96746566,如果觉得麻烦也可以自己正则去匹配西刺代理的ip和端口信息

import com.alibaba.fastjson.JSON;
import com.linchtech.linchspider.entity.po.ProxyIp;
import com.linchtech.linchspider.xigua.WebDriverPool;
import lombok.extern.slf4j.Slf4j;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.openqa.selenium.By;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;import java.util.List;
import java.util.concurrent.ConcurrentLinkedQueue;/*** @author: 107* @date: 2019-09-07 18:50* @description:**/
@Component
@Slf4j
public class ProxyIpPool {public static ConcurrentLinkedQueue<ProxyIp> proxyIps = new ConcurrentLinkedQueue<>();@Scheduled(cron = "0 0/10 * * * ?")public void getProxy() {// 这里用了自己实现的一个selenium驱动池,也可以自己new一个,及时关闭就行WebDriverPool webDriverPool = new WebDriverPool(1);ChromeDriver chromeDriver = null;try {chromeDriver = webDriverPool.get();} catch (InterruptedException e) {e.printStackTrace();}chromeDriver.get("https://www.xicidaili.com/");List<WebElement> elements = chromeDriver.findElements(By.xpath("//table[@id='ip_list']/tbody/tr"));for (int i = 2; i < elements.size(); i++) {WebElement element = elements.get(i);try {WebElement ipElement = element.findElement(By.xpath(".//td[2]"));String ip = ipElement.getText();WebElement portElement = element.findElement(By.xpath(".//td[3]"));String portStr = portElement.getText();WebElement annoy = element.findElement(By.xpath(".//td[4]"));WebElement type = element.findElement(By.xpath(".//td[6]"));int port = Integer.parseInt(portStr);ProxyIp proxyIp = new ProxyIp();proxyIp.setIp(ip);proxyIp.setPort(port);proxyIp.setType(type.getText());proxyIp.setLocation(annoy.getText());if (test(ip, port)) {// 保存到队列if (!proxyIps.contains(proxyIp)) {proxyIps.add(proxyIp);}} else {proxyIps.remove(proxyIp);}} catch (Exception e) {continue;}}webDriverPool.returnToPool(chromeDriver);webDriverPool.closeAll();}/*** 从队列中获取一个可用的ip* @return*/public ProxyIp getOneIp() {if (!proxyIps.isEmpty()) {return proxyIps.poll();}return null;}/*** 将ip返回到池中* @param proxyIp*/public void returnToPool(ProxyIp proxyIp) {proxyIps.add(proxyIp);}/*** 测试代理ip是否可用** @return*/private boolean test(String ip, Integer port) {try {//创建httpClient实例CloseableHttpClient httpClient = HttpClients.createDefault();//创建httpGet实例HttpGet httpGet = new HttpGet("http://www.baidu.com");//设置代理IP,设置连接超时时间 、 设置 请求读取数据的超时时间 、 设置从connect Manager获取Connection超时时间、HttpHost proxy = new HttpHost(ip, port);RequestConfig requestConfig = RequestConfig.custom().setProxy(proxy).setConnectTimeout(2000).setSocketTimeout(2000).setConnectionRequestTimeout(2000).build();httpGet.setConfig(requestConfig);//设置请求头消息httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like " +"Gecko) Chrome/62.0.3202.94 Safari/537.36");CloseableHttpResponse response = httpClient.execute(httpGet);if (response == null) {log.warn("ip:{}不可用", ip);return false;} else {HttpEntity entity = response.getEntity();if (entity != null) {return true;}}} catch (Exception e) {log.info(e.getMessage());}log.warn("ip:{}不可用", ip);return false;}
}
public class ProxyIp {private Long id;private String ip;private Integer port;/*** 1http; 2 https*/private String type;private String location;}

这里使用ConcurrentLinkedQueue来保存可以使用的ip,使用完了再重新添加进队列,因为ConcurrentLinkedQueue是线程安全的,poll操作的时候不会出现两个任务同时使用一个ip;

从西刺代理获取到的ip和端口信息,有些不可用,所以需要测试是否能用,test()方法就是使用代理的ip和端口去访问百度,能访问通就表示可以使用,也可以记录下访问时长,将这些代理ip的访问速度排个序;

使用的时候,只需要调用

访问任务完成之后调用returnToPool(ProxyIp proxyIp)即可

这篇关于Java实现一个ip池,让你的蜘蛛畅行无阻的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/822387

相关文章

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

一文详解SpringBoot中控制器的动态注册与卸载

《一文详解SpringBoot中控制器的动态注册与卸载》在项目开发中,通过动态注册和卸载控制器功能,可以根据业务场景和项目需要实现功能的动态增加、删除,提高系统的灵活性和可扩展性,下面我们就来看看Sp... 目录项目结构1. 创建 Spring Boot 启动类2. 创建一个测试控制器3. 创建动态控制器注

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

Java操作Word文档的全面指南

《Java操作Word文档的全面指南》在Java开发中,操作Word文档是常见的业务需求,广泛应用于合同生成、报表输出、通知发布、法律文书生成、病历模板填写等场景,本文将全面介绍Java操作Word文... 目录简介段落页头与页脚页码表格图片批注文本框目录图表简介Word编程最重要的类是org.apach

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

SpringBoot+Docker+Graylog 如何让错误自动报警

《SpringBoot+Docker+Graylog如何让错误自动报警》SpringBoot默认使用SLF4J与Logback,支持多日志级别和配置方式,可输出到控制台、文件及远程服务器,集成ELK... 目录01 Spring Boot 默认日志框架解析02 Spring Boot 日志级别详解03 Sp

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

java中反射Reflection的4个作用详解

《java中反射Reflection的4个作用详解》反射Reflection是Java等编程语言中的一个重要特性,它允许程序在运行时进行自我检查和对内部成员(如字段、方法、类等)的操作,本文将详细介绍... 目录作用1、在运行时判断任意一个对象所属的类作用2、在运行时构造任意一个类的对象作用3、在运行时判断