java多线程的爬虫撸177图片~~

2024-01-20 12:10
文章标签 java 图片 多线程 爬虫 177

本文主要是介绍java多线程的爬虫撸177图片~~,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

#来个多线程的

主程序
package cn.fu.threadimage;import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.io.File;
import java.io.IOException;
import java.net.URL;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;public class CrawImage {static String url = "http://www.177picaa.pw/html/2017/12/1610354.html"+"/";static String file;//下载存放路径static Integer num;//分页static Integer subcut;//图片命名截取imgurl,仅仅针对当前网站适用;static {try {Document document = Jsoup.parse(new URL(url), 5000);//获取标题Element element = document.getElementsByClass("entry-title").first();file = "F://paqu/" + element.text();//判断目标文件夹是否存在File files = new File(file);if (!files.exists()) {files.mkdirs();}Elements select = document.select(".page-links>a");//获取分页num = select.size();//177pic vpn访问网:www.177pic.pw 内网:www.177picaa.pwif (url.contains("aa")) {subcut = 40;} else {subcut = 38;}} catch (IOException e) {e.printStackTrace();}}public static void main(String[] args) throws Exception {try {//创建一个缓冲池ExecutorService pool = Executors.newCachedThreadPool();//设置其容量为9pool = Executors.newFixedThreadPool(9);for (int i = 1; i < num; i++) {//获取指定网页源码Document document = Jsoup.connect(url + i).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31").get();Elements pages = document.select(".page-links>a");getUrl(document, pool);}pool.shutdown();} catch (Exception e) {System.out.print(e);}}public static void getUrl(Document document, ExecutorService pool) {Elements elements = document.getElementsByClass("alignnone");for (Element el : elements) {String imageUrl = el.attr("data-lazy-src");if (imageUrl != "") {//下载图片pool.execute(new DownloadImage(imageUrl, file, subcut));System.out.println(imageUrl);}}}
}
下载工具
package cn.fu.threadimage;import java.io.*;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;public class DownloadImage implements Runnable {String file;//下载的目标路径String downUrl;int subcut;public DownloadImage(String downUrl, String file,int subcut) {this.downUrl = downUrl;this.file = file;this.subcut=subcut;}public void run() {InputStream is;FileOutputStream out;try {URL url = new URL(downUrl);HttpURLConnection connection = (HttpURLConnection) url.openConnection();connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");is = connection.getInputStream();// 创建文件File fileofImg = new File(file + "/" + downUrl.substring(subcut));out = new FileOutputStream(fileofImg);int i = 0;while ((i = is.read()) != -1) {out.write(i);}is.close();out.close();} catch (MalformedURLException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (FileNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}
}

在这里插入图片描述

这篇关于java多线程的爬虫撸177图片~~的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/625966

相关文章

Spring Security常见问题及解决方案

《SpringSecurity常见问题及解决方案》SpringSecurity是Spring生态的安全框架,提供认证、授权及攻击防护,支持JWT、OAuth2集成,适用于保护Spring应用,需配置... 目录Spring Security 简介Spring Security 核心概念1. ​Securit

SpringBoot+EasyPOI轻松实现Excel和Word导出PDF

《SpringBoot+EasyPOI轻松实现Excel和Word导出PDF》在企业级开发中,将Excel和Word文档导出为PDF是常见需求,本文将结合​​EasyPOI和​​Aspose系列工具实... 目录一、环境准备与依赖配置1.1 方案选型1.2 依赖配置(商业库方案)二、Excel 导出 PDF

SpringBoot改造MCP服务器的详细说明(StreamableHTTP 类型)

《SpringBoot改造MCP服务器的详细说明(StreamableHTTP类型)》本文介绍了SpringBoot如何实现MCPStreamableHTTP服务器,并且使用CherryStudio... 目录SpringBoot改造MCP服务器(StreamableHTTP)1 项目说明2 使用说明2.1

spring中的@MapperScan注解属性解析

《spring中的@MapperScan注解属性解析》@MapperScan是Spring集成MyBatis时自动扫描Mapper接口的注解,简化配置并支持多数据源,通过属性控制扫描路径和过滤条件,利... 目录一、核心功能与作用二、注解属性解析三、底层实现原理四、使用场景与最佳实践五、注意事项与常见问题六

Spring的RedisTemplate的json反序列泛型丢失问题解决

《Spring的RedisTemplate的json反序列泛型丢失问题解决》本文主要介绍了SpringRedisTemplate中使用JSON序列化时泛型信息丢失的问题及其提出三种解决方案,可以根据性... 目录背景解决方案方案一方案二方案三总结背景在使用RedisTemplate操作redis时我们针对

Java中Arrays类和Collections类常用方法示例详解

《Java中Arrays类和Collections类常用方法示例详解》本文总结了Java中Arrays和Collections类的常用方法,涵盖数组填充、排序、搜索、复制、列表转换等操作,帮助开发者高... 目录Arrays.fill()相关用法Arrays.toString()Arrays.sort()A

Spring Boot Maven 插件如何构建可执行 JAR 的核心配置

《SpringBootMaven插件如何构建可执行JAR的核心配置》SpringBoot核心Maven插件,用于生成可执行JAR/WAR,内置服务器简化部署,支持热部署、多环境配置及依赖管理... 目录前言一、插件的核心功能与目标1.1 插件的定位1.2 插件的 Goals(目标)1.3 插件定位1.4 核

如何使用Lombok进行spring 注入

《如何使用Lombok进行spring注入》本文介绍如何用Lombok简化Spring注入,推荐优先使用setter注入,通过注解自动生成getter/setter及构造器,减少冗余代码,提升开发效... Lombok为了开发环境简化代码,好处不用多说。spring 注入方式为2种,构造器注入和setter

使用zip4j实现Java中的ZIP文件加密压缩的操作方法

《使用zip4j实现Java中的ZIP文件加密压缩的操作方法》本文介绍如何通过Maven集成zip4j1.3.2库创建带密码保护的ZIP文件,涵盖依赖配置、代码示例及加密原理,确保数据安全性,感兴趣的... 目录1. zip4j库介绍和版本1.1 zip4j库概述1.2 zip4j的版本演变1.3 zip4

Java堆转储文件之1.6G大文件处理完整指南

《Java堆转储文件之1.6G大文件处理完整指南》堆转储文件是优化、分析内存消耗的重要工具,:本文主要介绍Java堆转储文件之1.6G大文件处理的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言文件为什么这么大?如何处理这个文件?分析文件内容(推荐)删除文件(如果不需要)查看错误来源如何避