【中国大学MOOC】java程序设计-week8-多线程爬虫

2024-03-10 18:58

本文主要是介绍【中国大学MOOC】java程序设计-week8-多线程爬虫,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.题目

下面的程序可以下载多个网页文件(download方法已写好),请将它改成多线程进行下载(评分占7分),如果可能, 显示计算全部下载完成程序所用的时间(提示:new Date().getTime()可以得到当前时间的毫秒数,评分占3分)。另外,请注意一下,

系统中http:传到平台后,它自动改成了https:,所以请改回http:。 另外,有一些链接访问不了,所以要注意加try…catch。

import java.net.URL;
import java.io.*;class Downloader 
{public static void main(String[] args)throws Exception{final URL[] urls = {new URL("https://www.pku.edu.cn"),new URL("https://www.baidu.com"),new URL("https://www.sina.com.cn"),new URL("https://www.dstang.com")};final String[] files = {"pku.htm", "baidu.htm","sina.htm", "study.htm",};for(int idx=0; idx<urls.length; idx++){try{System.out.println( urls[idx] );download( urls[idx], files[idx]);}catch(Exception ex){ex.printStackTrace();}}}static void download( URL url, String file)throws IOException{try(InputStream input = url.openStream();OutputStream output = new FileOutputStream(file)){byte[] data = new byte[1024];int length;while((length=input.read(data))!=-1){output.write(data,0,length);}}}
}

2.题解

import java.net.URL;
import java.io.*;
import java.util.Date;public class homework8
{public static void main(String[] args)throws Exception{final URL[] urls = {new URL("https://www.pku.edu.cn"),new URL("https://www.baidu.com"),new URL("https://www.sina.com.cn"),new URL("https://www.dstang.com")};final String[] files = {"pku.htm","baidu.htm","sina.htm","study.htm",};// 新建线程Thread t0 = new MyThread(urls[0], files[0]);Thread t1 = new MyThread(urls[1], files[1]);Thread t2 = new MyThread(urls[2], files[2]);Thread t3 = new MyThread(urls[3], files[3]);// 运行线程t0.start();t1.start();t2.start();t3.start();}
}
/*
新建线程类,继承Thread*/
class MyThread extends Thread {URL url;String file;public MyThread(URL url, String file){super();this.url = url;this.file = file;}public void run() {long time1 = new Date().getTime();  // 计算开始时的时间time1java.io.InputStream input = null;java.io.OutputStream output = null;try{try{input = url.openStream();output = new FileOutputStream(file);byte[] data = new byte[1024];int length;while((length=input.read(data))!=-1){output.write(data,0,length);}}catch(IOException e1){e1.printStackTrace();}}catch(Exception ex) {ex.printStackTrace();}finally{long time2 = new Date().getTime();  // 计算结束后的时间time2System.out.println("本次下载耗时" + (time2-time1) + "ms");  // 计算下载耗时time2-time1}}
}

这篇关于【中国大学MOOC】java程序设计-week8-多线程爬虫的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/795203

相关文章

Java设计模式---迭代器模式(Iterator)解读

《Java设计模式---迭代器模式(Iterator)解读》:本文主要介绍Java设计模式---迭代器模式(Iterator),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录1、迭代器(Iterator)1.1、结构1.2、常用方法1.3、本质1、解耦集合与遍历逻辑2、统一

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

SpringBoot整合liteflow的详细过程

《SpringBoot整合liteflow的详细过程》:本文主要介绍SpringBoot整合liteflow的详细过程,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋...  liteflow 是什么? 能做什么?总之一句话:能帮你规范写代码逻辑 ,编排并解耦业务逻辑,代码

JavaSE正则表达式用法总结大全

《JavaSE正则表达式用法总结大全》正则表达式就是由一些特定的字符组成,代表的是一个规则,:本文主要介绍JavaSE正则表达式用法的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录常用的正则表达式匹配符正则表China编程达式常用的类Pattern类Matcher类PatternSynta