java 统计10000篇文章中不同单词出现的次数并以次序排序

2024-03-27 17:18
文章标签 java 统计 单词 次数 排序 不同 篇文章 次序 10000

本文主要是介绍java 统计10000篇文章中不同单词出现的次数并以次序排序，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

统计10000篇文章中不同单词出现的次数并以次序排序

此次统计从两方面入手：一是单线程读取10000个文件；二是打开10000个线程，每个线程读取一个文件


单线程程序

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.TreeMap;public class CountLetters {
//	public static String FILE_NAME = "/home/taohao/temp/english.txt";public static String FILE_PATH = "/home/taohao/temp/test";private String[] readFromeFile(String[] fileNames){String lineString = new String();StringBuilder line = new StringBuilder();BufferedReader bufferedReader = null;for(String name : fileNames){try {name = FILE_PATH + "/" + name;File file = new File(name);bufferedReader = new BufferedReader(new FileReader(file));while((lineString=bufferedReader.readLine())!=null){line.append(lineString);}bufferedReader.close();} catch (Exception e) {// TODO: handle exceptionSystem.out.println(e);}}
//		System.out.println(line.toString());String[] letters = line.toString().split("\\W+");return letters;}private HashMap<String, Integer> countMap(String[] string){HashMap<String, Integer> hashMap = new HashMap<String, Integer>();Integer integer = new Integer(1);int newIntValue;Integer newInteger = null;Integer value = null;for(String item : string){if((value=hashMap.get(item))==null){hashMap.put(item, integer);}else {newIntValue = value.intValue() + 1;newInteger = new Integer(newIntValue);hashMap.put(item, newInteger);}}return hashMap;}// treemap 的key 不能重复，否则会被覆盖，因此此处的转换有问题
//	private TreeMap<Integer, String>hashMapToTreeMap(HashMap<String, Integer> hashMap){
//		TreeMap<Integer, String> treeMap = new TreeMap<Integer, String>(new Comparator<Integer>() {
//
//			@Override
//			public int compare(Integer o1, Integer o2) {
//				// TODO Auto-generated method stub
//				return ~o1.compareTo(o2)+1;
//			}
//		});
//		for(String letter : hashMap.keySet()){
//			treeMap.put(hashMap.get(letter), letter);
//		}
//		return treeMap;
//	}public static void main(String[] args){/** 单线程*/long start = System.currentTimeMillis();  //msCountLetters countLetters = new CountLetters();File file = new File(CountLetters.FILE_PATH);String[] fileNames = file.list();String[] letters = countLetters.readFromeFile(fileNames);System.out.println(letters.length);HashMap<String, Integer> hashMap = countLetters.countMap(letters);System.out.println(hashMap.size());SortByValues sortByValues = new SortByValues();List<Map.Entry<String, Integer>> mapItemList = new ArrayList<>(hashMap.entrySet());Collections.sort(mapItemList, sortByValues);System.out.println(mapItemList.size());System.out.println(mapItemList.toString());long end = System.currentTimeMillis();System.out.println("start-end=" + (end-start));}
}


多线程程序

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;public class CountLettersThreads {public static String FILE_PATH = "/home/taohao/temp/test";
//	private String[] fileLiStrings = null;public HashMap<String, Integer> hashMap = new HashMap<String, Integer>();class countThread implements Runnable{private String fileName = null;private String[] letterStrings = null;public countThread(String fileName) {// TODO Auto-generated constructor stubthis.fileName = FILE_PATH + "/" + fileName;}@Overridepublic void run() {// TODO Auto-generated method stubletterStrings = readFromeFile(fileName);synchronized (hashMap) {Integer integer = new Integer(1);int newIntValue;Integer newInteger = null;Integer value = null;for(String item : letterStrings){if((value=hashMap.get(item))==null){hashMap.put(item, integer);}else {newIntValue = value.intValue() + 1;newInteger = new Integer(newIntValue);hashMap.put(item, newInteger);}}}}public String[] readFromeFile(String fileName){String lineString = new String();StringBuilder line = new StringBuilder();File file = new File(fileName);BufferedReader bufferedReader = null;try {bufferedReader = new BufferedReader(new FileReader(file));while((lineString=bufferedReader.readLine())!=null){line.append(lineString);}bufferedReader.close();} catch (Exception e) {// TODO: handle exceptionSystem.out.println("readfile exception " + e);}System.out.println(line.toString());String[] letters = line.toString().split("\\W+");return letters;}}public static void main(String[] args) throws Exception{long start = System.currentTimeMillis();  // msFile file = new File(CountLettersThreads.FILE_PATH);CountLettersThreads countLettersThreads = new CountLettersThreads();String[] fileList = file.list();int fileCount = fileList.length;for(int i=0; i<fileCount; i++){CountLettersThreads.countThread runnaThread = countLettersThreads.new countThread(fileList[i]);Thread thread = new Thread(runnaThread);thread.start();thread.join();}HashMap<String, Integer> hashMap = countLettersThreads.hashMap;System.out.println(hashMap.size());SortByValues sortByValues = new SortByValues();List<Map.Entry<String, Integer>> mapItemList = new ArrayList<>(hashMap.entrySet());Collections.sort(mapItemList, sortByValues);System.out.println(mapItemList.toString());long end = System.currentTimeMillis();System.out.println("start-end=" + (end-start));}
}


另外用到的一个比较类

import java.awt.List;
import java.util.Comparator;
import java.util.HashMap;
import java.util.Map;
import java.util.Map.Entry;public class SortByValues implements Comparator<Map.Entry<String, Integer>>{@Overridepublic int compare(Entry<String, Integer> o1, Entry<String, Integer> o2) {// TODO Auto-generated method stubreturn ~o1.getValue().compareTo(o2.getValue()) + 1;}
}


得到的统计数据为：

单线程用时84537ms， 差不多是多线程的三倍多。

多线程用时31516ms

由上可知两者的差别只有三倍左右的差别，我觉得可能的原因是在最后排序都是统一排序的，

多线程只负责了读文件和区分不同的单词及单词出现的数量，并没有进行局部排序。

如果在每个线程里面进行了局部排序应该两者所用的时间还会继续拉大。


另外本程序中对hashmap的value进行排序，此时是将hashmap的entry作为list的元素，通过collection的sort()函数进行排序的。

collection的sort()函数怎样排序的，我还要进一步查阅资料学习。？？？？







这篇关于java 统计10000篇文章中不同单词出现的次数并以次序排序的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/852857。

相关文章

Java五子棋之坐标校正

Java五子棋之坐标校正

上篇针对了Java项目中的解构思维，在这篇内容中我们不妨从整体项目中拆解拿出一个非常重要的五子棋逻辑实现：坐标校正，我们如何使漫无目的鼠标点击变得有序化和可控化呢？ 目录 一、从鼠标监听到获取坐标 1.MouseListener和MouseAdapter 2.mousePressed方法 二、坐标校正的具体实现方法 1.关于fillOval方法 2.坐标获取 3.坐标转换 4.坐
阅读更多...
Spring Cloud：构建分布式系统的利器

Spring Cloud：构建分布式系统的利器

引言 在当今的云计算和微服务架构时代，构建高效、可靠的分布式系统成为软件开发的重要任务。Spring Cloud 提供了一套完整的解决方案，帮助开发者快速构建分布式系统中的一些常见模式（例如配置管理、服务发现、断路器等）。本文将探讨 Spring Cloud 的定义、核心组件、应用场景以及未来的发展趋势。 什么是 Spring Cloud Spring Cloud 是一个基于 Spring
阅读更多...
Javascript高级程序设计(第四版)--学习记录之变量、内存

Javascript高级程序设计(第四版)--学习记录之变量、内存

原始值与引用值 原始值：简单的数据即基础数据类型，按值访问。 引用值：由多个值构成的对象即复杂数据类型，按引用访问。 动态属性 对于引用值而言，可以随时添加、修改和删除其属性和方法。 let person = new Object();person.name = 'Jason';person.age = 42;console.log(person.name,person.age);//'J
阅读更多...
java8的新特性之一（Java Lambda表达式）

java8的新特性之一（Java Lambda表达式）

1：Java8的新特性 Lambda 表达式： 允许以更简洁的方式表示匿名函数（或称为闭包）。可以将Lambda表达式作为参数传递给方法或赋值给函数式接口类型的变量。 Stream API： 提供了一种处理集合数据的流式处理方式，支持函数式编程风格。 允许以声明性方式处理数据集合（如List、Set等）。提供了一系列操作，如map、filter、reduce等，以支持复杂的查询和转
阅读更多...
Java面试八股之怎么通过Java程序判断JVM是32位还是64位

Java面试八股之怎么通过Java程序判断JVM是32位还是64位

怎么通过Java程序判断JVM是32位还是64位 可以通过Java程序内部检查系统属性来判断当前运行的JVM是32位还是64位。以下是一个简单的方法： public class JvmBitCheck {public static void main(String[] args) {String arch = System.getProperty("os.arch");String dataM
阅读更多...
详细分析Springmvc中的@ModelAttribute基本知识（附Demo）

详细分析Springmvc中的@ModelAttribute基本知识（附Demo）

目录 前言1. 注解用法1.1 方法参数1.2 方法1.3 类 2. 注解场景2.1 表单参数2.2 AJAX请求2.3 文件上传 3. 实战4. 总结 前言 将请求参数绑定到模型对象上，或者在请求处理之前添加模型属性 可以在方法参数、方法或者类上使用 一般适用这几种场景： 表单处理：通过 @ModelAttribute 将表单数据绑定到模型对象上预处理逻辑：在请求处理之前
阅读更多...
eclipse运行springboot项目，找不到主类

eclipse运行springboot项目，找不到主类

解决办法尝试了很多种，下载sts压缩包行不通。最后解决办法如图： help--->Eclipse Marketplace--->Popular--->找到Spring Tools 3---->Installed。
阅读更多...
JAVA读取MongoDB中的二进制图片并显示在页面上

JAVA读取MongoDB中的二进制图片并显示在页面上

1：Jsp页面： <td><img src="${ctx}/mongoImg/show"></td> 2：xml配置： <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001
阅读更多...
Java面试题：通过实例说明内连接、左外连接和右外连接的区别

Java面试题：通过实例说明内连接、左外连接和右外连接的区别

在 SQL 中，连接（JOIN）用于在多个表之间组合行。最常用的连接类型是内连接（INNER JOIN）、左外连接（LEFT OUTER JOIN）和右外连接（RIGHT OUTER JOIN）。它们的主要区别在于它们如何处理表之间的匹配和不匹配行。下面是每种连接的详细说明和示例。 表示例 假设有两个表：Customers 和 Orders。 Customers CustomerIDCus
阅读更多...
22.手绘Spring DI运行时序图

22.手绘Spring DI运行时序图

1.依赖注入发生的时间 当Spring loC容器完成了 Bean定义资源的定位、载入和解析注册以后,loC容器中已经管理类Bean 定义的相关数据，但是此时loC容器还没有对所管理的Bean进行依赖注入，依赖注入在以下两种情况 发生： 、用户第一次调用getBean()方法时，loC容器触发依赖注入。 、当用户在配置文件中将＜bean＞元素配置了 lazy-init二false属性,即让
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2