Spark项目智慧城市车流量分析项目之固定卡口下车辆的行车轨迹

本文主要是介绍Spark项目智慧城市车流量分析项目之固定卡口下车辆的行车轨迹,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数据集

  • 日期 卡口ID 摄像头编号 车牌号 拍摄时间
  • date monitor_id camera_id car action_time
    车速 道路ID 区域ID
    speed road_id area_id

数据集

模拟数据

2018-06-27 0007 00536 京R66884 2018-06-27 11:30:25 30 41 08
2018-06-27 0005 01726 闵P89564 2018-06-27 09:34:03 19 7 03
2018-06-27 0005 01272 闵P89564 2018-06-27 09:50:39 187 19 05
2018-06-27 0002 00082 闵P89564 2018-06-27 09:34:47 1 28 05
2018-06-27 0003 08417 闵P89564 2018-06-27 09:23:05 171 42 02
2018-06-27 0003 02757 闵P89564 2018-06-27 09:52:35 32 50 04
2018-06-27 0000 03759 沪W87972 2018-06-27 20:02:43 243 25 05
2018-06-27 0002 08652 沪W87972 2018-06-27 20:05:10 51 11 05

代码逻辑
在这里插入图片描述

本地模拟代码

package test;import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.broadcast.Broadcast;
import scala.Tuple2;import java.util.*;public class Carlearn {public static void main(String[] args) {SparkConf conf = new SparkConf();conf.setMaster("local").setAppName("Carlearn");JavaSparkContext sc = new JavaSparkContext(conf);JavaRDD<String> lineRDD = sc.textFile("monitor_flow_action");//mapToPair 形成一个tuple<卡扣id,车牌号>JavaPairRDD<String, String> rdd2 = lineRDD.mapToPair(new PairFunction<String, String, String>() {@Overridepublic Tuple2<String, String> call(String s) throws Exception {String[] split = s.split("\t");return new Tuple2<>(split[1], split[3]);}});//过滤只留下一个卡扣id为001的信息JavaPairRDD<String, String> rdd3 = rdd2.filter(new Function<Tuple2<String, String>, Boolean>() {@Overridepublic Boolean call(Tuple2<String, String> tuple2) throws Exception {return tuple2._1.equals("0001");}});//map 形成一个个的carJavaRDD<String> rdd4 = rdd3.map(new Function<Tuple2<String, String>, String>() {@Overridepublic String call(Tuple2<String, String> tuple2) throws Exception {return tuple2._2;}});//去重JavaRDD<String> rdd5 = rdd4.distinct();//转换成集合List<String> result = rdd5.collect();//广播变量final Broadcast<List<String>> broadcast = sc.broadcast(result);/*** mapToPair转换成Tuple<车牌号,一行的值>*/JavaPairRDD<String, String> rddA = lineRDD.mapToPair(new PairFunction<String, String, String>() {@Overridepublic Tuple2<String, String> call(String s) throws Exception {String[] split = s.split("\t");return new Tuple2<>(split[3], s);}});//过滤掉只留下卡扣id为001信息的车,JavaPairRDD<String, Iterable<String>> rddC = rddA.filter(new Function<Tuple2<String, String>, Boolean>() {@Overridepublic Boolean call(Tuple2<String, String> tuple2) throws Exception {List<String> carList = broadcast.value();String carId = tuple2._2.split("\t")[3];return carList.contains(carId);}}).groupByKey();rddC.foreach(new VoidFunction<Tuple2<String, Iterable<String>>>() {@Overridepublic void call(Tuple2<String, Iterable<String>> tuple2) throws Exception {Iterator<String> iterator = tuple2._2.iterator();List<Tuple2<String, String>> map = new ArrayList<>();//将时间和卡扣号封装成一个listwhile (iterator.hasNext()) {String next = iterator.next();String time = next.split("\t")[4];String kakouId = next.split("\t")[1];Tuple2<String, String> time_kakou = new Tuple2<>(time, kakouId);map.add(time_kakou);}//通过时间排序,整理出汽车的行车轨迹Collections.sort(map, new Comparator<Tuple2<String, String>>() {@Overridepublic int compare(Tuple2<String, String> o1, Tuple2<String, String> o2) {return o1._1.compareTo(o2._1);}});//打印下行车轨迹String chepai = tuple2._1;System.out.println("汽车号:"+chepai);for (Tuple2<String, String> s : map) {System.out.print("时间:"+s._1+"卡扣:"+s._2+"===>");}System.out.println();}});}
}

结果

06-27 22:39:26卡扣:0005===>时间:2018-06-27 22:40:31卡扣:0008===>时间:2018-06-27 22:41:37卡扣:0005===>时间:2018-06-27 22:42:02卡扣:0000===>时间:2018-06-27 22:43:07卡扣:0002===>时间:2018-06-27 22:44:28卡扣:0004===>时间:2018-06-27 22:45:49卡扣:0001===>时间:2018-06-27 22:51:40卡扣:0005===>时间:2018-06-27 22:53:26卡扣:0008===>时间:2018-06-27 22:54:06卡扣:0007===>时间:2018-06-27 22:57:26卡扣:0004===>时间:2018-06-27 22:57:56卡扣:0005===>时间:2018-06-27 22:58:07卡扣:0006===>时间:2018-06-27 23:00:40卡扣:0006===>时间:2018-06-27 23:01:56卡扣:0008===>时间:2018-06-27 23:04:27卡扣:0004===>时间:2018-06-27 23:04:43卡扣:0003===>时间:2018-06-27 23:05:38卡扣:0001===>时间:2018-06-27 23:09:03卡扣:0007===>时间:2018-06-27 23:09:06卡扣:0005===>时间:2018-06-27 23:09:37卡扣:0004===>时间:2018-06-27 23:11:11卡扣:0007===>时间:2018-06-27 23:12:06卡扣:0001===>时间:2018-06-27 23:12:12卡扣:0008===>时间:2018-06-27 23:14:31卡扣:0002===>时间:2018-06-27 23:16:25卡扣:0007===>时间:2018-06-27 23:23:47卡扣:0000===>时间:2018-06-27 23:24:03卡扣:0008===>时间:2018-06-27 23:26:27卡扣:0003===>时间:2018-06-27 23:29:44卡扣:0001===>时间:2018-06-27 23:30:23卡扣:0003===>时间:2018-06-27 23:33:27卡扣:0007===>时间:2018-06-27 23:34:18卡扣:0002===>时间:2018-06-27 23:34:28卡扣:0002===>时间:2018-06-27 23:34:39卡扣:0001===>时间:2018-06-27 23:39:59卡扣:0005===>时间:2018-06-27 23:45:13卡扣:0001===>时间:2018-06-27 23:48:47卡扣:0004===>
汽车号:京D44143
时间:2018-06-27 02:00:01卡扣:0007===>时间:2018-06-27 02:00:59卡扣:0001===>时间:2018-06-27 02:02:11卡扣:0008===>时间:2018-06-27 02:02:29卡扣:0001===>时间:2018-06-27 02:02:31卡扣:0001===>时间:2018-06-27 02:04:11卡扣:0005===>时间:2018-06-27 02:06:20卡扣:0000===>时间:2018-06-27 02:07:36卡扣:0007===>时间:2018-06-27 02:14:36卡扣:0004===>时间:2018-06-27 02:14:58卡扣:0005===>时间:2018-06-27 02:15:01卡扣:0007===>时间:2018-06-27 02:15:14卡扣:0003===>时间:2018-06-27 02:17:16卡扣:0005===>时间:2018-06-27 02:20:59卡扣:0001===>时间:2018-06-27 02:21:26卡扣:0008===>时间:2018-06-27 02:21:27卡扣:0000===>时间:2018-06-27 02:22:19卡扣:0004===>时间:2018-06-27 02:26:20卡扣:0007===>时间:2018-06-27 02:35:02卡扣:0002===>时间:2018-06-27 02:35:28卡扣:0006===>时间:2018-06-27 02:37:23卡扣:0001===>时间:2018-06-27 02:38:13卡扣:0005===>时间:2018-06-27 02:38:33卡扣:0002===>时间:2018-06-27 02:39:15卡扣:0000===>时间:2018-06-27 02:39:42卡扣:0008===>时间:2018-06-27 02:41:53卡扣:0001===>时间:2018-06-27 02:46:54卡扣:0007===>时间:2018-06-27 02:47:23卡扣:0008===>时间:2018-06-27 02:52:27卡扣:0001===>时间:2018-06-27 02:53:31卡扣:0006===>时间:2018-06-27 03:08:55卡扣:0007===>
汽车号:京R34631
时间:2018-06-27 14:01:24卡扣:0004===>时间:2018-06-27 14:03:36卡扣:0005===>时间:2018-06-27 14:05:04卡扣:0006===>时间:2018-06-27 14:08:40卡扣:0007===>时间:2018-06-27 14:09:29卡扣:0002===>时间:2018-06-27 14:09:51卡扣:0008===>时间:2018-06-27 14:13:40卡扣:0008===>时间:2018-06-27 14:18:55卡扣:0005===>时间:2018-06-27 14:26:54卡扣:0001===>时间:2018-06-27 14:27:20卡扣:0000===>时间:2018-06-27 14:34:02卡扣:0001===>时间:2018-06-27 14:34:39卡扣:0006===>时间:2018-06-27 14:36:10卡扣:0003===>时间:2018-06-27 14:37:08卡扣:0006===>时间:2018-06-27 14:37:30卡扣:0003===>时间:2018-06-27 14:39:25卡扣:0005===>时间:2018-06-27 14:41:00卡扣:0007===>时间:2018-06-27 14:42:03卡扣:0001===>时间:2018-06-27 14:47:36卡扣:0001===>时间:2018-06-27 14:48:16卡扣:0003===>时间:2018-06-27 14:53:22卡扣:0001===>时间:2018-06-27 14:53:34卡扣:0005===>时间:2018-06-27 14:53:54卡扣:0001===>时间:2018-06-27 14:53:56卡扣:0002===>时间:2018-06-27 14:54:14卡扣:0003===>时间:2018-06-27 14:55:44卡扣:0003===>时间:2018-06-27 14:57:27卡扣:0006===>时间:2018-06-27 14:57:53卡扣:0000===>时间:2018-06-27 14:58:12卡扣:0008===>时间:2018-06-27 14:59:11卡扣:0008===>
汽车号:沪V82625

这篇关于Spark项目智慧城市车流量分析项目之固定卡口下车辆的行车轨迹的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/241786

相关文章

SpringBoot项目中报错The field screenShot exceeds its maximum permitted size of 1048576 bytes.的问题及解决

《SpringBoot项目中报错ThefieldscreenShotexceedsitsmaximumpermittedsizeof1048576bytes.的问题及解决》这篇文章... 目录项目场景问题描述原因分析解决方案总结项目场景javascript提示:项目相关背景:项目场景:基于Spring

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

springboot项目如何开启https服务

《springboot项目如何开启https服务》:本文主要介绍springboot项目如何开启https服务方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录springboot项目开启https服务1. 生成SSL证书密钥库使用keytool生成自签名证书将

Java程序进程起来了但是不打印日志的原因分析

《Java程序进程起来了但是不打印日志的原因分析》:本文主要介绍Java程序进程起来了但是不打印日志的原因分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java程序进程起来了但是不打印日志的原因1、日志配置问题2、日志文件权限问题3、日志文件路径问题4、程序

将Java项目提交到云服务器的流程步骤

《将Java项目提交到云服务器的流程步骤》所谓将项目提交到云服务器即将你的项目打成一个jar包然后提交到云服务器即可,因此我们需要准备服务器环境为:Linux+JDK+MariDB(MySQL)+Gi... 目录1. 安装 jdk1.1 查看 jdk 版本1.2 下载 jdk2. 安装 mariadb(my

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

Node.js 数据库 CRUD 项目示例详解(完美解决方案)

《Node.js数据库CRUD项目示例详解(完美解决方案)》:本文主要介绍Node.js数据库CRUD项目示例详解(完美解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考... 目录项目结构1. 初始化项目2. 配置数据库连接 (config/db.js)3. 创建模型 (models/

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

Python 迭代器和生成器概念及场景分析

《Python迭代器和生成器概念及场景分析》yield是Python中实现惰性计算和协程的核心工具,结合send()、throw()、close()等方法,能够构建高效、灵活的数据流和控制流模型,这... 目录迭代器的介绍自定义迭代器省略的迭代器生产器的介绍yield的普通用法yield的高级用法yidle

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小