New York City Taxi Trip Duration纽约出租车大数据探索(报告版)

2023-10-21 22:40

本文主要是介绍New York City Taxi Trip Duration纽约出租车大数据探索(报告版),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、项目说明
该项目来源于Kaggle,旨在建模来预测纽约出租车在行程中的总行驶时间。
在建模预测的过程中,我们可以顺便探索纽约市民打车出行习惯及其他有效信息。
附kaggle项目链接 https://www.kaggle.com/c/nyc-taxi-trip-duration/overview

【注】CDSN博客编辑器体验不佳,本文排版格式失效且图片丢失。
如需美观及完整,敬请移步知乎专栏。链接:https://zhuanlan.zhihu.com/p/65488432

本文原定内容结构说明:
1、先参考简书帖子《纽约出租车大数据探索》完成一部分探索,帖子没有源代码,所以我会根据帖子思路,自行写出代码。帖子网址 https://www.jianshu.com/p/1da53849a314
2、按照帖子文末提出的可以进一步拓展的探索方向,自行深入探索。
3、kaggle比赛目标之预测行程持续时间,另外再开帖子叙述。本文不赘述。

本文分析的技术实现过程,已发布至个人CDNS博客,详见:
《【Python】New York City Taxi Trip Duration纽约出租车大数据探索(技术实现过程)》
https://blog.csdn.net/weixin_44216391/article/details/90115972

二、探索分析
帖子的结构为五部分:
1、提出问题— 2、理解数据— 3、数据清理— 4、数据分析— 5、得出结论
(一)、提出问题(根据已有数据分析)
(1)何时为打车需求高发期?
(2)居民夜生活活跃情况?
(3)城市一天的什么时候最为拥堵?
(4)什么时间容易接到长途单?
(二)、理解数据(表单说明)
id - 每次行程的唯一ID
vendor_id - 行程提供者的ID
pickup_datetime - 上车的日期和时间
dropoff_datetime - 停表的日期和时间
passenger_count - 车辆中的乘客数量(驾驶员输入值)
pickup_longitude - 上车的经度
pickup_latitude - 上车的纬度
dropoff_longitude - 下车经度
dropoff_latitude - 下车的纬度
store_and_fwd_flag - 行程记录是否为存储转发(或是直接发送)-- Y =存储和转发 N =没有存储
trip_duration - 行程持续时间(秒)
(三)、数据清理
详见对应的技术实现帖子:
《【Python】New York City Taxi Trip Duration纽约出租车大数据探索(技术实现过程)》
https://blog.csdn.net/weixin_44216391/article/details/90115972
基本确定,数据比较完整。看Kaggle官网也说了,因为是playground项目,所以已经把数据cleaned了。
(四)、 数据分析与可视化
(1)何时为打车需求高发期?
(2)居民夜生活活跃情况?
(3)城市一天的什么时候最为拥堵?
(4)什么时间容易接到长途单?
分析一:何时为打车需求高发期?
分析所需数据维度:新增月标识、周标识、日标识、时间点标识(详见技术帖)
分析所用到的工具:seaborn可视化、map/apply函数、datetime、lambda、groupby、reset_index()、rename、plt.subplot、sns.swarmplot、sns.boxplot、sns.stripplot等。
1、整体趋势分析
见下图:
从趋势来说,2016年1~6月整体打车时长一直呈增长状态,可能用户逐渐习惯了更远距离也打车,也可能是,路面行驶的车辆越来越多或天气不好引发交通拥塞。
其中,3月-5月订单数量属于六个月中最高的三个月,但是整体下降趋势。1月下旬和5月底有异常点,这两天打车人数特别少,可能是当天发生了什么重大事故,或者是重大节日不出行。
从日折线图来看,忽略23号和31号两个异常点,整体订单数量随日期变化呈现规律波动,看似周期为7天(一个星期),据此推测订单数量可能与星期几有关。
在这里插入图片描述

2、分析异常值
从图"Date Trip Time"可以定义异常值临界点为6000,将低于6000的异常值筛选出来。找出异常的日期是1月23日,1月24日,5月30日。
在这里插入图片描述

分析其原因。根据当日美国新闻:
(1)美遭暴风雪袭击 纽约时报广场飞雪飘零_网易新闻
2016-1-24 · 当地时间2016年1月23日,美国纽约,美国遭遇暴雪天气,暴雪中的时报广场。
(2)阵亡将士纪念日 (5月的最后一个星期一)
中新网5月30日电 据美媒报道,美国迎来“国殇日”长周末,标志着夏季的正式开始。

3、分析订单数量可能和星期几有关
(1)下图分别为各月1-31日订单总量与乘车人数
在这里插入图片描述

两张图展示了在2016年1月1日至2016年6月30日这半年内,六个月1~31日的每日订单总量、每日平均乘车人数随日期的波动。
两张图(每日订单数量/乘车次数与日平均乘车人数)的趋势惊人地一致。这说明在周期的某一阶段,不仅订单数量增多,而且人们偏向于结伴出行。

(2)下图为周一至周日打车次数/订单数量
在这里插入图片描述
明显周日周一打车次数最低,周五至周六打车次数最高。可能周四至周六市民出行意愿更高。
另外发现,周日打车次数/订单数量在100-300区间内明显比周一至周六多,这里可能蕴含一些信息,待挖掘。

(3)下图为周一至周日乘车人数
可见,周六周日拼车人数较多。

在这里插入图片描述
4、分析订单数量可能和当日哪个时间点有关
(1)当日内0点至24点乘车次数/订单数量
在这里插入图片描述
1)全天候分析:
凌晨一点开始至凌晨五点,订单数量急剧下降,符合人群休息规律。
从早6点开始,订单量由谷底回升,早7点至早9点有一个早高峰。
在早8点到下午5点之间有轻微波动不明显。早10点和下午4点均有一个轻微的走低点。
原因推测:
① 市民上班的出行需求被公共交通、私家车等分担,不会偏好于出租车出行;
② 假设通勤时间1小时,则基本可确定八点至十点是上班时间小集中的时间段。(此结论与原贴不一致,甚至有轻微相反。)
③ 早八点和下午四点这两个时间点,人群在公司开会尚未外出(早)或已在出差公司开会还未散会(下午四点)。
2)晚高峰表现显著:
从晚6点开始订单量有大规模增长,约晚7点进入打车最高峰,且在23点之前的平均打车量均维持较高水平,高于白天时段。
原因推测:
① 相比于白天,市民在晚上外出活动时更偏向于出租车出行。有可能逐渐下班。
② 也猜测晚间时间家庭出行或约伴出行,下面通过乘车人数认证后发现该假设并不成立。
3)下午时段,四点左右出现订单量回落。
原因推测:①司机交班;②道路拥堵;③出差人群在出差公司开会还未散会下班。

(2)当日内0点至24点乘车人数在这里插入图片描述
前面猜测晚间时间家庭出行或约伴出行,这里乘车人数在晚间并无明显变化,故前面猜测不成立。
反而发现凌晨2点至5点订单乘车人数较为分散,既有较多人(约伴),也有较少人(单人)的情况。
早5点-8点之间,每个订单乘车人数全日最低(boxplot比较清晰,stripplot没那么清晰,下图是stripplot),恰好又是上班时间,预计是单人上班打车情况较多。

(3)当日内0点至24点打车行程时间分布
一开始发现三个异常值干扰观察,尝试增加boxplot函数中参数y的重新赋值来忽略异常值(week_avg_trip_dur>8000)。——下图为已修正三个异常值。在这里插入图片描述

白天早9点至下午5点,行车时间较长,据此可以推测白天这个时间段道路较为拥塞。
凌晨2点至5点,基本可以排除拥塞影响,行程时间长短可近似等同于距离长短。且分布在箱盒之外的长行车时间较多,据此推测:凌晨2点至5点这个时间段接到长距离行程单的机会比其他时间段多很多。

分析二:居民夜生活活跃情况?

订单数量在晚8点至凌晨1点均维持较高水平,从凌晨1点开始,订单量断崖式下跌,这一下跌持续到约早5点,早5点是一天内订单量最低的时刻。
说明纽约市民夜生活活跃情况:
(1)第一种可能:下午/晚上下班后约伴交友灯红酒绿夜夜笙歌,至凌晨1点方歇。
(2)当然,也有第二种可能是:晚晚加班。白天会议下午法定下班时间后,才是晚间工作的开始,然后陆陆续续持续到凌晨十二点/一点。
从国情看,纽约的第一种可能性高一些;而第二种则在中国一线城市发生的概率比率高一些。

分析三: 城市的一天什么时候最为拥堵?

第一个思路(如下图):
在这里插入图片描述
从前面分析第一部分的“当日内0点至24点打车行程时间分布”初步推测:
白天早9点至下午5点,行车时间较长,据此可以推测白天这个时间段道路较为拥塞。
第二个思路(待挖掘):
先通过上下车地点经纬度计算行程距离,再用行程距离/行程时间得出行车均速。行程均速可体现道路畅通拥堵程度。
该思路方法暂时搁置,容后看情况再补充。

分析四:什么时间容易接到长途单?

接单时间和订单行程时间/路程距离是否有关系呢?接下来进入分析。
前面已经绘出一日内0点至24点的平均行程时间,我们这里重新引用:
在这里插入图片描述
凌晨2点至5点,基本可以排除拥塞影响,行程时间长短可近似等同于距离长短。且分布在箱盒之外的长行车时间较多,据此推测:凌晨2点至5点这个时间段接到长距离行程单的机会比其他时间段多很多。

(五)数据探索结论
定位出租车司机最佳pickup时点为早7点至早9点及晚6点至晚12点。如需长途订单,可养足精神在凌晨接单。

三、总结
分析到此告一段落。当然,虽然数据量不多,但是还可以挖掘更细致的城市出行行为等信息。例如,
可以分析哪些时段的哪些区域更容易发生订单,人群一般从哪些地方去往哪些地方——这对出租调度来说是个有效数据。
从暴雪带来的异常值可以推测,天气与订单量是有密切关系的,根据日期对应天气数据,可以进一步分析天气与订单量的影响。
结合位置数据,还可以分析哪些区域受天气的影响较大,等等。

这篇关于New York City Taxi Trip Duration纽约出租车大数据探索(报告版)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/257435

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X