大数据收益 主流Hadoop用户有话说

2024-01-25 06:08

本文主要是介绍大数据收益 主流Hadoop用户有话说,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

对于密歇根的Blue Cross Blue Shield公司来说,大数据部署并不是一时冲动的决定。

Beata Puncevic是这家医疗保险公司分析总监,负责数据工程和数据管理,她说:“对于很多像我们这样的组织,大数据还没有成为运营业务的核心基础。如果你去对很多人(主管)讲,让他们在大数据平台上投资,你是很难与他们产生共鸣的,这是很大的挑战。”

Puncevic认为,对于Blue Cross公司和其它医疗保健企业,这些挑战包括低利润率、资源和技能储备问题,还有相对保守的文化问题。低利润使得很难为技术创新留出钱来。她和她的同事们不得不做很多额外的努力来获得Hadoop数据湖的审批和资金。

Puncevic组建了团队针对数据湖项目开发了投资回报率框架,评估大数据项目的益处。在构建业务案例的过程中,她还关注了三类与IT有关的改善,包括:降低数据处理和管理成本,建立更深刻的分析,创建更灵活和适应性的技术架构。

此外,Puncevic说她在争取获得公司资金支持,用于本阶段项目和后续项目阶段。“因此,我们不必担心为了大数据策略的各种方面从个别业务单元获取资金的问题”。

这种策略很有效,这家底特律的保险公司已经启动了未来三到五年的大数据平台建设规划。Puncevic上周在美国加州San Jose举办的2016 Hadoop峰会上说,大数据的好处对于整个医疗行业来说是“潜力巨大的”。除了节省IT开支,她还提到了降低医疗成本的益处,同时可以改善患者就医体验,促进医学预防工作。所有这些都是通过更好的分析获得的。

利用大数据获益之路

大数据的价值为Progressive Casualty保险公司及其车险客户也带来了绝对真实的价值。Brian Durkin是该公司企业架构组的创新战略师,他说Progressive公司使用Hadoop集群增强了Snapshot项目,基于从车辆收集到的运行数据奖励安全未出险驾驶员购险折扣。Durkin在另一场分会上表示,自从2008年该项目启动以来,该保险公司已经发放了价值超过5.6亿美元的折扣优惠。

他说:“这不是科学实验,而是已经在真实发生的事。我们在这方面全身心投入,这对我们的客户也很重要。”

为了跟踪参保驾驶员并计算折扣,该集群环境需要收集大量数据进行处理和分析,他们的集群环境与Blue Cross公司的是类似的,都是基于Hortonworks Hadoop分布式框架的。Progressive公司已经收集了24亿数据,集群留存了所有信息。为了分析驾驶模式,识别坏习惯驾驶的司机并警示他们,Durkin认为:“越旧的数据越有价值。所以他们留存了所有数据并对所有历史数据进行分析。”

处理数据需要大量处理资源,Progressive公司部署了许多高级分析工具供公司数据科学家使用,包括SAS、R编程语言和H2O。Pawan Divakarla是该保险公司在美国俄亥俄州Mayfield Village分部的数据和分析业务负责人,他表示许多业务主管们都乐意为此买单。

他说:“我们公司完全是数据驱动的公司,我们希望人们有主观动机和想法,但是他们需要用数据证明他们的想法。”

Hadoop的高价值应用

零售商Macy公司运行了BI和分析应用,也是基于Hortonworks的Hadoop系统,他们为此支持营销、销售计划、产品管理和其它业务运营。每天都有成千上万的商业用户访问数以百计的BI仪表盘,这是他们做决策需要使用的关键功能。

Chakrapany说:“你不会只想看到Hadoop用作廉价存储解决方案的,它的价值原不止于此。”

Hadoop仍然在逐渐走向成熟,目前还有一些功能比较粗糙。他提醒说,使用Hadoop的新用户应该了解到它有一些不稳定性,有些IT管理功能也不太完善。“如果你认为它是绝对可靠的,那么这种想法是不正确的”。他说,尽管如此他还是认为Hadoop可以真正成为企业级的数据分析平台供Macy公司使用。

但是,Chakrapany并不认为从大数据分析和基于Hadoop的BI应用获益是理所当然的事。去年,他组建了团队在内部宣讲大数据环境的优点,希望游说更多业务单元使用它。他的团队还跟踪Hadoop平台产生的业务价值,包括定性和定量两方面。

Chakrapany说:“我们不想只是统计用户数量和查询数量,统计分析了多少数据,那些只是数字。关键部分在于,这些数据给企业带来了哪些帮助。”

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

这篇关于大数据收益 主流Hadoop用户有话说的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642298

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.