大数据收益 主流Hadoop用户有话说

2024-01-25 06:08

本文主要是介绍大数据收益 主流Hadoop用户有话说,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

对于密歇根的Blue Cross Blue Shield公司来说,大数据部署并不是一时冲动的决定。

Beata Puncevic是这家医疗保险公司分析总监,负责数据工程和数据管理,她说:“对于很多像我们这样的组织,大数据还没有成为运营业务的核心基础。如果你去对很多人(主管)讲,让他们在大数据平台上投资,你是很难与他们产生共鸣的,这是很大的挑战。”

Puncevic认为,对于Blue Cross公司和其它医疗保健企业,这些挑战包括低利润率、资源和技能储备问题,还有相对保守的文化问题。低利润使得很难为技术创新留出钱来。她和她的同事们不得不做很多额外的努力来获得Hadoop数据湖的审批和资金。

Puncevic组建了团队针对数据湖项目开发了投资回报率框架,评估大数据项目的益处。在构建业务案例的过程中,她还关注了三类与IT有关的改善,包括:降低数据处理和管理成本,建立更深刻的分析,创建更灵活和适应性的技术架构。

此外,Puncevic说她在争取获得公司资金支持,用于本阶段项目和后续项目阶段。“因此,我们不必担心为了大数据策略的各种方面从个别业务单元获取资金的问题”。

这种策略很有效,这家底特律的保险公司已经启动了未来三到五年的大数据平台建设规划。Puncevic上周在美国加州San Jose举办的2016 Hadoop峰会上说,大数据的好处对于整个医疗行业来说是“潜力巨大的”。除了节省IT开支,她还提到了降低医疗成本的益处,同时可以改善患者就医体验,促进医学预防工作。所有这些都是通过更好的分析获得的。

利用大数据获益之路

大数据的价值为Progressive Casualty保险公司及其车险客户也带来了绝对真实的价值。Brian Durkin是该公司企业架构组的创新战略师,他说Progressive公司使用Hadoop集群增强了Snapshot项目,基于从车辆收集到的运行数据奖励安全未出险驾驶员购险折扣。Durkin在另一场分会上表示,自从2008年该项目启动以来,该保险公司已经发放了价值超过5.6亿美元的折扣优惠。

他说:“这不是科学实验,而是已经在真实发生的事。我们在这方面全身心投入,这对我们的客户也很重要。”

为了跟踪参保驾驶员并计算折扣,该集群环境需要收集大量数据进行处理和分析,他们的集群环境与Blue Cross公司的是类似的,都是基于Hortonworks Hadoop分布式框架的。Progressive公司已经收集了24亿数据,集群留存了所有信息。为了分析驾驶模式,识别坏习惯驾驶的司机并警示他们,Durkin认为:“越旧的数据越有价值。所以他们留存了所有数据并对所有历史数据进行分析。”

处理数据需要大量处理资源,Progressive公司部署了许多高级分析工具供公司数据科学家使用,包括SAS、R编程语言和H2O。Pawan Divakarla是该保险公司在美国俄亥俄州Mayfield Village分部的数据和分析业务负责人,他表示许多业务主管们都乐意为此买单。

他说:“我们公司完全是数据驱动的公司,我们希望人们有主观动机和想法,但是他们需要用数据证明他们的想法。”

Hadoop的高价值应用

零售商Macy公司运行了BI和分析应用,也是基于Hortonworks的Hadoop系统,他们为此支持营销、销售计划、产品管理和其它业务运营。每天都有成千上万的商业用户访问数以百计的BI仪表盘,这是他们做决策需要使用的关键功能。

Chakrapany说:“你不会只想看到Hadoop用作廉价存储解决方案的,它的价值原不止于此。”

Hadoop仍然在逐渐走向成熟,目前还有一些功能比较粗糙。他提醒说,使用Hadoop的新用户应该了解到它有一些不稳定性,有些IT管理功能也不太完善。“如果你认为它是绝对可靠的,那么这种想法是不正确的”。他说,尽管如此他还是认为Hadoop可以真正成为企业级的数据分析平台供Macy公司使用。

但是,Chakrapany并不认为从大数据分析和基于Hadoop的BI应用获益是理所当然的事。去年,他组建了团队在内部宣讲大数据环境的优点,希望游说更多业务单元使用它。他的团队还跟踪Hadoop平台产生的业务价值,包括定性和定量两方面。

Chakrapany说:“我们不想只是统计用户数量和查询数量,统计分析了多少数据,那些只是数字。关键部分在于,这些数据给企业带来了哪些帮助。”

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

这篇关于大数据收益 主流Hadoop用户有话说的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642298

相关文章

数据库oracle用户密码过期查询及解决方案

《数据库oracle用户密码过期查询及解决方案》:本文主要介绍如何处理ORACLE数据库用户密码过期和修改密码期限的问题,包括创建用户、赋予权限、修改密码、解锁用户和设置密码期限,文中通过代码介绍... 目录前言一、创建用户、赋予权限、修改密码、解锁用户和设置期限二、查询用户密码期限和过期后的修改1.查询用

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅:为什么Python是Excel数据处理的最佳拍档

在Pandas中进行数据重命名的方法示例

《在Pandas中进行数据重命名的方法示例》Pandas作为Python中最流行的数据处理库,提供了强大的数据操作功能,其中数据重命名是常见且基础的操作之一,本文将通过简洁明了的讲解和丰富的代码示例,... 目录一、引言二、Pandas rename方法简介三、列名重命名3.1 使用字典进行列名重命名3.编