Hadoop是大数据应用落地难的罪魁祸首?

2024-04-25 13:18

本文主要是介绍Hadoop是大数据应用落地难的罪魁祸首?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为什么大数据应用落地难?很大一部分原因在于Hadoop,用户对于开源总有兴趣亲自尝试一下。但无论Map Reduce,还是YARN都不是那么简单易用,数据建模就像一座山,横亘在用户的前面,让应用不容易落地。

大数据落地难,业内对此广有共识。“我们在全球有7900家用户,在亚太有1000家以上的用户,在中国有150家用户,这些用户的应用都是落地的。” Splunk 中国区销售总监侯海龙说。

为什么大数据应用落地难?

很大一部分原因在于Hadoop,用户对于开源总有兴趣亲自尝试一下。但无论Map/Reduce,还是YARN都不是那么简单易用,数据建模就像一座山,横亘在用户的前面,让应用不容易落地。对于互联网企业,由于人才上的优势,尚有能力克服困难,但对于行业/企业等商用用户来说,技术上的瓶颈不是那么容易跨越的。

Splunk北亚区经理麦永光指出,很多行业/企业用户对于大数据非常重视,他们会首先成立一个大数据的部门,研究大数据应用。他表示,在这种情况下,应用常常难以落地。Splunk大数据的角度有所不同,不是从大数据入手,而是从用户面临的问题着手,用Splunk大数据的方式解决问题。

“国内对大数据的认识,还是停留在数据大的初级阶段。” 侯海龙说。

根据介绍,大数据应用和数据从哪里来、数据大小、格式等没有太多的关心。大数据的重点应该集中在给需要数据的人,提供重要的可见度,快速找到答案。在过去的30年,人们一直使用关系型数据库,采用SQL进行检索和查找;但随着大数据应用的模式,新的分布式数据库的数据组织模式替代了关系型数据库,搜索引擎技术取代了SQL,从而让数据分析和使用的能力有了非常大的进步。

 

数据分析走出关系型数据库阶段

通过对机器大数据地分析,人们可以迅速定位故障,从而减少MTTR(Mean Time To Restoration, 平均恢复前时间)时间;提高系统的在线时间和能力;整合工具;通过数据分析驱动创新,同时也可以使用数据服务商业用户。通过机器大数据分析,可以增强用户对于业务的实时洞察力,从而让系统管理从被动走向主动应对。

 

大数据应用给我们带来了什么

据了解,Splunk提供了专业的数据存储和处理方式,通过检索手段,用户就可以对数据之间的关联性进行挖掘和探索。用户不需要建模,也不需要关心Map/Reduce,检索让用户直接上手,查找数据,发觉数据背后所蕴藏的价值。

 

 

大数据分析让维护从被动到主动

大数据其实很简单,关键是要找到好的工具,运用工具挖掘数据的价值;价值在于数据,而不是工具本身。侯海龙表示,国内大数据应用急需走出初级应用阶段,需要走出对技术关注,将注意力集中在数据上,让数据产生价值。

 

 

看不懂的机器大数据潜藏价值

强力推荐阅读文章

大数据工程师必须了解的七大概念

云计算和大数据未来五大趋势

如何快速建立自己的大数据知识体系

 

这篇关于Hadoop是大数据应用落地难的罪魁祸首?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/934785

相关文章

SpringShell命令行之交互式Shell应用开发方式

《SpringShell命令行之交互式Shell应用开发方式》本文将深入探讨SpringShell的核心特性、实现方式及应用场景,帮助开发者掌握这一强大工具,具有很好的参考价值,希望对大家有所帮助,如... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定

SpringBoot应用中出现的Full GC问题的场景与解决

《SpringBoot应用中出现的FullGC问题的场景与解决》这篇文章主要为大家详细介绍了SpringBoot应用中出现的FullGC问题的场景与解决方法,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录Full GC的原理与触发条件原理触发条件对Spring Boot应用的影响示例代码优化建议结论F

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1

MySQL 分区与分库分表策略应用小结

《MySQL分区与分库分表策略应用小结》在大数据量、复杂查询和高并发的应用场景下,单一数据库往往难以满足性能和扩展性的要求,本文将详细介绍这两种策略的基本概念、实现方法及优缺点,并通过实际案例展示如... 目录mysql 分区与分库分表策略1. 数据库水平拆分的背景2. MySQL 分区策略2.1 分区概念

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

Spring Shell 命令行实现交互式Shell应用开发

《SpringShell命令行实现交互式Shell应用开发》本文主要介绍了SpringShell命令行实现交互式Shell应用开发,能够帮助开发者快速构建功能丰富的命令行应用程序,具有一定的参考价... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定义S

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用

Mysql如何将数据按照年月分组的统计

《Mysql如何将数据按照年月分组的统计》:本文主要介绍Mysql如何将数据按照年月分组的统计方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql将数据按照年月分组的统计要的效果方案总结Mysql将数据按照年月分组的统计要的效果方案① 使用 DA

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt