云计算时代:当大数据遇到敏捷

2024-01-23 05:58

本文主要是介绍云计算时代:当大数据遇到敏捷,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


http://cloud.csdn.net/a/20111010/305493.html

今年九月在纽约的O’Reilly媒体会议上大数据技术有两大呼声:企业级和敏捷。我们知道企业级的商务智能产品有Oracle Hyperion、SAP BusinessObjects和IBM Cogonos,而敏捷产品有QlikView、Tableau和TIBCO Spotfire。

如果事实证明大数据必须购买企业级的产品,那么就意味着大数据会花大本钱。但这并非绝对,通过使用大数据敏捷技术,各种规模的企业都可以控制成本,从大数据中获益。至关重要的是尽可能降低成本并最大化的了解大数据集,一旦数据被转化为可用便具有对业务的洞察力,然后以各种方式将问题汇总,并发挥企业技术的优势解决问题。

企业级 VS 敏捷BI

首先让我们来看看BI世界里发生了什么。企业级BI设计的意图是为了满足大型企业中许多信息孤岛的要求。典型场景如下:信息孤岛中的数据通过ETL的过程被清洗和规范化,进入到数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。企业级BI是一个复杂的过程,它通过多种应用程序的协同工作,以满足企业中成千上万人的需求。企业级BI的问题是它的配置需要花费很长时间,所有大型的复杂系统都十分难以配置和改动。

敏捷BI可以解决企业BI所面对的诸多问题。敏捷BI可以以高度互动的方式为最终用户排序、筛选和统计数据,而不需要BI专家的指导。企业采用敏捷BI技术,可以更广泛的享受数据所体现的价值。

企业级 VS 敏捷的大数据

现在是大数据技术出场的时候了,EMC Greenplum、Teradata Aster Data等是企业级的代表,而1010data、Pervasive DataRush等则是敏捷的代表。这两类厂商都意识到了企业级和敏捷在BI领域的鸿沟,并努力解决这个问题。企业级大数据供应商知道他们需要敏捷,而敏捷的大数据厂商知道他们需要提供高质量的企业级解决方案。

企业级大数据供应商推出了一些灵活性解决方案。Greenplum推出了一个名为Chorus的产品,以提供一个协作环境,支持数据分析和查找的过程。Aster提供了一系列SQL扩展,允许Hadoop类型的查询使用类似与SQL的语法。在实现敏捷方面,这些产品的扩展是很大的进步,但对Greenplum和Aster企业级技术所带来的高昂价格标签,人们更感兴趣的问题是:能否以敏捷的大数据技术弥补企业级技术的不足,以更少的投资获得更多的回报?

敏捷的大数据解决企业级平台的难题

回头看看我们所提到的三种敏捷的大数据技术,首先的问题是:它们为什么被称作是敏捷的?

答案其实很简单,它们可以让用户获取非凡的数据洞察力,并削减价格。如下:

只需经过些许培训,用户就可以使用Splunk进行数据的查询、筛选和显示

1010data以电子表格的形式为用户提供大数据的处理界面

Pervasive DataRush以图形界面并行、高效地处理数据

一个敏捷的大数据在大批量处理中的案例

David Inbar是Pervasive的市场发展战略办公室的首席执行官,在价格低廉的做了一个实验演示,处理了足够庞大的可称之为大数据的数据。

DataRush的工具包消除了程序员并行编程的复杂度。即便是科技狂人,相对编写一个单线程的程序,并行编程也无异于是火箭科学。DataRush为并行编程提供了一种编程模型,以替代艰难的多核函数编码。比如,你可以编写一个基于组件模型的工作流应用程序,该工具包会自动将其转化为该工作流所允许的并行应用程序。

大数据系统如Hadoop具有横向扩展性。虽然DataRush可以承担此类角色,并能在数千台计算机中安装,但是它的不同之处在于它一般在一台计算机中安装,用以发掘多核系统的潜能。

DataRush最有特色的功能是它并不需要你知道计算机究竟有多少个核,当编写一个DataRush应用程序时,它会自动感知计算机上核心的数目,并最大限度地利用,以进行并行处理。

将敏捷组件集合起来构建企业级系统

敏捷技术在针对大数据创建智能业务系统方面具有极大优势,但仍然有相当长的路要走。敏捷BI能够降低成本,面对大数据的挑战,它将证明它的价值。


这篇关于云计算时代:当大数据遇到敏捷的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/635424

相关文章

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二

Redis事务与数据持久化方式

《Redis事务与数据持久化方式》该文档主要介绍了Redis事务和持久化机制,事务通过将多个命令打包执行,而持久化则通过快照(RDB)和追加式文件(AOF)两种方式将内存数据保存到磁盘,以防止数据丢失... 目录一、Redis 事务1.1 事务本质1.2 数据库事务与redis事务1.2.1 数据库事务1.

Oracle Expdp按条件导出指定表数据的方法实例

《OracleExpdp按条件导出指定表数据的方法实例》:本文主要介绍Oracle的expdp数据泵方式导出特定机构和时间范围的数据,并通过parfile文件进行条件限制和配置,文中通过代码介绍... 目录1.场景描述 2.方案分析3.实验验证 3.1 parfile文件3.2 expdp命令导出4.总结

更改docker默认数据目录的方法步骤

《更改docker默认数据目录的方法步骤》本文主要介绍了更改docker默认数据目录的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1.查看docker是否存在并停止该服务2.挂载镜像并安装rsync便于备份3.取消挂载备份和迁

不删数据还能合并磁盘? 让电脑C盘D盘合并并保留数据的技巧

《不删数据还能合并磁盘?让电脑C盘D盘合并并保留数据的技巧》在Windows操作系统中,合并C盘和D盘是一个相对复杂的任务,尤其是当你不希望删除其中的数据时,幸运的是,有几种方法可以实现这一目标且在... 在电脑生产时,制造商常为C盘分配较小的磁盘空间,以确保软件在运行过程中不会出现磁盘空间不足的问题。但在

mysql主从及遇到的问题解决

《mysql主从及遇到的问题解决》本文详细介绍了如何使用Docker配置MySQL主从复制,首先创建了两个文件夹并分别配置了`my.cnf`文件,通过执行脚本启动容器并配置好主从关系,文中还提到了一些... 目录mysql主从及遇到问题解决遇到的问题说明总结mysql主从及遇到问题解决1.基于mysql

如何用Java结合经纬度位置计算目标点的日出日落时间详解

《如何用Java结合经纬度位置计算目标点的日出日落时间详解》这篇文章主详细讲解了如何基于目标点的经纬度计算日出日落时间,提供了在线API和Java库两种计算方法,并通过实际案例展示了其应用,需要的朋友... 目录前言一、应用示例1、天安门升旗时间2、湖南省日出日落信息二、Java日出日落计算1、在线API2

Java如何接收并解析HL7协议数据

《Java如何接收并解析HL7协议数据》文章主要介绍了HL7协议及其在医疗行业中的应用,详细描述了如何配置环境、接收和解析数据,以及与前端进行交互的实现方法,文章还分享了使用7Edit工具进行调试的经... 目录一、前言二、正文1、环境配置2、数据接收:HL7Monitor3、数据解析:HL7Busines

Mybatis拦截器如何实现数据权限过滤

《Mybatis拦截器如何实现数据权限过滤》本文介绍了MyBatis拦截器的使用,通过实现Interceptor接口对SQL进行处理,实现数据权限过滤功能,通过在本地线程变量中存储数据权限相关信息,并... 目录背景基础知识MyBATis 拦截器介绍代码实战总结背景现在的项目负责人去年年底离职,导致前期规

Redis KEYS查询大批量数据替代方案

《RedisKEYS查询大批量数据替代方案》在使用Redis时,KEYS命令虽然简单直接,但其全表扫描的特性在处理大规模数据时会导致性能问题,甚至可能阻塞Redis服务,本文将介绍SCAN命令、有序... 目录前言KEYS命令问题背景替代方案1.使用 SCAN 命令2. 使用有序集合(Sorted Set)