【多维分析系列】拥抱大数据多维分析查询

2023-10-17 10:59

本文主要是介绍【多维分析系列】拥抱大数据多维分析查询,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


华为开放心态拥抱大数据多维分析查询

2013年11月23日15:03  it168网站原创 作者:申安安 编辑: 申安安  查看全文
0) 评论(0
标签:  大数据

  【IT168 现场报道】2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。

华为开放心态拥抱大数据多维分析查询
▲更多现场报道请点击

  华为电信软件平台中间件大数据平台高级经理谢国强分享了华为大数据领域实施的多维分析的探索。  据了解从09年开始,华为是Hadoop社区的参与者,目前华为是在电信行业唯一在Apache基金银牌赞助商,伴随着Hadoop2.0发布了之后高可用性在社区里讨论的非常热烈。而像基于hadoop的大数据平台的已经作为华为的基础的平台。

  华为大数据的创新,基于Hadoop上的数据挖掘、内存分析、ETL和优化ETL支撑上层解决方案领域上做很多尝试。Hadoop可以看到相关的很多东西,过去Hadoop的分析能力基本广泛把应用在批量的非实时的处理上,一直以来大家都在尝试分析的性能提升,快速的分析到Hadoop上的数据。说到底Hadoop还是一个数据处理系统,回到数据处理的本质上看,有很巨大的性能瓶颈,如何提高CPU计算效率,内存分析计等都成为解决问题的方向。

华为开放心态拥抱大数据多维分析查询

  谢国强介绍了多维分析的数据模型,实时表关联多个维表非常庞大,维表数据相对会比较小一些。新型模型的数据模型把所有的尾表编码到数据代码里去,建了分布式的智能索引,运用了R树索引技术,但是R树个缺点,所以华为将R树索引上做了一个二级索引,采用B树和R树互相补充的方式,主节点上的R树上存储了子节点上的所有的B树索引的范围,R树全部放在内存上,可以快速的通过维度信息范围,快速定位到子节点上的索引上去,这种索引的方式,索引重点是解决IO的问题,能够快速的找到我们所需要的数据。

华为开放心态拥抱大数据多维分析查询

  二层分布式的智能索引和传统的索引做了简单的对比,在可扩展性、适用范围、占用的空间、使用的透明和统一信息上,分布式索引有绝对的优势,由于把所有的维度信息都编码到我们的索引空间里去了,它不像传统的DMS的数据库系统一样,先有一张表,在这表上建索引。所有的索引集数据的方式,找到了索引也找到了这个数据。

华为开放心态拥抱大数据多维分析查询

  此外还要面临存储的IO的问题,如何再进一步把IO降下来,比如说HBase里存储的时候把索引这部分和值的部分做了分离,维度信息相对而言还是比较少的。而分布式的问题,所有的节点都在参与运算,华为则对数据编码进行了智能的算法,尽可能的分布提高了并行度,同时做了Key,大量的减少IO,如果数据是稀疏的话性能提升至少是2到5倍,因为跳过了大量的数据访问。

华为开放心态拥抱大数据多维分析查询

  美国专家做的专利的技术,grasshopper,在空间曲线里到底下一个数据在哪?这是我们要解决的问题,首先说会有三种方式,因为数据是没有排序,海量数据做排序是很难的,三种方式,一种是顺序扫描,一种是随机跳,第三种是尽可能的跳到我要找到的数据附近,并且找到它。这里要引入我们的优化策略,我们不断的在摄取数据的同时,会根据摄取的成本优化我们的跳跃找数据的方法。

  通过Grasshopper算法的性能优化,和“爆扫”数据做了对比,整体上在任何的情况下都会比爆扫要优,我们还有“随机跳”,因为它可比性很有趣,运气很好可能一下就跳到了,但是也有可能永远都跳不到。

华为开放心态拥抱大数据多维分析查询

  通过算法优化的,与传统系统做对比,谢国强认为可能不太公平但是效果是显而易见的,120亿条,5TB的数据通过多维分析索引的技术,做了26维度,大概每秒700万左右记录产生的情况,此外通过分组上的测试,通过不同的维度以及相同的分组的情况,整体上的性能都在10秒以内

  在现场我们不仅看到了华为在大数据方向的努力和尝试,更看到了基于Hadoop解决清单交互式分析的思路,交互式分析利最复杂的查询是,所有的数据都不能建索引,不知道要查的数据在哪里,传统的方式只是爆扫,而我们尝试解决这个问题,目前解决的情况给大家交流一下。


这篇关于【多维分析系列】拥抱大数据多维分析查询的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/224934

相关文章

如何使用C#串口通讯实现数据的发送和接收

《如何使用C#串口通讯实现数据的发送和接收》本文详细介绍了如何使用C#实现基于串口通讯的数据发送和接收,通过SerialPort类,我们可以轻松实现串口通讯,并结合事件机制实现数据的传递和处理,感兴趣... 目录1. 概述2. 关键技术点2.1 SerialPort类2.2 异步接收数据2.3 数据解析2.

mybatis-plus 实现查询表名动态修改的示例代码

《mybatis-plus实现查询表名动态修改的示例代码》通过MyBatis-Plus实现表名的动态替换,根据配置或入参选择不同的表,本文主要介绍了mybatis-plus实现查询表名动态修改的示... 目录实现数据库初始化依赖包配置读取类设置 myBATis-plus 插件测试通过 mybatis-plu

MySQL中实现多表查询的操作方法(配sql+实操图+案例巩固 通俗易懂版)

《MySQL中实现多表查询的操作方法(配sql+实操图+案例巩固通俗易懂版)》本文主要讲解了MySQL中的多表查询,包括子查询、笛卡尔积、自连接、多表查询的实现方法以及多列子查询等,通过实际例子和操... 目录复合查询1. 回顾查询基本操作group by 分组having1. 显示部门号为10的部门名,员

大数据spark3.5安装部署之local模式详解

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su... 目录下载上传解压配置jdk解压配置环境变量启动查看交互操作命令行提交应用spark,一个数据处理框架

通过ibd文件恢复MySql数据的操作方法

《通过ibd文件恢复MySql数据的操作方法》文章介绍通过.ibd文件恢复MySQL数据的过程,包括知道表结构和不知道表结构两种情况,对于知道表结构的情况,可以直接将.ibd文件复制到新的数据库目录并... 目录第一种情况:知道表结构第二种情况:不知道表结构总结今天干了一件大事,安装1Panel导致原来服务

mysql关联查询速度慢的问题及解决

《mysql关联查询速度慢的问题及解决》:本文主要介绍mysql关联查询速度慢的问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql关联查询速度慢1. 记录原因1.1 在一次线上的服务中1.2 最终发现2. 解决方案3. 具体操作总结mysql

Jmeter如何向数据库批量插入数据

《Jmeter如何向数据库批量插入数据》:本文主要介绍Jmeter如何向数据库批量插入数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Jmeter向数据库批量插入数据Jmeter向mysql数据库中插入数据的入门操作接下来做一下各个元件的配置总结Jmete

mysql线上查询之前要性能调优的技巧及示例

《mysql线上查询之前要性能调优的技巧及示例》文章介绍了查询优化的几种方法,包括使用索引、避免不必要的列和行、有效的JOIN策略、子查询和派生表的优化、查询提示和优化器提示等,这些方法可以帮助提高数... 目录避免不必要的列和行使用有效的JOIN策略使用子查询和派生表时要小心使用查询提示和优化器提示其他常

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

《mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据》文章主要介绍了如何从.frm和.ibd文件恢复MySQLInnoDB表结构和数据,需要的朋友可以参... 目录一、恢复表结构二、恢复表数据补充方法一、恢复表结构(从 .frm 文件)方法 1:使用 mysq