HashData携手XSKY 助力企业构建数据智能底座

2023-11-06 12:20

本文主要是介绍HashData携手XSKY 助力企业构建数据智能底座,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近日,酷克数据联合XSKY星辰天合共同推出了云原生数据平台解决方案(以下简称“解决方案”)。基于双方核心产品技术特性和优势,该解决方案采用湖仓一体、存算分离架构,融合数据仓库、数据湖、对象存储的优势,能够高效管理海量规模数据,满足企业多样化的大数据应用需求。

经过双方产品的适配、测试和针对性优化,部署于XSKY XEOS 对象存储的HashData云数仓,完美满足OLAP场景中的数据访问性能与稳定性要求,并且在可靠性、持久性、灵活性具有比HDFS开源存储系统更优异的性能表现,实现了计算节点与存储节点分别部署,各自独立扩缩容以及平滑升级演进等能力,充分体现出存算分离架构的强大性能及高扩展性。

为方便广大用户了解该联合解决方案优势,双方技术专家通过线上研讨会的形式对方案特性进行了详细讲解。

架构升级 让数据分析更高效更智能

​随着内外部异源数据的指数级增加,如何建设能力全面、稳定可靠、成本合适的大数据平台,始终是企业数字化和智能化发展过程中的关注点。

传统大数据平台普遍采用存算紧耦合的架构,存在数据孤岛、数据冗余、建设成本高、后期运维繁琐等诸多不足,难以满足当前数字化转型需求。

图1:HashData云数仓架构图

为了帮助企业应对数据爆炸式增长带来的挑战,更高效、灵活地管理和利用各类数据,酷克数据和XSKY星辰天合推出了基于云原生架构的数据平台解决方案。依托HashData云数仓领先的技术优势和XSKY对象存储产品特性,解决方案面向用户提供了云原生的消费方式,利用“一份数据”的做法,消除了不必要的数据冗余,构建了统一的数据空间,可以显著地降低企业数据分析的成本,同时极大地增加了数据分享的便利性。

  • 归集全域数据所有用户数据集中存储,逻辑上只保存一份数据,数据的高可用由存储层进行保障,消除业务层面的数据冗余,确保数据的一致性,真正意义上消除了数据孤岛。
  • 降低数据治理复杂度:数据平台融合,大幅降低次生数据质量问题;同时便于元数据、主数据和数据标准的管理;可以集中化进行数据安全管理,减少安全漏洞产生的环节。
  • 强大的数据存储能力:对象存储具备高效的小文件处理能力,更适合结构化、非结构化数据处理和存储。解决方案支持单桶千亿,满足超大规模数据平台容量需求。
  • 便捷数据共享:除了共享脱敏数据外,还可以通过无状态的计算集群共享计算资源,或者整合PaaS和SaaS直接共享数据服务,实现数据协同与融合共创。
  • 高可用云基础架构:基于云原生带来跨区域的高可用能力,保障了数据平台的弹性扩展,秒级故障自愈的能力,确保了数据平台的高可用与稳定性能保障,提升业务连续性。
  • 增强数据服务能力:通过云原生的PaaS服务,提供弹性的数据计算和加工资源,便于业务人员快速获取与使用数据,以应对市场的快速变化,支持业务更加敏捷地面向市场。

针对蓬勃发展的人工智能技术,HashData基于in-database AI的理念,设计了两种计算引擎:针对SQL查询分析任务的MPP计算引擎,以及针对机器学习和深度学习任务的ML/DL计算引擎。同时,HashData内置了自研的AI开发工具箱HashML,支持ML、DL、LLM的训练、微调和推理任务。

图2:HashML主要功能概览

HashData还实现了对大规模向量数据的高效存储和检索,使得基于知识增强的LLM智能应用搭建变得更加简单,帮助企业以极低的成本、极高的效率微调定制若干个领域模型,轻松搭建包括智能问答、自然语言转SQL、辅助写作、辅助分析等智能应用。

携手共赢 打造自主可控数据库生态

作为国内最早专注于云原生数仓研发推广的企业,酷克数据从成立之初就致力于打造世界一流云数仓产品,并努力打造自主可控数据库生态。

HashData和XSKY的合作可以追溯到2018年,是国内企业级市场中最早利用对象存储管理海量结构化数据的落地方案之一,双方合作的技术方案已在金融、电信、科研等领域实现大规模商用,并稳定运行多年。

此外,HashData积极与芯片、中间件、应用软件、硬件等生态上下游厂商保持紧密的协同合作,构建完善的数据库生态体系。目前,HashData已经与华为云鲲鹏体系、飞腾芯片、海光芯片、麒麟操作系统(鲲鹏版+飞腾版)、统信操作系统(飞腾、腾云、鲲鹏916、鲲鹏920)等完成兼容性认证。

未来,HashData将继往开来发挥在数据库领域的核心技术优势,更好地满足客户在数智化时代对数据驱动业务发展的需求。

附:直播问答节选

1、HashData 主要应用的行业有哪些?

专家解答:HashData 数据平台是通用型数据底座,目前客户广泛分布在金融、电信、政府、能源、交通、科研、互联网等领域。

2、HashData 大模型托管服务需要什么样的显卡?

专家解答:HashData 支持常见的商业和开源大模型。基础设施的配置有很多影响因素,如业务场景要求、模型规模等。在私有化环境部署十亿级或百亿级参数语言模型的推理和模型微调的起步配置要求并不高。

3、满足各种权限要求同时如何保证数据的绝对安全呢?

专家解答:数据安全是一个很大的话题,对于存储来说,可以从以下几个方面考虑:

■ 底层架构,如:分布式存储底层算法的一致性,缓存算法等;

■ 权限管理,包括:存储管理操作的权限、数据管理的权限;

■ 数据保护相关功能,如:加密、审计、回收站、备份、容灾等多个方面来保证数据的绝对安全。

这篇关于HashData携手XSKY 助力企业构建数据智能底座的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/356575

相关文章

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅:为什么Python是Excel数据处理的最佳拍档

在Pandas中进行数据重命名的方法示例

《在Pandas中进行数据重命名的方法示例》Pandas作为Python中最流行的数据处理库,提供了强大的数据操作功能,其中数据重命名是常见且基础的操作之一,本文将通过简洁明了的讲解和丰富的代码示例,... 目录一、引言二、Pandas rename方法简介三、列名重命名3.1 使用字典进行列名重命名3.编

Python使用Pandas库将Excel数据叠加生成新DataFrame的操作指南

《Python使用Pandas库将Excel数据叠加生成新DataFrame的操作指南》在日常数据处理工作中,我们经常需要将不同Excel文档中的数据整合到一个新的DataFrame中,以便进行进一步... 目录一、准备工作二、读取Excel文件三、数据叠加四、处理重复数据(可选)五、保存新DataFram

使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)

《使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)》在现代软件开发中,处理JSON数据是一项非常常见的任务,无论是从API接口获取数据,还是将数据存储为JSON格式,解析... 目录1. 背景介绍1.1 jsON简介1.2 实际案例2. 准备工作2.1 环境搭建2.1.1 添加

MySQL中删除重复数据SQL的三种写法

《MySQL中删除重复数据SQL的三种写法》:本文主要介绍MySQL中删除重复数据SQL的三种写法,文中通过代码示例讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下... 目录方法一:使用 left join + 子查询删除重复数据(推荐)方法二:创建临时表(需分多步执行,逻辑清晰,但会