HashData携手XSKY 助力企业构建数据智能底座

2023-11-06 12:20

本文主要是介绍HashData携手XSKY 助力企业构建数据智能底座,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近日,酷克数据联合XSKY星辰天合共同推出了云原生数据平台解决方案(以下简称“解决方案”)。基于双方核心产品技术特性和优势,该解决方案采用湖仓一体、存算分离架构,融合数据仓库、数据湖、对象存储的优势,能够高效管理海量规模数据,满足企业多样化的大数据应用需求。

经过双方产品的适配、测试和针对性优化,部署于XSKY XEOS 对象存储的HashData云数仓,完美满足OLAP场景中的数据访问性能与稳定性要求,并且在可靠性、持久性、灵活性具有比HDFS开源存储系统更优异的性能表现,实现了计算节点与存储节点分别部署,各自独立扩缩容以及平滑升级演进等能力,充分体现出存算分离架构的强大性能及高扩展性。

为方便广大用户了解该联合解决方案优势,双方技术专家通过线上研讨会的形式对方案特性进行了详细讲解。

架构升级 让数据分析更高效更智能

​随着内外部异源数据的指数级增加,如何建设能力全面、稳定可靠、成本合适的大数据平台,始终是企业数字化和智能化发展过程中的关注点。

传统大数据平台普遍采用存算紧耦合的架构,存在数据孤岛、数据冗余、建设成本高、后期运维繁琐等诸多不足,难以满足当前数字化转型需求。

图1:HashData云数仓架构图

为了帮助企业应对数据爆炸式增长带来的挑战,更高效、灵活地管理和利用各类数据,酷克数据和XSKY星辰天合推出了基于云原生架构的数据平台解决方案。依托HashData云数仓领先的技术优势和XSKY对象存储产品特性,解决方案面向用户提供了云原生的消费方式,利用“一份数据”的做法,消除了不必要的数据冗余,构建了统一的数据空间,可以显著地降低企业数据分析的成本,同时极大地增加了数据分享的便利性。

  • 归集全域数据所有用户数据集中存储,逻辑上只保存一份数据,数据的高可用由存储层进行保障,消除业务层面的数据冗余,确保数据的一致性,真正意义上消除了数据孤岛。
  • 降低数据治理复杂度:数据平台融合,大幅降低次生数据质量问题;同时便于元数据、主数据和数据标准的管理;可以集中化进行数据安全管理,减少安全漏洞产生的环节。
  • 强大的数据存储能力:对象存储具备高效的小文件处理能力,更适合结构化、非结构化数据处理和存储。解决方案支持单桶千亿,满足超大规模数据平台容量需求。
  • 便捷数据共享:除了共享脱敏数据外,还可以通过无状态的计算集群共享计算资源,或者整合PaaS和SaaS直接共享数据服务,实现数据协同与融合共创。
  • 高可用云基础架构:基于云原生带来跨区域的高可用能力,保障了数据平台的弹性扩展,秒级故障自愈的能力,确保了数据平台的高可用与稳定性能保障,提升业务连续性。
  • 增强数据服务能力:通过云原生的PaaS服务,提供弹性的数据计算和加工资源,便于业务人员快速获取与使用数据,以应对市场的快速变化,支持业务更加敏捷地面向市场。

针对蓬勃发展的人工智能技术,HashData基于in-database AI的理念,设计了两种计算引擎:针对SQL查询分析任务的MPP计算引擎,以及针对机器学习和深度学习任务的ML/DL计算引擎。同时,HashData内置了自研的AI开发工具箱HashML,支持ML、DL、LLM的训练、微调和推理任务。

图2:HashML主要功能概览

HashData还实现了对大规模向量数据的高效存储和检索,使得基于知识增强的LLM智能应用搭建变得更加简单,帮助企业以极低的成本、极高的效率微调定制若干个领域模型,轻松搭建包括智能问答、自然语言转SQL、辅助写作、辅助分析等智能应用。

携手共赢 打造自主可控数据库生态

作为国内最早专注于云原生数仓研发推广的企业,酷克数据从成立之初就致力于打造世界一流云数仓产品,并努力打造自主可控数据库生态。

HashData和XSKY的合作可以追溯到2018年,是国内企业级市场中最早利用对象存储管理海量结构化数据的落地方案之一,双方合作的技术方案已在金融、电信、科研等领域实现大规模商用,并稳定运行多年。

此外,HashData积极与芯片、中间件、应用软件、硬件等生态上下游厂商保持紧密的协同合作,构建完善的数据库生态体系。目前,HashData已经与华为云鲲鹏体系、飞腾芯片、海光芯片、麒麟操作系统(鲲鹏版+飞腾版)、统信操作系统(飞腾、腾云、鲲鹏916、鲲鹏920)等完成兼容性认证。

未来,HashData将继往开来发挥在数据库领域的核心技术优势,更好地满足客户在数智化时代对数据驱动业务发展的需求。

附:直播问答节选

1、HashData 主要应用的行业有哪些?

专家解答:HashData 数据平台是通用型数据底座,目前客户广泛分布在金融、电信、政府、能源、交通、科研、互联网等领域。

2、HashData 大模型托管服务需要什么样的显卡?

专家解答:HashData 支持常见的商业和开源大模型。基础设施的配置有很多影响因素,如业务场景要求、模型规模等。在私有化环境部署十亿级或百亿级参数语言模型的推理和模型微调的起步配置要求并不高。

3、满足各种权限要求同时如何保证数据的绝对安全呢?

专家解答:数据安全是一个很大的话题,对于存储来说,可以从以下几个方面考虑:

■ 底层架构,如:分布式存储底层算法的一致性,缓存算法等;

■ 权限管理,包括:存储管理操作的权限、数据管理的权限;

■ 数据保护相关功能,如:加密、审计、回收站、备份、容灾等多个方面来保证数据的绝对安全。

这篇关于HashData携手XSKY 助力企业构建数据智能底座的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/356575

相关文章

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

使用Python和python-pptx构建Markdown到PowerPoint转换器

《使用Python和python-pptx构建Markdown到PowerPoint转换器》在这篇博客中,我们将深入分析一个使用Python开发的应用程序,该程序可以将Markdown文件转换为Pow... 目录引言应用概述代码结构与分析1. 类定义与初始化2. 事件处理3. Markdown 处理4. 转

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密