HashData携手XSKY 助力企业构建数据智能底座

2023-11-06 12:20

本文主要是介绍HashData携手XSKY 助力企业构建数据智能底座,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近日,酷克数据联合XSKY星辰天合共同推出了云原生数据平台解决方案(以下简称“解决方案”)。基于双方核心产品技术特性和优势,该解决方案采用湖仓一体、存算分离架构,融合数据仓库、数据湖、对象存储的优势,能够高效管理海量规模数据,满足企业多样化的大数据应用需求。

经过双方产品的适配、测试和针对性优化,部署于XSKY XEOS 对象存储的HashData云数仓,完美满足OLAP场景中的数据访问性能与稳定性要求,并且在可靠性、持久性、灵活性具有比HDFS开源存储系统更优异的性能表现,实现了计算节点与存储节点分别部署,各自独立扩缩容以及平滑升级演进等能力,充分体现出存算分离架构的强大性能及高扩展性。

为方便广大用户了解该联合解决方案优势,双方技术专家通过线上研讨会的形式对方案特性进行了详细讲解。

架构升级 让数据分析更高效更智能

​随着内外部异源数据的指数级增加,如何建设能力全面、稳定可靠、成本合适的大数据平台,始终是企业数字化和智能化发展过程中的关注点。

传统大数据平台普遍采用存算紧耦合的架构,存在数据孤岛、数据冗余、建设成本高、后期运维繁琐等诸多不足,难以满足当前数字化转型需求。

图1:HashData云数仓架构图

为了帮助企业应对数据爆炸式增长带来的挑战,更高效、灵活地管理和利用各类数据,酷克数据和XSKY星辰天合推出了基于云原生架构的数据平台解决方案。依托HashData云数仓领先的技术优势和XSKY对象存储产品特性,解决方案面向用户提供了云原生的消费方式,利用“一份数据”的做法,消除了不必要的数据冗余,构建了统一的数据空间,可以显著地降低企业数据分析的成本,同时极大地增加了数据分享的便利性。

  • 归集全域数据所有用户数据集中存储,逻辑上只保存一份数据,数据的高可用由存储层进行保障,消除业务层面的数据冗余,确保数据的一致性,真正意义上消除了数据孤岛。
  • 降低数据治理复杂度:数据平台融合,大幅降低次生数据质量问题;同时便于元数据、主数据和数据标准的管理;可以集中化进行数据安全管理,减少安全漏洞产生的环节。
  • 强大的数据存储能力:对象存储具备高效的小文件处理能力,更适合结构化、非结构化数据处理和存储。解决方案支持单桶千亿,满足超大规模数据平台容量需求。
  • 便捷数据共享:除了共享脱敏数据外,还可以通过无状态的计算集群共享计算资源,或者整合PaaS和SaaS直接共享数据服务,实现数据协同与融合共创。
  • 高可用云基础架构:基于云原生带来跨区域的高可用能力,保障了数据平台的弹性扩展,秒级故障自愈的能力,确保了数据平台的高可用与稳定性能保障,提升业务连续性。
  • 增强数据服务能力:通过云原生的PaaS服务,提供弹性的数据计算和加工资源,便于业务人员快速获取与使用数据,以应对市场的快速变化,支持业务更加敏捷地面向市场。

针对蓬勃发展的人工智能技术,HashData基于in-database AI的理念,设计了两种计算引擎:针对SQL查询分析任务的MPP计算引擎,以及针对机器学习和深度学习任务的ML/DL计算引擎。同时,HashData内置了自研的AI开发工具箱HashML,支持ML、DL、LLM的训练、微调和推理任务。

图2:HashML主要功能概览

HashData还实现了对大规模向量数据的高效存储和检索,使得基于知识增强的LLM智能应用搭建变得更加简单,帮助企业以极低的成本、极高的效率微调定制若干个领域模型,轻松搭建包括智能问答、自然语言转SQL、辅助写作、辅助分析等智能应用。

携手共赢 打造自主可控数据库生态

作为国内最早专注于云原生数仓研发推广的企业,酷克数据从成立之初就致力于打造世界一流云数仓产品,并努力打造自主可控数据库生态。

HashData和XSKY的合作可以追溯到2018年,是国内企业级市场中最早利用对象存储管理海量结构化数据的落地方案之一,双方合作的技术方案已在金融、电信、科研等领域实现大规模商用,并稳定运行多年。

此外,HashData积极与芯片、中间件、应用软件、硬件等生态上下游厂商保持紧密的协同合作,构建完善的数据库生态体系。目前,HashData已经与华为云鲲鹏体系、飞腾芯片、海光芯片、麒麟操作系统(鲲鹏版+飞腾版)、统信操作系统(飞腾、腾云、鲲鹏916、鲲鹏920)等完成兼容性认证。

未来,HashData将继往开来发挥在数据库领域的核心技术优势,更好地满足客户在数智化时代对数据驱动业务发展的需求。

附:直播问答节选

1、HashData 主要应用的行业有哪些?

专家解答:HashData 数据平台是通用型数据底座,目前客户广泛分布在金融、电信、政府、能源、交通、科研、互联网等领域。

2、HashData 大模型托管服务需要什么样的显卡?

专家解答:HashData 支持常见的商业和开源大模型。基础设施的配置有很多影响因素,如业务场景要求、模型规模等。在私有化环境部署十亿级或百亿级参数语言模型的推理和模型微调的起步配置要求并不高。

3、满足各种权限要求同时如何保证数据的绝对安全呢?

专家解答:数据安全是一个很大的话题,对于存储来说,可以从以下几个方面考虑:

■ 底层架构,如:分布式存储底层算法的一致性,缓存算法等;

■ 权限管理,包括:存储管理操作的权限、数据管理的权限;

■ 数据保护相关功能,如:加密、审计、回收站、备份、容灾等多个方面来保证数据的绝对安全。

这篇关于HashData携手XSKY 助力企业构建数据智能底座的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/356575

相关文章

C#实现将XML数据自动化地写入Excel文件

《C#实现将XML数据自动化地写入Excel文件》在现代企业级应用中,数据处理与报表生成是核心环节,本文将深入探讨如何利用C#和一款优秀的库,将XML数据自动化地写入Excel文件,有需要的小伙伴可以... 目录理解XML数据结构与Excel的对应关系引入高效工具:使用Spire.XLS for .NETC

MySQL数据目录迁移的完整过程

《MySQL数据目录迁移的完整过程》文章详细介绍了将MySQL数据目录迁移到新硬盘的整个过程,包括新硬盘挂载、创建新的数据目录、迁移数据(推荐使用两遍rsync方案)、修改MySQL配置文件和重启验证... 目录1,新硬盘挂载(如果有的话)2,创建新的 mysql 数据目录3,迁移 MySQL 数据(推荐两

Python数据验证神器Pydantic库的使用和实践中的避坑指南

《Python数据验证神器Pydantic库的使用和实践中的避坑指南》Pydantic是一个用于数据验证和设置的库,可以显著简化API接口开发,文章通过一个实际案例,展示了Pydantic如何在生产环... 目录1️⃣ 崩溃时刻:当你的API接口又双叒崩了!2️⃣ 神兵天降:3行代码解决验证难题3️⃣ 深度

MySQL快速复制一张表的四种核心方法(包括表结构和数据)

《MySQL快速复制一张表的四种核心方法(包括表结构和数据)》本文详细介绍了四种复制MySQL表(结构+数据)的方法,并对每种方法进行了对比分析,适用于不同场景和数据量的复制需求,特别是针对超大表(1... 目录一、mysql 复制表(结构+数据)的 4 种核心方法(面试结构化回答)方法 1:CREATE

详解C++ 存储二进制数据容器的几种方法

《详解C++存储二进制数据容器的几种方法》本文主要介绍了详解C++存储二进制数据容器,包括std::vector、std::array、std::string、std::bitset和std::ve... 目录1.std::vector<uint8_t>(最常用)特点:适用场景:示例:2.std::arra

MySQL中的DELETE删除数据及注意事项

《MySQL中的DELETE删除数据及注意事项》MySQL的DELETE语句是数据库操作中不可或缺的一部分,通过合理使用索引、批量删除、避免全表删除、使用TRUNCATE、使用ORDERBY和LIMI... 目录1. 基本语法单表删除2. 高级用法使用子查询删除删除多表3. 性能优化策略使用索引批量删除避免

MySQL 数据库进阶之SQL 数据操作与子查询操作大全

《MySQL数据库进阶之SQL数据操作与子查询操作大全》本文详细介绍了SQL中的子查询、数据添加(INSERT)、数据修改(UPDATE)和数据删除(DELETE、TRUNCATE、DROP)操作... 目录一、子查询:嵌套在查询中的查询1.1 子查询的基本语法1.2 子查询的实战示例二、数据添加:INSE

Linux服务器数据盘移除并重新挂载的全过程

《Linux服务器数据盘移除并重新挂载的全过程》:本文主要介绍在Linux服务器上移除并重新挂载数据盘的整个过程,分为三大步:卸载文件系统、分离磁盘和重新挂载,每一步都有详细的步骤和注意事项,确保... 目录引言第一步:卸载文件系统第二步:分离磁盘第三步:重新挂载引言在 linux 服务器上移除并重新挂p

使用MyBatis TypeHandler实现数据加密与解密的具体方案

《使用MyBatisTypeHandler实现数据加密与解密的具体方案》在我们日常的开发工作中,经常会遇到一些敏感数据需要存储,比如用户的手机号、身份证号、银行卡号等,为了保障数据安全,我们通常会对... 目录1. 核心概念:什么是 TypeHandler?2. 实战场景3. 代码实现步骤步骤 1:定义 E

使用C#导出Excel数据并保存多种格式的完整示例

《使用C#导出Excel数据并保存多种格式的完整示例》在现代企业信息化管理中,Excel已经成为最常用的数据存储和分析工具,从员工信息表、销售数据报表到财务分析表,几乎所有部门都离不开Excel,本文... 目录引言1. 安装 Spire.XLS2. 创建工作簿和填充数据3. 保存为不同格式4. 效果展示5