Apache ShardingSphere 企业行|走进中商惠民

2023-11-23 05:18

本文主要是介绍Apache ShardingSphere 企业行|走进中商惠民,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为进一步了解各家厂商的应用场景与深层次需求,提升企业研发团队在使用 Apache ShardingSphere 的效率,Apache ShardingSphere 社区开启了【走进企业】系列活动。

近日,Apache ShardingSphere 核心技术团队应邀来到中商惠民公司总部,PMC 潘娟与中商惠民的技术同学在开源生态建设、云原生以及在特定场景下的解决方案等话题展开了深度交流和探讨。

中商惠民立足社区,构建互联网+社区+民生平台,根据不同群体的需求创新推出 B2B、B2C 和 B2F 三大服务体系,通过供应链升级、产品升级、服务升级、金融升级、技术升级、品牌升级这六大升级模式,驱动传统社区超市的经营转型,赋能社区超市(便利店)成为社区综合服务的中心,构建社区消费和服务的新生态。在此基础上,为支持多业态的创新发展,更高效地处理大体量数据所带来的一系列问题,中商惠民的技术团队联系 Apache ShardingSphere 社区,双方进行了一次深入的技术探讨。

Apache ShardingSphere 的云上解决方案--Database Mesh

Apache ShardingSphere 借力 Database Mesh 打造数据访问治理利器,革新数据库上云方式,在数据库流量的云原生管控方面实现有效补充。

1. 云原生数据库访问接入代理工具

随着云原生理念在全球范围内的普及,Kubernetes 已经成为云原生操作系统的事实标准,以 Sidecar 在 Kubernetes 环境治理流量已经成为业内普遍接受的部署模式。然而在云原生层面的数据流量管控却呈现出空白,缺少一款能够管理云上数据流量的工具。

由 Apache ShardingSphere 核心团队所打造的一款高性能数据库访问接入代理,可以实现 SQL 负载均衡、SQL 审计、可观测性等能力,并对用户应用无侵入。用户完全可以将其视作为一款部署于 Kubernetes 上的数据流量网关。

2. 面向整个数据库行业的解决方案--Database Mesh

在云原生数据库管控层面,需要配套相应的数据面板和控制面板。发展到一定阶段后,所有云上数据库流量的管理和控制都可以交由 Database Mesh 体系来进行管理,既可以管理普通的数据库,也可以搭配 ShardingSphere-Proxy。

Database Mesh 提供了完全隔离不同环境的能力,运维工程师只需变更数据面板到分布式数据库的网络配置,可适配开发环境、测试环境以及生产环境。对工程师完全屏蔽了数据库所在的具体网络地址,开发工程师只需面向本地数据库进行开发,无需感知分布式数据库的存在。通过 Database Mesh 提供的云原生服务,未来可通过接收控制面板发送的指令,来执行限流、熔断、基于标签的路由等工作。

Database Mesh 是面向整个数据库行业的解决方案,不强制与 Apache ShardingSphere 绑定使用。但将 Database Mesh 与 Apache ShardingSphere 配合使用,能够通过私有协议有效提升交互的性能,形成更加一体化的 Database Mesh 有机解决方案。

如何判断业务是否需要分片?

数据分片是指按照某个维度,将单一数据库中的数据拆分至多个数据库或表中存储,从而达到提升性能和可用性的目的。

首先要明确为什么要采用分片策略?

  • 数据库存储节点性能受限、数据库查询性能降低

数据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作、增删改查的开销也会越来越大;另外,由于无法进行分布式式部署,而一台服务器的资源(CPU、磁盘、内存、IO 等)是有限的,最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。

  • 业务关联性问题

如果业务都集中在一起,后端的调整势必会影响到前端业务,所以数据量和性能是一方面,对前端业务的影响也应该加入到考虑之中。

数据体量是一个维度,但并不是决定性的因素。是否选择分片策略,应该根据场景具体需要和线上业务运营情况来决定。毕竟分片最显著的效益在于存储性能和查询效率的提升。在大多数面向用户的场景下,企业需要首先考虑性能问题,此时分片的作用就会更加突出。而在某些对性能、效率没有要求的场景下,即便线上跑着 1 亿体量的数据,对于企业管理和业务运转没有产生直接影响,也不需要对其进行分片。

企业为什么应该参与到开源社区中

在开源社区的贡献,是工程师的另一张简历。

对于公司管理而言,要让工程师感觉到他本身的工作是有价值的、有创造性的,而并非只是按照业务需求按部就班完成功能实现。若要发挥工程师的主观能动性以及创造力,开源无疑是最好的方式。

毕竟大家每天接触到的只是身边这群人,所做的工作也只是办公室里的这些事,每天被『局限』在固定的圈子中。而通过开源,对于工程师来说可以将自己的工作连接到世界,让自己能够抛开书本将视野真正投入到技术中来,逐渐培养开放、合作的精神,重新发现自己当下所产生的价值。

只有当团队中参与开源的工程师数量多了起来,才能慢慢在公司内部形成这种开源的文化。如果能够成功培养工程师优雅的代码设计、周全的思考逻辑习惯,进而健壮自身项目代码质量以及完善的架构思考等等,这些对于工程师和公司团队而言都是无价之宝。如果团队里有一名这样坚守十年如一日的工程师,他在团队中无疑将会起到定心丸的作用,对整个团队的效能提升反而是助力作用。而这也正是公司参与到开源所能产生的最大价值。

在内部培养了开源文化和氛围后,如果团队有自研工具等产品,都能够以公司名义放到 GitHub 上。哪怕不做任何的推广、运营,只需要将项目放置在 GitHub 上,当用户有需求时,自然会与你的项目产生互动,甚至主动为项目做出相应的贡献和补充。所以公司参与开源的第一步,是迈出去。如果公司愿意主动去做,愿意让自己的能力开源出去,以公司行为所塑造的号召力和影响力,将能够在开源这条路上走得更快更远。

794ded044066e11182844c63ae577639.png

【联系我们】

如果您在业务中有应用 Apache ShardingSphere,想要快速了解、接入 Apache ShardingSphere 5.0 新生态,希望借此机会在团队内部举办一场关于 Apache ShardingSphere 的技术分享,欢迎在公众号后台中留下您的姓名、公司、职位、电话等信息,或扫描下方二维码添加官方小助手,备注“走进企业”,会有专人与您对接。

在沟通过后如果双方认为产品和场景均非常匹配,Apache ShardingSphere 社区的核心团队将会走进您的企业,与各条研发线的工程师们现场沟通,解答关于 Apache ShardingSphere 的任何疑问。

8fc43e10e107d732350485f5b31e1f63.png

这篇关于Apache ShardingSphere 企业行|走进中商惠民的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/415610

相关文章

SpringBoot使用Apache Tika检测敏感信息

《SpringBoot使用ApacheTika检测敏感信息》ApacheTika是一个功能强大的内容分析工具,它能够从多种文件格式中提取文本、元数据以及其他结构化信息,下面我们来看看如何使用Ap... 目录Tika 主要特性1. 多格式支持2. 自动文件类型检测3. 文本和元数据提取4. 支持 OCR(光学

Apache Tomcat服务器版本号隐藏的几种方法

《ApacheTomcat服务器版本号隐藏的几种方法》本文主要介绍了ApacheTomcat服务器版本号隐藏的几种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需... 目录1. 隐藏HTTP响应头中的Server信息编辑 server.XML 文件2. 修China编程改错误

SpringBoot使用Apache POI库读取Excel文件的操作详解

《SpringBoot使用ApachePOI库读取Excel文件的操作详解》在日常开发中,我们经常需要处理Excel文件中的数据,无论是从数据库导入数据、处理数据报表,还是批量生成数据,都可能会遇到... 目录项目背景依赖导入读取Excel模板的实现代码实现代码解析ExcelDemoInfoDTO 数据传输

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

企业安全之WiFi篇

很多的公司都没有安全团队,只有运维来负责整个公司的安全,从而安全问题也大打折扣。我最近一直在给各个公司做安全检测,就把自己的心得写下来,有什么不足之处还望补充。 0×01  无线安全 很多的公司都有不怎么注重公司的无线电安全,有钱的公司买设备,没钱的公司搞人力。但是人的技术在好,没有设备的辅助,人力在牛逼也没有个卵用。一个好的路由器、交换机、IDS就像你装备了 无尽、狂徒、杀人书一

研究人员在RSA大会上演示利用恶意JPEG图片入侵企业内网

安全研究人员Marcus Murray在正在旧金山举行的RSA大会上公布了一种利用恶意JPEG图片入侵企业网络内部Windows服务器的新方法。  攻击流程及漏洞分析 最近,安全专家兼渗透测试员Marcus Murray发现了一种利用恶意JPEG图片来攻击Windows服务器的新方法,利用该方法还可以在目标网络中进行特权提升。几天前,在旧金山举行的RSA大会上,该Marcus现场展示了攻击流程,

AIGC6: 走进腾讯数字盛会

图中是一个程序员,去参加一个技术盛会。AI大潮下,五颜六色,各种不确定。 背景 AI对各行各业的冲击越来越大,身处职场的我也能清晰的感受到。 我所在的行业为全球客服外包行业。 业务模式为: 为国际跨境公司提供不同地区不同语言的客服外包解决方案,除了人力,还有软件系统。 软件系统主要是提供了客服跟客人的渠道沟通和工单管理,内部管理跟甲方的合同对接,绩效评估,BI数据透视。 客服跟客人

Apache Tiles 布局管理器

陈科肇 =========== 1.简介 一个免费的开源模板框架现代Java应用程序。  基于该复合图案它是建立以简化的用户界面的开发。 对于复杂的网站,它仍然最简单,最优雅的方式来一起工作的任何MVC技术。 Tiles允许作者定义页面片段可被组装成在运行一个完整的网页。  这些片段,或Tiles,可以用于为了降低公共页面元素的重复,简单地包括或嵌入在其它瓦片,制定了一系列可重复使用

Apache HttpClient使用详解

转载地址:http://eksliang.iteye.com/blog/2191017 Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加了易用性和灵活性(具体区别,日后我们再讨论),它不仅是客户端发送Http请求变得容易,而且也方便了开发人员测试接口(基于Http协议的),即提高了开发的效率,也方便提高代码的健壮性。因此熟

企业大模型落地的“最后一公里”攻略

一、大模型落地的行业现状与前景 大模型在多个行业展现出强大的应用潜力。在金融行业,沉淀了大量高质量数据,各金融平台用户数以亿计,交易数据浩如烟海。利用大模型分析处理这些数据,金融机构可以预测用户行为偏好,更高效、准确评估客户风险,实时监测交易和市场波动,及时制定策略。IDC 调研显示,超半数的金融机构计划在 2023 年投资生成式人工智能技术。 在科技领域,商汤人工智能大装置为大模型企业提