2021网络系统流行架构,mongodb集群原理

2024-03-20 16:59

本文主要是介绍2021网络系统流行架构,mongodb集群原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目前为了融合硬件与软件,一般都采用x86的架构配合高速可编程的NIC和转发芯片(如支持P4)。

以获得性能与管理的双重优势。

但本质还是矛盾,硬件的特殊化就会带来管理的特殊化,具体问题需要具体讨论解决,不展开。

智慧型:内容感知,以业务驱动的负载均衡和网关系统为主。如负载均衡,API网关等,主要靠软件,今天重点说一下2021年软件上的流行架构。

因为两种类型没有明显分界,但内容感知程度是有的,业务驱动的网络系统在互联网行业需求很大。

所以网络基础架构软件化不仅仅是管理统一的问题,还有具体业务的问题很难在通用设备上完美解决。

软件实现虽然性能不行,但其灵活性和对硬件的解耦带来的收益是大于性能收益的,其横向扩展能力也弥补了全局性能。收益主要体现在迭代迅速(需求满足的速度),硬件统一,部署灵活,运维简单。所以暂时将引入硬件解决单点性能问题作为第二考虑的因素。

我们一层一层来说。

eBPF - Passthrough

======================

2021网络系统流行架构

2021年eBPF打底应该没有争议吧,对比以eBPF实现的XDP与DPDK,结合我们刚说过的问题。DPDK还是有Intel,DPDK网卡的硬件约束。而eBPF系统约束更小,Kernel > 4.8即可。虽然性能稍微弱一些,但可以在纯Linux运行,可以灵活在用户态和内核态对接,需求迭代速度也远高于DPDK。所以软件上做傻快型可以选DPDK,但智慧型XDP更适合。

以此为基础的项目有k8s网络组件Cilium,Facebook的业务负载均衡Katran。

Cilium - Network

====================

迭代和硬件说完了,我们看下部署,部署上:盒子,私有系统,各种云。对应也就是Metal,VM,容器等。因为有了eBPF的约束,没有操作系统的纯Metal就不在讨论范围内,那还是傻快的方案。

各种部署下都能运行的网络就是用户态网络。XDP只要是内核满足的Linux,Cilium已经证明了和容器结合,DPDK更费劲。所以还是eBPF更有优势。以此为基础的软件系统,可以安装在任意Linux,VM,Docker上,实现各种环境的架构统一。

未来网络层应该还会有其他XDP的用户协议栈方案,如果不需要路由交换的网络功能,可直接与应用结合,如Katran。

Envoy - Gateway

===================

Cilium解决网络的问题,路由交换,简单策略。但业务感知还需要灵活的网关,关于网关的选择我之前也研究过。

https://donge.org/posts/envoy-vs-traefik/

这里网络如果选择了Cilium(主要是容器场景),那么结合最好的还是Envoy,Evony

【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】浏览器打开:qq.cn.hn/FTf 免费领取

在四层进行业务感知,进行业务层面的路由和网关,有强大的策略配置驱动和插件机制,也是快速迭代的优选。

这里虽然拿了一个K8S中CNI的图,但Cilium也可以仅作为有网络路由功能的用户态协议栈使用,也可以省略。

2021网络系统流行架构

Golang - Plugins

====================

采用通用网关驱动特定业务,插件是绕不过的,平衡性能与迭代速度,Golang比C++,Lua,JavaScript,Rust都稍微占一些优势。因为开发效率和不俗的性能。

当然WASM插件也是强有力的方案,只是今年来看还有点早,得不偿失。而且和Golang也不冲突,Envoy同时也支持WASM和LUA。

但只要不是天天变化的逻辑,Golang中庸的综合实力还是略胜一点。

未来Rust with WASM也很有潜力。

全家福

=======

这篇关于2021网络系统流行架构,mongodb集群原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/830147

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

hdu4407(容斥原理)

题意:给一串数字1,2,......n,两个操作:1、修改第k个数字,2、查询区间[l,r]中与n互质的数之和。 解题思路:咱一看,像线段树,但是如果用线段树做,那么每个区间一定要记录所有的素因子,这样会超内存。然后我就做不来了。后来看了题解,原来是用容斥原理来做的。还记得这道题目吗?求区间[1,r]中与p互质的数的个数,如果不会的话就先去做那题吧。现在这题是求区间[l,r]中与n互质的数的和

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

hdu4407容斥原理

题意: 有一个元素为 1~n 的数列{An},有2种操作(1000次): 1、求某段区间 [a,b] 中与 p 互质的数的和。 2、将数列中某个位置元素的值改变。 import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.IOException;import java.io.Inpu

hdu4059容斥原理

求1-n中与n互质的数的4次方之和 import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.io.PrintWrit