Fabric-solo on k8s

2023-11-05 00:38
文章标签 云原生 k8s fabric solo

本文主要是介绍Fabric-solo on k8s，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Fabric-solo on k8s

本文主要内容：

  1. 为简化实验，将e2e_cli多组织，改为单组织，部署solo共识算法，此时无需kafka/zookeeper集群，另，e2e_cli demo不需要ca等
  2. 将e2e_cli下orderer、peer0.org1、peer1.org1、cli等docker-compose yaml文件转化为k8s文件
  3. 搭建k8s with flannel集群
  4. 修改dns,fabric实例化链码，将启动一个docker容器，该容器在k8s环境外，但仍在flannel网络下，需要修改docker的dns,以便链码容器能够解析道k8s集群中的地址
  5. 启动fabric on k8s,测试e2e_cli

说明：本实验中的yaml文件配置，是按绝对路径设置的，若需，请按本实验环境的fabric路径或者，修改yaml文件/测试脚本中的路径。
本文Fabric文件路径：

/root/go/src/github.com/hyperledger/fabric/examples/e2e_cli

另，本次实验，为纯手动模式，未使用nfs共享配置，未进行数据持久化，未对链码容器进行监控。

将e2e_cli修改为单组织

手动部署，需要对移植的yaml文件进行大量的修改配置，为了减少修改yaml文件中的配置。修改为单组织，只需要删除configx.yaml中org2、org3的部分，删除docker-compose-cli.yaml中有关org2的部分，删掉base/docker-compose-base.yaml有关org2的部分，修改scripts/script.sh,去掉有关org2、org3的加入通道、安装链码、操作、查询链码等部分，修改joinChannel()函数，去掉org2。

此部分较为简单，为了后续在k8s上部署成功，需要此部分单组织的功能验证，以及正确的配置文件。

详细修改内容即测试，见本人的Hyperledger fabric with one org。
另,该部分内容，已经放到github上，可以直接拉取下来使用，scylhy/e2e_cli.one.org。

此外，k8s 不支持用点组成的容器名，所以上述的文件，还需做相应的更改。
k8s的namespace将各pod分割开来，其域名解析就是 podhostname.namespace,这样就可以对Fabric原来的域名方式进行简单修改，即可使用。
同时，我也尝试过将他们放在一个块，即同一个域名下，对于k8s来说，他们都在default namespace,但当时因为k8s集群dns出现问题，没有实验成功。
后来是直接按划分组织的方式进行实验，并取得成功的。
适应k8s，修改组织域名情况：

组织/节点原域名适应k8s，更改后的域名
ordererorderer.exmaple.comorderer.ord
org1org1.example.comorg1
peer0.org1peer0.org1.example.compeer0.org1
peer1.org1peer1.org1.example.compeer1.org1
搭建k8s集群

因为我这只剩一台可用的服务器，所以试验时，采用单节点集群，集群部署后，一定要测试好dns,使节点能够互相解析到。

搭建单节点的k8s集群，见我的Creating a single master cluster with kubeadm。
若需多节点，可参考kubeadm 搭建k8s集群。

配置docker dns

因为链码容器是在k8s之外，所以链码容器无法解析到k8s集群中的域名，但是，可以为docker容器添加k8s的kube-dns服务的ip，让docker容器解析k8s内容域名时，可通过kube-dns解析到。

首先，确定k8s的kube-dns的ip，即域名服务器的ip：

root@hw1:~# kubectl get svc -n kube-system -owide
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE   SELECTOR
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP   11h   k8s-app=kube-dns
root@hw1:~#

得到k8s集群域名服务器地址为10.96.0.10，此外还需要确定搜索的域名，可通过启动一个busybox查看其/etc/resov.conf文件：

root@hw1:~# kubectl exec -it busybox /bin/sh
/ # cat /etc/resolv.conf 
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local openstacklocal
options ndots:5
/ #

这里，我们得到k8s集群搜索的域名：

default.svc.cluster.local svc.cluster.local cluster.local

以及，一个参数ndots:5,该参数的意思是搜索几层域名，k8s中一般搜索5层即可解析到域名。

修改docker配置，在/etc/docker/daemon.json中添加如下参数：

{"dns":["127.0.0.53","10.96.0.10"],"dns-search" : ["default.svc.cluster.local","svc.cluster.local","cluster.local"],"dns-opts": ["ndots:5"]
}

以上三种参数缺一不可，不可打错，其中127.0.0.53为宿主机的使用的域名服务器。

重启docker服务

root@hw1:~# systemctl restart docker

启动一个docker容器，查看dns是否设置正确：

root@hw1:~# docker run -it ubuntu bash
root@9c926041b6bd:/# cat /etc/resolv.conf 
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 127.0.0.53
nameserver 10.96.0.10
options ndots:5
root@9c926041b6bd:/#

稍后，在启动fabric后，再测试外部容器是否能够解析到k8s中fabric的节点。

启动fabric

首先，确保e2e_cli中设计的orderer.example、peer0.org1.example.com、peer1.org1.example.com已经改为orderer.ord、peer0.org1、peer1.org1,其他如ca、kafka、zookeeper此时试验不需要，直接删除即可。

k8s需要的yaml文件

root@hw1:~/go/src/github.com/hyperledger/fabric/examples/e2e_cli/k8s.solo# tree
.
├── cli
│   └── cli.yaml //cli容器
├── order
│   ├── orderer-deployment.yaml 
│   ├── orderer-service.yaml
│   └── ord-name.yaml //ord namespace
├── org1
│   ├── org1-name.yaml //org1 namespace
│   ├── peer0.yaml
│   └── peer1.yaml
├── startall.sh
└── stopall.sh

上述涉及namespace、deployment(pod的一种副本管理器)、service三种资源。
a) namespace可以隔离相关资源，本试验用它来分隔组织，并且可以作为域名的一部分，如hostname.namespace以此解析道隔离外的pod。
b) deployment是一个pod的副本管理器，管理其生命周期等，方便扩容等，注意它是无状态的，部署solo时，尚可，但在部署kfk/zk需要使用stateful set。
c) service，通过label和pod相关联，关联后会创建endpoints,这样通过dns解析service找到对应的pod ip，可以访问到后端的pod,如此，解决了pod ip易变的情况。

这里，访问peer0,orderer,便可以通过配置的域名，peer0.org1,orderer.ord，对于k8s来说就是serviceName.namespace，解析到pod的ip，进而创建fabric需要的连接。

上述文件，可通过scylhy/e2e_cli.one.org获取，使用时需要注意fabric工程的位置。

生成密钥等文件

root@hw1:~/go/src/github.com/hyperledger/fabric/examples/e2e_cli# ./generateArtifacts.sh

启动fabric

./startall.sh
root@hw1:~# kubectl get pods -n ord
NAME                       READY   STATUS    RESTARTS   AGE
orderer-7674786cd7-hlm4q   1/1     Running   0          12h
root@hw1:~# kubectl get pods -n org1
NAME                     READY   STATUS    RESTARTS   AGE
cli-78865578c4-7994x     1/1     Running   12         12h
peer0-69f897ccbf-nl8qm   1/1     Running   0          12h
peer1-7df4868456
测试

测试前，需要确保docker容器可以解析道k8s内service ip；确保测试用的e2e_cli/script/script.sh已经对应修改完成。

测试docker容器，可以解析到k8s的service：

root@hw1:~# docker run -it ubuntu bash
root@9c926041b6bd:/# apt update
root@9c926041b6bd:/# apt install dnsutils -y
root@9c926041b6bd:/# nslookup orderer.ord
Server:		10.96.0.10
Address:	10.96.0.10#53Name:	orderer.ord.svc.cluster.local
Address: 10.244.0.5root@9c926041b6bd:/# nslookup peer0.org1 
Server:		10.96.0.10
Address:	10.96.0.10#53Name:	peer0.org1.svc.cluster.local
Address: 10.101.100.62root@9c926041b6bd:/# nslookup peer1.org1
Server:		10.96.0.10
Address:	10.96.0.10#53Name:	peer1.org1.svc.cluster.local
Address: 10.103.73.88root@9c926041b6bd:/#

测试fabric:

root@hw1:~# kubectl get pods -norg1
NAME                     READY   STATUS    RESTARTS   AGE
cli-78865578c4-7994x     1/1     Running   12         12h
peer0-69f897ccbf-nl8qm   1/1     Running   0          12h
peer1-7df4868456-l8t68   1/1     Running   0          12h
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# 
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# ./scripts/script.shroot@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# ./scripts/script.sh____    _____      _      ____    _____           _____   ____    _____ 
/ ___|  |_   _|    / \    |  _ \  |_   _|         | ____| |___ \  | ____|
\___ \    | |     / _ \   | |_) |   | |    _____  |  _|     __) | |  _|  ___) |   | |    / ___ \  |  _ <    | |   |_____| | |___   / __/  | |___ 
|____/    |_|   /_/   \_\ |_| \_\   |_|           |_____| |_____| |_____|Channel name : mychannel
org1
CORE_PEER_TLS_ROOTCERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/ca.crt
CORE_PEER_TLS_KEY_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/server.key
CORE_PEER_LOCALMSPID=Org1MSP
CORE_VM_ENDPOINT=unix:///host/var/run/docker.sock
CORE_PEER_TLS_CERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/server.crt
CORE_PEER_LOCALMSPTYPE=bccsp
CORE_PEER_ADDRESSAUTODETECT=true
CORE_PEER_TLS_ENABLED=true
CORE_PEER_MSPCONFIGPATH=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/users/Admin@org1/msp
CORE_PEER_ID=cli
CORE_LOGGING_LEVEL=DEBUG
CORE_PEER_ADDRESS=peer0.org1:7051
===================== Querying on peer0.org1 on channel 'mychannel'... ===================== 
Attempting to Query peer0.org1 ...3 secsvalue is 100
===================== Query successful on peer0.org1 on channel 'mychannel' ===================== 
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer#

测试过程中，会实例化一个链码容器，查看链码容器日志，之后链码查询，链码容器会输出查询结果：

root@hw1:~# docker ps
CONTAINER ID        IMAGE                                                                                      COMMAND                  CREATED             STATUS              PORTS               NAMES11bd29a1008f        dev-peer0.org1-mycc-1.0-4fac5ccda796c8f3c437d6950858e40cf37ea6bfa1f179a8ae8aa49ddc58b359   "chaincode -peer.add…"   12 hours ago        Up 12 hours                             dev-peer0.org1-mycc-1.0root@hw1:~# docker logs -f 11bd29a1008f  
ex02 Init
Aval = 100, Bval = 200
ex02 Invoke
Query Response:{"Name":"a","Amount":"100"}
后续工作
  1. 在k8s上部署kfk/zk集群，试验fabric witch kfk/zk consensus on k8s
  2. 数据持久化操作，保存fabric账本数据
  3. 链码容器监控，因其不在k8s上，所以要自己管理其生命周期，监控其状态，以及如何更好的好k8s配置
  4. 简易化操作，自动化部署fabric on k8s
  5. 在k8s上测试fabric各组件的可靠性
文件获取
  1. scylhy/e2e_cli.one.org
  2. scylhy/fabric.k8s
参考资料
  1. Creating a single master cluster with kubeadm
  2. “Failed to setup network for pod \ using network plugins “cni”: no IP addresses available in network: podnet; Skipping pod”
  3. Local DNS or Public DNS, why not both? (/etc/docker/daemon.json)
  4. 在 Kubernetes 上部署 Hyperledger Fabric v1.2 Solo（二）

这篇关于Fabric-solo on k8s的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/346245。

相关文章

90、k8s之secret+configMap

90、k8s之secret+configMap

一、secret配置管理 配置管理： 加密配置：保存密码，token，其他敏感信息的k8s资源 应用配置：我们需要定制化的给应用进行配置，我们需要把定制好的配置文件同步到pod当中容器 1.1、加密配置： secret： [root@master01 ~]# kubectl get secrets ##查看加密配置[root@master01 ~]# kubectl get se
阅读更多...
K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述： 安装步骤： 安装Docker：K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master：在集群中选择一台主机作为Master节点，安装K8S的控制平面组件，如AP
阅读更多...
【Kubernetes】K8s 的安全框架和用户认证

【Kubernetes】K8s 的安全框架和用户认证

K8s 的安全框架和用户认证 1.Kubernetes 的安全框架1.1 认证：Authentication1.2 鉴权：Authorization1.3 准入控制：Admission Control 2.Kubernetes 的用户认证2.1 Kubernetes 的用户认证方式2.2 配置 Kubernetes 集群使用密码认证 Kubernetes 作为一个分布式的虚拟
阅读更多...
828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节，Flexus X实例的促销力度非常大，特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求，一定不要错过这个机会。赶紧去看看吧！ 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体
阅读更多...
云原生之高性能web服务器学习（持续更新中）

云原生之高性能web服务器学习（持续更新中）

高性能web服务器 1 Web服务器的基础介绍1.1 Web服务介绍1.1.1 Apache介绍1.1.2 Nginx-高性能的 Web 服务端 2 Nginx架构与安装2.1 Nginx概述2.1.1 Nginx 功能介绍2.1.2 基础特性2.1.3 Web 服务相关的功能 2.2 Nginx 架构和进程2.2.1 架构2.2.2 Ngnix进程结构 2.3 Nginx 模块介绍2.4
阅读更多...
用Cri-O，Sealos CLI，Kubeadm方式部署K8s高可用集群

用Cri-O，Sealos CLI，Kubeadm方式部署K8s高可用集群

3.6 Cri-O方式部署K8s集群 注意：基于Kubernetes基础环境 3.6.1 所有节点安装配置cri-o [root@k8s-all ~]# VERSION=1.28[root@k8s-all ~]# curl -L -o /etc/yum.repos.d/devel:kubic:libcontainers:stable.repo https://download.opensu
阅读更多...
培训第九周（部署k8s基础环境）

培训第九周（部署k8s基础环境）

一、前期系统环境准备 1、关闭防火墙与selinux  [root@k8s-master ~]# systemctl stop firewalld[root@k8s-master ~]# systemctl disable firewalldRemoved symlink /etc/systemd/system/multi-user.target.wants/firewalld.servi
阅读更多...
k8s 存储(PV、PVC、SC、本地存储、NFS)

k8s 存储(PV、PVC、SC、本地存储、NFS)

存储持久化相关三个概念: PersistentVolume (PV) 是对具体存储资源的描述，比如NFS、Ceph、GlusterFS等，通过PV可以访问到具体的存储资源;PersistentVolumeClaim (PVC) Pod想要使用具体的存储资源需要对接到PVC，PVC里会定义好Pod希望使用存储的属性，通过PVC再去申请合适的存储资源(PV)，匹配到合适的资源后PVC和PV会进行绑定
阅读更多...
k8s调度（pod亲和、反亲和、污点、容忍度）

k8s调度（pod亲和、反亲和、污点、容忍度）

pod亲和性 针对对象为Pod，目的是实现，新建Pod和目标Pod调度到一起，在同一个Node上。 示例： apiVersion: v1kind: Podmetadata:name: testpod01labels:app: myapp01env: test1spec:containers:- name: testpod01image: nginx:1.23.2---apiVersio
阅读更多...
k8s API资源对象

k8s API资源对象

API资源对象Deployment 最小的资源是pod，deployment是多个pod的集合（多个副本实现高可用、负载均衡等）。 使用yaml文件来配置、部署资源对象。 Deployment YAML示例： vi  ng-deploy.yaml apiVersion: apps/v1kind: Deploymentmetadata:labels:app: myngname: ng-de
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2