Golang——gRPC gateway网关

2024-06-15 20:04
文章标签 golang 网关 grpc gateway

本文主要是介绍Golang——gRPC gateway网关，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

        etcd3 API全面升级为gRPC后，同时要提供REST API服务，维护两个版本的服务显然不大合理，所以gRPC-gateway诞生了。通过protobuf的自定义option实现了一个网关。服务端同时开启gRPC和HTTP服务，HTTP服务接收客户端请求后转换为grpc请求数据，获取响应后转为json数据放回给客户端。

 安装gRPC-gateway：go get -u github.com/grpc-ecosystem/grpc-gateway/protoc-gen-grpc-gateway

目录结构

        这里用到了google官方Api中的两个proto描述文件，直接拷贝不需要做修改，里面定义了protocol buffer扩展的HTTP option，为grpc的http转换提供了支持。

 Proto文件

annotations.proto:

// ./proto/google/api/annotations.proto
syntax = "proto3";package google.api;option go_package = "google_api";import "http.proto";
import "descriptor.proto";option java_multiple_files = true;
option java_outer_classname = "AnnotationsProto";
option java_package = "com.google.api";extend google.protobuf.MethodOptions {HttpRule http = 72295728;}

http.proto:

// ./proto/google/api/http.proto
syntax = "proto3";package google.api;option go_package = "google_api";option cc_enable_arenas = true;
option java_multiple_files = true;
option java_outer_classname = "HttpProto";
option java_package = "com.google.api";message Http {repeated HttpRule rules = 1;
}message HttpRule {string selector = 1;oneof pattern {string get = 2;string put = 3;string post = 4;string delete = 5;string patch = 6;CustomHttpPattern custom = 8;}string body = 7;repeated HttpRule additional_bindings = 11;
}message CustomHttpPattern {string kind = 1;string path = 2;
}

编写自定义的hello_http.proto:

        这里在SayHello方法定义中增加了http option，POST方法，路由为"/example/echo"。

syntax="proto3";
package hello_http;import "annotations.proto";service HelloHTTP {rpc SayHello(HelloHTTPRequest) returns (HelloHTTPResponse){//http optionoption(google.api.http) = {post:"/example/echo"body:"*"};}}message HelloHTTPRequest{string name = 1;
}message HelloHTTPResponse{string message = 1;
}

 在生成go对应的proto文件时，报了错，仅供参考：

         这个是因为找不到import的proto文件。可以使用-I或--proto_path。protoc命令中的proto_path参数用于指定proto文件的搜索路径。可以设置多个。

         生成对应的*.pb.go文件：

#编译hello_http.proto文件
#D:\gocode\src\grpc_gateway\proto\google\api地址为import的annotations.proto和http.proto文件位置
#D:\gocode\pkg\mod\google.golang.org\protobuf@v1.34.2\src\google\protobuf为annotations.proto文件import的descriptor.proto文件位置
protoc --go_out=plugins=grpc:. -I=. .\hello_http.proto -I=D:\gocode\src\grpc_gateway\proto\google\api -I=D:\gocode\pkg\mod\google.golang.org\protobuf@v1.34.2\src\google\protobuf#编译annotations.proto文件
#D:\gocode\src\grpc_gateway\proto\google\api地址为import的http.proto文件位置
#D:\gocode\pkg\mod\google.golang.org\protobuf@v1.34.2\src\google\protobuf为annotations.proto文件import的descriptor.proto文件位置
protoc --go_out=. -I=.\ .\annotations.proto  -I=D:\gocode\src\grpc_gateway\proto\google\api  -I=D:\gocode\pkg\mod\google.golang.org\protobuf@v1.34.2\src\google\protobuf#编译http.proto文件
protoc --go_out=. -I=.\ .\http.proto#编译hello_http.proro gateway
protoc --grpc-gateway_out=logtostderr=true:. -I=. .\hello_http.proto -I=D:\gocode\src\grpc_gateway\proto\google\api -I=D:\gocode\pkg\mod\google.golang.org\protobuf@v1.34.2\src\google\protobuf

         注意这里需要编译google/api中的两个proto文件，同时在编译hello_http.proto时使用了grpc-gateway编译生成hello_http.pb.gw.go文件，这个文件时用来协议转换的，查看文件可以看到里面生成的http handler，处理proto文件中定义的路由"example/echo"接收POST参数，调用HelloHTTP服务的客户端请求grpc服务并响应结果。

实现服务器

package mainimport ("context""fmt""log""net""sample-app/grpc_gateway/proto/hello_http""google.golang.org/grpc"
)// gRPC服务地址
var addr = "127.0.0.1:8080"type helloService struct{}var HelloService = helloService{}// 实现约定接口
func (h helloService) SayHello(ctx context.Context, in *hello_http.HelloHTTPRequest) (*hello_http.HelloHTTPResponse, error) {resp := new(hello_http.HelloHTTPResponse)resp.Message = fmt.Sprintf("Hello %s\n", in.Name)return resp, nil
}func main() {//监听连接ls, err := net.Listen("tcp", addr)if err != nil {return}//实例化grpc Servers := grpc.NewServer()//组成HelloService服务hello_http.RegisterHelloHTTPServer(s, HelloService)log.Println("Listen on " + addr)s.Serve(ls)
}

实现客户端

package mainimport ("context""fmt""sample-app/grpc_gateway/proto/hello_http""google.golang.org/grpc"
)var addr = "127.0.0.1:8080"func main() {//连接conn, err := grpc.Dial(addr, grpc.WithInsecure())if err != nil {return}//初始化客户端c := hello_http.NewHelloHTTPClient(conn)//发送请求resp, err := c.SayHello(context.Background(), &hello_http.HelloHTTPRequest{Name: "gRPC"})if err != nil {return}fmt.Println(resp.Message)
}

实现http server

package mainimport ("context""fmt""net/http""sample-app/grpc_gateway/proto/hello_http""github.com/grpc-ecosystem/grpc-gateway/runtime""google.golang.org/grpc"
)func main() {//定义上下文ctx, cancel := context.WithCancel(context.Background())defer cancel()endpoint := "127.0.0.1:8080"mux := runtime.NewServeMux()var opts = []grpc.DialOption{grpc.WithInsecure()}//HTTP转grpcerr := hello_http.RegisterHelloHTTPHandlerFromEndpoint(ctx, mux, endpoint, opts)if err != nil {return}fmt.Println("http listen on 8081")http.ListenAndServe(":8081", mux)
}

         就是这么简单。开启了一个http server，收到请求后根据路由转发请求到对应的RPC接口获得结果。grpc-gateway做的事情就是帮我们自动生成了转换过程的实现。

运行结果

1. 启动服务器：

 2. 启动server http

3. 启动客户端

升级版服务端 

         上面的使用方式已经实现了我们最初的需求，grpc-gateway项目中提供的示例也是这种方式，这样后台需要开启两个服务两个端口。其实我们也可以只开启一个服务，同时提供http和gRPC调用方式。

        新建一个项目hello_http2。目录结构：

        proto文件和上面的一样。

        生成私钥和秘钥：Golang——gRPC认证和拦截器-CSDN博客 

  • 服务端代码 
package mainimport ("context""crypto/tls""fmt""io/ioutil""log""net""net/http""sample-app/grpc_gateway/proto/hello_http""strings""github.com/grpc-ecosystem/grpc-gateway/runtime""golang.org/x/net/http2""google.golang.org/grpc""google.golang.org/grpc/credentials"
)type helloService struct{}var HelloService = helloService{}func (h helloService) SayHello(c context.Context, req *hello_http.HelloHTTPRequest) (*hello_http.HelloHTTPResponse, error) {resp := new(hello_http.HelloHTTPResponse)resp.Message = fmt.Sprintf("Hello %s", req.Name)return resp, nil
}func main() {endpoint := "127.0.0.1:8080"//监听连接conn, err := net.Listen("tcp", endpoint)if err != nil {log.Println("listen fail ", err)return}//grpc服务cred, err := credentials.NewServerTLSFromFile("..\\..\\key\\server.pem", "..\\..\\key\\server_private.key")if err != nil {log.Println("credentials fail ", err)return}s := grpc.NewServer(grpc.Creds(cred))hello_http.RegisterHelloHTTPServer(s, HelloService)//gateway 服务ctx := context.Background()//与grpc服务交互时，需要TLS认证dcred, err := credentials.NewClientTLSFromFile("..\\..\\key\\server.pem", "www.wy.com")if err != nil {log.Println("NewClientTLSFromFile fail ", err)return}dopts := []grpc.DialOption{grpc.WithTransportCredentials(dcred)}gwmux := runtime.NewServeMux()//注册http转grpcif err = hello_http.RegisterHelloHTTPHandlerFromEndpoint(ctx, gwmux, endpoint, dopts); err != nil {log.Println("RegisterHelloHTTPHandlerFromEndpoint fail", err)return}//http服务mux := http.NewServeMux()mux.Handle("/", gwmux)srv := &http.Server{Addr:      endpoint,Handler:   grpcHanderFunc(s, mux),TLSConfig: getTLSConfig(),}if err = srv.Serve(tls.NewListener(conn, srv.TLSConfig)); err != nil {log.Println("srv server fail ", err)}
}func getTLSConfig() *tls.Config {cert, _ := ioutil.ReadFile("..\\..\\key\\server.pem")key, _ := ioutil.ReadFile("..\\..\\key\\server_private.key")var demoKeyPair *tls.Certificatepair, err := tls.X509KeyPair(cert, key)if err != nil {log.Println("X509KeyPair fail ", err)return nil}demoKeyPair = &pairreturn &tls.Config{Certificates: []tls.Certificate{*demoKeyPair},NextProtos:   []string{http2.NextProtoTLS}, //http2 TLS支持}
}// grpcHanderFunc return a http.Handler that delegates to grpcServer on incoming gRPC
// connections or otherHandler otherwise. Copied from cockroachdb
func grpcHanderFunc(grpcServer *grpc.Server, otherHandle *http.ServeMux) http.Handler {if otherHandle == nil {return http.HandlerFunc(func(w http.ResponseWriter, req *http.Request) {grpcServer.ServeHTTP(w, req)})}return http.HandlerFunc(func(w http.ResponseWriter, req *http.Request) {if req.ProtoMajor == 2 && strings.Contains(req.Header.Get("Content-Type"), "application/grpc") {grpcServer.ServeHTTP(w, req)} else {otherHandle.ServeHTTP(w, req)}})
}

        gRPC服务端接口的实现没有区别，重点在于HTTP服务的实现。gRPC是基于http2实现的，net/http包也实现了http2，所以我们可以开启一个HTTP服务同时服务两个版本的协议，在注册http handler的时候，在方法grpcHandlerFunc中检测请求头信息，决定是直接使用调用gRPC服务还是使用gateway的HTTP服务。net/http中对http2的支持要求开启https，所以这里要求使用http服务。

步骤：

  • 注册开启TLS的grpc服务
  • 注册开启TLS的gateway服务，地址指向grpc服务。
  • 开启HTTP server

运行结果：

 

这篇关于Golang——gRPC gateway网关的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1064439。

相关文章

Golang使用minio替代文件系统的实战教程

Golang使用minio替代文件系统的实战教程

《Golang使用minio替代文件系统的实战教程》本文讨论项目开发中直接文件系统的限制或不足,接着介绍Minio对象存储的优势,同时给出Golang的实际示例代码,包括初始化客户端、读取minio对... 目录文件系统 vs Minio文件系统不足：对象存储：miniogolang连接Minio配置Min
阅读更多...
Golang使用etcd构建分布式锁的示例分享

Golang使用etcd构建分布式锁的示例分享

《Golang使用etcd构建分布式锁的示例分享》在本教程中,我们将学习如何使用Go和etcd构建分布式锁系统,分布式锁系统对于管理对分布式系统中共享资源的并发访问至关重要,它有助于维护一致性,防止竞... 目录引言环境准备新建Go项目实现加锁和解锁功能测试分布式锁重构实现失败重试总结引言我们将使用Go作
阅读更多...
计算机网络基础概念 交换机、路由器、网关、TBOX

计算机网络基础概念 交换机、路由器、网关、TBOX

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、VLAN是什么？二 、交换机三、路由器四、网关五、TBOXTelematics BOX，简称车载T-BOX，车联网系统包含四部分，主机、车载T-BOX、手机APP及后台系统。主机主要用于车内的影音娱乐，以及车辆信息显示；车载T-BOX主要用于和后台系统/手机APP通信，实现手机APP的车辆信息显示与控
阅读更多...
Golang进程权限调度包runtime

Golang进程权限调度包runtime

关于 runtime 包几个方法: Gosched：让当前线程让出 cpu 以让其它线程运行,它不会挂起当前线程，因此当前线程未来会继续执行GOMAXPROCS：设置最大的可同时使用的 CPU 核数Goexit：退出当前 goroutine(但是defer语句会照常执行)NumGoroutine：返回正在执行和排队的任务总数GOOS：目标操作系统NumCPU：返回当前系统的 CPU 核数量 p
阅读更多...
Golang 网络爬虫框架gocolly/colly（五）

Golang 网络爬虫框架gocolly/colly（五）

gcocolly+goquery可以非常好地抓取HTML页面中的数据，但碰到页面是由Javascript动态生成时，用goquery就显得捉襟见肘了。解决方法有很多种： 一，最笨拙但有效的方法是字符串处理，go语言string底层对应字节数组，复制任何长度的字符串的开销都很低廉，搜索性能比较高； 二，利用正则表达式，要提取的数据往往有明显的特征，所以正则表达式写起来比较简单，不必非常严谨； 三，使
阅读更多...
Golang网络爬虫框架gocolly/colly（四）

Golang网络爬虫框架gocolly/colly（四）

爬虫靠演技，表演得越像浏览器，抓取数据越容易，这是我多年爬虫经验的感悟。回顾下个人的爬虫经历，共分三个阶段：第一阶段，09年左右开始接触爬虫，那时由于项目需要，要访问各大国际社交网站，Facebook，myspace，filcker，youtube等等，国际上叫得上名字的社交网站都爬过，大部分网站提供restful api，有些功能没有api，就只能用http抓包工具分析协议，自己爬；国内的优酷、
阅读更多...
Golang网络爬虫框架gocolly/colly（三）

Golang网络爬虫框架gocolly/colly（三）

熟悉了《Golang 网络爬虫框架gocolly/colly 一》和《Golang 网络爬虫框架gocolly/colly 二》之后就可以在网络上爬取大部分数据了。本文接下来将爬取中证指数有限公司提供的行业市盈率。（http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio） 定义数据结构体： type Zhj
阅读更多...
Golang支持平滑升级的HTTP服务

Golang支持平滑升级的HTTP服务

前段时间用Golang在做一个HTTP的接口，因编译型语言的特性，修改了代码需要重新编译可执行文件，关闭正在运行的老程序，并启动新程序。对于访问量较大的面向用户的产品，关闭、重启的过程中势必会出现无法访问的情况，从而影响用户体验。 使用Golang的系统包开发HTTP服务，是无法支持平滑升级（优雅重启）的，本文将探讨如何解决该问题。 一、平滑升级（优雅重启）的一般思路 一般情况下，要实现平滑
阅读更多...
Golang服务平滑重启

Golang服务平滑重启

与重载配置相同的是我们也需要通过信号来通知server重启，但关键在于平滑重启，如果只是简单的重启，只需要kill掉，然后再拉起即可。平滑重启意味着server升级的时候可以不用停止业务。 我们先来看下Github上有没有相应的库解决这个问题，然后找到了如下三个库： facebookgo/grace - Graceful restart & zero downtime deploy for G
阅读更多...
Golang test编译使用

Golang test编译使用

创建文件my_test.go package testsimport "testing"func TestMy(t *testing.T) {t.Log("TestMy")} 通常用法： $ go test -v -run TestMy my_test.go=== RUN TestMyTestMy: my_test.go:6: TestMy--- PASS: TestMy (0.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2