花椒服务端 gRPC 开发实践

2023-11-01 05:10
文章标签 实践 开发 服务端 grpc 花椒

本文主要是介绍花椒服务端 gRPC 开发实践，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景

在移动端平台开发中，为了增加代码复用，降低开发成本，通常会需要采用跨平台的开发技术，花椒也不例外。本次新的单品开发，由于时间紧，人员有限，经过调研选型，最终确定了 Flutter 方案（具体选型过程不在本文讨论之内）。

为了让客户端更专注业务实现，降低接口联调测试成本，我们选用了 gRPC 方案。gRPC 是一个高性能、通用的开源 RPC 框架，由 Google 开发并基于 HTTP/2 协议标准而设计，基于 ProtoBuf（Protocol Buffers）序列化协议开发，且支持当前主流开发语言。gRPC 通过定义一个服务并指定一个可以远程调用的带有参数和返回类型的的方法，使客户端可以直接调用不同机器上的服务应用的方法，就像是本地对象一样。在服务端，服务实现这个接口并且运行 gRPC 服务处理客户端调用。在客户端，有一个 stub 提供和服务端相同的方法。

gRPC

特点：

  • 基于标准化的 IDL（ProtoBuf）来生成服务器端和客户端代码，支持多种主流开发语言。同时可以更好的支持团队与团队之间的接口设计，开发，测试，协作等。

  • 基于 HTTP/2 设计，支持双向流，多路复用，头部压缩。

  • 支持流式发送和响应，批量传输数据，提升性能。

  • ProtoBuf 序列化数据抓包、调试难度较大。我们使用服务端注入方式提供了用户或设备过滤，请求及返回值日志捕获，并开发对应后台模拟抓包展示。

  • 相比 JSON， 对前端不够友好。gRPC 生态提供了 Gateway 的方式为 gRPC 服务代理出 RESTful 接口。

  • ProtoBuf 提供了非常强的扩展性，可以为 protoc 开发定制插件，从而扩展 proto 文件的功能及描述性。

gRPC-Web

gRPC-Web 为前端浏览器提供了 JavaScript 库用来访问 gRPC 服务，但是需要通过 Envoy 提供代理服务。相比 JSON 的方式对前端有够友好，同时也增加了服务端的部署成本。因此在这次项目中前端未使用 gRPC 服务，而是由 gRPC-Gateway 提供代理的 RESTful 接口。

gRPC-Gateway

grpc-gateway 是 protoc 的一个插件，它能读取 gRPC 的服务定义并生成反向代理服务器，将 RESTful 的 JSON 请求转换为 gRPC 的方式。这样无需太多工作即可实现一套基于 gRPC 服务的 RESTful 接口，方便前端使用调用接口，同时也方便开发过程中通过 Postman/Paw 之类的工具调试接口。

gateway -> gRPC 映射方式：

  • HTTP 源 IP 添加到 gRPC 的 X-Forwarded-For 请求头

  • HTTP 请求 Host 添加到 gRPC 的 X-Forwarded-Host 请求头

  • HTTP 请求头 Authorization 添加到 gRPC 的 authorization 请求头

  • HTTP 请求头带 Grpc-Metadata- 前缀的映射到 gRPC 的 metadata（key 名不带前缀）

例如，gRPC 接口要求的通用的 metadata 参数（如 platform，device_id 等）在 HTTP RESTful 的传递方式如下：

GET /index HTTP/1.1
grpc-metadata-platform: ios
grpc-metadata-device_id: xxxxxxxxx
grpc-metadata-timestamp: 1562641496
grpc-metadata-locale: en_US
grpc-metadata-version: 1.0.0
grpc-metadata-user_id: 
grpc-metadata-user_token: 
Host: gateway.hostame.com

基础库

dart

为了便于客户端调用，连接复用及通用参数传递，我们封装了 dart 的基础库。

BaseClient 维护了针对 HOST 缓存的连接池，同时也提供了接口需要传递的 metadata 信息。

var base = BaseClient(host: 'rpc.hostame.com', port: 443, secure: true);
final md = await base.metadata;
final stub = AuthClient(base.channel, options: CallOptions(metadata: md));

Golang

Golang 后端服务需要同时支持 gRPC 和 Gateway 两种请求方式。为了简化部署和上线依赖，Gateway 和 gRPC 的功能放在了一起，并通过拦截器注入对应的功能，主要包括 gRPC 统计，访问日志，接口鉴权，请求参数校验，gateway JSON 编码等。

svrMux := &ServerMux{...ServeMux: http.NewServeMux(),}svrMux.svr = grpc.NewServer(grpc.UnaryInterceptor(middleware.ChainUnaryServer(recovery.UnaryServerInterceptor(recovery.WithRecoveryHandler(svrMux.recoveryHandler)),prometheus.UnaryServerInterceptor, // prometheus 统计svrMux.UnaryResponseInterceptor(),proto.UnaryServerInterceptor(), // metadata 解析log.UnaryServerInterceptor(conf.GlobalCallback()), // 访问日志auth.UnaryServerInterceptor(conf.GlobalCallback()), // 接口鉴权validator.UnaryServerInterceptor(), // 请求参数校验)),grpc.StreamInterceptor(middleware.ChainStreamServer(...)))svrMux.mux = runtime.NewServeMux(runtime.WithMarshalerOption(runtime.MIMEWildcard, json.Proto), // json 设置runtime.WithProtoErrorHandler(svrMux.protoErrorHandler), // 错误处理runtime.WithStreamErrorHandler(svrMux.streamErrorHandler),)// gRPC gateway muxsvrMux.ServeMux.Handle("/", svrMux.mux)

引用到的 package：

github.com/golang/protobuf
github.com/grpc-ecosystem/go-grpc-middleware
github.com/grpc-ecosystem/go-grpc-prometheus
github.com/grpc-ecosystem/grpc-gateway
github.com/lnnujxxy/protoc-gen-validate
github.com/youlu-cn/grpc-gen
go.uber.org/zap
google.golang.org/grpc

开发流程：

为了提高开发效率，方便维护及模块复用，服务端按功能进行组件化开发。每个组件可以单独运行一个服务，也可以和其它组件共同组成一个服务。每个组件都需要实现 Component 接口：

type Component interface {// 组件名称Name() string// 初始化存储InitStorage() error// 初始化注册 gRPCInitGRPC(svc Service) error// 初始化注册 gatewayInitGateway(svc Service) error// cron 回调StorageCron()
}

对应组件开发完成后，需要开发对应的服务容器，步骤如下。

初始化 base package：

base.Init(context.TODO(), cfg, &global.Callback{Authenticator: &auth.Callback{},LogCapture:    &log.Capture{},
})

如需对外提供服务，需要提供端口及 TLS 证书：

base.DefaultServer.AddPublicServer(rpcPort, gatewayPort, setting.TLSConfig)

组件注册：

base.DefaultServer.RegisterComponent(&user.Component{})
base.DefaultServer.RegisterComponent(&push.Component{})
...

监听服务：

base.DefaultServer.Serve()

接口定义及实现

proto 规范

gRPC 基于标准化的 IDL（ProtoBuf）来生成服务器端和客户端代码，我们决定将所有的接口描述及文档说明都放到 proto 文件中，便于查看及修改。对 proto 的接口描述及注释的规范如下：

// 消息类型注释，支持多行，
// 支持 markdown 语法：
//
// > blockquote
//
// | Syntax | Description |
// | ----------- | ----------- |
// | Header | Title |
// | Paragraph | Text |
message ExampleMessage {uint64 id = 1; // 字段注释，简洁
}// 服务说明，支持 markdown 语法
//
// 1. First item
// 2. Second item
// 3. Third item
//
// ```json
// {
//   "firstName": "John",
//   "lastName": "Smith",
//   "age": 25
// }
// ```
service Example {option (auth.visible) = {scope: PUBLIC_SCOPE // Service scope：仅内网可见或对外可见};// 方法说明，支持 markdown//// - [x] Write the press release// - [ ] Update the website// - [ ] Contact the mediarpc test (ExampleMessage) returns (ExampleMessage) {option (auth.access) = {level: LOW_ACCESS_LEVEL // 接口请求权限};option (google.api.http) = {post: "/example/test"body: "*"};}
}

代码生成

Golang

gengo:@protoc -Iproto \-I${GOPATH}/src/github.com/grpc-ecosystem/grpc-gateway/third_party/googleapis \-I${GOPATH}/src/github.com/lnnujxxy/protoc-gen-validate \-I${GOPATH}/src/github.com/youlu-cn/grpc-gen/protoc-gen-auth \--go_out=plugins=grpc:go/pb \--grpc-gateway_out=logtostderr=true:go/pb \--validate_out="lang=go:go/pb" \--auth_out="lang=go:go/pb" \proto/*.proto

SDK 引入：Golang 使用 go mod 的方式直接引入 pb 生成的 .go 文件。

dart

ifeq ($(shell uname), Darwin)
PROTO_ROOT_DIR = $(shell brew --prefix)/Cellar/protobuf/*
else
PROTO_ROOT_DIR = /usr/local
endifgendart:@protoc --dart_out=dart/front_user/lib/src/generated $(PROTO_ROOT_DIR)/include/google/protobuf/*.proto@protoc -Iproto \-I${GOPATH}/src/github.com/grpc-ecosystem/grpc-gateway/third_party/googleapis \-I${GOPATH}/src/github.com/lnnujxxy/protoc-gen-validate \-I${GOPATH}/src/github.com/youlu-cn/grpc-gen/protoc-gen-auth \--dart_out=grpc:dart/user/lib proto/*.proto

SDK 引入：

修改 pubspec.yaml，执行 flutter packages get 或 flutter packages upgrade。

dependencies:flutter:sdk: flutterprotobuf: ^0.13.4grpc: ^1.0.1user:git:url: git@github.com:project/repo.gitpath: dart/user

已知问题：dart 在对 protobuf 生成的类型做 json 编码时，json 中的 key 是字段号而非名字，导致无法与其它语言交互。

K8s已经成为一线大厂分布式平台的标配技术。你是不是还在惆怅怎么掌握它？来这里，大型互联网公司一线工程师亲授，不来虚的，直接上手实战，3天时间带你搭建K8s平台，快速学会K8s，点击下方图片可了解培训详情。

文档生成

gRPC Gateway 提供了通过 proto 文件生成 swagger API 文档，缺点是只支持 Gateway 的 RESTful 接口，并且默认的展示方式有点不符合我们的常规文档使用方式。

我们基于 protoc 插件开发了 protoc-gen-markdown 工具，可以由 proto 文件生成 markdown 文档，提供 gRPC 接口描述，以及 RESTful 接口描述及 JSON 示例，提供全文目录，支持锚点导航等。生成方式如下：

gendoc:@protoc -Iproto \-I${GOPATH}/src/github.com/grpc-ecosystem/grpc-gateway/third_party/googleapis \-I${GOPATH}/src/github.com/lnnujxxy/protoc-gen-validate \-I${GOPATH}/src/github.com/youlu-cn/grpc-gen/protoc-gen-auth \--markdown_out=":doc" \proto/*.proto

文档会在对应路径生成接口列表 README.md，以及每个 protobuf 对应的接口文档。

调试

传统的 RESTful 接口在调试及问题排查时，可以通过抓包或者 MitM（中间人攻击）的方式，配置也比较容易。而 gRPC 因为使用了 HTTP2 及 protobuf 二进制流，抓包及数据流反解难度相对较高，调试及问题排查时会比较复杂。为了解决这个问题，我们通过服务端注入的方式，配合查询后台过滤对应的请求日志，从而实现如下类似抓包的效果。

后续计划

  • gRPC Streaming

  • 框架层集成全链路 Trace 支持

  • 迭代优化框架，提供对应脚手架，简化新组件/服务创建及开发流程

文章来源：花椒技术，点击查看原文。

Kubernetes入门与进阶实战培训

Kubernetes入门与进阶实战培训将于2020年9月18日在北京开课，3天时间带你系统掌握Kubernetes，学习效果不好可以继续学习。本次培训包括：Docker基础、容器技术、Docker镜像、数据共享与持久化、Docker实践、Kubernetes基础、Pod基础与进阶、常用对象操作、服务发现、Helm、Kubernetes核心组件原理分析、Kubernetes服务质量保证、调度详解与应用场景、网络、基于Kubernetes的CI/CD、基于Kubernetes的配置管理等。点击下方图片或者阅读原文链接查看详情。

这篇关于花椒服务端 gRPC 开发实践的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/320713。

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
这15个Vue指令，让你的项目开发爽到爆

这15个Vue指令，让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件，按住 Control 和回车键再显示它吗？小菜一碟： <template
阅读更多...
Hadoop企业开发案例调优场景

Hadoop企业开发案例调优场景

需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4    3    3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息，即可快速实现设备配网，是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递，利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力，实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后，即可发送相关配网数据。同时还支持与常规Sof
阅读更多...
活用c4d官方开发文档查询代码

活用c4d官方开发文档查询代码

当你问AI助手比如豆包，如何用python禁止掉xpresso标签时候，它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
Linux_kernel驱动开发11

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前，需要制作不同类型格式的根文件系统         在产品研发阶段，我们还是需要使用nfs的方式挂载根文件系统         优点：可以直接在上位机中修改文件系统内容，延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...
Vue3项目开发——新闻发布管理系统（六）

Vue3项目开发——新闻发布管理系统（六）

文章目录 八、首页设计开发1、页面设计2、登录访问拦截实现3、用户基本信息显示①封装用户基本信息获取接口②用户基本信息存储③用户基本信息调用④用户基本信息动态渲染 4、退出功能实现①注册点击事件②添加退出功能③数据清理 5、代码下载 八、首页设计开发 登录成功后，系统就进入了首页。接下来，也就进行首页的开发了。 1、页面设计 系统页面主要分为三部分，左侧为系统的菜单栏，右侧
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2