花椒直播Kong应用实践

2023-12-08 20:10
文章标签 实践 应用 直播 kong 花椒

本文主要是介绍花椒直播Kong应用实践，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

什么是Kong

Kong 是面向现代架构（混合云，混合组织）的下一代 API 网关平台，具有云原生、高性能，易用、可扩展等特性。

适用于 Api Gateway, Kubernetes Ingress, Service Mesh Sidecar 等场景。

主要特性有:

  • 云原生: 与平台无关，Kong 可以从裸机运行到 Kubernetes

  • 高性能 : 背靠非阻塞通信的 nginx，性能自不用说

  • 插件机制 : 提供众多开箱即用的插件，且有易于扩展的自定义插件接口，用户可以使用 Lua 自行开发插件

  • 熔断：可以通过插件实现熔断，避免系统雪崩

  • 日志: 可以记录通过 Kong 的 HTTP，TCP，UDP 请求和响应。

  • 鉴权: 权限控制，IP 黑白名单，同样是 OpenResty 的特性

  • SSL: Setup a Specific SSL Certificate for an underlying service or API.

  • 监控: Kong 提供了实时监控插件

  • 认证: 如数支持 HMAC, JWT, Basic, OAuth 2.0 等常用协议

  • 限流：可以通过插件实现单个服务某些接口的限流，避免服务过载导致不可用

  • REST API: 通过 Rest API 进行配置管理，从繁琐的配置文件中解放

  • 健康检查：自动检查，被动检查；节点不可用同步到所有的kong节点需要 1 - 2 秒

  • 动态路由：Kong 的背后是 OpenResty+Lua，所以从 OpenResty 继承了动态路由的特性

为什么使用Kong

目前我们需要解决的问题

  1. 统一入口: 服务端微服务框架中，接口权限验证，ip限制，限流等在各个服务中都单独实现。没有统一入口，不方便统一管理。

  2. 易用性，扩展性: 服务端技术栈主要是LNMP开发，目前在逐步转型到基于Spring Boot、Spring Clound 微服务技术栈上开发。这是一个灰度迁移的过程，我们需要Proxy能操作简单，管理方便。

  3. 持续集成发布: 互联网 2C 产品，用户无时不刻不在使用服务，同时产品还在不断的迭代，服务每时每刻都可以发布，所以必须要热部署能力，并且是自动化的。但是基于Spring Boot的服务启动 15 -30 秒，我们需要 Kong 的蓝绿发布功能。

Kong 可以完美的解决以上问题，解决方案如下：

  1. 统一入口: 可以作为微服务统一入口，将限流，权限验证，日志，ip 限制等统一实现

avatar

  1. 易用性，扩展性: 提供了Restful操作方式，并且有dashboard管理工具

    # 创建一个名称 hello 的 upstream
curl -X POST http://localhost:8001/upstreams --data "name=hello"# 为 hello 添加两个负载均衡节点
curl -X POST http://localhost:8001/upstreams/hello/targets --data "target=localhost:8080" --data "weight=100"curl -X POST http://localhost:8001/upstreams/hello/targets --data "target=localhost:8081" --data "weight=100"# 配置一个service
curl -X POST http://localhost:8001/services --data "name=hello" --data "host=hello"# 为service 配置路由
curl -X POST http://localhost:8001/routes --data "paths[]=/hello" --data "service.id={$service.id 配置上面service返回的}"

    dashboard工具截图

    avatar

  2. 持续集成发布: 与 GitLab CI/CD 配合，代码提交代码库后，自动打包，运行测试用例，蓝绿部署。

我们如何使用Kong

1

Kong集群

  1. 所有节点连接到数据中心

  • 使用 Postgresql 主从机制，保证数据库高可用，注意使用9.6以上版本

  • 所有节点将周期性执行任务，同步数据最终一致

    • 配置选项：db_update_frequency (默认: 5 秒)

    • 每 db_update_frequency 秒，所有节点将从数据库中拉取所有更新，如果有同步到更新变化，将清理本地相关缓存。

    • 如果 Postgresql 数据库异常,节点使用原有数据还可以提供服务

  • 节点有本地缓存，可以设置缓存过期时间

    • 配置选项：db_cache_ttl (default: 0s)

    • 当数据中心异常，依赖本地缓存依旧可以提供服务

  • 支持动态扩容,参考上方架构图，Kong集群在Lvs后面

    • 新增节点，同步其他节点配置后，验证正常，加到到Lvs的RS里即可，就提供服务了

    • 删除节点，直接将 Lvs 的 RS 删除即可，他就不提供服务了

    • 修改节点配置，先从 Lvs 后摘除kong RS, 修改完成后重启，验证正常，放回到 Lvs 的 RS 里面

  • 支持 gRPC

    # /etc/kong/kong.conf
proxy_listen = 0.0.0.0:8000, 0.0.0.0:8443 ssl, 0.0.0.0:9080 http2

  • 服务监控

    • 使用prometheus,grafana和Kong天然配合

    注意事项

    1. kong/templates/nginx_kong.lua 模板文件统一

    2. 对于kong日志要做好切割，我们使用 logrotate

    2

    Kong插件

    • kong的插件功能很多其内置了很多包括认证，限流，日志等相关插件，当然也可以自定义插件，加载成功后就可以在这个界面进行添加使用

    avatar

    • 不同的插件有不同的参数，需要进行设定，设定完成后就会启用

      例如：这是内置的 key-auth 插件，作用是进行api认证，设定 key 之后只有认证通过的才能访问

    • 自定义开发和部署，根据业务需要开发插件

    基本流程

    1.下载模板

    base简单版

    simple-plugin
├── handler.lua
└── schema.lua

     advanced高级版

    complete-plugin
├── api.lua
├── daos.lua
├── handler.lua
├── migrations
│   ├── cassandra.lua
│   └── postgres.lua
└── schema.lua

    必要文件就是 handler.lua 和 schema.lua

    2. 修改 handler.lua 文件，有很多函数，自定义逻辑就是在这些函数中写kong会在一些特定阶段调用对应的函数

    local BasePlugin = require "kong.plugins.base_plugin"
-- The actual logic is implemented in those moduleslocal access = require "kong.plugins.my-custom-plugin.access"local body_filter = require "kong.plugins.my-custom-plugin.body_filter"
local CustomHandler = BasePlugin:extend()
function CustomHandler:new()    CustomHandler.super.new(self, "my-custom-plugin")end
function CustomHandler:access(config)    CustomHandler.super.access(self)-- Execute any function from the module loaded in `access`,    -- for example, `execute()` and passing it the plugin's configuration.    access.execute(config)end
function CustomHandler:body_filter(config)    CustomHandler.super.body_filter(self)-- Execute any function from the module loaded in `body_filter`,    -- for example, `execute()` and passing it the plugin's configuration.    body_filter.execute(config)end
return CustomHandler

    3.修改 schema.lua 文件，主要是配置一些参数，以及参数检查

    return {no_consumer = true, -- this plugin will only be applied to Services or Routes,fields = {-- Describe your plugin's configuration's schema here.},self_check = function(schema, plugin_t, dao, is_updating)-- perform any custom verificationreturn trueend
}

     4. 配置部署

    插件文件在

    /data/kong/plugins/simple-plugin/

    则配置kong.conf

    lua_package_path = /data/?.lua;($default);
plugins = bundled,simple-plugin

    然后重新reload kong 如果lua插件没有错误，就可以在后台看到加载出来了

    线上碰到问题

    1. 返回的内容太大，需要加大 buffer（upstream response cache error） 修改配置

      nginx_proxy_proxy_buffer_size=128k
nginx_proxy_proxy_buffers=4 256k
nginx_proxy_proxy_busy_buffers_size=256k

    2. 需要注意配置属性

    • strip_path 属性

    如果设置为 true, paths 设置有值，那么请求将会被替换掉
{ "paths": ["/service"], "strip_path": true, "service": { "id": "..." }}
请求：GET /service/path/to/resource HTTP/1.1Host: …
Proxy: GET /path/to/resource HTTP/1.1{ "paths": ["/version/\d+/service"], "strip_path": true, "service": { "id": "..." }}
请求:GET /version/1/service/path/to/resource HTTP/1.1
Proxy: GET /path/to/resource HTTP/1.1

    • preserve_host属性

    如果设置为 true,代理后仍然保留 header 请求 host
请求：GET / HTTP/1.1Host: service.com
Proxy: GET / HTTP/1.1Host: service.com设置为false，将不保留header host
GET / HTTP/1.1Host: service.com
GET / HTTP/1.1Host: <my-service-host.com>

    总结

    Kong 是行业内较为成熟的网关开源产品，无论是性能，易用，扩展方面都表现不错。

    Kong 就是服务治理的翅膀，可以更优雅，更便捷，更智能的实现服务降级，熔断，流量调度等工作。

    让我们在自建 Kunernetes 私有云，Hulk云，阿里云等复杂的架构中任意翱翔。

    本文转载自花椒技术

    往期精彩回顾

    测试找BUG总结

    全国新型肺炎实时动态

    360技术公众号

    技术干货|一手资讯|精彩活动

    扫码关注我们

这篇关于花椒直播Kong应用实践的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/471181。

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...
hdu1394(线段树点更新的应用)

hdu1394(线段树点更新的应用)

题意：求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质，在0到n-1这些数字组成的乱序排列，将第一个数字A移到最后一位，得到的逆序数为res-a+(n-a-1) 知道上面的知识点后，可以用暴力来解 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in
阅读更多...
zoj3820(树的直径的应用)

zoj3820(树的直径的应用)

题意：在一颗树上找两个点，使得所有点到选择与其更近的一个点的距离的最大值最小。 思路：如果是选择一个点的话，那么点就是直径的中点。现在考虑两个点的情况，先求树的直径，再把直径最中间的边去掉，再求剩下的两个子树中直径的中点。 代码如下： #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
AI行业应用(不定期更新)

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件，然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它，快速获取到想要知道的信息。https://www.chatpdf.com/
阅读更多...
系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

系统架构师考试学习笔记第三篇——架构设计高级知识（20）通信系统架构设计理论与实践

本章知识考点：         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2