【TDSQL】TCPMSS最大数据分段大小值不合理导致JAVA程序连接数据库异常案例

本文主要是介绍【TDSQL】TCPMSS最大数据分段大小值不合理导致JAVA程序连接数据库异常案例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

欢迎关注“数据库运维之道”公众号,一起学习数据库技术!

TDSQL核心架构原理解析下载链接:百度网盘 请输入提取码 提取码:vat5

DTC2024 数据技术嘉年华(演讲资料下载)DTC2024 数据技术嘉年华(演讲资料下载) - 墨天轮

海明威运动定律告诉我们,事物的变化往往在经历一定渐进发展后带来突变。技术的变革同样如此。今天我们惊艳于诸多数字化生活的时刻,殊不知在过去几年中,云计算、分布式数据库、中间件等国产基础技术已经过多年的自我打磨,逐渐成为新一代底层技术架构,并最终带来各行各业从底层到业务的彻底的数字化转型升级,以及更重要的新型业务形态的出现,成为新基建时代发展的基础驱动力量。本人也有幸参与多款分布式数据库(TDSQL、TiDB、HotDB)的运维工作,希望个人整理的知识点可以帮助大家提升数据库运维工作效率。本期将为大家分享《TCP MSS最大数据分段大小值不合理导致JAVA程序连接TDSQL数据库异常》的处置案例。

关键词:分布式数据库、TDSQL、LVS、proxy、TCPMSS

在TDSQL数据库集群上部署一套新的实例提供给业务系统使用。业务虚拟机通过Navicate客户端可以正常登录数据库并进行SQL查询,但是JAVA应用程序连接数据库会出现通讯连接失败情况。报错信息为:Communications link failure。TDSQL版本10.3.14.6.0,MySQL版本5.7.17。

1、开发人员反馈JAVA程序能够正常启动,但是在登录界面输入账号密码后,出现异常报错。查看JAVA程序后台日志,看到"Error querying database"和"Communication link failure"错误。如下图所示。

2、使用Navicate客户端可以正常登录数据库,并且SQL查询也可以正常返回结果。于是,让开发人员检查应用程序的连接池配置,各项参数设置均正常。

3、应用程序是通过域名来访问数据库,于是直接改为LVS地址来访问还会报错,因此可以排除域名解析。

4、检查PROXY的日志,未发现sql出现在interface日志中。

5、梳理生产环境的部署架构如下图所示,并初步推断问题可能在LVS或Proxy上面。

6、于是,登录LVS服务器进行网络抓包,并提给网络工程师分析。查看对应负载端口抓包信息,查看到大量重传记录。

tcpdump -i any -s 0 -C 100 -W 10 -w tcpq.cap port 负载端口

7、应用程序跳过LVS直接访问proxy地址后,应用程序没有再出现连接异常。此时基本定位为lvs发包失败,proxy未接到sql请求。

8、检查两台LVS路由信息(ipvsadm -ln),查看各个服务器的网卡mtu值,都是设置为1500。

9、MSS是TCP数据包每次能够传输的最大数据分段。为了达到最佳的传输效能TCP协议在建立连接的时候通常要协商双方的MSS值,这个值TCP协议在实现的时候往往用MTU值代替(需要减去IP数据包包头的大小20Bytes和TCP数据段的包头20Bytes),通讯双方会根据双方提供的MSS值的最小值确定为这次连接的最大MSS值。而一般以太网MTU都为1500,所以在以太网中,往往TCP MSS为1460。

10、由于lvs给包增加了20字节的ip头,MTU值大于1500,导致发包失败。

数据包流转过程:
client(mtu1500)->lvs的vip(mtu 1480)->lvs给包增加了20字节的ip头,通过lvs的真实ip(mtu1500)->proxy的真实ip(mtu1500)接收,通过proxy的vip(mtu1480)->client
1、第一步建立链接,client与lvs的vip之间的mss协商应为1440,clint的mss=1500-20-20=1460,lvs的vip的mss=1480-20-20=1440,两者协商后取最小值。
2、第二步建立链接,lvs真实ip与proxy的真实ip之间协商的mss应为1460,但是因为lvs给包增加了20字节的ip头,mtu=mss+20+20+20=1520大于proxy的真实ip的mtu1500,导致发包失败。

1、为了避免发包失败,在proxy服务器上手动设置mss的值为1440,并持久化到开机自启动中。

#iptables -A OUTPUT  -p tcp --tcp-flags ALL SYN,ACK -j TCPMSS--set-mss 1440# iptables -L|grep TCP
TCPMSS     tcp  --  anywhere             anywhere             tcp flags:FIN,SYN,RST,PSH,ACK,URG/SYN,ACK TCPMSS set 1440# echo "iptables -A OUTPUT  -p tcp --tcp-flags ALL SYN,ACK -j TCPMSS--set-mss 1440">>/etc/rc.local

2、在lvs机器上关闭小包合并,并持久化到开机自启动中。

# ethtool -K bond0 lro off gro off gso offtso off# ethtool -k bond0|grep -i -E "tcp-segmentation-offload|generic-segmentation-offload|generic-receive-offload|large-receive-offload"
tcp-segmentation-offload: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off# echo "ethtool -K bond0 lro off grooff gso off tso off" >>/etc/rc.local

推荐阅读一:proxy 模块运维

proxy是TDSQL的核心组件之一,主要提供了sql转写、sql分发、权鉴、结果聚合、结果过滤等功能,对应的进程分别是mysql-proxy和router_update。其中mysql-proxy

是网关的主进程,负责处理用户的SQL请求。而router_update是网关的辅助进程,负责从决策集群(ZK)获取路由等信息,监听决策集群的变更信息,并实时更新相关路由信息。

进程启停命令:
su - tdsql
cd /data/tdsql_run/${PORT}/gateway/bin
./start.sh instance_${PORT}      #启动
./stop.sh instance_${PORT}       #停止
./restart.sh instance_${PORT}    #重启

推荐阅读二:lvs模块运维

LVS模块采取Lvs+Keepalived的方案为TDSQL的实例提供数据库负载均衡功能,其中:

lvsmanager:从Zookeeper(简称ZK)上拉取LVS的配置,并持久化到Keepalived的配置文件。

Keepalived:为LVS提供vip(虚拟IP)的容灾功能,检测proxy的健康状况,并且将vip的主备信息等上报到zk节点。

进程启停命令:
su - tdsql
cd /data/application/lvsmanager/bin
./startlvsmanager.sh ../conf/lvsmanager.xml     #启动
./stoplvsmanager.sh ../conf/lvsmanager.xml      #停止
./restartlvsmanager.sh ../conf/lvsmanager.xml   #重启虚拟IP(VIP)部分配置
# cat VIP_Group1-虚拟端口.conf 
virtual_server 虚拟IP 虚拟端口{delay_loop 6 //健康检查的时间间隔lb_algo sed //负载均衡调度算法lb_kind TUN //LVS模式,DR或者TUN;当前默认为TUN模式,不建议修改。protocol TCP //网络协议

  1. 腾讯云私有云文档中心-腾讯云
  2. ​一文详解 LVS、Nginx 及 HAProxy 工作原理( 附大图 ) - 知乎

以上就是本期关于“TCP MSS最大数据分段大小值不合理导致JAVA程序连接TDSQL数据库异常”的处置案例。希望能给大家带来帮助。

欢迎关注“数据库运维之道”公众号,一起学习数据库技术!

这篇关于【TDSQL】TCPMSS最大数据分段大小值不合理导致JAVA程序连接数据库异常案例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/917925

相关文章

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Springboot @Autowired和@Resource的区别解析

《Springboot@Autowired和@Resource的区别解析》@Resource是JDK提供的注解,只是Spring在实现上提供了这个注解的功能支持,本文给大家介绍Springboot@... 目录【一】定义【1】@Autowired【2】@Resource【二】区别【1】包含的属性不同【2】@

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

Java中的String.valueOf()和toString()方法区别小结

《Java中的String.valueOf()和toString()方法区别小结》字符串操作是开发者日常编程任务中不可或缺的一部分,转换为字符串是一种常见需求,其中最常见的就是String.value... 目录String.valueOf()方法方法定义方法实现使用示例使用场景toString()方法方法

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis