本文主要是介绍【TDSQL】TCPMSS最大数据分段大小值不合理导致JAVA程序连接数据库异常案例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
欢迎关注“数据库运维之道”公众号,一起学习数据库技术!
TDSQL核心架构原理解析下载链接:百度网盘 请输入提取码 提取码:vat5
DTC2024 数据技术嘉年华(演讲资料下载)DTC2024 数据技术嘉年华(演讲资料下载) - 墨天轮
海明威运动定律告诉我们,事物的变化往往在经历一定渐进发展后带来突变。技术的变革同样如此。今天我们惊艳于诸多数字化生活的时刻,殊不知在过去几年中,云计算、分布式数据库、中间件等国产基础技术已经过多年的自我打磨,逐渐成为新一代底层技术架构,并最终带来各行各业从底层到业务的彻底的数字化转型升级,以及更重要的新型业务形态的出现,成为新基建时代发展的基础驱动力量。本人也有幸参与多款分布式数据库(TDSQL、TiDB、HotDB)的运维工作,希望个人整理的知识点可以帮助大家提升数据库运维工作效率。本期将为大家分享《TCP MSS最大数据分段大小值不合理导致JAVA程序连接TDSQL数据库异常》的处置案例。
关键词:分布式数据库、TDSQL、LVS、proxy、TCPMSS
在TDSQL数据库集群上部署一套新的实例提供给业务系统使用。业务虚拟机通过Navicate客户端可以正常登录数据库并进行SQL查询,但是JAVA应用程序连接数据库会出现通讯连接失败情况。报错信息为:Communications link failure。TDSQL版本10.3.14.6.0,MySQL版本5.7.17。
1、开发人员反馈JAVA程序能够正常启动,但是在登录界面输入账号密码后,出现异常报错。查看JAVA程序后台日志,看到"Error querying database"和"Communication link failure"错误。如下图所示。
2、使用Navicate客户端可以正常登录数据库,并且SQL查询也可以正常返回结果。于是,让开发人员检查应用程序的连接池配置,各项参数设置均正常。
3、应用程序是通过域名来访问数据库,于是直接改为LVS地址来访问还会报错,因此可以排除域名解析。
4、检查PROXY的日志,未发现sql出现在interface日志中。
5、梳理生产环境的部署架构如下图所示,并初步推断问题可能在LVS或Proxy上面。
6、于是,登录LVS服务器进行网络抓包,并提给网络工程师分析。查看对应负载端口抓包信息,查看到大量重传记录。
tcpdump -i any -s 0 -C 100 -W 10 -w tcpq.cap port 负载端口
7、应用程序跳过LVS直接访问proxy地址后,应用程序没有再出现连接异常。此时基本定位为lvs发包失败,proxy未接到sql请求。
8、检查两台LVS路由信息(ipvsadm -ln),查看各个服务器的网卡mtu值,都是设置为1500。
9、MSS是TCP数据包每次能够传输的最大数据分段。为了达到最佳的传输效能TCP协议在建立连接的时候通常要协商双方的MSS值,这个值TCP协议在实现的时候往往用MTU值代替(需要减去IP数据包包头的大小20Bytes和TCP数据段的包头20Bytes),通讯双方会根据双方提供的MSS值的最小值确定为这次连接的最大MSS值。而一般以太网MTU都为1500,所以在以太网中,往往TCP MSS为1460。
10、由于lvs给包增加了20字节的ip头,MTU值大于1500,导致发包失败。
数据包流转过程:
client(mtu1500)->lvs的vip(mtu 1480)->lvs给包增加了20字节的ip头,通过lvs的真实ip(mtu1500)->proxy的真实ip(mtu1500)接收,通过proxy的vip(mtu1480)->client
1、第一步建立链接,client与lvs的vip之间的mss协商应为1440,clint的mss=1500-20-20=1460,lvs的vip的mss=1480-20-20=1440,两者协商后取最小值。
2、第二步建立链接,lvs真实ip与proxy的真实ip之间协商的mss应为1460,但是因为lvs给包增加了20字节的ip头,mtu=mss+20+20+20=1520大于proxy的真实ip的mtu1500,导致发包失败。
1、为了避免发包失败,在proxy服务器上手动设置mss的值为1440,并持久化到开机自启动中。
#iptables -A OUTPUT -p tcp --tcp-flags ALL SYN,ACK -j TCPMSS--set-mss 1440# iptables -L|grep TCP
TCPMSS tcp -- anywhere anywhere tcp flags:FIN,SYN,RST,PSH,ACK,URG/SYN,ACK TCPMSS set 1440# echo "iptables -A OUTPUT -p tcp --tcp-flags ALL SYN,ACK -j TCPMSS--set-mss 1440">>/etc/rc.local
2、在lvs机器上关闭小包合并,并持久化到开机自启动中。
# ethtool -K bond0 lro off gro off gso offtso off# ethtool -k bond0|grep -i -E "tcp-segmentation-offload|generic-segmentation-offload|generic-receive-offload|large-receive-offload"
tcp-segmentation-offload: off
generic-segmentation-offload: off
generic-receive-offload: off
large-receive-offload: off# echo "ethtool -K bond0 lro off grooff gso off tso off" >>/etc/rc.local
推荐阅读一:proxy 模块运维
proxy是TDSQL的核心组件之一,主要提供了sql转写、sql分发、权鉴、结果聚合、结果过滤等功能,对应的进程分别是mysql-proxy和router_update。其中mysql-proxy
是网关的主进程,负责处理用户的SQL请求。而router_update是网关的辅助进程,负责从决策集群(ZK)获取路由等信息,监听决策集群的变更信息,并实时更新相关路由信息。
进程启停命令:
su - tdsql
cd /data/tdsql_run/${PORT}/gateway/bin
./start.sh instance_${PORT} #启动
./stop.sh instance_${PORT} #停止
./restart.sh instance_${PORT} #重启
推荐阅读二:lvs模块运维
LVS模块采取Lvs+Keepalived的方案为TDSQL的实例提供数据库负载均衡功能,其中:
lvsmanager:从Zookeeper(简称ZK)上拉取LVS的配置,并持久化到Keepalived的配置文件。
Keepalived:为LVS提供vip(虚拟IP)的容灾功能,检测proxy的健康状况,并且将vip的主备信息等上报到zk节点。
进程启停命令:
su - tdsql
cd /data/application/lvsmanager/bin
./startlvsmanager.sh ../conf/lvsmanager.xml #启动
./stoplvsmanager.sh ../conf/lvsmanager.xml #停止
./restartlvsmanager.sh ../conf/lvsmanager.xml #重启虚拟IP(VIP)部分配置
# cat VIP_Group1-虚拟端口.conf
virtual_server 虚拟IP 虚拟端口{delay_loop 6 //健康检查的时间间隔lb_algo sed //负载均衡调度算法lb_kind TUN //LVS模式,DR或者TUN;当前默认为TUN模式,不建议修改。protocol TCP //网络协议
- 腾讯云私有云文档中心-腾讯云
- 一文详解 LVS、Nginx 及 HAProxy 工作原理( 附大图 ) - 知乎
以上就是本期关于“TCP MSS最大数据分段大小值不合理导致JAVA程序连接TDSQL数据库异常”的处置案例。希望能给大家带来帮助。
欢迎关注“数据库运维之道”公众号,一起学习数据库技术!
这篇关于【TDSQL】TCPMSS最大数据分段大小值不合理导致JAVA程序连接数据库异常案例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!