数据库管理-第五十四期 春节俩故障(20230128)

2023-10-18 04:10

本文主要是介绍数据库管理-第五十四期 春节俩故障(20230128),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数据库管理 2023-01-28

  • 第五十四期 春节俩故障
    • 1 19.13 bug 32076305
    • 2 19.15 CSS
    • 总结

第五十四期 春节俩故障

虽然春节期间除了年三十的现场值班和远程值班,没啥事的,结果还是处理了俩故障,今天上工,分析一下。

1 19.13 bug 32076305

大年初四刚过12点,正在关机准备睡觉,收到短信告警,X8M那套一体机一个实例出现LMHB进程异常和ORA 29770报错,随即开机检查,发现该节点数据库实例已完成重启,检查告警日志发现以下内容:

<msg time='2023-01-24T23:59:13.065+08:00' org_id='oracle' comp_id='rdbms'
type='UNKNOWN' level='16' host_id='xxxdbadm01.xxx.com'
host_addr='10.110.187.98' pid='313846' con_uid='1'
con_id='1' con_name='CDB$ROOT'>
<txt>LMD0 (ospid: 313601) has not called a wait for 88 secs.
</txt>
</msg>
<msg time='2023-01-24T23:59:15.290+08:00' org_id='oracle' comp_id='rdbms'
msg_id='3469116049' type='INCIDENT_ERROR' level='1'
host_id='xxxdbadm01.xxx.com' host_addr='10.110.187.98' pid='313846'
prob_key='ORA 29770' downstream_comp='LMHB' errid='648350'
detail_path='/u01/app/oracle/diag/rdbms/xxdbaas/xxdbaas1/trace/xxdbaas1_lmhb_313846.trc' con_uid='1' con_id='1'
con_name='CDB$ROOT'>
<txt>Errors in file /u01/app/oracle/diag/rdbms/xxdbaas/xxgdbaas1/trace/xxdbaas1_lmhb_313846.trc (incident=648350) (PDBNAME=CDB$ROOT):
ORA-29770: global enqueue process LMD0 (OSID 313601) is hung for more than 70 seconds
</txt>
<arg name='PDBNAME' value='CDB$ROOT'/>
</msg>
<msg time='2023-01-24T23:59:15.291+08:00' org_id='oracle' comp_id='rdbms'
msg_id='dbgexProcessError:1328:3370026720' type='TRACE' level='16'
host_id='xxxdbadm01.xxx.com' host_addr='10.110.187.98' pid='313846'
con_uid='1' con_id='1' con_name='CDB$ROOT'>
<txt>Incident details in: /u01/app/oracle/diag/rdbms/xxdbaas/xxdbaas1/incident/incdir_648350/xxdbaas1_lmhb_313846_i648350.trc
</txt>

global enqueue process LMD0进程夯死造成了实例重启,还好23:59:13实例中断,23:59:32完成重启,重启只花了19s,没有影响到业务,特别是12点即将开始大一大堆跑批。随即收集日志,半夜开1级非7*24SR,并通知后台熟人看看能不能接单(是谁老读者肯定知道,当然是第二天接到了)。
第二天经过后台排查,匹配到一个BUG:Bug 32076305 - ORA-29770 LMD has no heartbeats - LMD Stack is in kjr_freeable_chunk_free (Doc ID 32076305.8)
在这里插入图片描述
这个bug影响19.4、8、10-13这几个版本,在19.13.2及19.14以后修复,如果各位在生产中遇到了,请及时排查并应用该BUG的补丁。

2 19.15 CSS

这个事情也是25日中午发生,是另外个省一套19.15的双节点RAC,一个节点(节点2)操作系统重启了,我是作为操作系统方面的补充看看数据库的问题。老规矩收日志,重启是11:43-11:44之间发生的:

  • 节点2数据库日志
    首先数据库日志显示数据库从11:27:59就开始无法响应外部连接请求。数据库于12:04:28开始启动数据库实例,并于12:05:21完成数据库启动
  • 节点2CRS日志
    从1月19日就出现节点ASM资源失败、CSS无响应的现象,并持续出现私网连接异常超时的报错知道出现故障之前1月25日11:04:18后停止了日志输出。
    这里还有个小插曲,12:28:24集群跟随操作系统启动开始启动,12:04:26完成启动,这里用的NTP作为时间同步,大概率是NTP启动晚于GI启动,时间同步后也没有做一次时间同步硬件的操作。
  • 节点1CRS日志
    在这里插入图片描述

节点1是接到节点2的cssdagent和oracssdmonitor异常的通知,需要重启,节点2被驱逐出集群的记录。时间也与客户提供故障时间吻合。加上操作系统、BMC的一些日志也有cssdagent和udev相关的记录,在这里可以确认是因为CSS服务异常引起的故障。

然而当天硬件还发现系统盘中的一块盘也有异常,在操作系统重启后在线更换了。客户那边的DBA资源呢,又说是操作系统侧引起的数据库夯死,数据库是不可能引起操作系统重启的,然而事实是这样的么?我们看看官方文档对CSS服务的解释:
在这里插入图片描述
这里最后一句话明确说明了,cssdagent异常的情况下,可能导致集群重启节点。其实做过RAC高可用测试的都知道,不止是这个进程,还有不少进程异常也会导致集群重启节点操作系统。
客户那边DBA做出上面的陈述原因其实也简单,借用以为大佬说的“正常,从单节点到rac知识体系扩大了三五倍”,可能也有人没去看grid家目录的权限情况。还有呢就是,其实也是上期说过的,这种现象也出现在很多大的服务商里面,数据库的问题是数据库的,操作系统是操作系统的,两边交叉出问题的话,就很难去排查。
由于客户没有MOS账号,我这边也只能自己根据数据库日志、操作系统日志进行排查,结合555.1,找到一个匹配的BUG,更符合这次故障的情况:
在这里插入图片描述
当然这个还需要更进一步的排查。

总结

苦逼的7天班!
老规矩,知道写了些啥。

这篇关于数据库管理-第五十四期 春节俩故障(20230128)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/230076

相关文章

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

mysql数据库重置表主键id的实现

《mysql数据库重置表主键id的实现》在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,本文主要介绍了mysql数据库重置表主键id的实现,具有一定的参考价值,感兴趣的可以了... 目录关键语法演示案例在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,当我们

Spring Boot 整合 MyBatis 连接数据库及常见问题

《SpringBoot整合MyBatis连接数据库及常见问题》MyBatis是一个优秀的持久层框架,支持定制化SQL、存储过程以及高级映射,下面详细介绍如何在SpringBoot项目中整合My... 目录一、基本配置1. 添加依赖2. 配置数据库连接二、项目结构三、核心组件实现(示例)1. 实体类2. Ma

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES

nvm如何切换与管理node版本

《nvm如何切换与管理node版本》:本文主要介绍nvm如何切换与管理node版本问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录nvm切换与管理node版本nvm安装nvm常用命令总结nvm切换与管理node版本nvm适用于多项目同时开发,然后项目适配no

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现

使用Dify访问mysql数据库详细代码示例

《使用Dify访问mysql数据库详细代码示例》:本文主要介绍使用Dify访问mysql数据库的相关资料,并详细讲解了如何在本地搭建数据库访问服务,使用ngrok暴露到公网,并创建知识库、数据库访... 1、在本地搭建数据库访问的服务,并使用ngrok暴露到公网。#sql_tools.pyfrom

Java实现数据库图片上传功能详解

《Java实现数据库图片上传功能详解》这篇文章主要为大家详细介绍了如何使用Java实现数据库图片上传功能,包含从数据库拿图片传递前端渲染,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、前言2、数据库搭建&nbsChina编程p; 3、后端实现将图片存储进数据库4、后端实现从数据库取出图片给前端5、前端拿到

IDEA连接达梦数据库的详细配置指南

《IDEA连接达梦数据库的详细配置指南》达梦数据库(DMDatabase)作为国产关系型数据库的代表,广泛应用于企业级系统开发,本文将详细介绍如何在IntelliJIDEA中配置并连接达梦数据库,助力... 目录准备工作1. 下载达梦JDBC驱动配置步骤1. 将驱动添加到IDEA2. 创建数据库连接连接参数