解决宝塔面板CPU占满100%,负载100%网站缓慢等问题(挖矿病毒入侵)

本文主要是介绍解决宝塔面板CPU占满100%,负载100%网站缓慢等问题(挖矿病毒入侵),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

木马攻击问题由来阐述

我买了三年的阿里云服务器(在阿里云官网买的),已经使用了一年多了,平时拿来搭建网站,有时也拿来学习技术和开发测试,一直使用很稳定。直到近期我服务器上安装了docker并部署了springboot+mysql+nginx项目,就被攻击了。但就在今年的5月14号,我的服务器被木马攻击,然后被拿去挖矿了。我服务器的cpu持续维持在CPU100%. 后果是直接导致我网站无法正常请求和响应。而且Linux服务器的root权限被窃取了。
黑客在服务器/root/.ssh目录下生成了连root用户也无法删除的ssh密钥文件(本质就是利用chattr命令加了特殊权限),可以免密码登录。这样的后果就是,我的服务器的控制权被别人控制了。是可忍熟不可忍,必须解决。

我是第一次遇见这种恶心的问题,也不知道黑客们是怎么盯上我的服务器的,也许我是无目的的攻击受害者。作为建站老鸟以及程序员的我,硬着头皮也得解决。因为我是搞前端方面的,所以Linux方面的技能都是我业余时间学习。所以这次问题的解决经过还是挺考验学习能力的。

大致过程分为两大步:

  • 第一步:清除木马后门(ssh免登录密钥)
  • 第二步:杀死木马进程以及清除木马文件(挖矿病毒crypto和蠕虫病毒pnscan)

我用到的工具

  • 阿里云服务器:阿里云服务器,国内第一大云品牌,当初是用它来入门学习编程技术的。当然用到它了,要不然中病毒的受害者是谁呢。当然不是说买了阿里云的服务器才会中毒,因为病毒中毒是因为你Linux安全意识和使用不当造成的。这次我是因为docker使用或者纯碎因为ssh暴力破解有关系。所以你换其它家的云服务器,比如腾讯云服务器,也一样存在被攻击的可能。事后,我们必须去学点基础的安全防护技巧。
  • 宝塔面板:宝塔面板是很重要的工具,这里就不多说了,入门和使用教程汇总参考:宝塔面板安装和入门教程汇总
  • FinalShell客户端:下载地址 该客户端可以安装之后更新到最新版本。
  • chattr源码文件一份(C程序):需要编译chattr文件,破解病毒的chattr附加的特殊属性i 。我再文章中已经给了源码地址,自己去下载使用。Linux系统可以敲命令行去编译c程序源码文件。

第一步:删除免登录ssh密钥文件(木马后门)

1、先下载C文件(https://github.com/posborne/linux-programming-interface-exercises/blob/master/15-file-attributes/chattr.c), 上传到服务器的任意目录

2、编译,cc chattr,得到文件a.out,把名字改成chattr
这一步出现了一个错误:collect2: fatal error: cannot find 'ld' compilation terminated.
解决方法是(两条命令):

 yum -y install binutils ln -s /usr/bin/ld.gold /usr/bin/x86_64-nptl-linux-gnu-ld.gold

参考资料:运行gcc出现collect2: fatal error: cannot find ‘ld’

3、运行编译好的文件,把被篡改的文件去掉不可修改的隐藏属性,./chattr -ia /usr/bin/chattr 编译文件运行命令是:"./chattr" 使用指令 ./a.out 执行该程序
参考资料:Linux环境编译运行C语言程序

4、再把编译好的文件,放回/usr/bin/。这一步我没有选择覆盖chattr文件,我选择的是先删除rm -f chattr 文件,然后执行安装命令:yum install e2fsprogs 安装chattr和lsattr. 然后就可以正常的修改和删除/root/.ssh/目录下的密钥文件了。干掉黑客的root权限。

chattr文件目录: /usr/bin/chattr
ssh密钥文件目录:/root/.ssh
编译chattr文件源码目录:/root (这个目录可以随意选)

编译安装chattr之后,就可以正常使用chattr命令了

#查看文件属性
lsattr authorized_keys
# 去除a属性
chattr -a  authorized_keys
# 去除i属性
chattr -i  authorized_keys
# 去除e属性
chattr -e  authorized_keys

没有修改特殊属性的文件 权限是600 。root用户无法删除和修改。通过上面的chattr命令一一去除特殊属性,就可以正常修改和删除密钥文件了。

密钥文件里面的内容已经被我清空了。这两个文件终于可以修改了。

参考教程:

  • chattr命令被篡改 主要是这篇文章的启发
  • lsattr 命令详解
  • 详解Linux chattr 命令,超越权限任性修改

第二步:杀病毒crypto和pnscan病毒进程

查找CPU100耗尽的原因

挖矿病毒crypto和pnscan 入侵linux主机,留有/root/.ssh/密钥免登录后门。

第1步:清除root免登录权限。这一步我们已经做好了。

第2步:删除挖矿病毒crypto和pnscan文件。

crypto文件目录位置:/urs/share/
pnscan文件目录位置:/usr/local/bin

如果木马文件不在这两个位置,可以使用命令来查找:
whereis pnscanwhereis crypto这命令会显示文件所在的Linux路径

这两个病毒相关文件,可以直接用rm -f 文件名 直接删除干净。它们没有加chattr特殊权限。

我把这几个要删除的病毒文件全部下载到了window电脑上。就是为了截图给大家,要删除哪些文件。注意pnscan病毒目录和crypto病毒目录不在一块,我是下载到window才统一放到一个目录的。

我在自己的阿里云服务器上删除了这两个病毒相关文件(crypto是5个文件,pnscan是1个文件),这一步就算完成了。

第3步:杀crypto和pnscan两个进程,cpu就会降下来。而不是百分百耗尽。

用 top 命令查出cpu占用高的进程。很明显能发现是crypto和pnscan两个进程cpu占用高。
crypto进程可能会伪装其它名字,需要仔细发现。pnsan进程有可能会杀不死,需要先删除两个病毒文件,才去杀病毒进程,效果会更好。

# Linux执行top查询cpu进程占用情况
top

小技巧:这次我没有用finalshell来操作这些命令,因为cpu占用100的情况下,写命令行也很卡,而且无法看到Linux目录视图。所以我用宝塔面板的终端来写ssh命令,主要是能看到Linux文件目录视图。

通过top命令可以清晰的查看到病毒进程的高cpu占用率。记住它们的进程pid

# 杀死两个病毒进程,服务器CPU恢复正常。这是关键的一步操作
sudo kill -9 27220 24131

你运行上面的kill命令也会出现kill没有权限而运行失败的错误提示。毫无疑问,linux系统的关键命令都被加了chattr特殊属性,需要去除它的i属性,去除之后,才执行上面的杀病毒进程命令。杀完病毒进程之后,再用top命令去监控,发现没有了cpu高占用率的进程之后,可以去观察宝塔面板和其它FinalShell客户端,会显示cpu运行正常的。

# 找到kill路径
whereis kill
# lsattr查看特殊属性
lsattr /usr/bin/kill
# chattr去除附加特殊属性 i
chattr -i /usr/bin/kill
# chmod赋权限
chmod 755 /usr/bin/kill
# 现在你就可以正常去执行kill命令了。

宝塔面板ssh命令终端展示:

[root@iZuf6bm7y86rsciyk4lvriZ ~]# lsattr /bin/kill
----i--------e-- /bin/kill
[root@iZuf6bm7y86rsciyk4lvriZ ~]# chattr -i /usr/bin/kill
[root@iZuf6bm7y86rsciyk4lvriZ ~]# lsattr /usr/bin/kill
-------------e-- /usr/bin/kill
[root@iZuf6bm7y86rsciyk4lvriZ ~]# chmod +x /usr/bin/kill
[root@iZuf6bm7y86rsciyk4lvriZ ~]# lsattr /usr/bin/kill
-------------e-- /usr/bin/kill
[root@iZuf6bm7y86rsciyk4lvriZ ~]# sudo ls -l /bin/kill
---xr-xr-x. 1 root root 33608 Apr  1  2020 /bin/kill

FinalShell终端命令展示:

[root@iZuf6bm7y86rsciyk4lvriZ ~]# whereis kill
kill: /usr/bin/kill /usr/share/man/man1/kill.1.gz
[root@iZuf6bm7y86rsciyk4lvriZ ~]# lattr /usr/bin/kill
-bash: lattr: 未找到命令
[root@iZuf6bm7y86rsciyk4lvriZ ~]# lsattr /usr/bin/kill
-------------e-- /usr/bin/kill
[root@iZuf6bm7y86rsciyk4lvriZ ~]# chattr -i /usr/bin/kill
[root@iZuf6bm7y86rsciyk4lvriZ ~]# chmod 755 /usr/bin/kill
[root@iZuf6bm7y86rsciyk4lvriZ ~]# 

其中用到的命令:netstat 也会遇到和kill命令类似的问题。解决方法类似:

[root@iz8vb8rrw7wiwqtau1dp8jz bin]# netstat -nltp
-bash: /usr/bin/netstat: Permission denied
[root@iz8vb8rrw7wiwqtau1dp8jz bin]# chmod 755 /usr/bin/netstat
chmod: changing permissions of ‘/usr/bin/netstat’: Operation not permitted
[root@iz8vb8rrw7wiwqtau1dp8jz bin]# lsattr /usr/bin/netstat
-------i------e-- /usr/bin/netstat
[root@iz8vb8rrw7wiwqtau1dp8jz bin]# chattr -i /usr/bin/netstat
[root@iz8vb8rrw7wiwqtau1dp8jz bin]# chmod 755 /usr/bin/netstat# 用 netstat命令查看端口情况。netstat命令附带属性可以查资料
[root@iz8vb8rrw7wiwqtau1dp8jz bin]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:6379            0.0.0.0:*               LISTEN      
[root@iz8vb8rrw7wiwqtau1dp8jz bin]# 

在杀了病毒进程之后,CPU终于恢复到正常水平,终于成功了,好开心啊,因为过程还是比较曲折的。

FinalShell客户端显示cpu正常。

宝塔面板显示cpu运行正常。

总结:经过这次安全事件,我应该去学点基础的安全防护技巧,比如,不能用root用户操作Linux系统,不能用账户和密码登录账户,禁用它,然后用ssh密钥登录。比如使用相关的安全工具去防护它。

参考教程:

  • 记一次阿里云服务器因Redis被【挖矿病毒crypto和pnscan】攻击的case,附带解决方案
  • 清除linux挖矿木马[crypto]的过程
  • netstat 权限问题

原文出处:https://www.yundashi168.com/272.html

这篇关于解决宝塔面板CPU占满100%,负载100%网站缓慢等问题(挖矿病毒入侵)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/393075

相关文章

linux报错INFO:task xxxxxx:634 blocked for more than 120 seconds.三种解决方式

《linux报错INFO:taskxxxxxx:634blockedformorethan120seconds.三种解决方式》文章描述了一个Linux最小系统运行时出现的“hung_ta... 目录1.问题描述2.解决办法2.1 缩小文件系统缓存大小2.2 修改系统IO调度策略2.3 取消120秒时间限制3

关于@MapperScan和@ComponentScan的使用问题

《关于@MapperScan和@ComponentScan的使用问题》文章介绍了在使用`@MapperScan`和`@ComponentScan`时可能会遇到的包扫描冲突问题,并提供了解决方法,同时,... 目录@MapperScan和@ComponentScan的使用问题报错如下原因解决办法课外拓展总结@

MybatisGenerator文件生成不出对应文件的问题

《MybatisGenerator文件生成不出对应文件的问题》本文介绍了使用MybatisGenerator生成文件时遇到的问题及解决方法,主要步骤包括检查目标表是否存在、是否能连接到数据库、配置生成... 目录MyBATisGenerator 文件生成不出对应文件先在项目结构里引入“targetProje

C#使用HttpClient进行Post请求出现超时问题的解决及优化

《C#使用HttpClient进行Post请求出现超时问题的解决及优化》最近我的控制台程序发现有时候总是出现请求超时等问题,通常好几分钟最多只有3-4个请求,在使用apipost发现并发10个5分钟也... 目录优化结论单例HttpClient连接池耗尽和并发并发异步最终优化后优化结论我直接上优化结论吧,

Java内存泄漏问题的排查、优化与最佳实践

《Java内存泄漏问题的排查、优化与最佳实践》在Java开发中,内存泄漏是一个常见且令人头疼的问题,内存泄漏指的是程序在运行过程中,已经不再使用的对象没有被及时释放,从而导致内存占用不断增加,最终... 目录引言1. 什么是内存泄漏?常见的内存泄漏情况2. 如何排查 Java 中的内存泄漏?2.1 使用 J

numpy求解线性代数相关问题

《numpy求解线性代数相关问题》本文主要介绍了numpy求解线性代数相关问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 在numpy中有numpy.array类型和numpy.mat类型,前者是数组类型,后者是矩阵类型。数组

解决systemctl reload nginx重启Nginx服务报错:Job for nginx.service invalid问题

《解决systemctlreloadnginx重启Nginx服务报错:Jobfornginx.serviceinvalid问题》文章描述了通过`systemctlstatusnginx.se... 目录systemctl reload nginx重启Nginx服务报错:Job for nginx.javas

Redis缓存问题与缓存更新机制详解

《Redis缓存问题与缓存更新机制详解》本文主要介绍了缓存问题及其解决方案,包括缓存穿透、缓存击穿、缓存雪崩等问题的成因以及相应的预防和解决方法,同时,还详细探讨了缓存更新机制,包括不同情况下的缓存更... 目录一、缓存问题1.1 缓存穿透1.1.1 问题来源1.1.2 解决方案1.2 缓存击穿1.2.1

Mysql DATETIME 毫秒坑的解决

《MysqlDATETIME毫秒坑的解决》本文主要介绍了MysqlDATETIME毫秒坑的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着... 今天写代码突发一个诡异的 bug,代码逻辑大概如下。1. 新增退款单记录boolean save = s

vue解决子组件样式覆盖问题scoped deep

《vue解决子组件样式覆盖问题scopeddeep》文章主要介绍了在Vue项目中处理全局样式和局部样式的方法,包括使用scoped属性和深度选择器(/deep/)来覆盖子组件的样式,作者建议所有组件... 目录前言scoped分析deep分析使用总结所有组件必须加scoped父组件覆盖子组件使用deep前言