CENTOS上的网络安全工具（一）Suricata 离线部署

一、环境准备

        最近有个需求，要在一个没有互联网的单机上装个Suricata，没有局域网，没有局域网镜像服务器的那种。最大的挑战，就是各种乱七八糟的依赖项，要一个一个的对着下载对着装，实在是太麻烦了。好在借助yumdownloader，可以在能够联网的机器上整理好所有依赖，然后在没有网络的单机上，可以借助createrepo构建yum安装环境，基本就可以快乐的安装了，省去了用yum localinstall直接安装rpm时候不断补依赖包的痛苦。

        照例，先交代试验环境。两台虚拟机，一台可以连接互联网，另一台在配置中删除了网络适配器，确保完全没有网络环境，两台安装同样的CentOS7，内核版本如下。

         然后，为了传递离线包方便，基于Vmware在windows主机上建立共享文件夹，取好名字，我取得名字是share。

         虚拟机CentOS随便找哪建一个空文件夹，我建在/home/pig下面，取名也叫share。当然，别的名字，不一样的名字都无所谓。

         使用vmhgfs-fuse命令挂载一下就可以了。

         两台虚拟机可以挂在主机的同一个文件夹上，这样传文件就方便多了。

二、准备依赖项

        1.下载epel-release离线安装包        

        因为我们不打算从源代码编译开始安装suricata，那样太麻烦；而且我们打算做的不就是构建本地yum安装环境不是？所以，计划的方案是直接安装suricata的rpm；但是suricata的rpm在yum的镜像里面没有，是在epel里面的，所以要想离线安装suricata，首先我们得能够离线安装epel。

        在有互联网的虚拟机上，执行yumdownloader下载epel-release的rpm，使用--resolve选项将解析并提取所有依赖：

         当然，外网机自己也得装上epel，否则就提取不了suricata了。

          2.下载suricata离线安装包

        同理使用yumdownloader去解析suricata的离线安装包及相关依赖，可以看到这一次下载的包就要多不少了。

         到这里，离线包就准备好了。下面我们转战没有网络的虚拟机。因为之前设定了一摸一样的共享目录，所以离线包现在在没有网络的虚拟机的/home/pig/share中也存在，直接用就好了。

三、构建离线安装环境

        要使本地的yum命令能够将我们自己构造的包含rpm的目录当作映像库，需要配置有关yum的一些映像配置文件。所有centos默认的映像库配置文件都存储在/etc/yum.repos.d目录下，每个.repo配置文件中记录了映像库的网络连接、使能开关、验证密钥等等参数。 

        1.构建本地映像库

        首先，我们需要将存有我们下载的离线rpm包的文件夹组织成本地映像库。这一步的主要作用是解析文件夹中的所有rpm包，并构建rpm包的依赖树信息，yum install后面会用到。

        转到/home/pig/share文件夹。不转也行，转过来看起来舒服点。然后执行：

        createrepo /home/pig/share

        该命令会解析文件夹下所有rpm及其依赖项，然后在目录下生成一个repodata的文件夹，里面存放了解析的相关信息，那个repomd.xml文件很重要，如果没有后面yum install就会报错说找不到这玩意。

         2.配置本地映像库

        构建好本地的映像库，还需要让yum知道这个映像库的位置，这就需要在前面所说的映像配置目录下面做些手脚了：   

         在/etc/yum.repos.d/下面新建一个文件，叫什么名字都好，repo结尾估计是需要的。然后在里面把刚在构建的本地映像库地址配置进去：        

         然后，删除原有的repo文件，因为这个机器压根没配网卡，留着会出错（貌似是如果连DNS都做不了的话，makecache程序就直接报错，不往下进行，自然也就不会解析我们新建的Local.repo文件了。反正也用不着，删了吧：

         清空一下yum的缓冲，并重新构建一下：

        这样就行了。

四、安装Suricata

        1.安装Suricata主程序

        接下来， 我们可以开始离线安装Suricata了。

        看，直接yum install，epel-release就装上了：

         但是直接yum install suricata是不行的，原因嘛，看这里：      

         安装epel-release的时候，epel也创建了一个repo库，但这个库并不是本地的：

         安装suricata的时候，回到epel中去寻找，自然失败。同样，删掉或者挪走它们，再使用yum install suricata安装就行了：

         这样舒心多了不是：）

        2.安装Suricata-update

        首先交代一下身份，刚才咱装了个啥：

        执行suricata-update，结果……，这里还隐藏了一个依赖项pyyaml……

         所以需要依葫芦画瓢，再来一遍构建本地库的过程。当然，如果你有很好的阅读习惯，没动手之前就看到这个的话，那就直接一并弄了吧。

        下载pyyaml的依赖包：（这里尤其注意一下，因为先前图省事，我们直接用share做了repo的文件夹，现在往里面下依赖包就下不进去了。先进去把repodata干掉）：

         （再尤其注意一下，不要轻易相信前面那个报错，缺少的依赖包叫PyYAML，不叫pyyaml。我在这里卡了好久  >：P）。然后download：

         可以看到多了一个rpm包，正是PyYAML。当然如果下到一个暂新的空目录的话，libyaml包会被重新下一遍。

        回到没有互联网的那台机器，重新createrepo一下：

         因为yum的映像库地址已经配过，这里不用再配了，但是还需要在repos.d下面做一下yum clean all 和yum makecache；

        然后就可以直接执行 yum install PyYAML了：        

         行了，suricata-update应该正常了，使用list-sourse看看现在我们都有那些公开规则源：        

        3.更新规则        

        直接使用suricata-update list-enabled-sources查看，可以看到现在没有可用规则（直接使用默认规则，默认规则是存放在/etc/suricata/rules目录下的）

        看看Info里面指示的data-directory，什么也没有：

         看看Info指示说的，默认规则存放的地方，这里确实是有一批规则的：

         虽然不少，但这些规则源都是需要互联网才能使用的。  作为在离线环境中使用的suricata，我们还需要继续想办法解决规则更新的问题。     

        在没有网络的这台机器里面 执行一下suricata-update：

         执行过程略解释一下：

• 首先是告知一下所使用的data目录、配置文件、默认规则和版本，事实上也是告知一下，如果要想动手脚，都去哪里改。
• 加载配置文件
• 根据禁止规则列表禁用规则
• 由于我们尚未enable任何源，所以默认下载Emerging Threats Open源，即常说的ET源，由于没有网络，自然会报错
• 将默认目录里的非禁用规则全部装载（装载343，禁用40）
• 创建目录，备份规则，将所有规则写入到/var/lib/suricata/rules/suricata.rules里面（共343条，使能的261条，新增343条。

        这个时候我们再去看一下/var/lib/suricata/rules目录，确实有一个文件在那里了。这个就是在suricata中生效的规则文件。

    五、Suricata的离线使用

        1.离线更新规则

        既然知道了suricata-update都在做什么，离线就简单了。一种思路，直接把suricata.rules覆盖了就行；另一种思路，下好了放在/etc/suricate/rules下面，再update一下看行不行。第一种就不说啥了，过于直接了。试试第二种吧。

        在联网的虚拟机上执行suricata-update，可以看到ET成功下载了：            

         可以看到，这个规则数量是惊人的，已经加载了32906条。

        suricata.rules文件也比离线时的64K大好多，约19M

         就用这个地址，我们到共享文件夹里面手工wget一下：

         多了一个emerging.rules.tar.gz的文件。然后把它解压到某个目录，比如说/home/pig/rules/下面，会自己再生成一级子目录，也叫rules。当然前面那个目录哪都行。

        接下来使用suricata-update的本地更新命令就可以了：

        比如刚才我们解压后所有的文件都再/home/pig/rules/rules下面：

         那么执行 suricata-update --local /home/pig/rules/rules就可以了：

         可以看到，默认的/etc/suricata/rules，以及index.yaml里面的源仍然回去找，但是我们指定的位置的rules也被提取了，最终和线上的结果一样，都是32906条。

         看看目的地址被整合的suricata.rules，和线上结果一摸一样。成功！

        2. 使用suricata检查离线文件

        自己截了个pcap包，命名为test.pcap，放在了/home/pig/share里面，然后用suricata本地跑一下：

         事先/home/pig下面建了了log目录，不然会放到默认目录/var/log/suricata底下。另外就是一定要加上-k none，关闭校验和判断，不然会看到一堆校验和不过的。

         3.禁用不必要的规则

        不过即使我关闭了校验和，仍然会有大量错误校验和的报警出来，查看/home/pig/log/fast.log：

        这简直没法看，查了一下网上说法，大约时爱奇艺的某个进程，使用uPnp开的CDN。虽然我强行掐了好些爱奇艺相关进程，也没有啥立竿见影的效果，等了好一会才逐渐停下来。不知道其具体的实现机制是啥。

        算了，与本文无关。暂不深究，只需要屏蔽掉ID号为2200073和2200075的规则即可 。

        按照suricata的文档，可以在/etc/suricata/下新建一个disable.conf文档来设定不作用的规则。不过这个文档的模板，在我的机器上，是在/usr/lib/python2.7/site-packages/suricata/update/configs这个目录里面：
        将其拷贝到/etc/suricata底下再作修改如下：

        重新执行suricata-update --local /home/pig/rules/rules 

         可以看到，这一次被禁用的规则比上一次多了2条，变成81条了。先删除原先的log，以免追加，然后再执行一次：        看看新的log

 

         这次啥也没有命中，这很正常不是吗：）

        六、Suricata的在线使用

        在线使用suricata比较简单，因为安装程序自动设置了网络接口，所以直接systemctl start suricata即可，不过suricata默认的log文件/var/log/suricata目录下。如果目录下log没有更新，可以看看systemctl status suricata，以及使用netstat -ano|grep "suricata"是否打开了网络连接。如果确实失败了，应该检查一下/etc/suricata/suricata.yaml文件，看看-interface是否配置错了：

        suricata.service 莫名的错误

        然鹅，再一切都安好的某一天，不知是不是suricata更新版本哪里出错的缘故（前文搭的时候是4.1.0；而现在我用的是5.0.9……）。suricata的服务确无论如何启动不了了。经过一晚上的排查，发现是服务程序在启动时不再去yaml文件提取接口“ens33”，而是默认使用了“eth0”，从而导致启动一会就出错退出了，看下图那个34044开头的命令行……

         无奈只有到/usr/lib/systemd/system下找到suricata.service，然后顺藤摸瓜找到/etc/sysconfig/suricata，如下图所示，果不其然这货居然把eth0写死在参数里。

        喵的，只好继续改，改完就一切如常了……我这……