本文主要是介绍centos配置crawlergo动态爬虫+xray代理模式联动扫描，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
用到的3个工具
- 动态爬虫工具 crawlergo
- xray
- crawlergo_x_XRAY将crawlergo扫描结果请求到xray进行被动扫描
配置步骤
- 下载安装xray最新的release
- 生成ca证书。运行成功后得到
ca.crt和ca.key两个文件。
# windows
.\xray_windows_amd64.exe genca# macOS/linux
./xray_darwin_amd64 genca
- 安装ca证书。
# ubantu
sudo cp ca.crt /usr/local/share/ca-certificates/xray.crt
sudo update-ca-certificates# centos
# 将证书复制到 /etc/pki/ca-trust/source/anchors/ 文件夹
cp /root/crawlergo_x_XRAY-master/xray/ca.crt[证书路径] /etc/pki/ca-trust/source/anchors/# 将此证书软连接至 /etc/ssl/certs/文件夹中
ln -s /etc/pki/ca-trust/source/anchors/ca.crt /etc/ssl/certs/ca.crt# 运行 update-ca-trust，更新系统的证书
update-ca-trust
- 首次启动xray，会生成
config.yml文件 - 将
config.yml文件中mitm中 restriction 中 includes 由 * 改目标站点为目标站点，增加该过滤后，xray只会扫描该站的流量，避免扫到非授权目标站点
- 下载安装crawlergo最新的release
- 安装chrome浏览器
- 下载crawlergo至任一目录，并赋予可执行权限
- 尝试运行，根据运行情况可能需要安装依赖组件
./crawlergo -c [chrome路径] -t [最大标签页数] [目标网址]
./crawlergo -c /tmp/chromium/chrome -t 10 http://testphp.vulnweb.com/
- 把crawlergo_x_XRAY项目中的
launcher.py和targets.txt放在crawlergo.exe同目录下 - 修改launcher.py的cmd变量中的crawlergo爬虫命令配置
- 启动xray被动扫描（如果修改端口要同时修改launcher.py文件中的proxies）
./xray_linux_amd64 webscan --listen 127.0.0.1:7777 --html-output xray-testphp.html
- 把目标url写进
targets.txt,一行一个url - 运行
launcher.py - 生成的
sub_domains.txt为爬虫爬到的子域名，crawl_result.txt为爬虫爬到的url，xray-testphp.html为xray检测结果
踩坑记录
- crawlergo只能扫出来两个域名
发现执行时有报错：缺少libXcomposite.so.1依赖
WARN[0000] navigate timeout chrome failed to start:
/root/chrome-linux/chrome: error while loading shared libraries: libXcomposite.so.1: cannot open shared object file: No such file or directory
根据crawlergo文档中对缺少依赖的解决办法：
// Ubuntu
apt-get install -yq --no-install-recommends \libasound2 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 \libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 \libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 \libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 libnss3// CentOS 7
sudo yum install pango.x86_64 libXcomposite.x86_64 libXcursor.x86_64 libXdamage.x86_64 libXext.x86_64 libXi.x86_64 \libXtst.x86_64 cups-libs.x86_64 libXScrnSaver.x86_64 libXrandr.x86_64 GConf2.x86_64 alsa-lib.x86_64 atk.x86_64 gtk3.x86_64 \ipa-gothic-fonts xorg-x11-fonts-100dpi xorg-x11-fonts-75dpi xorg-x11-utils xorg-x11-fonts-cyrillic xorg-x11-fonts-Type1 xorg-x11-fonts-misc -ysudo yum update nss -y
- 按照xray文档安装证书，找不到
/usr/local/share/ca-certificates/文件夹。xray文档适配的是ubantu，与centos安装证书操作略有不同 - 没有
update-ca-trust命令，需要安装
yum install ca-certificates
update-ca-trust force-enable
这篇关于centos配置crawlergo动态爬虫+xray代理模式联动扫描的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
