2023最新最全【web侦察信息收集工具大全】

2023-12-13 15:20

本文主要是介绍2023最新最全【web侦察信息收集工具大全】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

简介

项目地址:https://github.com/killmonday/whatscan

在信息收集的过程往往遇到以下问题:

  1. 网络空间搜素引擎和诸多扫描工具如kscan、fscan等,所探测到的web资产,存在大量状态码为302、200的页面没有标题,也识别不出是什么东西,有一些页面是真的没有标题,但更多的页面其实是由于扫描器没有跟随跳转,无法得到最终页面,所以标题是空。无法得到最终页面的原因,要么是没有跟随状态码,要么是状态码为200但在页面js中进行了跳转,由于扫描器无法渲染js因此无法跟随。基于这样的原因,导致很多资产搞不清楚它是什么,更搞不清楚它是什么性质。

  2. 由于任务目标的语言问题,往往从页面标题看不出其性质,哪怕手动打开页面也需要翻译,判断一个网站是否归属于目标比较困难。

  3. 得到了大量目标域名和ip,想要探测目标c段找找还有没有目标资产,但哪怕探测到了web资产也面临上述问题1和问题2,整体来说是个体力活。

为解决以上问题,笔者开发了whatscan,可以对批量URL进行web扫描、截屏、标题翻译、高频词识别、web组件识别,输出为excel和word文档,翻遍整理和撰写报告。

其中,web组件识别使用了kscan的2.4w条web指纹,目录下的kscan.dll是基于kscan源码修改添加了调用本地指纹识别的go方法(使用了cgo),编译为dll,然后在python中调用dll里的导出函数直接进行指纹识别,不进行多余的二次探测,kscan的指纹在目录下的static\fingerprint.txt,可自定修改和添加新指纹,这样就具备了可扩展能力(感谢kscan)。

整体来说,whatscan的功能如下:

  • web资产识别(CMS/应用组件/容器/编程语言等信息)

  • 支持对web站点截屏

  • 支持浏览器模拟,解决普通爬虫对js无法渲染的短板,可识别js跳转得到真实页面和标题

  • 支持标题翻译(调用google翻译,因此需要翻墙)

  • 支持从页面提取高频词并翻译

  • 支持IP反析域名

  • 支持导出word文档和excel

  • 适合从核心资产提取了c段后,对多个c段内的资产进行探测和梳理,看看存在什么东西,有没有需要关注的资产

使用

本项目使用selenium借用chromedriver进行无头浏览器的访问。因此需要安装chrome浏览器,并访问https://chromedriver.chromium.org/downloads**下载符合当前chrome版本的chromedriver.exe放置到项目路径下**。若chromedriver.exe版本不符合,可能一运行就会报满屏异常,看起来在运行,其实没有用,还是要换正确的版本。

运行前,修改当前目录下的config.ini,根据自己的需要做配置:

[set]``#浏览器线程,建议不超过50,除非cpu和网络好``browser_thread=20``#输入文件名。文件内容每行一个url,放在input文件夹下``input_file=input.txt``#从输入文件的哪一行开始探测``read_index=1``   ``#探测时是否使用socks5代理``use_proxy=1``#访问谷歌翻译api是否需要使用代理``translate_using_proxy=1``   ``#是否需要谷歌翻译来翻译标题和高频词``need_tanslate=1``#是否需要开启高频词分析``need_word_freq=1``   ``#谷歌翻译api请求的超时时间``google_tran_api_timeout=30``#页面加载最长时间``set_page_load_timeout=30``   ``#代理服务器IP``proxy_server=127.0.0.1``#代理服务器端口``proxy_port=10809``   ``   ``   ``q_input_length=50``q_output_length=50

运行时先安装依赖:pip install -r requirements.txt

然后可直接执行:python whatscan.py

输出的word和excel保存在 output/<时间戳>下,如下图。

在这里插入图片描述

程序运行时,请勿打开xlsx或tmp下的word文件,以免最后合并文档时无法读取被office占用的文档。

若在程序运行时ctrl+c结束了程序,可能造成chrome进程意外留存,可执行项目目录下的kill-chrome.bat关闭本机所有chrome和chromedriver进程。

使用展示

excel

**在这里插入图片描述
**

word

其中,“产品”对应的信息就是kscan的指纹识别结果。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

下载链接

4.工具包、面试题和源码

今天的内容就分享到这里,如果你喜欢这篇文章的话,麻烦请动动你的手点个赞或者点个关注吧,这将是我最大的动力!谢谢,这里说点题外话,想学习黑客技术的,这里有我以前整理的大量自学资料。

🐵需要的可以点这里自取👉:网安入门到进阶资源

在这里插入图片描述

这篇关于2023最新最全【web侦察信息收集工具大全】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/488949

相关文章

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

MySql match against工具详细用法

《MySqlmatchagainst工具详细用法》在MySQL中,MATCH……AGAINST是全文索引(Full-Textindex)的查询语法,它允许你对文本进行高效的全文搜素,支持自然语言搜... 目录一、全文索引的基本概念二、创建全文索引三、自然语言搜索四、布尔搜索五、相关性排序六、全文索引的限制七

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

基于Java实现回调监听工具类

《基于Java实现回调监听工具类》这篇文章主要为大家详细介绍了如何基于Java实现一个回调监听工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录监听接口类 Listenable实际用法打印结果首先,会用到 函数式接口 Consumer, 通过这个可以解耦回调方法,下面先写一个

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

JS+HTML实现在线图片水印添加工具

《JS+HTML实现在线图片水印添加工具》在社交媒体和内容创作日益频繁的今天,如何保护原创内容、展示品牌身份成了一个不得不面对的问题,本文将实现一个完全基于HTML+CSS构建的现代化图片水印在线工具... 目录概述功能亮点使用方法技术解析延伸思考运行效果项目源码下载总结概述在社交媒体和内容创作日益频繁的

基于Python打造一个全能文本处理工具

《基于Python打造一个全能文本处理工具》:本文主要介绍一个基于Python+Tkinter开发的全功能本地化文本处理工具,它不仅具备基础的格式转换功能,更集成了中文特色处理等实用功能,有需要的... 目录1. 概述:当文本处理遇上python图形界面2. 功能全景图:六大核心模块解析3.运行效果4. 相

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

基于Python实现高效PPT转图片工具

《基于Python实现高效PPT转图片工具》在日常工作中,PPT是我们常用的演示工具,但有时候我们需要将PPT的内容提取为图片格式以便于展示或保存,所以本文将用Python实现PPT转PNG工具,希望... 目录1. 概述2. 功能使用2.1 安装依赖2.2 使用步骤2.3 代码实现2.4 GUI界面3.效