爬取目标网站的域名和子域名【网站子域扫描工具01】

2024-01-14 21:20

本文主要是介绍爬取目标网站的域名和子域名【网站子域扫描工具01】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用 Python 的 requests 库发送 HTTP 请求,并使用 Beautiful Soup或者正则表达式来解析响应,从中提取出域名和子域名信息。

1.简单示例(Beautiful Soup)

这是一个简单的示例代码,演示如何使用 requests 和 BeautifulSoup 来获取网页中的链接:
下面是带有注释的代码,解释了每一步具体在做什么:

import requests  # 导入发送 HTTP 请求的库
from bs4 import BeautifulSoup  # 导入用于解析 HTML 的库# 定义一个函数,用于获取目标网站的子域名
def get_subdomains(url):# 发送一个 GET 请求到目标网站,并获取响应内容response = requests.get(url)# 使用 BeautifulSoup 解析响应的 HTML 内容soup = BeautifulSoup(response.text, 'html.parser')subdomains = set()  # 创建一个集合,用于存储提取出的子域名# 遍历所有带有 href 属性的链接for link in soup.find_all('a'):href = link.get('href')  # 获取链接的地址if href and href.startswith('http'):  # 如果链接以 http 开头(避免处理相对链接)domain = href.split('/')[2]  # 提取链接中的域名部分作为子域名subdomains.add(domain)  # 将提取到的子域名加入集合中return subdomains  # 返回提取到的子域名集合target_url = 'http://www.baidu.com'  # 设置目标网站的 URL
subdomains = get_subdomains(target_url)  # 调用函数获取子域名
print(subdomains)  # 打印提取到的子域名集合

在这个示例中,我们首先发送了一个 GET 请求到目标网站,然后用 BeautifulSoup 解析响应的 HTML 内容,提取出所有带有 href 属性的链接,并从中提取出域名部分作为子域名。最后将提取到的子域名放入集合中并返回。

2.简单示例(正则表达式)

以下是一个简单的示例代码:

import requests
import redef get_subdomains(url):response = requests.get(url)  # 发送GET请求获取网页内容html_content = response.text  # 获取网页HTML内容# 使用正则表达式从HTML内容中提取子域名subdomains = re.findall(r'(https?://\w+\.\w+\.\w+)', html_content)return subdomainstarget_url = 'http://www.baidu.com'
subdomains = get_subdomains(target_url)
print(subdomains)

在这个示例中,我们使用了requests库发送了一个GET请求到目标网站,并获取了网页的HTML内容。接着,我们使用了正则表达式来从HTML内容中提取出子域名。

3.小结

这只是一个简单的示例,实际情况可能更加复杂,需要考虑不同网页结构、链接格式等问题。

这篇关于爬取目标网站的域名和子域名【网站子域扫描工具01】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/606556

相关文章

高效录音转文字:2024年四大工具精选!

在快节奏的工作生活中,能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候,一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具! 365在线转文字 直达链接:https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具,它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件,只

hdu 2602 and poj 3624(01背包)

01背包的模板题。 hdu2602代码: #include<stdio.h>#include<string.h>const int MaxN = 1001;int max(int a, int b){return a > b ? a : b;}int w[MaxN];int v[MaxN];int dp[MaxN];int main(){int T;int N, V;s

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具,采用无代理架构(agentless),基于 SSH 连接进行管理,具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用,旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念

超强的截图工具:PixPin

你是否还在为寻找一款功能强大、操作简便的截图工具而烦恼?市面上那么多工具,常常让人无从选择。今天,想给大家安利一款神器——PixPin,一款真正解放双手的截图工具。 想象一下,你只需要按下快捷键就能轻松完成多种截图任务,还能快速编辑、标注甚至保存多种格式的图片。这款工具能满足这些需求吗? PixPin不仅支持全屏、窗口、区域截图等基础功能,它还可以进行延时截图,让你捕捉到每个关键画面。不仅如此

集中式版本控制与分布式版本控制——Git 学习笔记01

什么是版本控制 如果你用 Microsoft Word 写过东西,那你八成会有这样的经历: 想删除一段文字,又怕将来这段文字有用,怎么办呢?有一个办法,先把当前文件“另存为”一个文件,然后继续改,改到某个程度,再“另存为”一个文件。就这样改着、存着……最后你的 Word 文档变成了这样: 过了几天,你想找回被删除的文字,但是已经记不清保存在哪个文件了,只能挨个去找。真麻烦,眼睛都花了。看

速盾高防cdn是怎么解决网站攻击的?

速盾高防CDN是一种基于云计算技术的网络安全解决方案,可以有效地保护网站免受各种网络攻击的威胁。它通过在全球多个节点部署服务器,将网站内容缓存到这些服务器上,并通过智能路由技术将用户的请求引导到最近的服务器上,以提供更快的访问速度和更好的网络性能。 速盾高防CDN主要采用以下几种方式来解决网站攻击: 分布式拒绝服务攻击(DDoS)防护:DDoS攻击是一种常见的网络攻击手段,攻击者通过向目标网

PR曲线——一个更敏感的性能评估工具

在不均衡数据集的情况下,精确率-召回率(Precision-Recall, PR)曲线是一种非常有用的工具,因为它提供了比传统的ROC曲线更准确的性能评估。以下是PR曲线在不均衡数据情况下的一些作用: 关注少数类:在不均衡数据集中,少数类的样本数量远少于多数类。PR曲线通过关注少数类(通常是正类)的性能来弥补这一点,因为它直接评估模型在识别正类方面的能力。 精确率与召回率的平衡:精确率(Pr

husky 工具配置代码检查工作流:提交代码至仓库前做代码检查

提示:这篇博客以我前两篇博客作为先修知识,请大家先去看看我前两篇博客 博客指路:前端 ESlint 代码规范及修复代码规范错误-CSDN博客前端 Vue3 项目开发—— ESLint & prettier 配置代码风格-CSDN博客 husky 工具配置代码检查工作流的作用 在工作中,我们经常需要将写好的代码提交至代码仓库 但是由于程序员疏忽而将不规范的代码提交至仓库,显然是不合理的 所

10个好用的AI写作工具【亲测免费】

1. 光速写作 传送入口:http://u3v.cn/6hXWYa AI打工神器,一键生成文章&ppt 2. 讯飞写作 传送入口:http://m6z.cn/5ODiSw 3. 讯飞绘文 传送入口:https://turbodesk.xfyun.cn/?channelid=gj3 4. AI排版助手 传送入口:http://m6z.cn/6ppnPn 5. Kim