百度蜘蛛IP分别代表什么?它们有什么用?

2024-03-23 00:50
文章标签 分别 ip 百度 代表 蜘蛛

本文主要是介绍百度蜘蛛IP分别代表什么?它们有什么用?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

       对于SEOer来说,日志分析是必须的,可是蜘蛛的分类,我们怎么分析、查看呢?今天阿泽给大家详解一下百度蜘蛛IP分别代表什么?它们有什么用?希望对大家有帮助!
       我们都知道:百度蜘蛛有着很多不同的ip段,我们网站的iis日志也都记载着每个访客或者蜘蛛的所以记录,为了能够对我们的网站能够更了解,比如什么时候百度降权蜘蛛过来了?什么时候百度沙河蜘蛛过来了?什么时候百度高权重蜘蛛过来了?什么时候百度抓取首页和内页的蜘蛛过来了等等一系列的问题,有了这篇文章让你在分析网站IIS日志的时候如鱼得水,看看都有那些蜘蛛ip来过,参考下下面的数据就能对你网站了如指掌。阿泽SEO自学网在网络上收集了下面关于百度蜘蛛不同ip的解释总结,希望能够对小伙伴们有所帮助!

下面这些ip段是百度蜘蛛IP的造访,准备来抓取你网站的网页蜘蛛。
       60.172.229.61
       61.129.45.72
       61.135.162.*
下面这些ip段是百度竞价蜘蛛。
       61.135.165.134
       117.34.74.66
       118.122.188.194
       119.63.196.9
       125.39.78.185
下面这个ip段是百度联盟蜘蛛爬虫,其实就是百度统计的蜘蛛。
       61.135.186.*
下面这几个ip段是站长工具上的模仿百度蜘蛛。
       61.147.98.146
       61.188.39.16
       113.98.254.245
       117.21.220.245
       117.28.255.42
下面这个ip是搜外站长工具的模仿百度蜘蛛。
       124.248.34.52
下面这个ip和ip段是114站长工具箱的蜘蛛,在你网站不是很稳定的情况下会经常过来的。
       119.147.114.213
       121.10.141.*
这个ip段是百度图片蜘蛛的。
       123.15.**.**
这个ip段是抓取网站内页收录的,但是由于文章权重比较低,被爬过的内页文章暂时不会放出来,需要考察一段时间,因为不是原创的文章。(百度图片爬虫)
       123.125.71.*
下面这个ip段是属于百度蜘蛛IP,是你经常用一些站长工具检测后造成的,基本是没有多大用的。
       125.90.88.*
下面这些ip段为百度考察期蜘蛛,也有可能是降权蜘蛛,因为有人说过他网站被K的时候网站全是这个蜘蛛,或者是百度人工。
       159.226.50.*
       180.76.5.*
       180.76.5.87
       220.181.158.107
这个是伪装百度蜘蛛的一个IP段。
       180.149.130.* 
这个ip段出现在新站及站点有不正常现象后的时候。
       183.91.40.144
       203.208.60.*
这个ip段不间断巡逻各站,就是路过一下,是来打酱油的,不用担心啥。
       210.72.225.*
如果发现下面这几个ip段每天只增不减的话,那就很危险了,很有可能会进入沙盒或者有被K站的现象。
       123.125.68.*
       218.30.118.102
       220.181.68.*
这个ip段主要是抓取首页占80%,内页占30%,此ip爬过的文章或首页,绝对24小时内放出来和隔夜快照的!一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新,蜘蛛来过,如果是 200 0 64别担心这不是K站,可能是网站是动态的,所以返回就是这个代码。
       220.181.108.*
下面的ip段代表百度蜘蛛IP来过了,准备抓取你网站上的东西!
       123.125.66.*
       220.181.7.*
这个ip段是百度蜘蛛作为度过新站考察期的一个ip段。
       121.14.89.*
这个是百度抓取首页的专用IP,如是220.181.108段的ip来的话基本来说网站会天天隔夜快照,一般是不会出错的!偷偷的笑吧!
       220.181.108.95
下面这个ip是98%抓取首页可能还会抓取其他(不是指内页)属于百度的权重IP段,此ip段爬过的文章或首页正常情况下基本在24小时都会放出来,偷偷的笑吧!
       220.181.108.92
下面这个ip属于综合的,主要是用来抓取首页和内页或者其它页面的,也是属于一个权重IP,基本被抓过的文章或首页24小时就会放出来。
       220.181.108.91 
下面这个ip是重点抓取更新文章的,内页达到90%,首页抓取达到8%,2%其他权重ip段,基本被抓过的文章或首页24小时就会放出来。
       220.181.108.75
下面这些ip是抓取内页收录的,权重相对比较低,爬过此段的内页文章不会很快被放出来,因它怀疑不是原创文章或者怀疑是采集来的文章。
       123.125.71.95
       123.125.71.97 
       123.181.108.77
       123.125.71.106
下面这些ip是专用抓取网站首页的,也属于权重段,一般返回代码304 0 0就代表网站未更新。
       220.181.108.89
       220.181.108.94
       220.181.108.97
       220.181.108.80
       220.181.108.77
       220.181.108.83
       220.181.108.86
       以上就是我整理收集的全部了,如果那里有遗漏或者不够完整的话,小伙伴们可以给我留言,我会及时加上更新的!
       最后,建议小伙伴将这些保存好,以便于分析日志时对比哦,感谢您的阅读。




  • zeropython 微信公众号 5868037 QQ号 5868037@qq.com QQ邮箱

这篇关于百度蜘蛛IP分别代表什么?它们有什么用?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/836621

相关文章

SpringBoot实现基于URL和IP的访问频率限制

《SpringBoot实现基于URL和IP的访问频率限制》在现代Web应用中,接口被恶意刷新或暴力请求是一种常见的攻击手段,为了保护系统资源,需要对接口的访问频率进行限制,下面我们就来看看如何使用... 目录1. 引言2. 项目依赖3. 配置 Redis4. 创建拦截器5. 注册拦截器6. 创建控制器8.

Linux限制ip访问的解决方案

《Linux限制ip访问的解决方案》为了修复安全扫描中发现的漏洞,我们需要对某些服务设置访问限制,具体来说,就是要确保只有指定的内部IP地址能够访问这些服务,所以本文给大家介绍了Linux限制ip访问... 目录背景:解决方案:使用Firewalld防火墙规则验证方法深度了解防火墙逻辑应用场景与扩展背景:

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

2024.9.8 TCP/IP协议学习笔记

1.所谓的层就是数据交换的深度,电脑点对点就是单层,物理层,加上集线器还是物理层,加上交换机就变成链路层了,有地址表,路由器就到了第三层网络层,每个端口都有一个mac地址 2.A 给 C 发数据包,怎么知道是否要通过路由器转发呢?答案:子网 3.将源 IP 与目的 IP 分别同这个子网掩码进行与运算****,相等则是在一个子网,不相等就是在不同子网 4.A 如何知道,哪个设备是路由器?答案:在 A

linux下查看自己的外网ip

局域网的服务器是通过ADSL路由器连接外网的,但ADSL是从ISP运营商那儿通过动态获得IP的,那么我怎么知道自己的外网地址是多少呢? 今天得到几个办法: curl -s http://whatismyip.org wget http://whatismyip.org 然后再  cat index.html 也可以看到

Imageview在百度地图中实现点击事件

1.首先第一步,需要声明的全局有关类的引用 private BMapManager mBMapMan; private MapView mMapView; private MapController mMapController; private RadioGroup radiogroup; private RadioButton normalview; private RadioBu

自定义view中常用到哪些方法作用分别是什么

目录 构造函数onMeasure(int widthMeasureSpec, int heightMeasureSpec)onDraw(Canvas canvas)onLayout(boolean changed, int left, int top, int right, int bottom)onTouchEvent(MotionEvent event)onSizeChanged(int

linux下TCP/IP实现简单聊天程序

可以在同一台电脑上运行,在一个终端上运行服务器端,在一个终端上运行客户端。 服务器端的IP地址要和本地的IP相同,并分配端口号,客户端的默认设置为本地,端口号自动分配。 服务器端: #include <stdio.h>#include <stdlib.h>#include <errno.h>#include <string.h>#include <sys/types.

超越IP-Adapter!阿里提出UniPortrait,可通过文本定制生成高保真的单人或多人图像。

阿里提出UniPortrait,能根据用户提供的文本描述,快速生成既忠实于原图又能灵活调整的个性化人像,用户甚至可以通过简单的句子来描述多个不同的人物,而不需要一一指定每个人的位置。这种设计大大简化了用户的操作,提升了个性化生成的效率和效果。 UniPortrait以统一的方式定制单 ID 和多 ID 图像,提供高保真身份保存、广泛的面部可编辑性、自由格式的文本描述,并且无需预先确定的布局。

C# 如何同时Ping多个IP地址

在C#中,如果需要同时ping多个IP地址,可以采用多线程或异步编程的方式来实现,以便可以同时进行多个ping操作。以下是两种常用的方法: 方法一:使用多线程(Task 或 Thread) 使用Task是更现代和推荐的方式,因为它内置了更好的线程管理和异常处理机制。以下是一个使用Task的示例,展示如何同时ping多个IP地址: using System; using System.Co