WordPress网站的Robots协议应该怎么写

2024-06-21 18:08

本文主要是介绍WordPress网站的Robots协议应该怎么写,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

相信许多博主和Joe一样用的是Wordpress建站程序,Wordpress确实是一个非常强大的博客建设程序,前些天在网上了解到了一些Robots知识,接下来与大家分享一下Wordpress的Robots协议到底该怎么写才好?

我们先来了解一下什么是robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。当然robots协议可以说是一个君子协议,前不久百度起诉360未经授权大量抓取百度内容,因为百度之前忍痛遵守robots协议没有抓取淘宝内容,自然对360这种真流氓行径表示愤怒哈。

下面Joe先说一下自己的robots的协议,如下:

User-agent: *
#开始配置 所有引擎

Disallow: /comments/feed/
#禁止所有引擎抓取网站comments目录下的feed目录

Disallow: /*/trackback
#禁止所有引擎抓取网站包含和的目录下的trackback目录(包含子目录)

Disallow: /wp-admin/
#禁止所有引擎抓取网站wp-admin目录

Disallow: /wp-includes/
#禁止所有引擎抓取网站wp-includes目录

Disallow: /wp-content/plugins/
#禁止所有引擎抓取网站wp-content目录下的plugins目录

Disallow: /wp-content/themes/
#禁止所有引擎抓取网站wp-content目录下的themes目录

Disallow: /*?replytocom=
#禁止所有引擎抓取网站所有参数以replytocom=开头的动态页面

Disallow: /*/comment-page-*
#禁止所有引擎抓取网站包含和的目录下的前缀为comment-page-并且包含的目录(包含子目录)

Disallow: /?r=*
#禁止所有引擎抓取网站以?开头的并且参数前缀为r=并且包含的动态页面

Disallow: /?p=*
#禁止所有引擎抓取网站以?开头的并且参数前缀为p=并且包含的动态页面

Disallow: /page/
#禁止所有引擎抓取网站page目录

Sitemap: http://www.jinliniuan.com/sitemap.xml
#Sitemap地址:http://www.jinliniuan.com/sitemap.xml

Sitemap: http://www.jinliniuan.com/sitemap_baidu.xml
#Sitemap地址:http://www.jinliniuan.com/sitemap_baidu.xml

 

当然,这份协议并不是最佳设置,这样的东西都是需要根据个人的习惯与差异进行一些修改的,一般来说个人配置都是一个协议允许所有爬虫(多多益善嘛),接着就开始部署不希望抓取的目录,最后就是指明自己的网站地图,Joe的是一个谷歌地图,最后是百度地图。

各位有兴趣也可以参考一下大网站或者一些名博的robots协议写法,为自己的网站设计一份合适的协议。robots查看方法:比如百度,直接在百度网址后面加上robots.txt,即http://www.baidu.com/robots.txt



无觅相关文章插件,快速提升流量

本文固定链接: http://www.jinliniuan.com/archives/377 | 金林苑

这篇关于WordPress网站的Robots协议应该怎么写的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1081948

相关文章

电脑死机无反应怎么强制重启? 一文读懂方法及注意事项

《电脑死机无反应怎么强制重启?一文读懂方法及注意事项》在日常使用电脑的过程中,我们难免会遇到电脑无法正常启动的情况,本文将详细介绍几种常见的电脑强制开机方法,并探讨在强制开机后应注意的事项,以及如何... 在日常生活和工作中,我们经常会遇到电脑突然无反应的情况,这时候强制重启就成了解决问题的“救命稻草”。那

Nginx中配置HTTP/2协议的详细指南

《Nginx中配置HTTP/2协议的详细指南》HTTP/2是HTTP协议的下一代版本,旨在提高性能、减少延迟并优化现代网络环境中的通信效率,本文将为大家介绍Nginx配置HTTP/2协议想详细步骤,需... 目录一、HTTP/2 协议概述1.HTTP/22. HTTP/2 的核心特性3. HTTP/2 的优

关于WebSocket协议状态码解析

《关于WebSocket协议状态码解析》:本文主要介绍关于WebSocket协议状态码的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录WebSocket协议状态码解析1. 引言2. WebSocket协议状态码概述3. WebSocket协议状态码详解3

电脑开机提示krpt.dll丢失怎么解决? krpt.dll文件缺失的多种解决办法

《电脑开机提示krpt.dll丢失怎么解决?krpt.dll文件缺失的多种解决办法》krpt.dll是Windows操作系统中的一个动态链接库文件,它对于系统的正常运行起着重要的作用,本文将详细介绍... 在使用 Windows 操作系统的过程中,用户有时会遇到各种错误提示,其中“找不到 krpt.dll”

Qt 中集成mqtt协议的使用方法

《Qt中集成mqtt协议的使用方法》文章介绍了如何在工程中引入qmqtt库,并通过声明一个单例类来暴露订阅到的主题数据,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一,引入qmqtt 库二,使用一,引入qmqtt 库我是将整个头文件/源文件都添加到了工程中进行编译,这样 跨平台

nginx部署https网站的实现步骤(亲测)

《nginx部署https网站的实现步骤(亲测)》本文详细介绍了使用Nginx在保持与http服务兼容的情况下部署HTTPS,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录步骤 1:安装 Nginx步骤 2:获取 SSL 证书步骤 3:手动配置 Nginx步骤 4:测

MySql死锁怎么排查的方法实现

《MySql死锁怎么排查的方法实现》本文主要介绍了MySql死锁怎么排查的方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录前言一、死锁排查方法1. 查看死锁日志方法 1:启用死锁日志输出方法 2:检查 mysql 错误

Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南

《Rsnapshot怎么用?基于Rsync的强大Linux备份工具使用指南》Rsnapshot不仅可以备份本地文件,还能通过SSH备份远程文件,接下来详细介绍如何安装、配置和使用Rsnaps... Rsnapshot 是一款开源的文件系统快照工具。它结合了 Rsync 和 SSH 的能力,可以帮助你在 li

电脑密码怎么设置? 一文读懂电脑密码的详细指南

《电脑密码怎么设置?一文读懂电脑密码的详细指南》为了保护个人隐私和数据安全,设置电脑密码显得尤为重要,那么,如何在电脑上设置密码呢?详细请看下文介绍... 设置电脑密码是保护个人隐私、数据安全以及系统安全的重要措施,下面以Windows 11系统为例,跟大家分享一下设置电脑密码的具体办php法。Windo

怎么关闭Ubuntu无人值守升级? Ubuntu禁止自动更新的技巧

《怎么关闭Ubuntu无人值守升级?Ubuntu禁止自动更新的技巧》UbuntuLinux系统禁止自动更新的时候,提示“无人值守升级在关机期间,请不要关闭计算机进程”,该怎么解决这个问题?详细请看... 本教程教你如何处理无人值守的升级,即 Ubuntu linux 的自动系统更新。来源:https://