本文主要是介绍怎么试着不让搜索引擎收录网站?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
需求背景
最近有测试反馈,通过系统名搜索网站,不仅能出现用户端还能顺带搜出后台管理端,后台管理端没有开通注册功能,所以没有账号和密码,即使能够被搜到,用户也做不了什么操作,但为了安全考虑,还是不希望搜索引擎能够搜出后台管理端的网址。
解决方案
通过robots.txt来禁止搜索引擎收录。
- 修改相应项目对应的nginx配置文件,在其server {} 块中添加如下配置:
location =/robots.txt {default_type text/html;add_header Content-Type "text/plain; charset=UTF-8";return 200 "User-Agent: *\nDisallow: /";}
- 通过链接https://ziyuan.baidu.com/robots/index,测试下robots.txt是否生效,结果如下:
- 类似百度等搜索引擎都有一定的更新时间,所以需要过一段时间后再去验证网站是否已经没有被搜索引擎收录了。
从9月17到10月8日,大概过了半个多月,效果追加
再次搜索,出现如下情况:
但这其实也不是我想要的结果,因为还是搜的出来,点击进去一样是管理后台,所以还得再优化,待续。
这篇关于怎么试着不让搜索引擎收录网站?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!