本文主要是介绍一种国际互联网界通行的道德规范——Robots协议，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
原则：
1搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；
2网站有义务保护其使用者的个人信息和隐私不被侵犯。
robots协议(也称爬虫协议，机器人协议等)是一种存放于网站根目录下的文本文件，
（在一网页中，在网页的URL（即网址）后加上/robots.txt,即可查看）如下图（了解）
通常告诉网络爬虫，此网站中的哪些内容是不应被网络爬虫获取的，哪些是可以被获取的。
robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。
接下来，我从上图截取第一部分来康康其书写规范：
最简单的robots.txt的常规写法两条规则：
这篇关于一种国际互联网界通行的道德规范——Robots协议的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
