大数据文摘出品 作者：曹培信 今年是2020年的第一天，我们来讲点喜事。 大熊猫是我国的国宝，作为中国的独有物种，大熊猫以它憨态可掬的形象深得人心，今年11月，2019年共繁殖大熊猫37胎60只，存活57只，全球圈养大熊猫数量达到600只。 不得不说，这57只熊猫宝宝，实在是来之不易，数据也表明了，大熊猫之所以数量这么少，除了它们对栖息环境、食物等要求高之外，繁殖率低也是一个重要原因。

众所周知，国内的搜索引擎爬虫是恶名昭著的，不遵守行业规则，不尊重robots.txt的规定，其疯狂的爬网页行为对缺乏安全抵抗机制的中小互联网站往往是灭顶之灾。 就是JavaEye网站也时不时遭受流氓爬虫的困扰，流氓爬虫包括了百度，雅虎中国等所谓的大公司。至于名气稍小一点的爬虫，那就更加肆无忌惮了。JavaEye网站曾经连续封杀了两个C类IP地址段以杜绝其流氓行径。 但是没有想到啊，中国