本文主要是介绍SEO:搜索引擎蜘蛛名称UA(user-agent),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
最近网站在做统计功能,想着统计下蜘蛛爬行记录,看看都有哪些搜索引擎蜘蛛经常关顾,故而好进行相应的对策改变。都知道搜索引擎对一个网站很重要,是很多网站重要的流量来源。熟悉各大搜索引擎的蜘蛛就显得必要。
做SEO优化的通常会说蜘蛛爬得越勤快,网页收录也快。通过分析网站访问日志:查看访问者的user-agent,我们就可以了解哪些搜索蜘蛛过来爬行过网站页面了,下面整理一下国内常用的一些搜索蜘蛛
1、 百度蜘蛛:Baiduspider Baiduspider-image baiduboxapp Baiduspider-render
百度搜索资源平台_共创共享鲜活搜索
2、 谷歌蜘蛛:Googlebot (很勤奋的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video
谷歌中文站长平台 >> 需要翻墙
3、 360蜘蛛:360Spider (比较懒的蜘蛛)
360站长平台-站长平台
4、 搜狗蜘蛛:SogouSpider, Sogou web spider
搜狗资源平台_公平开放的交流平台
5、 神马蜘蛛:YisouSpider (UC浏览器默认搜索sm.cn的蜘蛛)
神马站长平台
6、 必应蜘蛛:bingbot BingPreview
必应
7、 有道蜘蛛:YoudaoBot,YodaoBot(找不到)
8、 MSN蜘蛛:msnbot,msnbot-media
9、 雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!(找不到)
10、 Yandex蜘蛛:YandexBot (俄罗斯搜索引擎)
Oops, Captcha! >> 需要翻墙
11、 DNSPOD监控蜘蛛:DNSPod-Monitor
12、 MJ12bot:MJ12bot (英国SEO分析页面蜘蛛)
13、 SEMrush:SemrushBot (美国SEO综合分析网站的蜘蛛)
Semrush - 在线营销简单方便
14、 头条蜘蛛:Bytespider (今日头条旗下:高频抓取 被很多站长封禁后 有所改善)
头条搜索站长平台
15、 华为蜘蛛:AspiegelBot ( 华为旗下Aspiegel公司 疯狂高频爬行无节制 )
对于国内中文用户为主的站长主要使用 百度、Sogou搜狗、Bing、360搜索、神马、头条
对于大陆中文网站站长主要是 百度、360搜索和头条搜索,其它的可有可无
若是网站客户来源,手机端特别多,建议神马的不要禁止,毕竟UC的用户也有不少。
特别推荐屏蔽,甚至是拉进黑名单的:Yandex MJ12bot SEMrush,至于AspiegelBot需要看日志在决定,搞完之后能省下来不少性能和流量。
这篇关于SEO:搜索引擎蜘蛛名称UA(user-agent)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!