打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Googlebots一览

 

Google的spider(爬虫)——Googlebot的相关原理,那么到底Google一共有多少种Googlebot呢?因为Google需要派出不同的类型的Googlebot来分析及抓取不同的网页内容。SERT的Phoenix整理出了一个列表,如下:

  1.Googlebot(即普通抓取网页的Google爬虫)

  2.MediaBot(用来分析投放了AdSense广告的网页。User Agent:"Mediapartners-Google")

  3.ImageBot(用来分析图片,然后将结果提交到Google图片搜索。User Agent:"GoogleBot-Image")

  4.AdsBot(用来检查AdWords的广告着陆页的质量。User Agent:"AdsBot-Google")

  5.Feedfetcher-Google(用来抓取各种RSS Feed)

  6.Generic Mobile Phone(移动版的Googlebot) (compatible;GooglebotMobile/2.1;+http://www.google.com/bot.html)

  上面的列表不一定完整,因为应该还有一些没有被发现的,感兴趣的朋友请留意WMW上面的相关讨论

  其实这些bots才是真正的辛勤劳动者,日夜不停地来回奔跑,值得尊敬。当然,前提是它们对你家网站感兴趣。
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
robots
robots.txt 指南
robots.txt写法大全和robots.txt语法的作用
如何使用robots.txt防止搜索引擎抓取页面
網上三招防洩個人資料
Robots.txt指南:全国特价虚拟主机联盟!
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服