Googlebot 的 IP列表 与 验证方式

..

Google 要爬各个网站的资料,会需要派出 Crawler (Googlebot) 来爬资料,最后才能搜寻。

但是要怎么样才能确认 Bot 真的是 Googlebot 呢?

Googlebot 的 IP列表 与 验证方式

Googlebot 的 IP 列表可见:Googlebot ip list

Google 官方就有说明验证方式:

下述摘录自此篇:Googlebot 和其他 Google 检索器>的身分验证方式

  • host 66.249.66.1
    • 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
  • host crawl-66-249-66-1.googlebot.com
    • crawl-66-249-66-1.googlebot.com has address 66.249.66.1
  • host 35.247.243.240
    • 240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
  • host geo-crawl-35-247-243-240.geo.googlebot.com
    • geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240
想在手机阅读更多Google资讯?下载【香港硅谷】Android应用
分享到Facebook