Google 要爬各个网站的资料,会需要派出 Crawler (Googlebot) 来爬资料,最后才能搜寻。
但是要怎么样才能确认 Bot 真的是 Googlebot 呢?
Googlebot 的 IP列表 与 验证方式
Googlebot 的 IP 列表可见:Googlebot ip list
Google 官方就有说明验证方式:
下述摘录自此篇:Googlebot 和其他 Google 检索器>的身分验证方式
- host 66.249.66.1
- 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
- host crawl-66-249-66-1.googlebot.com
- crawl-66-249-66-1.googlebot.com has address 66.249.66.1
- host 35.247.243.240
- 240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
- host geo-crawl-35-247-243-240.geo.googlebot.com
- geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240