2023 年谷歌爬虫（Google Bot）IP 地址段分享

add

明月这么多年来始终认为谷歌爬虫是最规范的网络爬虫了，所以对于谷歌爬虫的开放程度也是最大的，平时在分析日志的时候也发现谷歌爬虫是最勤快的爬虫了，最近在分析日志的时候捎带手的对谷歌爬虫 IP 进行了系统的统计整理，经过近半个月的收集截止到目前为止基本获得了谷歌开放爬虫的 IP 地址段，今天就分享给大家。

值得收藏，2023 年谷歌爬虫（Google Bot）IP 地址段分享

66.249.64.0/19        谷歌
72.14.192.0/18        谷歌
66.249.64.0/20        谷歌
203.208.32.0/19        谷歌
216.239.0.0/16        谷歌
66.102.0.0/16        谷歌
64.233.0.0/16        谷歌
72.14.0.0/16        谷歌
74.125.0.0/16        谷歌
35.244.0.0/14        谷歌
上述 IP 地址段，几乎涵盖了目前经常出现的谷歌爬虫，具体清单有：

Google-Display-Ads-Bot
FeedFetcher-Google
Google-adstxt
Googlebot
Googlebot-Image/1.0
Googlebot/2.1
Mediapartners-Google
更多谷歌爬虫 UA 请查阅【谷歌爬虫 UA 字符串】（点击链接查看高清大图）

如果有启用 CDN 的话，强烈建议大家将上述 IP 地址段加入白名单或者加白处理，服务器端依旧建议加白处理哦！如果您跟明月一样使用的是上海云盾 CDN 的话，建议在“用户中心”单独设定一个 IP 库，然后借助“精准访问控制 ”针对此 IP 库进行加白处理：
值得收藏，2023 年谷歌爬虫（Google Bot）IP 地址段分享
虽然谷歌爬虫非常值得信赖，但别有用心的人依旧会利用爬虫进行恶意的攻击，所以建议大家有条件的话还是在服务器端设定好并发请求限制，防范有人利用正规爬虫造成 DDoS 攻击哦。其实对待搜索引擎爬虫不用过于刻意了，只要做到开放即可，吸引爬虫的最佳手段依旧是高质量原创内容，投机取巧的方法尽量少用，除非你不用考虑域名的长期价值和利益。


https://www.imydl.com/wzjs/16498.html