怎么确定一个IP是否为百度蜘蛛?

建议你使用DNS反查方式来确定抓取来源的IP是否属于百度,根据平台不同,验证方法不同,如Linux/Windows/OS三种平台下分别验证如下。
在Linux平台下,你可以使用host ip命令反解IP来判断是否来自BaiduSpider的抓取。
BaiduSpider 的hostname以*.baidu.com ,*.baidu.jp ,非*.baidu.com ,*.baidu.jp即冒充。
$host 123.125.66.120
120.66.125.123 in-addr.arpa domain pointer
baiduSpider-123-125-66-120.crawl.baidu.com
host 119.63.195.254
254.195.63.119 in-addr.arpa domain name pointer
Baidu Mobaider-119-63-195-254.crawl.baidu.jp
在Windows 平台或者IBM OS/2平台下,你可以使用nslookup ip命令反解IP来判断是否是来自BaiduSpider 的抓取。
在MAC OS平台下,你可以使用dig命令反解IP来判断是否来自BaiduSpider 的抓取。打开命令处理器输入 dig IP地址,就能解析IP判断是否百度抓取。

展开

在线服务

  • 业 务 宇讯业务
  • 售 后 售后服务客服

服务热线

  • 0579-85122114
  • 130-5899 7758

微信