Tips:
1、通过该工具可以查询指定IP的物理地址或域名服务器的IP和物理地址,及所在国家或城市,甚至精确到某个网吧,机房或学校等;查出的结果仅供参考;
2、数字地址:即IP地址的数字化形式,复制在浏览器中访问就和访问IP一样;
3、不少伪造的爬虫程序会伪造 user-agent冒充baidu、google等搜索擎,好在google,baidu,bing等搜索引擎都提供一个DNS反向IP查询功能;
4、识别真假蜘蛛只需要:① 判断user-agent是否满足蜘蛛格式;② 然后进一步确定IP反解析域名是否属于该搜索引擎域名;
5、如果该IP实际地址与我们所记录的不符,请联系客服微信:seowhydidi 帮助我们更好地为您服务!
蜘蛛各ip段
百度 Baiduspider/2.0
Baiduspider-image
常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)
百度蜘蛛IP:
220.181.108.76 ~ 220.181.108.187
123.125.71.92 ~ 123.125.71.113
Bing bingbot/2.0
Bing蜘蛛IP:
157.55.39.97 ~ 157.55.39.98
40.77.167.36 ~ 40.77.167.87
207.46.13.1 ~ 207.46.13.255
Google Googlebot/2.1
Google蜘蛛IP:
66.249.74.78 ~ 66.249.74.80
66.249.71.53 ~ 66.249.71.124
66.249.65.93 ~ 66.249.65.99
搜狗sogou Sogou+web+spider/4.0
搜狗蜘蛛IP:
61.135.189.97 ~ 61.135.189.98
123.126.113.189
神马搜索 Yisouspider
原属一搜蜘蛛。
神马搜索IP:
42.156.137.103
360搜索 360Spider
360搜索蜘蛛IP:
180.153.232.*
180.153.234.*
180.153.236.*
180.163.220.*
42.236.101.*
今日头条 Bytespider
今日头条蜘蛛IP:
111.225.149.2 ~ 111.225.149.249
110.249.202.2 ~ 110.249.202.249
Yahoo Yahoo!
Yahoo蜘蛛IP:
68.180.230.46、68.180.228.253
Tips:
1、百度蜘蛛Baiduspider+url:可以根据服务器的负载能力调节访问密度,大大降低服务器的服务压力。根据以往的经验百度蜘蛛通常会过度重复抓取同样的页面,导致其他页面无法被抓取到而不能被收录。这样的情况可以采取robots协议的方法来调节。
2、谷歌蜘蛛googlebot+url:谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛最大的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
3、雅虎中国蜘蛛yahoo!Slurp+url:如果某个网站在谷歌网站下 没有好的收录,在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大,但平均的效率不是很高,相应的搜索结果质量不高。
4、微软必应蜘蛛search+url:必应与雅虎有深度的合作关系,所以基本运行模式和雅虎蜘蛛差不多。
5、搜狗蜘蛛sogou+url:搜狗蜘蛛的爬取速度比较快,抓取的数量比起速度来说稍微少点。搜狗蜘蛛最大的特点是不抓取robot.txt文件。
6、搜搜蜘蛛sosopider+url:搜搜早期是运用谷歌的搜索技术,谷歌有收录,搜搜肯定也会收录。2011年搜搜已经宣布采用自家独立的搜索技术,但搜搜的特性和谷歌蜘蛛的特点还是有着相似的地方。
7、有道蜘蛛YodaoBot+url:和其他搜索引擎蜘蛛一样,凡是高权重网站的链接一般都能将其收录。爬行原理也是通过链接之间的爬行。