湖南站长论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 295|回复: 2

网站连通率为0的前因后果及预防补救措施

[复制链接]
发表于 2015-3-24 14:03:15 | 显示全部楼层 |阅读模式

帖子内包含图片,需登陆后查看高清大图

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
一、何谓连通率

既然为率,那么就是一个统计相关概念。我们不妨可以这样理解一个网站的连通率:百度蜘蛛在抓取网站页面的时候计算的一个概率,比如它抓取某网站中的N个页面,这N个页面都能打开并被蜘蛛成功抓取,这样的连通率就是N/N=100%,反之蜘蛛抓取N个页面有M个页面能成功抓取,连通率就是M/N

这里先说明几个常识:

1、不是网站被某算法惩罚而导致连通率为0,也不是网站流量下降而导致连通率数值很低;

2、连通率代表着百度蜘蛛获取网站数据的情况,如果连通率数值很低或为0,那么可能连维持网站的正常收录等都成问题;

3、假如网站被判定连通不了,那么如果让一个连通不了的站点在百度中获取排名,就会大大影响搜索用户的体验,于是百度就会采取对该站点有效引流的索引清除操作,一些站长就会发现自己的网站索引量突然大幅度下降,甚至索引被短暂清0了,接着就是网站百度搜索流量大幅度下降,这种突发性的事件又会造成站长们的揣测,以为自己的网站被百度惩罚了,其实站长们先应该注意的是站点的连通情况。

二、提取核心词

上述概念中,我们需要注意的几个词有:”百度蜘蛛”; ”在抓取”; ”N个页面”; ”M个页面”; ”都能打开并被成功抓取”。
三、连通率很低或为0时

我们抓住上述5个提取出的核心词进行分析。

(一)百度蜘蛛

1、谨防百度蜘蛛访问被操控或禁止

(1)由于百度蜘蛛的抓取量等原因对一些服务器造成压力,而这些网络商或网站运营方从某利益角度考虑,无意或有意的屏蔽百度蜘蛛,导致部分或全部百度蜘蛛ip获取不到网站数据;

(2)一些网站运营方或网络商对蜘蛛进行区别对待,比如国外蜘蛛ip、山东蜘蛛ip、北京蜘蛛ip等返回不同的数据,移花接木的手段层出不穷,而这个过程很可能造成百度蜘蛛的异常行为或异常状态返回;

所以我们首先要确保百度蜘蛛的访问有没有被操控或禁止。

2、预防措施

(1)完善联系方式获得百度站长工具消息提醒
虽然一些网站异常情况会收到百度站长工具消息提醒,然而我想告诉大家不是所有自己站点异常都可以寄希望于消息提醒的,自己心里要知道连发邮件都可能出现收不到的情况,更何况各种复杂的异常情况,因此不要出问题了只会问“为什么站长工具没有给我发消息”。

(2)利用抓取异常和抓取频次工具观察抓取情况

↓抓取异常工具的网址异常情况
为了保证网站对百度蜘蛛的稳定访问性能,日常我们需要养成定期抓取诊断的习惯,另外抓取诊断不是说光看看状态是否“抓取成功”就行了。有下面几步进行:

第一步:下拉选择分”pc”、 ”移动”进行抓取,”pc”意味着一般意义上的电脑端访问诊断,”移动”则是如手机、平板等移动设备端访问诊断;

第二步:网站主要的引流页,如首页、详情页、内容页、专题页等都要进行抓取,另外可以重点几个时间段(比如网站高峰时间段)每天定期进行测试;

第三步:抓取失败了,点击”抓取失败”查看提示信息,如果自己没有技术能力解决问题,可以跟空间商进行沟通,然后向工具提交报错;
第四步:抓取成功后,也不能说就万事大吉了,还要点击”抓取成功”进去注意:提交网址、抓取网址、抓取UA、网站ip、下载时长、头部信息(服务器返回状态码、gzip等相关信息)、网页源码是否都正常。
特别说明:有很多站长就光注意抓取成功,却不知网站ip可能并非自己的实际ip,被网络商搞到哪里去了都不知道,还可能每隔一段时间都变。当发现ip有问题,及时跟网络商沟通,并在网站ip旁点击“报错”按钮,百度会更新网站ip,但是切记不要ip变化频繁。此外当然还可能出现实际抓取网址、头部信息、网页源码等都不是自己本来设置的。

(二)在抓取

这是反映百度蜘蛛在抓取时的状态,百度的工具显示的数值肯定都是抓取后计算出来的数据,因此任何工具的连通率数据必定存在延迟性,另外这个计算过程也存在一定可能的错误,所以我们看到任何工具中关于连通率的数据,不要说“我网站用抓取诊断等工具检查访问情况都好好的,为什么连通率还是0”,因此除了上述建议的多抓取诊断测试外,自己可以加些监控网站连接状态的措施,笔者本人就曾经接收了不少关于网站连接不通的提醒。这时我会及时跟网络商沟通,然后及时用抓取诊断检查蜘蛛的情况。
大连工作服www.dl-yiyi.com



发表于 2015-3-24 14:07:53 | 显示全部楼层
前排顶,很好!
发表于 2015-3-26 11:34:48 | 显示全部楼层
元芳你怎么看?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|湖南站长论坛

GMT+8, 2024-5-15 08:12 , Processed in 0.152471 second(s), 10 queries , Gzip On, MemCached On.

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表