404错误页面产生原因和解决办法

公司动态最新签约

2022-05-15

  HTTP 404或(huo)Not Found错(cuo)误信息是(shi)HTTP的(de)其(qi)中一种“标准回(hui)应信息”(HTTP状态(tai)码)，此信息代(dai)表客户端在浏览网页(ye)时(shi)，服务器无(wu)法(fa)正常提供信息，或(huo)是(shi)服务器无(wu)法(fa)回(hui)应且不知原因。

大量死链对搜索引擎来讲，有什么影响?

1、很多站都(dou)避免(mian)不了存在(zai)死链接，但(dan)死链率过高(gao)，会影响搜索引擎对网站的评分。
2、搜索(suo)引擎对每个(ge)网(wang)站每天抓取(qu)的(de)频次是限(xian)额(e)的(de)，若网(wang)站存(cun)在大量死链，会浪(lang)费掉(diao)抓取(qu)配额(e)并影响正常页面的(de)抓取(qu)。
  3、过多死链对网站用(yong)户(hu)来讲(jiang)也是体验不好的表现(xian)。

百度站长工具中有一个抓取异常，那么这个工具里面的异常数据是如何产生的呢?

1、网(wang)站(zhan)内部添加了错误的(de)内部链接

编辑失(shi)误或者(zhe)程序员大意(yi)让页(ye)面产生(sheng)了不存在的页(ye)面。

2、网站短暂(zan)无法访(fang)问
因为(wei)服(fu)务(wu)(wu)器(qi)(qi)、空间或程序问题导致网站短暂无法访问，产生大量返回码为(wei)5开(kai)头的(de)服(fu)务(wu)(wu)器(qi)(qi)错误页面。

3、外部链(lian)接错(cuo)误

用户或(huo)者站(zhan)长(zhang)在站(zhan)外发布了(le)错误(wu)URL，蜘蛛(zhu)爬取(qu)后(hou)产(chan)生错误(wu)页(ye)面(mian);别的网站(zhan)复制(zhi)或(huo)采集了(le)你们含有错误(wu)链接(jie)的页(ye)面(mian);有些垃圾网站(zhan)自动生成(cheng)的静态搜索结(jie)果(guo)页(ye)。

 4、爬虫(chong)提(ti)取了不完(wan)整的(de)URL

个别爬虫(chong)在提取(qu)页面URL的时候，只提取(qu)部分URL或者把正常的URL后面的文(wen)字或字符(fu)也提取(qu)进去了。

5、网站改版

网(wang)站改(gai)版过程中老页(ye)面直接删除并没有301跳转(zhuan)到对应页(ye)面，或(huo)者实行301跳转(zhuan)后依然部分老页(ye)面无(wu)法访问。

6、管理员删除页(ye)面

网站管理(li)员删除被(bei)黑(hei)、广告(gao)、过时、被(bei)灌水页面导致很多死链(lian)接。

7、过(guo)时或交易完毕页面

下架(jia)商品、过期信息

出现了(le)(le)了(le)(le)上述情况(kuang)，我们该(gai)如何(he)去解决

1、修复错误页面(mian)

抓取异常中的(de)很多错误(wu)页(ye)面(mian)(mian)是(shi)因为程(cheng)序(xu)员大意或者我们程(cheng)序(xu)问题(ti)导致的(de)，本应该是(shi)正(zheng)常页(ye)面(mian)(mian)，因为失误(wu)导致无法访问，对于此类页(ye)面(mian)(mian)，第一时(shi)间进(jin)行(xing)修复。

2、提交死链接

但必定很多错(cuo)误(wu)页(ye)面(mian)是本不应该存在的，那么(me)我们要(yao)想办(ban)法获(huo)取(qu)此类页(ye)面(mian)URL，获(huo)取(qu)方式主要(yao)有三种：
  (1) 百度(du)(du)站长工具--抓取异常--找不到的页(ye)面(mian)--复制数据(ju) [修正：此处(chu)死链(lian)不需我(wo)们(men)提(ti)交了，百度(du)(du)站长工具自动(dong)提(ti)交死链(lian)];
(2) 管(guan)理员在删(shan)除(chu)页面(mian)的(de)时候(hou)手动(dong)或者程(cheng)序自(zi)动(dong)保(bao)存被删(shan)页面(mian)URL;
(3) 使用相(xiang)关(guan)爬(pa)虫软件，爬(pa)取整站获取死(si)链，如Xenu 。
然(ran)(ran)后(hou)将上述数据合(he)并并删除重复(fu)项(excel表格中能实现删重，wps表格更(geng)容易(yi)操作)，然(ran)(ran)后(hou)再复(fu)制所有URL通过HTTP状态批量查(cha)询工(gong)具查(cha)询下[这个(ge)不错pl.soshoulu.com/webspeed.aspx]，剔除掉(diao)非404返回码页面。
然(ran)后整理上面处理好的(de)(de)数据粘贴到(dao)(dao)网站(zhan)根(gen)目录中(zhong)的(de)(de)一(yi)个文(wen)档(dang)(dang)中(zhong)，再把(ba)文(wen)档(dang)(dang)地址提交到(dao)(dao) 百度站(zhan)长工(gong)具--网页抓取--死(si)链提交--添加(jia)新数据--填写死(si)链文(wen)件地址。

3、在robots中屏(ping)蔽抓取(qu)

若大量的(de)错误(wu)URL存在一定的(de)规(gui)律，可以在robots文件中(zhong)写(xie)一个规(gui)则(ze)(ze)禁(jin)止蜘蛛抓取(qu)此类链(lian)接，但前提(ti)一定要照(zhao)顾好正常页面(mian)，避免(mian)屏蔽规(gui)则(ze)(ze)误(wu)伤正常页面(mian)，比(bi)如(ru)你的(de)网(wang)站全(quan)部是(shi)静态URL，那么如(ru)果(guo)错误(wu)链(lian)接中(zhong)含有?的(de)话，规(gui)则(ze)(ze)写(xie)成Disallow:/*?*，如(ru)果(guo)错误(wu)链(lian)接中(zhong)有/id...html 的(de)话，规(gui)则(ze)(ze)写(xie)成Disallow:/*...* 。
robots文(wen)件添加完规则后(hou)，一定(ding)要去百度(du)站长的 robots工具进行校(xiao)验(yan)，将(jiang)指定(ding)的错(cuo)误页(ye)面(mian)放进去，看(kan)看(kan)是否封禁(jin)成功(gong)，再把正常的页(ye)面(mian)放进去看(kan)看(kan)是否被误封。

相关(guan)注(zhu)意事项(xiang)：

1、在(zai)(zai)(zai)百度站长工(gong)具(ju)中(zhong)提交死(si)链前，一定(ding)要(yao)确保提交的死(si)链数据不存在(zai)(zai)(zai)活链接。一旦存在(zai)(zai)(zai)活链，会显示提交失败导致无(wu)法删除。

2、由于很多(duo)网(wang)站程序问题，很多(duo)打(da)(da)不开(kai)的页面返(fan)回(hui)码(ma)并非404，这是一个大问题，比如(ru)明(ming)(ming)明(ming)(ming)是打(da)(da)不开(kai)的页面返(fan)回(hui)码(ma)是301、200、500，如(ru)果(guo)是200的话，会(hui)导致(zhi)网(wang)站中出现不同(tong)URL获取相同(tong)内(nei)容。

3、把所有的错误页(ye)面找(zhao)到后，一定要寻找(zhao)此类(lei)页(ye)面URL相同(tong)特征，并且和正常(chang)页(ye)面的特征有区分，写(xie)对应规(gui)则(ze)到robots文件中(zhong)，禁(jin)止蜘蛛(zhu)抓(zhua)取，就(jiu)算你已经在(zai)站(zhan)长工具中(zhong)提(ti)交了(le)死链，也建议robots封禁(jin)抓(zhua)取。

4、robots只(zhi)能解决蜘蛛(zhu)不再(zai)抓取此类页(ye)(ye)(ye)面(mian)(mian)，但解决不了(le)已经收录页(ye)(ye)(ye)面(mian)(mian)的(de)(de)快照删除问题，若你的(de)(de)网站被(bei)黑(hei)，删除了(le)被(bei)黑(hei)页(ye)(ye)(ye)面(mian)(mian)，除了(le)robots封(feng)禁(jin)被(bei)黑(hei)页(ye)(ye)(ye)面(mian)(mian)外，还应该将这些页(ye)(ye)(ye)面(mian)(mian)提交死(si)链(lian)。提交死(si)链(lian)是删除被(bei)黑(hei)页(ye)(ye)(ye)面(mian)(mian)快照的(de)(de)最(zui)快办(ban)法。

上一篇：五大技巧打造高质量的网站内容

下一篇：网站建设的成功跟设计细节有着密不可分的关系