2018-11-22
HTTP 404或Not Found错误信息是HTTP的其中一种“标准回应信息”(HTTP状态码)，此信息代表客户端在浏览网页时，服务器无法正常提供信息，或是服务器无法回应且不知原因。
大量死链对搜索引擎来讲，有什么影响?
1、很多站都避免不了存在死链接，但死链率过高，会影响搜索引擎对网站的评分。
2、搜索引擎对每个网站每天抓取的频次是限额的，若网站存在大量死链，会浪费掉抓取配额并影响正常页面的抓取。
3、过多死链对网站用户来讲也是体验不好的表现。
百度站长工具中有一个抓取异常，那么这个工具里面的异常数据是如何产生的呢? 1、网站内部添加了错误的内部链接
编辑失误或者程序员大意让页面产生了不存在的页面。
2、网站短暂无法访问
因为服务器、空间或程序问题导致网站短暂无法访问，产生大量返回码为5开头的服务器错误页面。
3、外部链接错误
用户或者站长在站外发布了错误URL，蜘蛛爬取后产生错误页面;别的网站复制或采集了你们含有错误链接的页面;有些垃圾网站自动生成的静态搜索结果页，
4、爬虫提取了不完整的URL
个别爬虫在提取页面URL的时候，只提取部分URL或者把正常的URL后面的文字或字符也提取进去了。
5、网站改版
网站改版过程中老页面直接删除并没有301跳转到对应页面，或者实行301跳转后依然部分老页面无法访问。
6、管理员删除页面
网站管理员删除被黑、广告、过时、被灌水页面导致很多死链接。
7、过时或交易完毕页面
下架商品、过期信息
出现了了上述情况，我们该如何去解决
1、修复错误页面
抓取异常中的很多错误页面是因为程序员大意或者我们程序问题导致的，本应该是正常页面，因为失误导致无法访问，对于此类页面，首先时间进行修复。
面提交死链。提交死链是删除被黑页面快照的快办法。