搜索引擎抓取常见返回码有哪些及其含义

Submitted by phifans on Mon, 12/19/2022 - 18:08

什么是返回码

返回码即http返回码又称http状态码,是用表示网页服务器http响应状态的3位数字代码,搜索引擎在进行抓取和处理时,是根据http协议规范来设置相应含义的. 在seo工作中,比较常见的返回码是404、503、403、301,弄清楚它们的含义,有助于我们开展seo工作,在返回这些代码时,我们应该知道怎么去进行修复。

1.seo常见404返回码的含义是“notfound”,搜索引擎认为这样的网页应该失效,不能供用户访问了,通常搜索引擎会从搜索结果中删除,如果短期内spider再次发现这条URL也不会抓取。

解决方法:修复出现404返回码的页面,使其链接能够正常访问。如果是不需要的页面,应该通知搜索引擎将该URL删除,有两种方法 a.如上面所说,等待搜索引擎发现,并自动删除。 b.向搜索引擎提交需要删除的URL,例如,百度站长平台支持通过 sitemap向百度提交网站的死链列表。值得注意的是,不可将404页面跳转到首页。还有就是,你有明确不想让搜索引擎访问或想删除的页面,在通过向搜索引擎提交删除请求后,应做好robots.txt阻止其被抓取或者返回404状态码表示当前页面不存在。

2.seo常见403返回码的含义是“forbidden”,搜索引擎认为当前页面禁止访问,但也不会删除,短期内会反复访问几次,如果网页允许访问,则正常抓取;如果长期返回403,搜索引擎会认为该URL是失效链接,将会删除。

解决方法:修复出现403返回码的页面,使其链接能够正常访问。如果是不需要的页面,应该返回404状态码,按404操作。

3.seo 常见503返回码的含义是“service unavailable”,搜索引擎会认为该网页临时不可访问,网站临时和带宽有限等都会产生503。搜索引擎不会直接删除返回503的页面,短期内会再次访问,届时网页恢复,则正常抓取,如继续返回503,那么这个URL会被搜索引擎认为为失效链接,从搜索结果中删除。注:由蜘蛛对站点抓取造成的压力过大,导致蜘蛛抓取失败,尽量不要使用404,应使用503。

4.seo常见301返回码的含义是“moved permanently”,搜索引擎认为当前网页跳转至新的URL,站点迁移、域名更换、站点改版推荐使用301返回码。改版或换域名后,应维持旧域名能稳定访问尽可能长的时间。 200返回码表示请求成功,请求所希望的响应头或数据体将随此响应返回。 503。由于临时的服务器维护或者过载,服务器当前无法处理请求。这个状况是临时的,并且将在一段时间以后恢复。如果能够预计延迟时间,那么响应中可以包含一个Retry-After头用以标明这个延迟时间。如果没有给出这个Retry-After信息,那么客户端应当以处理500相应的方式处理它。

5.seo常见410返回码。如果请求的资源已被永久删除,那么服务器会返回此响应。该代码与404(未找到)代码类似,但在资源以前有但现在已经不复存在的情况下,有时会替代404 代码出现。如果资源已被永久删除,那么,您应当使用301 代码指定该资源的新位置。

栏目