如何提高spider抓取网站?

2020-04-03 18:39 seo排名 77 梁俊威

当我们网站开始做seo的时候,我们每天都要关注百度是否排除蜘蛛来抓取我们的网站,抓取了网站哪些内容(没有抓取哪些内容)?有的小伙伴问为什么?因为我们需要观察没有抓取的网站页面是否有问题需要进行调整。接下来这篇文章小编简单介绍几个提高爬虫抓取频率的方法。

提高spider蜘蛛抓取的方法有哪些?

一、抓取友好性:抓取压力调配降低对网站的访问压力

如果带宽过小,造成访问的压力也会过大,这个时候我们需要调整抓取压力,否则会直接影响网站正常用户的访问,我们要做的是不影响正常用户访问,又能让spider蜘蛛抓取有价值性的页面。

当一个域名下存在多个不同的ip或者多个域名在同一个服务器ip下访问时,我们需要根据ip、域名各种各样的多维度进行压力测试,并且调配控制好。

当然我们可以借助一些压力反馈工具,人工调配对网站的抓取压力,通过资源平台调整抓取频次,这样搜索引擎派出的蜘蛛spider会优先根据站长的要求进行抓取频次限制。

在同一个网站中,抓取速度又可以使用两种模式进行限制:①抓取频率限制 ②抓取流量限制。同一个站点在不同的时间内抓取的速度是不同的,根据站点的类型来设置。

二、常见网站抓取返回码

1、404:“NOT FOUND”,表示该网页已经失效,通常在库中删除,spider如果发现这条URL是不会抓取的。

2、503:“Service Unavailable”,表示该网页暂时不能访问。网页返回503状态码,百度spider不会直接删除这条URL,再访问多次的情况下,网页如果恢复正常,就能正常抓取。如果继续返回503,才会认为是失效链接,从库中删除。

3、403:“Forbidden”, 表示该网页目前禁止访问。如果生成的是新的URL,spider是暂时不会抓取,也是会再访问多次;如果是被收录的URL,不会直接删除,短期内同样反复访问几次。如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条URL也会被认为是失效链接,从库中删除。

4、301:“Moved Permanently”, 表示该网页重定向到新的URL。如果站点需要更换域名、站点改版的情况下,需要设置301重定向,也可以在站长平台上网站改版工具提交,有效减少网站的流量损失。

三、多种URL重定向的识别

为了能让蜘蛛spider读懂我们各种url重定向的识别,重定向分为三类,① 通过http重定向 ② 通过Meta refresh重定向 ③ js重定向;目前百度的搜索引擎是支持Canonical标签的。

四、抓取优先级调配

想让搜索引擎抓取网站全部页面,是没有百分百的。所以需要在抓取系统设计抓取优先级调配。

抓取优先级调配包含:宽度优先遍历策略、PR优先策略、深度优先遍历策略等等。根据实际情况结合多种策略使用完善抓取效果。

五、重复URL的过滤

避免网站中出现过重复链接,比如一个网站有多个入口,这样会引发降权惩罚的。

重复页面、重复链接可以使用301重定向,在服务器端对标准URL进行定义。把不标准的URL都301重定向到标准的URL上。

六、暗网数据的获取

暗网数据指的是搜索引擎无法抓取的数据。主要因为网站上的数据都在网络数据库中,spider很难抓取中获得完整内容;其次网络环境和网站本身不符合规范等问题,导致搜索引擎无法抓取。

解决暗网数据的问题,可以通过百度站长平台数据提交的方式来解决。

七、抓取反作弊

Spider在抓取过程中会抓取到低质量页面或者是被黑的页面。通过分析URL特征、页面的大小等等原因,完善的抓取反作弊。


若无特殊说明,本站点所有内容均为原创,转载请说明出处!

原文链接:https://www.codelearn.cn/read/124.html 点击复制