提高页面抓取速度,主动出击不容错过!页面抓取是否及时是广大站长最关注的一方面,之前的很多传统方法我们就不提了,安利一下百度站长平台链接提交主动推送功能,最近很多站点都反应这个工具很好用,抓取速度大量提升的同时收录也有明显增长。 所以我们不得不重点研究下。
先看下官方数据:百度站长平台主链接提交动推送工具功能自开放半年来参与提交站点近10W,日提交数据破亿,提交数据平均被抓取时间早于爬虫发现时间4个小时;另外,部分新站使用该工具被蜘蛛发现时间可以提升50%左右,主动推送工具让站点不再等待蜘蛛抓取,而是主动告诉召唤蜘蛛,从而促进收录。
我们看下具体案例:和某建筑网站交流过之后发现对方每天使用主动推送功能持续推送自己的新页面到百度,每天3W个左右的页面有95%以上被百度收录,相较之前有很大比例的提升。和某新建小说站交流后发现更夸张,每天使用主动推送数据推送5W条竟然全被收录了,网站负责人表示这是之前不敢想的事情。
主动推送功能也一直在更新版本迭代升级,蜘蛛抓取配额上限取消,已收录的页面如果有内容更新也建议使用主动推送,效果明显。
最有意思的是,在近期上线的百度站长平台活动“抓取争霸赛”中,网站可以明确看到自己抓取速度的提升秒数,除此以外,竟然还可以查看感兴趣的网站是否使用了主动推送,抓取速度比你提升的多还是少。正所谓“知己知彼,百战不殆”,点击链接,立即开战。
2898站长资源平台旅游服务排行榜:http://www.2898.com/webmain/lyjd_lyfw.htm