首页 > 网站数据分析 > 了解爬虫抓取,让网站合理布局!
2012十二月27

了解爬虫抓取,让网站合理布局!

 

      首先,搜索引擎爬虫在进行抓取的时候,会采取两种方式来抓取:深度优先和宽度优先的方式进行爬取。

      第一种,深度优先遍历抓取。深度优先抓取就类似后知博客这样的,石家庄SEO首页>石家庄网站优化基础>下级栏目,首选抓取是以这样的方式来抓取的,等到抓取完毕这些栏目之后,在进行抓“石家庄网站优化基础”栏目下的文章,这样就是深度优先策略,类似于家庭关系一样。长子、次子然后是长孙等这样的关系,后知博客没有那么深的栏目,所以看不到这样的效果。
      第二种,就是宽度优先的遍历抓取。这种方式的抓取,深度是不断的在增加的。类似于这样的“首页 > SEO技术 > 网站日志如何分析”爬虫来的你网站,会顺着一个栏目一级级向下抓取,等这个“SEO技术”栏目下被抓取完毕后,在进行其子下一个栏目。这样的宽度抓取是有一定的原因的,基于网站布局的问题,往往是重要的页面距离种子站点(种子站点是爬虫开始抓取癿起点)是比较近的,这样符合习惯。所以,你可以看到一个大型门户站点,最容易看到的是一些实事新闻,这点是距离种子站点越近可以理解为越重要的页面;其次,中文万维网的深度没有我们想象的那么深,到达一个网页路径不仅仅是一个,所以爬虫总能找到最近的路径到达当前页面,据相关数据表明中文万维网的深度为17;还有一点就是,多爬虫的合作策略,基于这个规则大部分的抓取的起始网页为站内的,逐渐的才会转向站外的链接,抓取的封闭性是比较强的。
 

    基于上述的两种抓取方式,我们可以看出,我们尽可能的节省爬虫的抓取时间,因为爬虫到你网站的时间是一定的,缩短其单页面的抓取时间会提高你网站的抓取量,进而会影响你网站的收录量,最终能够影响到你网站的SEO流量。根据以上两种方式,来合理布局你网站的内容,让爬虫能够很容易的抓取到你想要被抓取的东西,这样合理的布局好内容,让网站的seo流量有一个突破瓶颈的提升。
 

      本文来自网站数据分析博客!

文章作者:houzhi
本文地址:http://www.hozseo.com/54.html
版权所有 © 转载时必须以链接形式注明作者和原始出处!

本文目前尚无任何评论.

发表评论

使用新浪微博登陆