武汉SEO > SEO优化 > 正文

搜索引擎优化原理:抓取频次是多少?什么情况下可以导致抓取问题

作者:武汉SEO 来源:武汉SEO推广 2019-06-21 11:15

搜索引擎优化原理:抓取频次是多少?什么是抓取预算?百度算法在不断更新,唯一不变的就是索引、抓取这两大核心。什么情况下可以导致抓取问题?下面,由笔者为大家详细的介绍一下吧!

搜索引擎优化原理:抓取频次是多少?什么是抓取预算?百度算法在不断更新,唯一不变的就是索引、抓取这两大核心。什么情况下可以导致抓取问题?下面,由笔者为大家详细的介绍一下吧!

前两天我写过网站收录下降的不同原因中,就提过抓取这个概念,不同类型的网站上的内容千差万别的,比如电商网站,如淘宝,就有大量的产品链接;内容输出型如:CMS,会有大量的文章单链接;论坛交互型。如:知乎,它是含有大量的评论回复链接,那么,搜索引擎蜘蛛在抓取时,应该也是区别对待的,怎么抓,抓多少,这就是‘抓取预算’的概念了,这个在国内叫抓取频率,它是由 Google 提出来的,谷歌工程师对此解释更加丰富!并且表示这个因素直接影响PageRank,也就是咱们说的排名…..

虽然SEO这几年的发展很快,但有些东西是不会大改变的,比如索引,抓取这两个核心。高品质的内容,权威性和相关链接的设计,以及一个良好的网站结构一直是搜索引擎喜欢的,算法也会围绕这些展开,想办法让网站变好是一个搜索引擎优化策略的所有关键,但咱们试想一下,如果搜索引擎无法抓取和索引你你的网站网页,这一切是不是都是白谈了。就像有些朋友说我明明索引很多页面,为啥还是没有好的排名,也许从抓取效率来看,其实很不好,收录了,但是质量不高。

搜索引擎优化原理:抓取频次是多少?什么情况下可以导致抓取问题?
搜索引擎优化原理:抓取频次是多少?什么情况下可以导致抓取问题?

什么是抓取预算(抓取频次)?

既然是预算,那么顾名思义就是投资,您比如老板给我们一定数额的投资预算,我们去投资项目,这个项目就是蜘蛛的抓取,至于派多少蜘蛛,抓取多少量,就是预算了,这个老板呢,就是谷歌智能了!我们想做的就是花这么多钱,投资效益最大化,抓取也一样,同样的抓取预算,我们追求抓取效率最高!

搜索引擎蜘蛛(也被称为搜索引擎爬虫和机器人)抓取你的网站内容,然后将其添加到他们的索引数据库中。一旦抓取和索引,你的网站的网址就会给蜘蛛一个印象,印象好就会有几率出现在搜索引擎结果页面(SERP中)。特别是对于大于10000多页的网站,抓取的效率变得更加重要,因为抓取预算一定范围内,抓取时间越长,一般都会有问题,严重的会出现抓取陷阱; 因此,它是非常重要的。

为什么是重要?

咱们刚才说了这个概念,那么这个预算会不会有所减少呢?当然会了,您想想啊,老板给你的钱,花的很冤枉,老板会不会减少预算,甚至撤资,严重的你还要被炒鱿鱼啊!搜索引擎也是如此,搜索引擎蜘蛛是定量的,它对你网站的投资也是根据它的印象来进行智能加减,咱说个比较严重的假如您的站点很糟糕,搜索引擎蜘蛛完全有可能将停止抓取,因为一旦其抓取的预算用完了,它也就‘撤资’了,SEOer们也许有时候会发现自己的站点抓取频次下降的厉害或者变为0,这个时候也有可能是预算用完了。

据谷歌工程师称,抓取的两个因素:

1、网址结构清晰,伪静态会更频繁地被抓取和索引
2、网站的内容的新鲜度以及原创性也会大概率增加抓取

什么情况下可以导致抓取问题?

实际操作中其实有许多能影响搜索引擎抓取你网站的问题,您比如咱们见的比较多的–有很多状态码错误的网站,例如,大量的404和500服务器连接错误,很可能是正在浪费爬行预算。一般情况下,当搜索引擎蜘蛛访问一个网页有错误,它就会移动到下一个URL。尤其是服务器的错误,当它们发现一个接一个的错误之后,就会有大概率离开。另一方面,如果蜘蛛没离开,还在抓取,那么这个时候它已经进入了死循环,咱们有时候会发现抓取频次突然出现峰值,就是这个原因,进入循环的影响是什么–可能会导致网站服务器资源的浪费以及蜘蛛抓取速度也将减慢,所以建议在此多去监控。以下几个情况是很容易导致错误:

一、过多的查询参数

这个问题是经常出现在应用过滤器时使用的查询参数电子商务网站中,例如,咱们看看亚马逊的一个URL:

https://www,amazon,cn/dp/B00BKQT73Y/ref=gwgfloorv1_AGS_nal_2?_encoding=UTF8&ie=UTF8&smid=A2EDK7H33M5FFG&pf_rd_p=8498a6d0-c1f0-4591-b4d3-96d0e6e02047&pf_rd_s=desktop-4&pf_rd_t=36701&pf_rd_i=desktop&pf_rd_m=A1AJ19PSB66TGU&pf_rd_r=V06D5QYF59E3T4H9FK2S&pf_rd_r=V06D5QYF59E3T4H9FK2S&pf_rd_p=8498a6d0-c1f0-4591-b4d3-96d0e6e02047,

虽然亚马逊现在已经不会太依赖SEO了,但是便于大家理解就用它了。咱们看看这个页面,我选择了适用人群,颜色等不同参数型号形成的URL,这样的链接每天任何用户都是可以添加过滤器的,每天可能就是上万个,如果你没做好相关优化措施,这样的结果就是会消耗大量的蜘蛛抓取预算。这样的链接建议大家去写robots.txt文件,或者用canonical的规范标签去规范它,减少它们被编入索引,减少它会被抓取的概率。

二、网站的重复内容

同样,虽然规范标签也是可以用来防止重复的內容被再次索引,但是这并不妨碍它被抓取。这些标签只是告诉你不要索引我,但是我还是可以抓取,消耗抓取预算的。

当一个网站的多个版本都可以被搜索引擎的蜘蛛访问的话,例如:

       http://bbbbb,com
       http://www.bbbbb,com
       https://www.bbbbb,com/kk
       https://www.bbbbb,com/kk.html

这4个链接都可以访问,并且内容一模一样,那么它抓取就消耗了4次,本来一次就可以完成的!怎么办?301重定向,确定好首选网址即可。好了以上就是抓取预算的相关知识,虽然我写的偏简单,但是实际操作是比较复杂的,有的甚至要结合其他操作来解决排查这个问题,目的还是为了最大限度的利用好蜘蛛抓取预算,做好投资。

文本总结,以上就是关于搜索引擎优化原理:抓取频次是多少?什么情况下可以导致抓取问题的全部内容。一般网站结构清晰和静态页面更容易被抓取及我们经常说的文章的原创度与及时性。如果你的网站出现大量的404和500服务器连接错误的话,就会导致蜘蛛抓取不到你的页面,需要进行排查。小编真诚希望上述内容能够帮助到您。

本文地址:SEO优化频道 http://seo.hkm168.com/seojishu/3012.html,武汉易企推SEO公司提供一站式SEO优化服务:武汉SEO优化、网站优化,关键词排名优化、SEO顾问诊断、SEO培训、网站建设、武汉竞价托管、全网营销推广(全网品牌推广)、百科词条创建修改、新媒体引流、公司负面公关处理等;另外本站原创文章,转载本文请保留本站地址,谢谢!

上一篇:如何从“流量思维”升级到“留量思维”?

下一篇:论述搜索引擎优化及内容营销的意义

相关文章相关文章
  • 武汉SEO优化:解析网站收录大幅下降的原因

    武汉SEO优化:解析网站收录大幅下降的原因

    大家在做百度或者谷歌SEO的时候,难免会出现索引问题!如果你的页面没有被索引或者索引量是呈现下降的趋势,那么这可能是一个不好的信号,表明搜索引擎可能不喜欢你的页面,或者可能无法轻松地去抓取它。原因是多方面的,可能是因为:...

    2019-07-06 14:59
  • 论述搜索引擎优化及内容营销的意义

    论述搜索引擎优化及内容营销的意义

    要想真正做好搜索引擎营销是离不开SEO搜索引擎优化和内容营销的任何一部分。无论是SEO还是内容营销,真正的网络营销必然是这两者完美的结合在一起,携手并进。搜索引擎优化更多的是关于技术,包括使用正确的URL、标题和ALT标签、站点地图等。也就是说,从技术...

    2019-06-22 09:57
  • seo优化需要做好哪些细节?以增强用户的浏览体验!

    seo优化需要做好哪些细节?以增强用户的浏览体验!

    seo优化需要做好哪些细节?以增强用户的浏览体验!众所周知,网站运营的目的就是为吸引客户访问网站成交客户订单,现在很多站长都关注与用户体验度,如果网站不受搜索引擎和用户的喜爱就没有人访问,就算有人访问也会很快的跳出网站。高质量的内容,网站结构...

    2019-06-13 11:37
  • 如何做好企业网站优化?企业网站优化哪些工作需要完成

    如何做好企业网站优化?企业网站优化哪些工作需要完成

    如何做好企业网站优化?企业网站优化哪些工作是需要完成的?为了做好网站优化工作,知己知彼方能百战不殆,我们可以与同行一起研究如何帮助公司了解对手的优化策略,并结合公司自身的情况进行优化,但同时也要做好自己的工作。那么企业网站优化要做哪些工作到...

    2019-06-12 17:09
  • 新站如何将长尾关键词优化上首页呢?长尾关键词优化必备方法

    新站如何将长尾关键词优化上首页呢?长尾关键词优化必

    新站如何将长尾关键词优化上首页呢?长尾关键词优化必备方法一位朋友最近用新站做了长尾关键词,并坚持原创一个月,发现没有排名。那么,对于新建设的网站来说,短时间获得关键词排名很容易吗?关于这个问题并不是绝对的。长尾关键词的作用已在许多SEO教程中...

    2019-06-05 11:19
  • SEO优化入门具备能力详解,seo优化需要的必备技能!

    SEO优化入门具备能力详解,seo优化需要的必备技能!

    现在越来越多的公司加入互联网行列,越来越多的人开始学习网站优化的方面知识。然而,有很多新手在学习seo优化知识时感到非常困惑。所以今天小编来带你去认识一些新手必备知识。现在越来越多的人从事seo行业。但并没有多少顶级的SEO大神。很多人只是想找到一...

    2019-06-04 14:10
  • 知道为什么页面优化不上去吗?因为你还没有意识到自己的错误

    知道为什么页面优化不上去吗?因为你还没有意识到自己

    知道为什么页面优化不上去吗?因为你还没有意识到自己的错误知道为什么页面优化不上去吗?因为你还没有意识到你的错误想法,网站SEO优化是长久以来无论如何不能放弃的推广模式,从互联网发展到现在,已经集成到搜索引擎优化的所有方式。近年来,互联网发展方...

    2019-06-03 10:29
  • 如何优化关键词,关键词的排名优化有哪些小技巧

    如何优化关键词,关键词的排名优化有哪些小技巧

    对于网站关键词,我们也不陌生,今天小编和大家讨论一下如何优化关键词,关键词的排名优化有哪些小技巧。关键词优化技术很多,可以通过关键词的布局增加关键词的频率,获得更好的排名,提高转化率。...

    2019-06-01 11:18
产品图片2
服务器图片