URL中过多的参数是否会将蜘蛛带入抓取死循环?

看到这个标题可能不少人是嗤之以鼻的,您还以为是90年代?~~不,今天我们讨论的是URL过多参数带来的次级影响,而非这个url本身。 URL中过多的参数是否会将蜘蛛带入抓取死循环?   URL中过多的参数是否会将google蜘蛛带入抓取死循环?   答案是肯定的,不过有一个前提,你的GA代码里的trackpageview开启了自定义页面(即虚拟页面)。经过一段时间的研究发现,google确实会发生此种情况(百度对GA的JS应该是直接跳过的,根本不理睬~)。上次曾写过一篇此类的问题:关于GA代码里的trackPageview的url问题,代码404? 当时以为是因为格式符合的问题,目前看来不是那个问题,而是google自身的问题。   一般意义上,随着搜索引擎技术的发展,常规的url,即使有10多个参数,搜索引擎也是能够抓取的,没有错。百度和google都能做到。   可如果在这些URL拥有很多参数的页面里,JS的GA代码里trackpageview带有一个相对的地址(为了便于数据统计),那么google此时就开始犯傻了。不知道这是否是个bug?疯狂的抓取的这些不存在的页面,造成整个网站数量级上面的404页面,足足有18万之多,而且呈每日3000左右的递增,这让人情何以堪。   造成的影响就是,google蜘蛛抓取非常不稳定,收录,来访次数,来自google的流量等等都开始下降。  

原创文章,作者:煜煜,如若转载,请注明出处:http://www.it85.cn/seo/32562.html

发表评论

登录后才能评论

联系我们

在线咨询:点击这里给我发消息

邮件:276066780@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code