最近一周博客访问量降低，查看用户访问统计发现博客从Google来的访问量比先前少了将近80%。到Google去查收录情况，51cto博客的收录从先前的40万几天内降低到10几万，并且还有降低的趋势，并且发现在blog新发的文章都没有被Google收录，而且一些老文章在Google的收录还在每日减少。由于之前这一个月之内，并未对博客的页面或是链接做任何改动，所以很奇怪为何会出现此种症状，怀疑是Google改变蜘蛛收录算法，但也没有证据。赶紧去网上找原因，可能时间比较短吧，暂时没有找到合适的解释。
这时有几个猜测：1.Google由于某些原因对51cto博客做了一定的惩罚；2.Google因PR值的原因觉得文章页没有收录的价值；3.我不小心把Google蜘蛛的IP给屏蔽了（可能性为0）。
分析网站访问日志，发现每天Google的蜘蛛爬行过来的数量较之前确实有降低，但是仍然可以爬行到首页、个人首页，证明蛛蛛确实可以到，只是忽略了文章页的爬行。GooglePR值会影响蜘蛛的爬行？确实是这样，但是51cto博客之前很正常，虽然4月26日有过一次PR值降低，但是这2个月过去了，如果出问题早就应该暴露出来了。难道是51cto博客之前SEO做得太狠啦，被Google惩罚？仔细想想确实不排除这种可能性，51cto博客文章页有4种链接形式，并且这4种链接形式都是可以正常访问，并没有做301跳转，所以搜索引擎会认为这是4个内容相同的页面，会把页面列为“补充材料”而影响排名。但是仔细一想，补充材料应该只影响排名，但并不应该会影响到收录情况啊，况且这4种链接在网站上体现的只有一种，搜索引擎并不会收录到其他3种链接。
经过持续地收录观察，发现一个地址：blog.51cto.com/post/*****/*****这样的地址可以正常收录。这个地址是在passport里，当时做的时候由于偷懒，并未做3级域名。passport和博客首页均是PR4，为何passport可以收录而博客首页不可以，开始的时候认为是/post/的原因，所以联想到Google的补充材料一事，难道是因为分辨不清/post/和/blog/谁是本原，而错把post当作本原收录？可能性还是不太大。但是既然发现问题，就去纠正问题，把/post/的链接形式改为/blog/的形式。第二天发现，/blog/的链接形式可以正常被google收录，但是还是没有带着3级域名。百思不得其解，只好看看其他网站博客的收录情况。先查询赛迪博客，收录3万3千条记录。我揉了揉眼睛，确定我没有少看了一个零，并且赛迪博客的文章页也没有被收录。哈哈，受灾比51cto更严重。再看CSDN，CSDN倒是很正常，但是CSDN并没有用户个性3级域名。那么所有的疑点都集中在了3级域名身上。怀疑是Google在6月14日左右更改了算法，按照我们以往的知识，一般PR值在5左右的网站，Google会搜索到目录结构中的三层，超过三层的，Google蜘蛛就不去爬行收录了。如以前51cto博客的文章页：*.blog.51cto.com/blog/*****/*****。blog/是第一级目录，*****/是用户ID为第二级，*****/是文章ID为第三级。恰好满足爬行的条件，而这次似乎把3级域名也考虑进去，认为是一级目录，那么加起来4级目录，蜘蛛自然不会爬了。
分析完原因后立刻着手修改，首先把链接地址中/blog/这级去掉，另外为了尽量减少出现“补充材料”的几率，在文章页和个人首页做301跳转，地址不规则的，都跳转到统一的一个地址。
经过一夜的时间，Google收录正常，新文章也被收录了。但是缓解这一灾害恐怕还需时日。
经过这次问题，总结出几点经验：URL的优化尽量简洁，慎用目录分割符，可以使用“-”、“_”做分割符号。文章模板应尽量简洁，如果文章中内容少，这就加大了和其他文章的相似程度，加大了被列为“补充材料”的可能性，最终导致影响收录和排名。
本文出自 51CTO.COM技术博客 ---http://kiddymeet.blog.51cto.com/20194/32471