SEO的建议：URL标准化

SEO的建议：URL标准化

译自： Matt Cutts博客

（译者按： Matt Cutts, 谷歌反网络作弊组的带头人, 于2006年1月4日在他的个人博客上发表了"SEO advice: url canonicalization"一文。尽管已快两年了，Google也为网站管理员提供了站长工具，我们发现对很多站长来说该文仍是一篇很好的SEO文章。）


在我开始收集关于Bigdaddy数据中心的反馈之前，我想简略地谈一谈有关标准化、“www相对于非www”、重新定向、重复URLs、302“劫持”等问题的看法，这样我们的讨论才有共同的基础。

问：什么是一个标准化URL？为什么要用这么一个奇怪的字眼？
答：很抱歉，这是一个奇怪的词汇；这是谷歌内部对它的称呼。标准化是一个在若干选项中选取最佳URL的过程，这里通常是指主页。例如，多数人会将下列URL看作相同性质的：

* www.example.com
* example.com/
* www.example.com/index.html
* example.com/home.asp

但是从技术角度看，这些URL都是互不相同的。对于上述URLs，Web服务器会返回完全不同的内容。当谷歌“标准化”特定的URL时，我们试图从一整套同类URL中选出看起来最具代表性的一个。

问：那么我如何能确保谷歌能挑选出我所想要的URL？
答：挑选出你想要的URL，并且在此后一直使用这个URL访问特定网站，这是很有帮助的。例如，不要让同一个输入的链接一半指向http://example.com/而另一半则指向http://www.example.com/ 。相反，挑选一个你喜欢的URL，并且在你的内部链接中总是使用这个格式。
（译者注：现在你可以使用站长工具来通过“控制台 > 工具 > 设置首选域名”）。

问：除此之外，我还能做什么？
答：比如，如果你希望你的默认URL为http://www.example.com/。那么，你可以设置你的web服务器，这样如果有人请求http://example.com/，它就会产生一个301的（永久性）重新定向，链接到http://www.example.com/。这样可以帮助谷歌了解到你希望将哪个URL作为自己的标准。如果您的网站常有变更（例如动态内容和博客等），那么加入一个301重新定向可能更便于搜索引擎的定位和捕获。

问：如果我希望去掉domain.com，但希望保留www.domain.com，我是否应该使用URL清除工具来删除这个域名？
答：不要，绝对不要这样做。对于任何一个www域名，或非www 域名，一旦删除其结果可能导致该域名在未来六个月内无法恢复。绝对不要这样做。如果你本想使用URL清除工具删除www域名或者非www域名，但实际上却删除了你所有的域名，请发送一个重新收录请求，并声明你用URL清除工具不小心删除了整个域名，现在要求重新收录。

问：我注意到，你自己并没有使用301重新定向将你的站点从非www版本转向www版本，为何没有这样做？
答：实际上我是故意这样做的。我几个月之前就注意到了这一点，但决定不自行调整，或者请求谷歌员工帮我搞定它。我或许最终会加入一个301，但至少到目前为止，它还是一个有帮助的实验案例。

问： 那么在讨论“www与非www”时，你也认为这是一种标准化的类型吗?还有没有别的方法能实现URL的标准化？
答：确实还有很多方法，但是多数人不会也无需注意到这些。搜索引擎能够自动完成诸如保留或者删除末尾的斜杠、将URL从大写格式转换为小写格式，或者将session ID从BBS或其他软件上删除等任务（即使你省略了session ID，许多BBS依然能够正常运行）。

问：让我们谈谈"inurl:"操作符。为何每个人都认为如果inurl:mydomain.com显示出某些并非来自mydomain.com的结果，那么他一定是被人劫持了？
答：早先，如果你看到someresult.com/search2.php?url=mydomain.com，有时候其中会包含来自mydomain的内容。如果someresult.com url是一个指向mydomain.com的302重新定向，而我们决定显示一个来自someresult.com的结果，就会产生这种情况。从那以后，我们已经改变了我们的启发方式，大大降低了302重新定向源URL的显示几率。我们逐渐采纳了一个用于处理重新定向的框架，它几乎总是显示目的地URL。雅虎通常采用显示目的地URL的方式来处理302重新定向，而我们正处于逐步过渡到一套类似启发方式的过程中。请注意，雅虎保留了在重新定向的过程中处理所出现的例外的权力，而谷歌也会这样做。根据我们的分析，我们将在302重新定向过程中显示URL源的总概率不到0.5％（基本上，当我们有足够的理由相信URL源正确无误时才会显示）。

问：那么，补充材料又如何呢？补充材料是否会招致谷歌的惩罚？
答：不会。
（译者注：补充材料已成为历史。请阅读补充材料转为主流一文）。

问：在补充性结果中有我的一些网页，但这些网页已经很老旧了。我该怎么办？
答：如果换了我，就不会在这方面花太多的精力。如果网页已经删除，我会确保有一个301重新定向，指向新网页的位置。如果的确彻底消失了，我会确保服务器返回一个关于这些网页的404错误信息。此后，我不会再花费任何精力。当谷歌最终重新抓取那些网页时，就会发现其中的变化。但是由于我们自己爬取补充性结果的时间间隔要长一些，所以你可能在一段时间内看不到更新。

目前我能想到的只有这些。很快，我会更详细地谈论一些关于302和inurl:的范例，帮助大家更具体地理解这个问题。