怎样在自己网站上避免复制内容

    如前面讨论的，复制内容可以通过很多方式产生。内部材料复制需要特殊方法才能达到最好的SEO结果。在很多情况下，复制页面对用户和搜索引擎没有任何价值。如果是这样，尝试修改实现方式使每一个页岩只有一个URL，从而彻底解决问题。另外，从旧URL 301转向到留下的URL，帮助搜索引擎尽快发现你做的改进，保留被删除页面可能有的链接权重。

    如果这不可能做到，还有很多选择，如后面“内容传送和搜索蜘蛛控制”讨论的。下面是处理不同情况的简单方法总结：

    一、使用canonical标签。这是消除复制页面的第二好的方法
    二、使用robots.txt文件阻挡搜索引擎蜘蛛爬行网站的复制版本。
    三、使用Robots NoIndex标签告诉搜索引擎不要索引复制页面。
    四、所有指向复制页面的链接使用NoFollow，以防止任何链接流向这些页面。采取这种方法时，建议也在页面上使用NoIndex。

    有时候可以联合使用这些方法。例如，可以将页面的链接加NoFollow，页面本身也使用NoIndex。这是合情合理的，因为你要阻止链接权重流到这些页面，而且如果有人从其它网站到你的页面，还是能确保页面不会进入索引。

    然而，如果使用robots.txt文件防止页面被爬行，在页面本身使用NoIndex和NoFollow就没有意义了，因为蜘蛛读不到页面，也永远看不到NoIndex和NoFollow标签。下面是一些具体复制内容情况。

    HTTPS页面
    如果使用SSL，网站上会有以https:而不是http:开头的页面。如果https:页面使用相对路径而不是绝对路径链接到其他页面就会出现问题。例如，指向首页的链接变为https://www.ws818.com，而不是http://www.ws818.com。

    如果你的网站有这种问题，可以使用canonical标签或者301转向解决。一个替代方案是把链接改为绝地路径链接，这也使偷窃者抄袭你的网站内容更加困难。

    产生复制内容的CMS系统
    有时候由于CMS系统的限制，相同页面有多个版本，因为CMS系统使同样的内容有不止一个URL。这通常是完全没必要的，没有任何用户价值。最好的解决方法是找到消除复制页面的方法，并将删除的页面做301转向到留下的页面。

    打印页面或多种排列方式
    很多网站给用户提供一个内容相同但格式更适合打印的打印页面。或者有的电子商务网站提供多种排序方式。这些页面对用户有价值，但是对搜索引擎没有价值，所以会呈现为复制内容。

    博客和多种存档系统的复制内容
    博客呈现一些有趣的复制内容挑战。博客贴子会出现在很多不同页面上，比如博客首页、贴子本身的永久页面、日期存档页面和分类页面。博客帖子的每次出现都成为复制内容。

    用户生成复制内容
    很多网站能够获得用户生成的内容，例如博客、论坛、求职网站等。这是以很低成本获得大量内容的好方法。挑战在于用户可能在你的网站上发布已经同时在其他几个网站发布过的同样内容，导致这些网站之间的复制内容。这很难控制，但可以采取两个方法减少问题：

    一、有明确政策要求用户在你网站提交的内容必须是独特的，不可以在其他网站发布。当然，这很难强制实行，但还是会有些帮助。

    二、用独特方法设计你的论坛使其要求输入不同内容。除了标准的数据输入栏目外，再包括一些其他网站没有、同时对用户有意思、有价值的独特栏目。