Поисковики всегда отрицательно относятся как к частичным, так и к полным дублям страницы. Поэтому, стремясь повысить позиции сайта, веб-мастера очень часто сталкиваются с проблемой дублирования контента.

Контент сайта это информация на сайте, которая собственно и отличает сайты друг от друга. И очень важно, чтобы он был уникальным. Контент сайта - это информация, которая должна быть интересна в первую очередь пользователю. Давайте проследим, что же происходит при дублировании контента. Вы можете столкнуться со следующими проблемами, покупаемые ссылки могут привести не на ту страницу, что находится в индексе поисковой системы и, как результат полное выкидывание из индекса Вашей страницы. А это прямой путь к занижению позиций Вашего сайта.

Для того чтобы предотвратить предполагаемые негативные последствия, стоит тщательно разобраться в каких именно случаях происходит дублирование контента на сайте или блоге. Источниками такого контента являются: служебные страницы, RSS-ленты, страницы, предназначенные для печати, дубли контента, создаваемые специальной системой управления сайта. Решить же эту проблему возможно методом запрета на индексацию некоторых типов страниц вашего сайта.

Как проверить информацию сайта на наличие дублей?

Для того чтобы узнать, есть ли в глобальной сети продвигаемых страниц дубли, Вы можете использовать следующие способы: обратиться к помощи следующих бесплатных программ: advego plagiatus, eTXT Антиплагиат, double content finder. Оnline-проверкой, используя antipagiat.ru, istio.com, findcopy.ru, copyscape.ru. Использовать для проверки поисковые системы. Для этого надо ввести в строку «я ищу» название страницы, которую предположительно мы хотим дублировать. А при расширенном поиске в строку «на сайте» вписать название сайта и задать поисковику простейшую задачу «найти». Поисковая система обязательно выдаст все страницы, в тексте которых имеются необходимые совпадения.

Дублированный контент. Что с ним делать?

Далее необходимо произвести так называемую «генеральную уборку», а именно удалить весь контент, что дублирует страницы, продвигаемые Вами. Если же возникают проблемы с удалением текста, нужно закрыть его от индексации. Для этого, в помощь, используют такие инструменты: в html коде страницы мета-тег «robots». Этот тег имеет для использования такие атрибуты: follow учитывать ссылки, nofollow не учитывать ссылки, index индексировать, noindex не индексировать, all индексировать все, none не индексировать вообще ничего.

Но обязательно нужно помнить то, что данный тег - это просто инструмент, который указывает роботам поисковиков на то, есть ли возможность индексировать страницу и возможно ли далее следование по ссылкам, что размещены на ней. «noindex» - это специальный тег Яндекса.

С его помощью появляется возможность закрывать какую-либо часть текста, что расположен на данной странице. Это делают для того, чтобы робот, даже видя эту часть, не учитывал ее в поиске.

Файл «robots.txt»

Этот файл является текстовым и размещен он в корневой директории сайта. В этом файле записаны специальные инструкции для роботов поисковых систем. В основе этих инструкций лежит возможность запрета к индексации определенных разделов или даже страниц на сайтах. Также они могут указывать на основное зеркало вашего сайта, рекомендовать роботу-поисковику соблюдение некоторого поискового интервала между скачиванием документов с сервера.

Из всего вышеперечисленного делаем вывод, что бороться с дублирующим контентом можно и даже нужно. Контент сайта - это уникальная информация и она должна быть без дублей. И, если соблюдать все правила в борьбе с дублями ничего сложного нет. Главное, когда Вы создаете сайт, сразу же произведите техническую оптимизацию сайта. Также решить проблему дублирующего контента Вам поможет создание карт сайта. А если на Вашем сайте контент обновляется ежедневно, то для Вас это особенно актуально. Помните обязательным условием продвижения Вашего сайта в поисковиках является создание уникального текста. Но, иногда, даже написанные специалистом или же Вами собственноручно тексты, не всегда могут избавить Вас от проблемы «дублирования контента». Тем не менее, своевременное решение этой малоприятной проблемы на сайте обязательно поможет добиться высоких результатов в поисковом продвижении Вашего сайта.