Урок 86. Основные причины автоматического создания дублей, их разновидности и методы работы

Чаще всего страдают от автоматически создаваемых дублей владельцы сайтов, которые содержат крупные каталоги. Такие интернет-магазины вынуждены размещать у себя большое количество товаров, описания и технические характеристики которых зачастую повторяются. Даже если вы нанимаете копирайтера, который создает для каждого товара полностью уникальное описание, на странице может присутствовать частичный дубль.

Такой тип дублей оказывает негативное влияние и на те тексты, которые изначально создавались именно для того, чтобы продвинуть тот или иной сайт. Сколько бы ключей вы не включали в такой текст и насколько бы он не был уникален изначально, автоматическое тиражирование для большого числа позиций сводит все достоинства такого контента на нет. Нередко для создания интернет-магазинов используются такие варианты СMS, которые проводят дублирование текста автоматически и на это тоже стоит обращать самое пристальное внимание.

Для того, чтобы бороться с дублями в крупных каталогах, стоит соблюдать несколько простых правил и использовать следующие методы:

• Закройте большое количество страниц от дублирования информации путем использования файла robots.txt. Для тех, кто уже не раз работал с таким вариантом файла не секрет, что для подобной операции достаточно будет просто использовать метатег “ROBOTS”.
• Постарайтесь максимально уникализировать текст на каждой странице, проверьте его вручную. Как альтернативный вариант – размещайте текст только на основной продвигаемой странице. Обязательно проверяйте состояние каталога после того, как было проведено его наполнение. Особенно это актуально в том случае, если вы используете незнакомую вам ранее систему администрирования сайта, которая может повести себя непредсказуемо. Следует сделать особый упор на проверку состояния дублей при проведении аудита сайта – это обязательно указывается в техническом задании для ответственных специалистов.

Помимо изучения дублей, которые представлены на страницах, вам также стоит обратить внимание на состояние метатегов. Как показывает практика, они также могут часто дублироваться от странице к странице. Для того, чтобы страница правильно индексировалась и продвигалась в поисковых сетях, вам стоит обратить внимание на уникализацию тегов. Отметим, что это дополнительное условие, которое может и не выполняться, но внимательная работа с метатегами даст вашему сайту дополнительное конкурентное преимущество при работе на конкретных рынках.

Отдельно стоит обратить внимание на каталоги, в которых большое количество товаров в той или иной степени повторяет определенную разновидность основного товара. Это часто случается в том случае, если в каталоге представлено большое количество опциональных спецификаций конкретной модели товара. Непременно уникализируйте описания, а также позаботьтесь о том, чтобы оно не дублировало информацию с основной страницы.

С одной стороны, возможность поиска по сайту и фильтрации собранного материала по определенным критериям, является очень полезной для пользователя и влияет на поведенческие факторы и уровень удовлетворенности. Однако, многие новички не знают о том, что большинство результатов работы такой функции сохраняются на определенной странице, которая имеет динамический, постоянной изменяющийся адрес. Обратите внимание на то, что на такой странице часто встречаются участки текста, которые собраны со всего сайта. Постоянно меняющийся URL страницы приводит к тому, что поисковой робот распознает его как большое количество дублированных страниц. Избежать при таких условиях санкций со стороны поисковой системы достаточно сложно.

Одна из отличительных черт проблемы дублей, автоматически создаваемых при помощи функции фильтрации и поиска – страницы, которые будут продублированы, выбираются очень непредсказуемо.

Для того, чтобы справиться с такого рода дублями, веб-мастеру придется постараться. Важно понимать, что при работе с сайтом, вам придется регулярно отслеживать появляющиеся дубли – провести одну чистку недостаточно. Чтобы определить, появились ли на сайте дубли, непременно обращайте внимание на страницы, которые попадают в индекс. Возьмите за правило проводить проверки регулярно, особенно в том случае, если ведете сайт с большим количеством контента. Одна-две проверки в месяц должны стать для вас нормой.

После того, как вы провели анализ адресов страниц, которые попадают в индекс с вашего сайта, мы советуем выполнить следующие действия:

• Провести анализ параметров, которые ранее были определены со специальными инструментами поисковых систем.
• Отсортировать параметры, которые характеризуют дублирующиеся страницы и указать поисковику на необходимость пропустить их при проведении индексации. Для Google стоит использовать инструментарий Google Webmaster, для Яндекса - robots.txt.
• Проверьте, присутствуют ли на вашем сайте метатеги и адреса, которые одинаковы, но параметры в них переставлены. Все выявленные дубли также закрываются для индексации.

В работе имеет очень большое значение определение правильного источника появления дублей. Нередко работать приходится в тандеме с программистом, для которого в будущем пишется техническое задание на пересмотр самой структуры сайта. Также специалисты должны поработать и с алгоритмом, по которому формируется адрес той или иной страницы.

Здесь мы должны сразу отметить, что, несмотря на проблемы, которые могут возникнуть с использованием фильтров и поисковых функций на вашем сайте, отказываться от этих функций не стоит. Сайт без поиска и фильтра может стать неудобным для пользователя, особенно это актуально в том случае, если вы работает с крупными каталогами и интернет-магазинами. Просто регулярно проводите проверки и доработки – тогда проблема дублирующихся страниц перестанет вас беспокоить.

Многие сайты, которые стараются предоставить своим клиентам максимальный комфорт в использовании контента, используют в работе создание специальных версий для печати. Они характеризуются тем, что в отдельном блоке для пользователя выводится специальный текст, лишенный графической информации.

Большинство читателей определяет проблему уже на этом этапе – на второй странице проводится дублирование информации со страницы-донора. Соответственно, сайту будет обеспечен весь спектр проблем, с которыми сталкиваются ресурсы с дублями.

Для борьбы с такими дублями, следует использовать атрибут «rel=canonical, метатег «robots»». Также хорошим вариантом станет использование файла robots.txt с полным запретом на индексацию дублирующейся страницы. Также не стоит забывать и о необходимости закрытия ссылки при дублировании с использованием тега nofollow. Это позволит вам избежать потери ссылочного веса на вашем сайте. Дополнительным вариантом станет использование инструментария JavaScript и CSS. С его помощью выстраивается версия для печати. Это сложнее с точки зрения реализации и требует привлечения грамотного программиста, но проблема решается достаточно быстро, а вы оказываетесь застрахованным от появления проблем с дублем на протяжении длительного времени.

Сама по себе страница с информацией является не менее важным элементом повышения удобства сайта, чем описанные в предыдущем разделе фильтры и поисковая строка. Так что создавать её определенно стоит, особенно если вы хотите предоставить своим пользователям максимум возможностей по офлайн-использованию информации. Не забудьте застраховать себя от появления дублей, и результат не заставит долго ждать.

В зависимости от того, на какой CMS построен ваш сайт, могут возникнуть непредвиденные проблемы с дублями. В работе с контентом на сайте, часто создают дубли такие системы как WordPress и Joomla. В целом, исследования показывают, что более 90% всех представленных систем для создания сайтов могут передавать лишние параметры и дублировать информацию в анонсах. Так как идеальной CMS до сих пор не создано и вряд ли мы когда-то увидим технологически-совершенный движок, веб-мастерам остается вручную закрывать страницы от индексации. Ранее мы уже описывали, что такая задача быстро решается с применением файла robots.txt.

Также вам стоит обратить внимание на то, что нередко дубли могут возникать при смене движка сайта. В этом случае вам потребуется внимательно отслеживать состояние контента на конкретном сайте и проводить регулярный технический аудит. Гораздо быстрее выявить созданные дубли и полностью их скрыть или удалить, чем бороться с проблемами, которые эти дубли вызывают.

Многие дубли, которые негативно влияют на индексацию и ранжирование сайта могут быть быстро выявлены и устранены. Особенно обратите внимание на те дубли, которые создаются автоматически. Для выявления проблемы потребуется внимательно следить за состоянием сайта и регулярно проводить его анализ. Особенно обратите внимание на появление дублей при использовании новой CMS и при переносе сайта с одного движка на другой.

См. также: Продвижение сайтов в ТОП-10 Яндекса