Как найти дубли страниц на своем сайте?

Дубли страниц на сайте опасны с точки зрения SEO продвижения.

Они критично воспринимаются поисковыми системами Яндекса и Гугла и могут привести к серьезным потерям в позициях или к наложению фильтра. Чтобы этого избежать, важно вовремя находить и избавляться от дублей.

Дубликаты на сайте — в чем их опасность?

Дело в том что поисковикам нужно определить какую страницу ранжировать по данном ключу или кластеру ключей и в случае дублей ему нужно выбирать из одинаковых страниц одну и показать ее в результатах выдачи.

Как они получаются?

Проблема дублирования страниц перекликается с проблемой поиска канонического адреса страницы поисковым анализатором Яндекса и Гугла. В ряде случаев робот может определить канонический адрес, например, если в динамическом URL был изменен порядок параметров:

?&cat=10&prodyct=25

По сути, это та же страница, что и

?prodyct=25&cat=10

Но в большинстве случаев, особенно при использовании ЧПУ, каноническую страницу определить сложно, поэтому, полные и частичные дубли попадают в индекс.

Возникновение такой дилеммы может привести к негативным последствиям:

1. Снижению релевантности основной посадочной страницы и позиций ключевых слов.
2. «Скачкам» позиций ключевых слов.
3. Общему понижению в ранжировании, когда проблема приобретает масштабы не отдельных URL, а всего сайта.

Какими бывают дубли?

• Полные дубли — когда одна и та же страница размещена по 2-м и более адресам.
• Частичные дубли — когда часть контента дублируется на многих страницах, но они уже не являются полными копиями.

Полные дубликаты — откуда они берутся?

1 Одна и та же страница по адресу с «www» и без «www», со слешем, без слеша.

Такую проблему еще часто называют: «Не выбрано главное зеркало сайта».

2 Дубли главной страницы по адресам:

http://mysite.ru/index,
http://mysite.ru/index/,
http://mysite.ru/index.php,
http://mysite.ru/index.php/,
http://mysite.ru/index.html,
http://mysite.ru/index.html/.

Один из этих URL может быть адресом главной страницы по умолчанию.

3  Дубли, сгенерированные реферальной ссылкой.

Когда пользователь приходит по URL адресу с параметром «?ref=…», должно происходить автоматическое перенаправление на URL без параметра, что, к сожалению, часто забывают реализовать программисты.

4 Иерархия URL.
Так, например, один и тот же товар может быть доступен по четырем разным URL-адресам:

http://mysite.ru/catalog/dir/tovar.php,
http://mysite.ru/catalog/tovar.php,
http://mysite.ru/tovar.php,
http://mysite.ru/dir/tovar.php.

5 Некорректная настройка страницы 404 ошибки, приводящая к возникновению «бесконечных дублей» страниц вида:

http://mysite.ru/av-test-av

6 Страницы с utm-метками и параметрами «gclid».

Частичные дубликаты — что представляют из себя?

Как и в случае с полными дублями, частичные возникают, в первую очередь, из-за особенностей CMS сайта, но значительно труднее обнаруживаются. Кроме того, от них сложнее избавиться, но об этом чуть ниже, а пока наиболее популярные варианты:

1 Страницы пагинаций, сортировок, фильтров.

Как правило, каким-то образом меняя выводимый товарный ассортимент на странице категории магазина, страница изменяет свой URL (фактически все случаи, когда вывод не организован посредством скриптов). При этом SEO-текст, заголовки, часто и мета-данные(тайл, дескрипшен, h1) — не меняются.

Например:

http://mysite.ru/catalog/category/ — стартовая страница категории

http://mysite.ru/catalog/category/?page=2 — страница пагинации

При том, что URL адрес изменился и поисковая система будет индексировать его как отдельную страницу, основной SEO-контент будет продублирован.

Это нужно доработывать, дописывать в тайтл — Страница 2, в дескрипшен — Страница 2 или другую переменную информацию, h1 может быть дублирован.

2  Страницы отзывов, комментариев, характеристик

Достаточно часто можно встретить ситуацию, когда при выборе соответствующей вкладки на странице товара, происходит добавление параметра в URL-адрес, но сам контент фактически не меняется, а просто открывается новый таб.

3 Версии для печати, PDF для скачивания

Данные страницы полностью дублируют ценный SEO-контент основных страниц сайта, но имеют упрощенную версию по причине отсутствия большого количества строк кода, обеспечивающего работу функционала. Например:

http://mysite.ru/main/hotel/al12188 — страница отеля
http://mysite.ru/main/hotel/al12188/print — ЧБ версия для печати
http://mysite.ru/main/hotel/al12188/print?color=1 — Цветная версия для печати.
Выдача Google:

Выдача Yandex:

4 Html слепки страниц сайта, организованных посредством технологии AJAX

Найти их можно заменив в оригинальном URL-адресе страницы «!#» на «?_escaped_fragment_=». Как правило, в индекс такие страницы попадают только тогда, когда были допущены ошибки в имплементации метода индексации AJAX страниц посредством перенаправления бота на страницу-слепок и робот обрабатывает два URL-адреса: основной и его Html-версию.

Основная опасность частичных дублей в том, что они не приводят к резким потерям в ранжировании, а делают это постепенно и незаметно для владельца сайта.

5 Человеческий фактор.

Зачастую, разработчики реализуют доработки не на основном сайте а не тестовом и потом либо забывают его выключить или забывают основной домен включить.

6 Поддомены.

Бывает что разработчик некорректно настроил хостинг и сайт выдается по ряду ненужных поддоменов.

7 Отображение товаров плитка/таблица.

8 Страница действий.

C помощью каких инструментов искать дубли?

Существует множество инструментов для поиска дублей:
1. Мониторинг выдачи посредством оператора «site:»
Отобразив на странице поиска все проиндексированные URL участвующие в поиске, можно визуально детектировать повторы и разного рода «мусор».

Например,

site:http://mysite.ru/ (название товара\услуги)

2. Десктопные программы-парсеры и сервисы
Screaming Frog Seo Spider, Netpeak Spider, Xenu. Запуская собственных ботов к вам на сайт, программы выгружают полный список URL-адресов, который можно отсортировать по совпадению тега «Title» или «Description», и таким образом, выявить возможные дубли

3. Поисковая консоль Google
В Google Search Console во вкладке «Оптимизация Html» можно посмотреть список страниц с повторяющимися мета-описаниями, т.е. список потенциальных дублей.

4. Яндекс вебмастер

Проверяем запрещен ли урл данной странице, например урл сортировок по цене.

Видите под результатом что запрещен. Значит нет дублей по данному типу урлов.

Как побороть и чем?

Способов борьбы с дубликатами не так уж и много, но все они потребуют от вас привлечения специалистов-разработчиков, либо наличия соответствующих знаний.

1. Их физическому удалению — хорошее решение для статических дублей.
2. Запрещению индексации дублей в файле «robots.txt»
3. Настройке 301 редиректов в файле-конфигураторе «.htacces» — хорошее решение для случая с рефф-метками и ошибками в иерархии URL.
4. Установке тега «rel=canonical» — лучший вариант для страниц пагинации, фильтров и сортировок, utm-страниц.

Итог
Часто решение проблемы кроется в настройке самого движка, а потому основной задачей оптимизатора является не столько устранение, сколько выявление полного списка частичных и полных дублей и постановке грамотного ТЗ исполнителю.

Запомните следующее:
1
Полные и частичные дубли могут понизить позиции сайта в выдаче не только в масштабах URL, а и всего домена.
2
Полные дубли — это когда одна и та же страница размещена по 2-м и более адресам.Частичные дубли — это когда определенная часть контента дублируется на ряде страниц, но они уже не являются полными копиями.
3
Полные дубликаты нетрудно найти и устранить. Чаще всего причина их появления зависит от особенностей CMS сайта и навыков SEO разработчика сайта.
4
Частичные дубликаты найти сложнее и они не приводят к резким потерям в ранжировании, однако делают это постепенно и незаметно для владельца сайта.
5
Чтобы найти частичные и полные дубли страниц, можно использовать мониторинг выдачи с помощью поисковых операторов, специальные программы-парсеры, поисковую консоль Google и ручной поиск на сайте.
6
Избавление сайта от дублей сводится к их физическому удалению, запрещению индексации дублей в файле «robots.txt», настройке 301 редиректов, установке тегов «rel=canonical» и «meta name=»robots» content=»noindex, nofollow»».