Индексирование товаров на отдаленных страницах

Как "левые" страницы попадают в индекс

5 апреля 2018 г.Просмотров: 10112Комментарии: 2
FX

Существует несколько путей попадания страниц в индекс поисковых систем, но случается что всё идет не по сценарию.

Правильные пути

внутренние ссылки
внешние ссылки
сайтмап

Как могут попасть нежелательные ссылки

Ошибки CMS при формировании ссылок

Если движок создает ссылки с лишними параметрами или дубли как в Opencart, они попадут в индекс

Внешние ссылки с ошибкой

Если при размещении ссылки, адрес скопировали не полностью или случайно "прилипли" лишние символы, получаются кривые ссылки.

Внутренние ссылки с ошибкой

Тоже самое что и выше, но касательно ссылок создаваемых вручную.

"Проверка на дубли" создающая дубли

Если на сайте установлен счетчик яндекса и владелец сайта вбивает адреса от балды и проверяет на дубли, то эти страницы могут попасть в индекс при соответствующей настройке счетчика. Опция называется "Запрет отправки на индексацию страниц сайта" и должна быть включена.

Так же происходит когда например отфильтрованную страницу открыть.

Относительные ссылки

Можно встретить ситуацию когда в индекс попадают страницы вроде сайт/a/a/a/.

Часто это связано с наличием относительных ссылок на сайте и неправильным базовым адресом, определяемым тегом base

<head>
  <base ...>
</head>

AJAX

Контент загружаемый через ajax так же может содержать ссылки. Эти адреса так же будут проиндексированы.

На примере Opencart это отзывы с пагинацией.

При неправильной реализации даже сам документ запрашиваемый по ajax бывает индексируется как отдельная страница.