Google: Страница просканирована, но пока не проиндексирована

Продолжу разбор того, что частенько спрашивают, а именно про очередной сюрприз от Гугл который мало где объясняется.

Предисловие

Практически у всех кто заглядывал в новую Google Search Console в раздел "Покрытие", присутствуют страницы со статусом "Исключено" и типом "Страница просканирована, но пока не проиндексирована". Не путать с "Обнаружена, не проиндексирована"!

Исключенных страниц может не быть, только если сайту 2 недели и еще ничего не начало индексироваться или если это визитка и на ней 4 страницы.

Большинство не понимает что это значит и из кожи вон лезут, пытаясь силком затолкать все страницы сайта в выдачу.

Ответы Гугл

Вот что говорит гугл о таких страницах в Cправке для Вебмастеров:

Страница просканирована, но пока не проиндексирована. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; вновь отправлять этот URL на сканирование не нужно.

Т.е. ничего вразумительного. Крайне скудная информация, которая вносит сумбур и только.

Благо на форуме Гугл для вебмастеров, Джон Мюллер дал более развернутое объяснение. Приведу перевод написанного:

Мы не обещаем обход и индексацию всего контента.
В интернете куча всего, и было бы непрактично включать всё, мы должны расставить приоритеты.
Это не означает, что со страницами что-то не то, наши алгоритмы не видят смысла включать все страницы с вашего сайта.
Это нормально, позже возможны изменения, это не является признаком технической проблемы.
Одним из выходов, в таких случаях, это сосредоточить свои усилия на содержании проиндексированных, объединить похожие страницы, удалить ненужные страницы, делать более уникальный и интересный контент на страницах вашего сайта (или все эти шаги).

Проще и детальнее

Более простым языком это можно объяснить так: есть основной состав и скамейка запасных(резерыных). На данный момент эти страницы не выдерживают внутренней конкуренции, и даже иx присутствие в поисковой выдаче им бы не помогло, вероятность того что они когда либо смогут занять конкурентное место стремится к нулю, поэтому ими просто пренебрегают. В данной тематике Гугл не видит их перспектив и подходящих запросов нет. Ситуация может измениться если появятся запросы, ответы на которые данные страницы будут раскрывать лучше имеющихся. Есть спрос - есть предложение.

Что изменится от того что в год 3 раза страница попадет в выдачу на 74 место? Ничего! Вот и Гугл так считает.

От чего зависит

Перечислю факторы влияющие на количество таких страниц:

• один из главных критериев - анализ страницы на релевантность существующим запросам пользователей и наличие страниц лучше отвечающих на тот же вопрос. Если гугл считает что страница никогда не будет востребована в поиске, либо она не конкурентоспособна на фоне других (как страниц данного сайта, так и других) - нет никакого смысла держать её в индексе.
• чем менее уникален контент, тем больше страниц будет выброшено
• объем дублирующихся сквозных блоков на страницах влияет на уникальность, тем самым приводит к исключениям
• чем больше на сайте страниц, тем как правило больший процент попадает в исключения, так как редко на сайте реально конкурентоспособны десятки тысяч
• страницы с маленьким статическим весом, чаще других исключаются
• вероятно учитываются поведенческие факторы и страницы на которых нет никакой активности выбрасываются
• улучшение скоростных показателей положительно влияет на долю проиндексированных страниц
• в зависимости от популярности тематики и статистики запросов возможны изменения в списке страниц в индексе
• у более популярных сайтов, меньше исключаются страницы при прочих равных

по сути всё то чем и так нужно заниматься для продвижения сайта.

Выводы

Паниковать не стоит, но внимание обратить нужно. Кол-во таких страниц является косвенной оценкой оригинальности контента, но только с учетом конкурентной ниши и посещаемости.

Делайте страницы более уникальными, улучшайте поведенческие показатели, дабы дать понять что эти страницы посещают, они интересны людям и не стоит их выбрасывать.

Ну и хочу пояснить один момент. Если вопрос касается интернет-магазинов, важна в первую очередь внутренняя уникальность (в рамках самого сайта).