В последнее время участились случаи когда Google отказывается принимать сайтмап длительное время.
В данном случае попробую расписать основные причины. Их можно разделить на 2 категории: ошибки на сайте и глюки новой гугл-консоли.
Чаще всего сопровождаются сообщениями:
Не получено – не удалось получить файл Sitemap
Первые действия
- Убедитесь что сайтмап открывается в браузере и время открытия менее 10сек.
- Необходимо подождать определенное время. Если краулинговый бюджет сайта израсходован, сразу индексация сайтмапа не пройдет, ожидайте от 1 до 10 дней.
- Воспользуйтесь инструментом "Проверка URL" для анализа индексации сайтмапа и запроса на приоритетное сканирование (скрин ниже).
- Отслеживайте по логам, обращался ли GoogleBot к сайтмапу.
Проверка сайтмапа
К сожалению гугл убрал инструмент проверки сайтмапа в новой Search Console. На данный момент такую возможность дает только Яндекс.
В Google можно проверить статус URL и ускорить индексацию единственным способом:
Ошибки на сайте
Ошибки загрузки
- Сайтмап недоступен или генерируется с ошибками - Проверьте в браузере и используя сервис от Яндекс
- Проблема с зеркалами сайта WWW/HTTPS - Сам сайтмап и содержимое должен принадлежать главному зеркалу
- Сайтмап запрещен к индексации в robots.txt - Разрешите используя оператор "Allow:" в конце списка
- Сайтмап отдается слишком долго (больше 15с)
Ошибки содержимого
- Адресация в сайтмапе и на сайте отличается либо большое кол-во адресов с редиректами
- В адресах используются спецсимволы - используйте только латинские буквы (a-z), цифры и тире (-)
- Несоответствие стандарту XHTML, как правило не заменено & на &аmр;
- Имеются пробелы в начале, либо кодировка отличная от UTF-8 (без BOM)
Глюки новой Google Search Console
Иногда возникают проблемы при следующих ситуациях
- Кириллический домен или новая доменная зона (.top, .moscow, ...) (под вопросом)
-
Использование знаков подчеркивания "_" в адресе сайтмапа - есть сообщения что замена на тире решила проблему - Заголовок "content-type: application/xml" - есть сообщение что замена на "text/xml", "text/xml; charset=UTF-8", "application/rss+xml; charset=UTF-8", либо полностью убранный заголовок решили проблему
- Используется gzip-сжатие - уберите сжатие для xml, это никак не повлияет на оценки Google Page Speed, т.к. на страницах сайта xml в 99.99% не грузится
- Сложная структура адреса сайтмапа - я провел эксперименты и выявил влияние, результаты ниже
Прочие сайтмапы
Если ранее были отправлены иные сайтмапы, они могут задерживать обработку, отъедая краулинговый бюджет сайта. Недостаточно просто удалить сайтмап из консоли.
Цитата google:
Если вы удалите файл Sitemap, он будет удален из соответствующего отчета, но останется в Google, как и все URL, которые были в нем указаны.
Чтобы удалить файл Sitemap, выполните следующие действия:Выберите Sitemap который нужно удалить, нажав на него. Нажмите на значок "три точки". Выберите Удалить файл Sitemap. Чтобы роботы Google больше не обращались к файлу, удалите его с сайта или запретите доступ к нему с помощью файла robots.txt.
support.google.com/webmasters/answer/7451001
Личный опыт
- В 90% случаев если с самим сайтмапом всё в порядке, нужно просто подождать
- В случаях когда ожидание не помогает, нужно делать адрес максимально простым. Для 0pencart FX Sitemap есть специальный патч в разделе поддержки
Эксперименты
Разные адреса и отметки принял (✅) или не принял (✖) Google
ddd/s/rr_r ✖ ddd/s/rr ✖ ddd/s ✅ ?s=ddd ✅ ?route=ggg/e/uub ✖ fx_sitemap/index.php ✅ ru/index.php?route=extension/feed/google_sitemap ✖ ru/index.php?route=extension/feed/fx_sitemap ✖ ru/index.php?route=extension/feed/fx-sitemap ✖ ru/index.php?route=extension/feed ✅ ru/index.php?route=feed/fx_sitemap ✅
Комментариев: 0 RSS