Гугл не принимает xml сайтмап

В последнее время участились случаи когда Google отказывается принимать сайтмап длительное время.

В данном случае попробую расписать основные причины. Их можно разделить на 2 категории: ошибки на сайте и глюки новой гугл-консоли.

Чаще всего сопровождаются сообщениями:

Не получено – не удалось получить файл Sitemap

Первые действия

• Убедитесь что сайтмап открывается в браузере и время открытия менее 10сек.
• Необходимо подождать определенное время. Если краулинговый бюджет сайта израсходован, сразу индексация сайтмапа не пройдет, ожидайте от 1 до 10 дней.
• Воспользуйтесь инструментом "Проверка URL" для анализа индексации сайтмапа и запроса на приоритетное сканирование (скрин ниже).
• Отслеживайте по логам, обращался ли GoogleBot к сайтмапу.

Проверка сайтмапа

К сожалению гугл убрал инструмент проверки сайтмапа в новой Search Console. На данный момент такую возможность дает только Яндекс.

В Google можно проверить статус URL и ускорить индексацию единственным способом:

Ошибки на сайте

Ошибки загрузки

• Сайтмап недоступен или генерируется с ошибками - Проверьте в браузере и используя сервис от Яндекс
• Проблема с зеркалами сайта WWW/HTTPS - Сам сайтмап и содержимое должны принадлежать главному зеркалу
• Сайтмап запрещен к индексации в robots.txt - Разрешите используя оператор "Allow:" в конце списка
• Сайтмап отдается слишком долго (больше 15с)

Ошибки содержимого

• Адресация в сайтмапе и на сайте отличается либо большое кол-во адресов с редиректами
• В адресах используются спецсимволы - используйте только латинские буквы (a-z), цифры и тире (-)
• Несоответствие стандарту XHTML, как правило не заменено & на &аmр;
• Имеются пробелы в начале, либо кодировка отличная от UTF-8 (без BOM)

Глюки новой Google Search Console

Иногда возникают проблемы при следующих ситуациях

• Кириллический домен (именно доменная зона) или новая доменная зона (.top, .moscow, ...) (под вопросом)
• Использование знаков подчеркивания "_" в адресе сайтмапа - есть сообщения что замена на тире решила проблему
• Заголовок "content-type: application/xml" - есть сообщение что замена на "text/xml", "text/xml; charset=UTF-8", "application/rss+xml; charset=UTF-8", либо полностью убранный заголовок решили проблему
• Используется gzip-сжатие - уберите сжатие для xml, это никак не повлияет на оценки Google Page Speed, т.к. на страницах сайта xml в 99.99% не грузится
• Сложная структура адреса сайтмапа - я провел эксперименты и выявил влияние, результаты ниже

Прочие сайтмапы

Если ранее были отправлены иные сайтмапы, они могут задерживать обработку, отъедая краулинговый бюджет сайта. Недостаточно просто удалить сайтмап из консоли.

Цитата google:

Если вы удалите файл Sitemap, он будет удален из соответствующего отчета, но останется в Google, как и все URL, которые были в нем указаны.
Чтобы удалить файл Sitemap, выполните следующие действия:

Выберите Sitemap который нужно удалить, нажав на него.

Нажмите на значок "три точки".

Выберите Удалить файл Sitemap.

Чтобы роботы Google больше не обращались к файлу, удалите его с сайта или запретите доступ к нему с помощью файла robots.txt.

support.google.com/webmasters/answer/7451001

Личный опыт

• В 90% случаев если с самим сайтмапом всё в порядке, нужно просто подождать
• В случаях когда ожидание не помогает, нужно делать адрес максимально простым. Для 0pencart FX Sitemap есть специальный патч в разделе поддержки

Эксперименты

Разные адреса и отметки принял (✅) или не принял (✖) Google

ddd/s/rr_r	✖
ddd/s/rr	✖
ddd/s__1	✅
?s=ddd	✅
?route=ggg/e/uub	✖
fx_sitemap/index.php	✅
ru/index.php?route=extension/feed/google_sitemap	✖
ru/index.php?route=extension/feed/fx_sitemap	✖
ru/index.php?route=extension/feed/fx-sitemap	✖
ru/index.php?route=extension/feed	✅
ru/index.php?route=feed/fx_sitemap	✅