Инструмент “проверка ответа сервера” позволяет проверить доступность страниц на сайте для поисковых роботов и пользователей.
Если страницы недоступны для поискового робота, они не будут проиндексированы и не попадут в поиск. Поэтому мы рекомендуем регулярно проводить мониторинг вашего проекта и вовремя устранять ошибки.
На сайте может использоваться заголовок Last-Modified. Он сообщает роботам и пользователям время, когда последний раз страница была изменена.
If-Modified-Since – это запрос, который робот отправляет на сайт при его посещении. Фактически он означает следующее: “не изменилась ли страница со времени …”.
Если на вашем проекте есть заголовок Last Modified, сервер сможет сверить значение поля If-Modified-Since со временем последнего изменения страницы. Если дата изменения страницы, которая указана в заголовке Last Modified, наступила раньше даты, указанной в поле If-Modified-Since, сайт сообщит, что страница не изменялась и вернёт сообщение “304 Not Modified”.
Использовать поле If-Modified-Since не обязательно.
В результате проверки вы получите следующие данные:
Из этих показателей самым важным является код статуса HTTP, так как именно по нему определяется доступность страницы.
Наиболее распространенными кодами являются следующие:
Более подробный список кодов ответа сервера вы можете найти в справке Яндекс.
После проверки могут также появиться следующие сообщения:
Сообщение | Описание и причины проблемы |
Не удалось загрузить документ |
|
Не удалось подключиться к серверу | |
Произошел обрыв соединения | |
URL запрещён к индексированию директивой noindex | Страница закрыта от индексации посредством размещения в мета-теге robots директивы “noindex” |
URL запрещён к индексированию тегом noindex | Страница закрыта от индексации посредством размещения на ней HTML-тега noindex |
URL запрещён к индексированию в robots.txt | Для данной страницы или каталога, в котором она находится, указана директива “Disallow” в файле robots.txt |
Слишком большой объём документа | Размер страницы превышает 10 мегабайт |
Формат документа не поддерживается | Робот Яндекса поддерживает следующие форматы страниц и файлов: PDF, DOC/DOCX, XLS/XLSX, PPT/PPTX (MS Office); ODS, ODP, ODT, ODG (Open Office); RTF, TXT и SWF |
Некорректный код ответа | При проверке возвращается код HTTP-статуса, который не поддерживается Яндексом |
Язык документа не распознан | Перечень языков, которые поддерживает Яндекс, смотрите в справке |
В документе нет содержимого для индексирования | На странице отсутствует контент, либо он не может быть проиндексирован роботом (например, если содержимое появляется только для владельцев платной подписки) |
Содержимое страницы отсутствует |
Наиболее распространёнными причинами появления такого сообщения являются следующие:
|
Если вы столкнулись с одной из проблем, которые указаны выше, вы можете обратиться за помощью по их устранению к специалистам MOSSEO. Мы в короткие сроки проведём диагностику вашего проекта и устраним все ошибки, которые влияют на его доступность.