Объект исследования
- структура URL;
- индексируемые страницы;
- служебные файлы индексации;
- HTML-разметка страниц;
- серверные ответы;
- внутренняя структура ссылок;
- контент страниц.
Исследование корректности индексации сайта и причин выпадения страниц из поисковой выдачи. Экспертиза № 1119
- Заказчик: владелец интернет-ресурса
- Объект исследования: интернет-сайт, его индексируемые страницы и настройки индексации
Исследование выполнено для установления причин выпадения страниц сайта из поисковой выдачи, оценки корректности настройки индексации и выявления технических ограничений, препятствующих присутствию страниц в индексе поисковых систем.
Обстоятельства дела
Заказчик обратился для проведения исследования сайта в связи с выпадением значительного количества страниц из поисковой выдачи и резким снижением органического трафика.
По предоставленным данным, ранее страницы сайта стабильно индексировались и участвовали в ранжировании, однако в определенный момент часть страниц перестала отображаться в результатах поиска, несмотря на их фактическую доступность.
noindex
X-Robots-Tag
robots.txt
Canonical
Sitemap.xml
JavaScript-рендеринг
Ключевая проблема: значительная часть URL перестала
отображаться в поиске, хотя сами страницы продолжали открываться для пользователей.
Основная гипотеза исследования: страницы выпали из индекса не
из-за удаления, а из-за совокупности технических ограничений индексации.
Цели исследования
Установление причин выпадения страниц сайта из индекса поисковых систем.
Определение наличия технических ограничений, препятствующих индексации.
Оценка корректности настройки индексации и доступности страниц для поисковых роботов.
Методика исследования
Исследование проводилось без вмешательства в серверную часть сайта. В ходе анализа применялись следующие методы и инструменты:
- проверка индексации страниц через поисковые операторы;
- анализ HTTP-ответов сервера;
- проверка заголовков `X-Robots-Tag`;
- анализ мета-тега `robots`;
- проверка файла `robots.txt`;
- анализ карты сайта `sitemap.xml`;
- анализ канонических URL `rel="canonical"`;
- проверка наличия редиректов;
- анализ структуры внутренних ссылок;
- сопоставление HTML-контента и фактически индексируемого содержимого;
- проверка доступности страниц без выполнения JavaScript.
Исследование
В ходе исследования установлено, что часть страниц сайта исключена из индекса поисковых систем вследствие технических ограничений.
Мета-теги и серверные ограничения
На ряде страниц обнаружено наличие мета-тега `robots` со значением `noindex`, что прямо запрещает их индексацию поисковыми системами.
Дополнительно выявлено использование HTTP-заголовков `X-Robots-Tag` со значением `noindex`, применяемых на уровне сервера. Указанные заголовки распространяются на отдельные разделы сайта и препятствуют их включению в индекс.
robots.txt, sitemap.xml и canonical
В файле `robots.txt` выявлены директивы `Disallow`, ограничивающие доступ поисковых роботов к разделам сайта, при этом часть данных разделов содержит страницы, представляющие коммерческую ценность. Карта сайта `sitemap.xml` содержит неполный перечень страниц, и значительное количество доступных URL в нее не включено.
Также выявлены некорректные канонические ссылки. На ряде страниц тег `rel="canonical"` указывает на другие URL-адреса, в том числе на главную страницу или нерелевантные разделы, что приводит к исключению исходных страниц из индекса.
Качество страниц и JavaScript-контент
В ходе анализа установлено наличие страниц с кодом ответа `200`, однако фактически содержащих минимальный или дублирующийся контент. Такие страницы воспринимаются поисковыми системами как малополезные и могут исключаться из индекса.
Дополнительно зафиксированы случаи, при которых основной контент страниц формируется с использованием JavaScript и отсутствует в исходном HTML-коде. Это приводит к тому, что поисковые роботы не получают полный объем информации для индексации.
Перелинковка и редиректы
Внутренняя перелинковка сайта организована частично некорректно. Ряд страниц не имеет достаточного количества внутренних ссылок, что затрудняет их обнаружение поисковыми системами.
Также выявлены случаи временных редиректов (`302`), применяемых вместо постоянных (`301`), что создает неопределенность для поисковых систем при определении основного URL страницы.
Совокупность обнаруженных факторов показывает, что проблема выпадения страниц из индекса связана не с
единичной ошибкой, а с наложением запретов индексации, неполной карты сайта, некорректной каноникализации и
недостаточной доступности контента для роботов.
Выводы
- наличие директив `noindex` в мета-тегах и HTTP-заголовках;
- ограничения в файле `robots.txt`;
- некорректные канонические ссылки;
- неполную карту сайта `sitemap.xml`;
- недостаточную внутреннюю перелинковку;
- использование JavaScript для загрузки основного контента;
- наличие страниц с малозначимым или дублирующимся содержимым;
- использование некорректных редиректов.
Выявленные нарушения препятствуют корректной индексации страниц, затрудняют их обнаружение поисковыми системами и приводят к исключению страниц из поисковой выдачи.
Установленные недостатки являются следствием некорректной технической настройки сайта и могут являться причиной снижения органического трафика и потери видимости ресурса в поисковых системах.
Документация проекта
Скачать документацию по проекту
Вы можете скачать и ознакомиться с документацией проекта подробнее. Часть материалов доступна только после согласования доступа с правообладателем.
Документация по проекту
Проект выполнялся в режиме NDA. Правообладатель ограничил круг лиц, которым может быть предоставлен доступ к внутренней документации, рабочим материалам и приложениям к проекту.
По этой причине документация не размещается в открытом доступе и не предоставляется для публичного скачивания без отдельного согласования.