Внесудебное · Исследование № 1119

Страницы сайта выпали из поиска: исследование индексации и технических ограничений

Владелец сайта попросил выяснить, почему страницы выпали из поисковой выдачи и резко снизился органический трафик. Проверили индексацию, служебные файлы, разметку и ответы сервера.

Обстоятельства дела

Значительная часть адресов пропала из поиска, хотя сами страницы продолжали открываться для пользователей.

Из выдачи выпало значительное количество страниц, органический трафик резко снизился.

По предоставленным данным, раньше страницы сайта стабильно индексировались и участвовали в ранжировании. В какой-то момент часть из них перестала отображаться в результатах поиска, хотя оставалась доступной.

Основная гипотеза исследования: страницы выпали из индекса не из-за удаления, а из-за совокупности технических ограничений индексации.

noindexX-Robots-Tagrobots.txtcanonicalsitemap.xmlJavaScript-рендеринг

Объект исследования

Структура URL

Индексируемые страницы

Служебные файлы индексации

HTML-разметка страниц

Ответы сервера

Внутренняя структура ссылок

Контент страниц

Цели исследования

Установить причины выпадения страниц сайта из индекса поисковых систем.
Определить, есть ли технические ограничения, препятствующие индексации.
Оценить настройку индексации и доступность страниц для поисковых роботов.

Методы и инструменты

Исследование проводилось без вмешательства в серверную часть сайта.

Что установили

Часть страниц сайта исключена из индекса поисковых систем из-за технических ограничений.

Мета-теги и серверные ограничения

На ряде страниц стоит мета-тег robots со значением noindex, который прямо запрещает их индексацию.

Кроме того, на уровне сервера применяются HTTP-заголовки X-Robots-Tag со значением noindex. Они распространяются на отдельные разделы сайта и не дают включить их в индекс.

robots.txt, sitemap.xml и canonical

В robots.txt есть директивы Disallow, которые закрывают от поисковых роботов разделы сайта, в том числе страницы, представляющие коммерческую ценность. В карте сайта sitemap.xml перечень страниц неполный: значительной части доступных адресов в ней нет.

Канонические ссылки на ряде страниц указаны неверно: rel="canonical" ведёт на другие адреса, в том числе на главную или на нерелевантные разделы, и исходные страницы из-за этого исключаются из индекса.

Качество страниц и JavaScript-контент

Есть страницы с кодом ответа 200, на которых минимальный или дублирующийся контент. Поисковые системы считают такие страницы малополезными и могут исключать их из индекса.

На части страниц основной контент формируется через JavaScript и отсутствует в исходном HTML-коде, поэтому поисковые роботы получают для индексации не всё содержимое.

Перелинковка и редиректы

Внутренняя перелинковка организована частично некорректно: на ряд страниц ведёт слишком мало внутренних ссылок, и поисковым системам их трудно обнаружить.

Местами вместо постоянных редиректов (301) стоят временные (302), и поисковой системе неясно, какой адрес страницы основной.

Выпадение страниц из индекса вызвано не единичной ошибкой, а наложением запретов индексации, неполной карты сайта, некорректной каноникализации и недостаточной доступности контента для роботов.

Выводы

Исследование выявило:

Выявленные нарушения мешают корректной индексации, затрудняют поисковым системам обнаружение страниц и приводят к исключению страниц из выдачи.

Недостатки возникли из-за некорректной технической настройки сайта и могут быть причиной снижения органического трафика и потери видимости в поиске.

Досье исследования и эксперты

№ 1119
Карточка экспертизы
ТипВнесудебное исследование
ЗаказчикВладелец интернет-ресурса
ОбъектИнтернет-сайт, его индексируемые страницы и настройки индексации
Номер№ 1119

Проект выполнялся в режиме NDA: документация, рабочие материалы и приложения в открытом доступе не публикуются.

Эксперты по направлению
Салий Виталий Викторович
Право в сфере ИБ, договоры на продвижение
Профиль эксперта →
Дмитриева Кристина Александровна
Соответствие ТЗ, приёмка и риски проектов
Профиль эксперта →

Другие кейсы по SEO и рекламе

Все кейсы рубрики →

Связанные услуги

Хотите понять, применим ли такой подход к вашему делу?

Опишите ситуацию, и ведущий эксперт бесплатно оценит перспективу, сроки и стоимость.