Владелец сайта попросил выяснить, почему страницы выпали из поисковой выдачи и резко снизился органический трафик. Проверили индексацию, служебные файлы, разметку и ответы сервера.
Из выдачи выпало значительное количество страниц, органический трафик резко снизился.
По предоставленным данным, раньше страницы сайта стабильно индексировались и участвовали в ранжировании. В какой-то момент часть из них перестала отображаться в результатах поиска, хотя оставалась доступной.
Основная гипотеза исследования: страницы выпали из индекса не из-за удаления, а из-за совокупности технических ограничений индексации.
Исследование проводилось без вмешательства в серверную часть сайта.
Часть страниц сайта исключена из индекса поисковых систем из-за технических ограничений.
На ряде страниц стоит мета-тег robots со значением noindex, который прямо запрещает их индексацию.
Кроме того, на уровне сервера применяются HTTP-заголовки X-Robots-Tag со значением noindex. Они распространяются на отдельные разделы сайта и не дают включить их в индекс.
В robots.txt есть директивы Disallow, которые закрывают от поисковых роботов разделы сайта, в том числе страницы, представляющие коммерческую ценность. В карте сайта sitemap.xml перечень страниц неполный: значительной части доступных адресов в ней нет.
Канонические ссылки на ряде страниц указаны неверно: rel="canonical" ведёт на другие адреса, в том числе на главную или на нерелевантные разделы, и исходные страницы из-за этого исключаются из индекса.
Есть страницы с кодом ответа 200, на которых минимальный или дублирующийся контент. Поисковые системы считают такие страницы малополезными и могут исключать их из индекса.
На части страниц основной контент формируется через JavaScript и отсутствует в исходном HTML-коде, поэтому поисковые роботы получают для индексации не всё содержимое.
Внутренняя перелинковка организована частично некорректно: на ряд страниц ведёт слишком мало внутренних ссылок, и поисковым системам их трудно обнаружить.
Местами вместо постоянных редиректов (301) стоят временные (302), и поисковой системе неясно, какой адрес страницы основной.
Выпадение страниц из индекса вызвано не единичной ошибкой, а наложением запретов индексации, неполной карты сайта, некорректной каноникализации и недостаточной доступности контента для роботов.
Исследование выявило:
Выявленные нарушения мешают корректной индексации, затрудняют поисковым системам обнаружение страниц и приводят к исключению страниц из выдачи.
Недостатки возникли из-за некорректной технической настройки сайта и могут быть причиной снижения органического трафика и потери видимости в поиске.
Опишите ситуацию, и ведущий эксперт бесплатно оценит перспективу, сроки и стоимость.