Содержание
Чтобы понять, почему страницы выпали из поиска, откройте Яндекс Вебмастер, раздел индексирования, список исключённых страниц и посмотрите статус у каждой. Ошибка загрузки означает проблему на сервере. Дубль и неканоничность означают, что поиск выбрал другой адрес. Малоценная или маловостребованная означает, что страница не отвечает ни на один реальный запрос. Это три разные болезни, и лечатся они по-разному.

Главная ошибка на этом этапе выглядит так: владелец видит в отчёте несколько тысяч исключённых адресов, пугается и требует «вернуть всё». Возвращать всё не нужно. Часть этих страниц не должна была появляться вообще.
Исключённая страница это не всегда потеря. Иногда это поиск, который аккуратно убрал за вами мусор, о существовании которого вы не знали.
Где смотреть и что означают статусы
Путь один: Вебмастер, раздел индексирования, страницы в поиске, вкладка исключённых. Там перечислены адреса и причины. Яндекс выделяет несколько типов: ошибка при загрузке или обработке, запрет в robots.txt или метатеге, перенаправление робота, дублирование содержания, неканонический адрес, неглавное зеркало, нарушения на сайте и отдельно малоценные или маловостребованные страницы.
Индексирование: процесс, в котором робот обходит страницу, разбирает её содержимое и решает, добавлять ли документ в базу поиска.
Дальше работа простая, но требует дисциплины: выгрузить список, сгруппировать по статусам и разбирать группами. Разбор поштучно съедает день и не даёт картины.
Ошибка загрузки: когда виноват сервер
Этот статус означает, что в ответ на запрос робота сервер отдал код 3XX, 4XX или 5XX, то есть перенаправление, отсутствие страницы или ошибку.
Разбирать нужно по коду ответа. Перенаправления проверьте на цепочки: адрес, ведущий на адрес, ведущий на третий адрес, робот может не дойти до конца. Ошибки 404 на страницах, которые должны существовать, означают опечатку в ссылке или удалённый раздел. Массовые пятисотые ошибки означают, что сервер не выдерживает обход, и это чинится хостингом, а не SEO.
Если робот приходит на сайт и получает ошибку, никакой контент уже не имеет значения. Сначала дверь, потом интерьер.

Отдельная тонкость: перенаправление переживает свою цель. Настроенный когда-то редирект продолжает работать годами и может уводить робота со свежей страницы на давно удалённую. Периодически проверяйте, куда ведут ваши старые правила.
Дубли и неканонические адреса
Дублем поиск считает страницу, которая повторяет содержание другой. Чаще всего это адреса с параметрами сортировки и фильтров, версии со слешем и без, страницы пагинации и печатные версии.
Бюджет обхода: объём страниц, который робот готов обойти на вашем сайте за период. Он не резиновый, и каждый дубль забирает место у страницы, которая вам нужна.
Лечится это тремя инструментами. Атрибут rel="canonical" указывает главный адрес. Директива Clean-param в robots.txt сообщает Яндексу, какие параметры не меняют содержимое и их можно не обходить. Закрытие служебных разделов от индексации убирает то, чему в поиске делать нечего.
Частый случай из практики: каталог отдаёт код 200 на любой несуществующий параметр или произвольный кусок адреса. Тогда количество возможных адресов становится бесконечным, и робот месяцами ходит по вариациям вместо новых товаров.

Малоценная и маловостребованная: это приговор?
Нет, и это важно понимать, прежде чем переписывать полсайта.
Яндекс относит к малоценным страницы, которые дублируют уже известные материалы или не содержат видимого роботу контента. Маловостребованными считаются технически исправные документы, на которые попросту нет пользовательского спроса: нет запросов, на которые страница могла бы ответить. При этом наличие таких страниц не является ограничением в ранжировании сайта.
Что с ними делать, зависит от того, зачем страница создавалась. Если это карточка товара, которого никто не ищет, оставьте как есть: она нужна ассортименту, а не поиску. Если это посадочная страница под запрос, значит, запрос вы выбрали неверно или ответ на него написан хуже, чем у тех, кто в топе.
Страница выпадает как маловостребованная не потому, что плохо написана, а потому, что отвечает на вопрос, которого никто не задаёт. Это провал не текста, а планирования.
Мягкий 404: самая тихая поломка
Мягкий 404 это ситуация, когда сервер отвечает кодом 200 на адрес, которого не существует, и показывает пустую страницу или заглушку. Для человека это выглядит как «ничего не найдено». Для робота это нормальная существующая страница, которую он обязан обойти и оценить.

Последствия неприятные. Сайт обрастает тысячами пустых адресов, они попадают в индекс как малоценные, обход уходит в никуда, а в отчётах появляется картина «сайт полон мусора».
Проверяется за минуту: откройте адрес вашего сайта с любой выдуманной строкой в конце и посмотрите код ответа. Должен быть 404 или, если страница удалена навсегда, 410.
Разница между ними практическая. Код 404 говорит «сейчас нет», и робот будет возвращаться. Код 410 говорит «нет и не будет», и адрес выбывает быстрее. Для массового мусора, который вы точно не собираетесь восстанавливать, второй вариант экономит бюджет обхода.
Закрыть мусорные адреса в robots.txt это спрятать проблему, а не решить её. Робот перестанет их видеть, но и не узнает, что их больше нет.
Куда уходит бюджет обхода?
Посмотрите в Вебмастере статистику обхода и сравните две цифры: сколько страниц робот загрузил и сколько из них полезных. Типичная картина проблемного сайта выглядит так.
| Куда уходит обход | Как выглядит в отчёте | Что делать |
| Несуществующие адреса | Много 404 или, хуже, 200 на мусоре | Отдавать 410 для удалённого навсегда |
| Параметры и сортировки | Один товар под десятком адресов | Canonical плюс Clean-param |
| Бесконечная пагинация | Страницы списка с большими номерами отвечают 200 | Ограничить и проставить canonical |
| Цепочки редиректов | Переходы через два и более адреса | Сократить до одного шага |
Бюджет обхода это не настройка, а следствие порядка на сайте. Робот ходит туда, куда вы его пустили, и ровно столько, сколько выдерживает ваш сервер.
Как вернуть страницы в индекс
- Исправьте причину, а не симптом: код ответа, канонический адрес, содержание.
- Убедитесь, что страница доступна роботу: не закрыта в robots.txt, не помечена noindex, отдаёт 200.
- Проверьте, что на неё есть внутренние ссылки. Страница без входящих ссылок для робота почти не существует.
- Добавьте её в карту сайта и убедитесь, что карта отдаётся без ошибок.
- Отправьте адрес на переобход в Вебмастере. Это ускоряет визит робота, но не заменяет исправление причины.
- Дайте время. Возврат в индекс занимает от нескольких дней до нескольких недель, и подгонять этот процесс бессмысленно.
Что делать прямо сейчас
- Выгрузите список исключённых страниц из Вебмастера и сгруппируйте его по статусам.
- Проверьте код ответа на выдуманном адресе: если 200, у вас мягкий 404.
- Найдите страницы с ошибками сервера и передайте список разработчику отдельной задачей.
- Проставьте canonical на карточках и разделах с параметрами.
- Отделите страницы, которые действительно не нужны в поиске, и перестаньте их считать потерей.
- Для оставшихся полезных страниц проверьте спрос: есть ли запрос, на который они отвечают.
- Зафиксируйте текущее число страниц в поиске, чтобы через месяц увидеть динамику, а не ощущения.
Короткий вывод
Выпадение страниц из индекса почти всегда объясняется одной из трёх причин: сервер отвечает не то, поиск считает страницу копией или страница не отвечает ни на один запрос. Статус в Вебмастере называет причину прямо, и ваша работа начинается с того, чтобы её прочитать.
И не стремитесь вернуть в поиск всё. Здоровый сайт это не тот, у которого в индексе максимум страниц, а тот, у которого в индексе нужные.
FAQ
Почему страницы пропали из Яндекса, а в Google остались?
У систем разные критерии отбора и разная скорость обхода. Расхождение в индексе между ними это норма, а не ошибка.
Что такое мягкий 404 и чем он опасен?
Это код 200 на несуществующем адресе. Сайт обрастает пустыми страницами, которые съедают бюджет обхода и попадают в отчёты как малоценные.
Когда использовать 410 вместо 404?
Когда страница удалена навсегда и восстанавливаться не будет. Так адрес быстрее выбывает из обхода.
Поможет ли переобход вернуть страницу?
Он ускорит визит робота, но если причина исключения не устранена, страница выпадет снова.
Сколько ждать возврата страниц в поиск?
Обычно от нескольких дней до нескольких недель после исправления причины, в зависимости от того, как часто робот обходит ваш сайт.
Если исключённых страниц тысячи и непонятно, где кончается мусор и начинается потеря трафика, мы разберём индекс по статусам, найдём причину на стороне сервера и вернём в поиск то, что должно там быть. Смотрите условия на странице SEO-продвижения в Яндексе или в общей услуге SEO-продвижения. Оставьте заявку, начнём с бесплатной проверки индексации.
Источники
- Яндекс Вебмастер. «Почему страницы исключены из поиска» https://yandex.ru/support/webmaster/ru/site-indexing/excluded-pages
- Яндекс Вебмастер. «Малоценные или маловостребованные страницы» https://yandex.ru/support/webmaster/ru/site-indexing/low-demand.html
- Яндекс Вебмастер. «Директива Clean-param» https://yandex.ru/support/webmaster/ru/robot-workings/clean-param
- Google Search Central. «HTTP status codes, network and DNS errors» https://developers.google.com/search/docs/crawling-indexing/http-network-errors
