Что это
Индексируемость страницы — разрешение поисковому роботу сохранить страницу в базе данных поисковика. Управляется тремя механизмами: HTTP-заголовком X-Robots-Tag, мета-тегом <meta name="robots"> в <head> и директивами в robots.txt. Если хотя бы один из них запрещает индексацию директивой noindex, страница не попадёт в выдачу — даже если на неё ведут сотни ссылок.
Почему это важно для SEO
Заблокированные страницы не ранжируются и не приносят трафик. Казалось бы, очевидно — но на практике ошибки индексируемости входят в топ-3 технических проблем, которые обнаруживаются при аудите. По данным аудитов крупных интернет-магазинов: до 15–20% страниц каталога могут случайно получить noindex после обновления шаблона или выгрузки товаров из 1С. Яндекс при этом исключает страницы из индекса в течение нескольких дней после очередного обхода, и восстановление позиций занимает от 2 до 6 недель.
Для Google ситуация усугубляется Core Web Vitals и AI Overviews: если страница исключена из индекса, она не участвует в формировании AI-сводок и теряет потенциальный трафик из новых форматов выдачи. В Яндексе страница с noindex не влияет на ИКС домена как целевая, а Я.Нейро не цитирует источники вне индекса. Турбо-страницы тоже не подтягиваются для заблокированных URL.
Как проверить вручную
- Открой Screaming Frog → запусти краулинг сайта → вкладка
Response Codes→ фильтрIndexability: Non-Indexable. Screaming Frog покажет причину:noindex,canonical to different page,blocked by robots.txtи т.д.
- Проверь мета-тег в браузере: открой страницу →
Ctrl+U→ найди в<head>:
``html <meta name="robots" content="noindex, nofollow"> ` Наличие noindex — страница вне индекса. Допустимые значения: index, follow` или просто отсутствие тега.
- Проверь HTTP-заголовок: в терминале или через расширение Redirect Path:
``bash curl -I https://example.ru/catalog/tovary/ ` В ответе ищи строку: ` X-Robots-Tag: noindex ``
- Проверь в инструментах поисковиков: Google Search Console → «Проверка URL» → смотри статус «Страница проиндексирована / не проиндексирована» и причину. Яндекс.Вебмастер → «Страницы» → «Исключённые» → фильтр по причине исключения.
- Топвизор (если ведёшь позиции): в модуле «Аудит» он помечает страницы с
noindexкак критические ошибки и показывает динамику появления новых.
Как исправить
Убедись, что на целевых страницах нет запрета. Для каждой CMS — своё место настройки.
Универсальное решение — убери noindex из мета-тега:
<!-- Было -->
<meta name="robots" content="noindex, follow">
<!-- Стало -->
<meta name="robots" content="index, follow">WordPress: Настройки → Чтение → сними галочку «Попросить поисковые системы не индексировать сайт». Для отдельных страниц — Yoast SEO / Rank Math → блок «Дополнительно» → параметр noindex переключи в По умолчанию или Да (индексировать).
Tilda: Настройки страницы → SEO → поле «Robots» → убедись, что значение index, follow или поле пустое. Tilda по умолчанию не блокирует страницы, но блокирует служебные типа thank-you.
1C-Bitrix: Настройки → Поисковое продвижение → Robots.txt / мета-теги. Проверь шаблон компонента — иногда noindex прописан в component_epilog.php напрямую:
// Найди и удали или замени:
$APPLICATION->SetPageProperty("robots", "noindex,nofollow");Webflow: Page Settings → SEO → сними флажок Exclude this page from search results.
После изменений — отправь URL на переобход через Google Search Console («Проверка URL» → «Запросить индексирование») и Яндекс.Вебмастер («Переобход страниц»).
Типичные ошибки
- Оставили `noindex` с этапа разработки. Разработчики закрывают тестовый сайт от индексации, а при переносе на продакшн забывают снять запрет. Всегда проверяй мета-теги и
robots.txtсразу после публикации.
- `noindex` через robots.txt не работает так, как ожидается.
robots.txtблокирует *обход*, но не индексацию: если на страницу ведут внешние ссылки, Яндекс и Google могут добавить URL в индекс без содержимого. Для исключения из выдачи используй именноnoindexв мета-теге или HTTP-заголовке.
- Конфликт директив. Мета-тег разрешает индексацию, а HTTP-заголовок запрещает — победит запрет. Проверяй оба уровня одновременно.
- Массовый `noindex` на фильтрах и пагинации. Часть фильтров и страниц
/page/2/действительно стоит закрывать, но важно не задеть приоритетные посадочные страницы фасетной навигации с высоким спросом.
- Не проверяют после обновлений CMS или плагинов. Обновление Yoast SEO или смена шаблона в Bitrix может сбросить настройки индексируемости. Добавь проверку в еженедельный мониторинг через Screaming Frog или PageSpeed Insights (для единичных URL).
Влияние на разные типы сайтов
Для интернет-магазинов это критичный параметр: тысячи карточек товаров, страниц категорий и фильтров генерируются автоматически, и один неверный шаблон может закрыть от индексации весь раздел. Особенно рискованные зоны — страницы «нет в наличии», архивные акции и автоматически создаваемые теги. Их нужно аудировать после каждой выгрузки номенклатуры.
Контентные сайты и SaaS-проекты страдают от другой проблемы: разработчики намеренно закрывают служебные разделы (личный кабинет, /admin/, /api/), но случайно захватывают лендинги или статьи блога. Для лендингов на Tilda и Webflow особенно важно проверять страницы благодарности и промо-страницы: они часто дублируют контент и закрываются «на всякий случай», хотя могли бы работать как точки входа.