Список «что удалить»

Что это

Список «что удалить» — это перечень URL-адресов, страниц, разделов или типов контента сайта, которые ухудшают общее качество сайта с точки зрения поисковых систем и подлежат деиндексации или физическому удалению. Это не технический файл вроде robots.txt, а аналитическое решение: аудит показывает, какие страницы «тянут» сайт вниз, и их нужно убрать из индекса или с хостинга осознанно и планово.

Почему это важно для SEO

Яндекс и Google оценивают качество сайта в целом, не только отдельных страниц. Если в индексе лежат сотни дублей, пустых страниц тегов или устаревших акций трёхлетней давности — поисковик видит сайт с низкой долей полезного контента. В Яндексе это напрямую влияет на ИКС (индекс качества сайта), в Google — на то, как Googlebot распределяет crawl budget. Сайт с 10 000 страниц, из которых 6 000 бесполезны, получает меньше краулинга на реально ценные страницы.

Конкретный пример: интернет-магазин с 3 500 страницами фильтров в индексе (цвет + размер + бренд — все комбинации) может терять позиции по коммерческим запросам, потому что робот «размывает» авторитетность между бесполезными урлами. После чистки индекса и закрытия комбинаторики через noindex трафик на категории нередко растёт на 20–40% в течение 2–3 месяцев. Аналогично в Google: Core Web Vitals считается по выборке реальных страниц, и технический мусор ухудшает агрегированную оценку.

Как проверить вручную

1. Яндекс Вебмастер — раздел «Индексирование» → «Страницы в поиске». Выгрузите весь список проиндексированных URL и отфильтруйте по шаблонам: параметры сортировки (?sort=, ?page=), пустые теги, страницы «нет результатов», старые UTM-ссылки, которые попали в индекс.

1. Google Search Console — «Индексирование страниц» → раздел «Проиндексированные страницы». Смотрите на аномалии: страницы с нулевыми показами за 12 месяцев, но находящиеся в индексе — первые кандидаты на удаление.

1. Screaming Frog — сканируйте сайт с режимом List Mode, загружая экспорт из GSC или Я.Вебмастера. Смотрите на колонки: Title, Word Count, Indexability. Страницы с Word Count < 100 и без внешних ссылок — технический мусор. Дополнительно фильтруйте по статусам ответа: 404, 301-цепочки, мягкие 404.

1. Топвизор — выгрузите семантику и сопоставьте с реальными URL. Страницы без целевых запросов и без трафика 6+ месяцев — кандидаты в список удаления.

Как исправить

Шаг 1. Сформируйте список кандидатов на удаление по категориям:

• дубли (канонические и некорректные копии)
• пустые страницы тегов, меток, фильтров
• устаревший контент (акции, события, вакансии)
• страницы с thin content (менее 200 слов, нет уникальной ценности)
• технические URL с параметрами, попавшие в индекс

Шаг 2. Для каждой группы выберите действие: физическое удаление (301 → актуальная страница) или деиндексация (noindex).

<!-- Для страниц, которые оставляем на сайте, но убираем из индекса -->
<meta name="robots" content="noindex, follow">

Шаг 3. Для ускорения деиндексации используйте инструмент «Удаление URL» в Google Search Console и «Переобход страниц» в Яндекс Вебмастере.

WordPress — плагин Yoast SEO или Rank Math: для страниц тегов и авторов выставьте noindex в настройках типов записей. Фильтры WooCommerce закрывайте через настройки плагина или robots.txt.

Tilda — отдельные страницы закрываются через настройки страницы → «Метатеги» → поле robots: noindex. Глобально — через настройки сайта → SEO.

1C-Bitrix — компонент «Карта сайта» и настройки SEO-модуля позволяют управлять индексацией типов страниц. Фасетный поиск закрывается через robots.txt или настройки компонента умного фильтра.

Webflow — в настройках каждой страницы есть чекбокс «Exclude from search index», который добавляет noindex.

Типичные ошибки

• Удалять страницы без редиректа. Страница с внешними ссылками или трафиком удалена физически и отдаёт 404 — теряются ссылочный вес и аудитория. Всегда ставьте 301 на ближайший актуальный URL.

• Закрывать в robots.txt вместо noindex. Страница, закрытая от сканирования через Disallow, может оставаться в индексе бесконечно — робот не может прочитать noindex на ней. Используйте noindex в теге, а Disallow — только для страниц, которые не должны сканироваться вовсе.

• Удалять страницы, которые собирают long-tail трафик. Страница с 50 визитами в месяц по узким запросам — не мусор. Сначала проверяйте трафик в Метрике и GSC, потом решайте.

• Делать всё сразу. Массовое удаление 2 000 страниц за один день вызывает резкое изменение структуры сайта — поисковики могут воспринять это как нестабильность. Удаляйте группами по 200–300 URL с паузой 2–4 недели.

• Не мониторить после удаления. После деиндексации обязательно проверьте в Яндекс Вебмастере и GSC, что страницы действительно ушли из индекса и не появились новые дубли.

Влияние на разные типы сайтов

Для интернет-магазинов задача особенно острая: комбинаторика фильтров (цвет + размер + бренд + цена) может генерировать десятки тысяч уникальных URL, большинство из которых бесполезны. Здесь нужна системная стратегия: какие комбинации фильтров продвигать как самостоятельные страницы, остальные — в noindex или Disallow. Также под удаление попадают карточки товаров «нет в наличии» без аналогов и сезонные акции прошлых лет.

Для контентных сайтов и блогов список «что удалить» — это прежде всего устаревшие статьи, которые потеряли актуальность и не обновлялись. Вместо удаления часто разумнее объединять похожие материалы в один сильный лонгрид (контентный каннибализм устраняется слиянием). Для SaaS и лендингов объём проблемных страниц меньше, но критичны дубли лендингов по UTM-меткам и тестовые страницы, случайно открытые для индексации.