Как закрыть технические страницы WordPress от индексации без потери SEO

На WordPress технические URL появляются почти незаметно: страницы поиска, архивы по датам, вложения, служебные результаты фильтров, страницы автора на небольшом сайте, параметры сортировки и пагинация там, где она не нужна. Если такие адреса попадают в индекс, поисковик начинает тратить обход на мусор, а в отчетах всплывают дубли и слабые страницы.

Задача здесь не в том, чтобы закрыть все подряд. Нужна точечная настройка: что оставить открытым, что отдать в noindex, а что вообще убрать из обхода через robots.txt или редирект.

Какие страницы WordPress обычно надо закрывать

Сначала стоит разделить технические URL по типу. Это помогает не делать лишних запретов и не потерять полезные страницы архива или поиска.

• Внутренний поиск — страницы вида /?s=... почти всегда не должны индексироваться.
• Вложения — отдельные страницы медиафайлов часто не несут ценности и дублируют контент записи.
• Архивы без пользы — архивы по датам, тегам или авторам на небольших сайтах нередко создают тонкие страницы.
• Технические параметры — сортировка, фильтры, UTM, служебные query string.
• Страницы пагинации — не всегда проблема, но иногда именно они создают мусор в индексе, если контент на них слабый.

Когда не стоит закрывать страницу

Если архив по рубрике реально помогает пользователю и собирает трафик, его лучше оставить открытым. То же касается страниц поиска в закрытом каталоге или внутреннем портале, где поиск — часть навигации. В таких случаях применяют не тотальный запрет, а аккуратный noindex или ограничение индексации только для определенных шаблонов.

Диагностика: где именно у вас мусор в индексе

Перед правками проверьте, какие URL уже попали в поиск. Для этого достаточно трех источников: отчетов Google Search Console, логики шаблонов WordPress и ручной проверки выдачи.

1. Откройте отчет по страницам в Search Console и найдите URL с параметрами, архивы, вложения и внутренний поиск.
2. Проверьте, есть ли у этих страниц уникальный контент или это просто оболочка вокруг списка записей.
3. Посмотрите исходный код страницы: есть ли meta robots, canonical и не конфликтуют ли они между собой.

Если страница уже в индексе, одного noindex мало. Поисковику нужно дать понятный сигнал и убрать причину появления дубля. Для этого обычно комбинируют мета-тег, canonical и, где уместно, редирект.

Пошаговое решение: закрываем служебные страницы правильно

1. Закрываем внутренний поиск и вложения

Самый безопасный путь — добавить правила в тему или мини-плагин. Ниже пример, который ставит noindex, follow для результатов поиска и страниц вложений, а также отключает индексацию для архивов автора на сайте с одним автором.

<?php
add_filter('wp_robots', function ($robots) {
    if (is_search() || is_attachment()) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    if (is_author() && count_users()['total_users'] <= 1) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
});

Этот вариант лучше, чем жестко править шаблоны, потому что использует штатный фильтр wp_robots. Он работает в современных версиях WordPress и не ломает разметку темы.

2. Убираем страницу вложения в пользу родительской записи

Если медиафайл открывается как отдельная страница, чаще всего пользователю нужна не она, а пост, где картинка используется. Тогда можно редиректить attachment на родителя.

<?php
add_action('template_redirect', function () {
    if (!is_attachment()) {
        return;
    }

    global $post;

    if ($post && !empty($post->post_parent)) {
        wp_safe_redirect(get_permalink($post->post_parent), 301);
        exit;
    }
});

Если у вложения нет родителя, лучше не делать редирект на главную без разбора. Это ухудшает поведение сайта и может создать цепочку плохих сигналов для поисковика.

3. Закрываем служебные архивы через robots.txt

robots.txt полезен для снижения обхода, но не заменяет noindex. Он не удаляет URL из индекса сам по себе, если страница уже известна поисковику. Поэтому используйте его только для явных технических путей.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /search/
Disallow: /attachment/

Allow: /wp-admin/admin-ajax.php

Если у вас поиск строится на другом пути, подставьте реальный шаблон URL. Не закрывайте в robots.txt то, что хотите убрать из индекса через noindex, если страница уже проиндексирована: робот может не увидеть мета-тег на заблокированной странице.

4. Ставим canonical там, где есть параметры

Для страниц с параметрами сортировки или фильтрации canonical должен указывать на чистую версию URL. Это снижает риск дублей без жесткой блокировки.

<?php
add_action('wp_head', function () {
    if (is_admin()) {
        return;
    }

    if (!empty($_GET) && !is_search()) {
        $canonical = remove_query_arg(array_keys($_GET));
        echo '<link rel="canonical" href="' . esc_url($canonical) . '" />' . "\n";
    }
}, 5);

Этот пример намеренно простой. В реальном проекте лучше исключить служебные параметры, которые должны сохраняться, например replytocom или параметры аналитики, если они нужны для других задач. Иначе можно случайно сломать каноникализацию.

Что выбрать: плагин, код или редирект

Если у вас уже стоит SEO-плагин, сначала проверьте его настройки. Часто там есть готовые переключатели для архивов автора, дат, тегов и вложений. Но если нужна точечная логика, код в мини-плагине обычно надежнее: он не зависит от интерфейса и не теряется при смене темы.

Проверка результата после внедрения

После правок не ограничивайтесь просмотром исходника. Нужно проверить и HTML, и поведение робота, и статус в индексе.

• Откройте страницу в браузере и убедитесь, что в <head> есть noindex или canonical на нужный адрес.
• Проверьте ответ сервера через curl -I или инструменты разработчика, если применяли редирект.
• В Search Console отправьте страницу на повторную проверку после изменения.
• Посмотрите, не исчезли ли из индекса важные архивы или страницы, которые должны оставаться открытыми.

Для быстрой проверки можно использовать такой запрос:

curl -I https://example.com/?s=test

Если вы закрывали вложения редиректом, ответ должен быть 301 и вести на родительскую запись. Если ставили noindex, проверьте именно HTML-страницу, а не только заголовки ответа.

Частые ошибки и как их исправить

Закрыли страницу в robots.txt, но она осталась в индексе

Это типичная ситуация. Если URL уже известен поисковику, одного запрета на обход недостаточно. Сначала снимите блокировку, дайте роботу увидеть noindex или canonical, а потом уже ограничивайте обход, если это все еще нужно.

Поставили noindex на все архивы подряд

Так часто ломают полезные рубрики. Перед массовым закрытием проверьте, какие архивы реально приносят трафик и помогают навигации. На небольшом сайте можно закрыть теги и даты, но оставить рубрики открытыми.

Сделали редирект вложений на главную

Это плохая замена нормальной логике. Пользователь и поисковик теряют контекст. Если у вложения есть родитель, редиректите на него. Если нет — лучше отдать 404 или 410, если файл удален окончательно и не должен возвращаться.

Canonical указывает на URL с параметрами

Такой canonical не решает проблему дублей. Он должен вести на чистую, основную версию страницы. Иначе поисковик продолжит считать параметры значимыми.

Практические советы по безопасности и производительности

Не вносите такие правки прямо в файл темы, если тема обновляется. Лучше сделать маленький mu-plugin или отдельный плагин для технических правил. Тогда вы не потеряете настройки при обновлении и не смешаете SEO-логику с версткой.

Если на сайте много технических дублей, имеет смысл сначала убрать причину появления мусора: отключить лишние архивы, пересмотреть фильтры, сократить количество параметров в URL. В некоторых проектах помогает и аудит через инструменты вроде Clearfy Pro, если нужен быстрый контроль дублей и служебных страниц, но базовую логику все равно лучше понимать и проверять вручную.

Главный критерий простой: после внедрения в индекс должны попадать только те страницы, которые реально нужны пользователю или приносят поисковый трафик. Все остальное — либо noindex, либо canonical, либо редирект, если страница больше не нужна.