Вы написали полезную статью, опубликовали, ждёте трафик… А страницы нет в поиске. Ни через неделю, ни через две. Знакомая ситуация?
Проблемы с индексацией — частая боль владельцев сайтов. Хорошая новость: в большинстве случаев они решаются за 15-30 минут. В этой статье — 7 самых частых причин, почему страницы не индексируются, и способы это исправить.
Причина №1. robots.txt запрещает индексацию
Файл robots.txt — первое, что проверяет поисковый робот. Если случайно закрыть весь сайт, страницы не попадут в индекс.
Как проверить: Откройте https://ваш-сайт.ru/robots.txt.
Плохие директивы (ищете их):
User-agent: */Disallow: /— закрывает весь сайтDisallow: /blog/— закрывает весь раздел блогаDisallow: /category/— закрывает категории
Как исправить: Удалите или закомментируйте проблемные строки (# в начале строки). Правильный robots.txt для большинства сайтов:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /cgi-bin/ Disallow: /tag/ # Остальное можно индексировать Sitemap: https://ваш-сайт.ru/sitemap.xml
Причина №2. Мета-тег noindex запрещает индексацию
В коде страницы может быть мета-тег, который говорит роботам «не индексировать».
Как проверить: Откройте исходный код страницы (Ctrl+U) и найдите <meta name="robots". Если видите content="noindex" — страница закрыта.
Как исправить: Удалите noindex или замените на index, follow. В WordPress такие настройки часто стоят в:
- Ручных настройках страницы (внизу — «Настройки поисковой оптимизации» → «Индексировать страницу»)
- Плагинах SEO (Yoast, Rank Math, All in One SEO) — там есть настройка «Allow search engines to index»
Причина №3. Страница — дубль, и каноническая ссылка ведёт на другую
Каноническая ссылка (rel="canonical") указывает поисковику, какая версия страницы основная. Если она указывает на другой URL, текущая страница не будет индексироваться.
Как проверить: В исходном коде найдите <link rel="canonical" href="...">. Если href ведёт не на текущий URL, а на другой — проблема.
Пример проблемы: Страница /tovar/12345/, а canonical указывает на /tovar/12345/?ref=telegram — робот запутается.
Как исправить: Установите canonical на саму страницу. Если вы делаете редирект со страницы на другую — лучше использовать 301 редирект, а не canonical.
<link rel="canonical" href="https://ваш-сайт.ru/tekushchaya-stranitsa/" />
Причина №4. Ошибки сервера (5xx) или слишком долгий ответ
Если страница долго грузится (более 5-10 секунд) или выдаёт ошибку 500, 502, 503, поисковый робот прекращает попытки и удаляет страницу из индекса.
Как проверить:
- Google Search Console → Покрытие → Ошибки сервера (5xx)
- Яндекс.Вебмастер → Индексирование → Исключённые страницы → «Ошибка сервера»
- Сервисы мониторинга: Host-tracker или Uptime Robot (бесплатно, показывает время простоя)
Как исправить:
- Свяжитесь с хостингом — часто проблема в перегрузке сервера
- Ускорьте сайт (см. статью №35 «Как оптимизировать скорость загрузки»)
- Проверьте, нет ли бесконечных редиректов или ошибок в коде
Причина №5. Страница недоступна для незарегистрированных пользователей
Вы закрыли какую-то часть сайта от посетителей (личные кабинеты, закрытые разделы), а поисковый робот тоже считается «гостем». Он не увидит контент и не проиндексирует.
Как проверить: Откройте страницу в режиме инкогнито или гостевым браузером.
- Видите форму логина? → страница закрыта.
- Видите ошибку 403? → закрыта.
Как исправить: Если раздел не должен быть в поиске (личный кабинет, админка) — закройте его в robots.txt. Если должен быть в поиске (например, информационный раздел) — откройте доступ.
Причина №6. Страница помечена как «спам» или «низкое качество»
Поисковик может отказаться индексировать страницу, если считает её бесполезной.
Признаки низкого качества:
- Очень короткий текст (менее 300 слов)
- Автоперевод или сгенерированный ИИ текст без редактуры
- Ключевые слова в каждом предложении (тошнота)
- Копия другой страницы на сайте
Как проверить: Яндекс.Вебмастер → Индексирование → Исключённые страницы → «Неуникальный контент» или «Низкое качество».
Как исправить:
- Перепишите текст: сделайте его длиннее (1000+ слов), уникальнее, полезнее
- Добавьте изображения, видео, таблицы
- Улучшите структуру (подзаголовки, списки)
- Если страница не нужна — удалите и сделайте 301 редирект на похожую
Причина №7. Проблема в карте сайта (sitemap.xml)
Если sitemap.xml не обновляется, не содержит страницу или содержит ошибки, поисковики могут её пропустить.
Как проверить: Откройте https://ваш-сайт.ru/sitemap.xml. Должен быть список всех важных страниц. Найдите вашу страницу в нём.
Как исправить:
- Для WordPress: плагины Yoast SEO или Rank Math автоматически обновляют sitemap после публикации. Откройте настройки → «Включить sitemap»
- Убедитесь, что sitemap подан в Яндекс.Вебмастер и Google Search Console → раздел «Карты сайта»
- Нажмите кнопку «Отправить повторно» в этих сервисах
☐ Проверил robots.txt (нет Disallow: /)
☐ Проверил мета-тег noindex
☐ Проверил canonical (ссылается на себя)
☐ Страница доступна без логина
☐ Нет ошибок сервера в Вебмастере
☐ Текст не короткий и не спамный
☐ Страница есть в sitemap.xml
Как ускорить индексацию новых страниц?
Если все проверки пройдены, а страница всё равно не индексируется неделями — помогите поисковикам:
- Отправьте URL через Google Search Console → «Проверить URL» → «Запросить индексацию»
- Используйте аналогичную функцию в Яндекс.Вебмастере → «Индексирование» → «Проверить статус URL» → «Повторно запросить»
- Поставьте внутреннюю ссылку на новую страницу с уже индексированной и популярной
- Опубликуйте страницу в своих соцсетях, Telegram-канале — роботы иногда приходят и оттуда
После исправлений выждайте 1-2 недели. Индексация не моментальна, даже если вы нажали «Запросить».
Если ничего не помогло — проверьте, не блокирует ли ваш сайт весь поисковый трафик из-за проблем с пользовательскими соглашениями или возрастными ограничениями. Но это редкие случаи.
Проверить сайт в Вебмастере и начать исправления
Индексация — это только полдела. Контент и реклама помогут монетизировать ваш сайт.