Почему гугл не индексирует страницы сайта
Перейти к содержимому

Почему гугл не индексирует страницы сайта

  • автор:

Почему сайт не индексируется в Google

Успех онлайн-бизнеса напрямую зависит от видимости сайта в поисковых системах. Ключевым фактором является индексация веб-страниц — процесс, при котором поисковые роботы непрерывно сканируют его контент, включая текст, изображения и видео, для последующего добавления в базу данных поисковой системы. Чем качественнее индексация вашего сайта, тем выше его ранжирование в поисковых системах по соответствующим запросам.

Как узнать, индексируется ли ваш сайт

Самый простой способ проверить индексацию — выполнить поиск по сайту в соответствующей поисковой системе. Если страницы присутствуют в выдаче, значит, они проиндексированы.

google не индексирует сайт

Причин, почему сайт не индексируется Гуглом, очень много. Рассмотрим основные из них.

Файл Robots.txt

Разработчики хранят тестовую версию сайта на отдельных доменах. И чтобы она не индексировалась, используют файл robots.txt. Если по завершению работ в файл не вносятся изменения, то Google не индексирует сайт, так как содержимое тестовой версии попадает на рабочий домен вместе с запретом на индексацию в robots.txt.

Увидеть, допущена ли такая ошибка, можно в настройках индексации в панели управления ресурсом (если сайт на CMS WordPress). Для этого нужно зайти в раздел «Настройки», далее — в подраздел «Чтение». Здесь будет поле «Видимость для поисковых систем» — оно должно быть пустым. Также можно воспользоваться специальными инструментами, о которых мы расскажем далее.

почему гугл не индексирует сайт

Проверяем файл Robots.txt

Чтобы разобраться, почему Гугл не индексирует сайт, используйте Google Search Console — бесплатный инструмент для веб-мастеров. Чтобы начать пользоваться сервисом, вам понадобится аккаунт в Google. Алгоритм довольно простой: перейдите в раздел «Индексирование», далее — «Страницы». Здесь вы увидите, какие файлы robots.txt были найдены на вашем сайте.

Метатеги Robots

Еще одна распространенная причина, почему сайт не индексируется в Google, — это метатег Robots. Он сообщает поисковым роботам о том, что индексировать страницу не нужно. В ее коде метатег может выглядеть следующим образом:

Проверяем метатег Robots

Сделать это можно с помощью Google Search Console. В разделе «Индексирование» вы найдете подраздел «Страницы» и далее таблицу «Почему эти страницы не индексируются».

сайт не индексируется в google

Также для поиска метатегов Robots можно использовать специальные программы, например, Screaming Frog SEO Spider или Netpeak Spider.

Файл .htaccess

Он позволяет управлять различными настройками и функциями сервера на уровне отдельных каталогов или целого веб-сайта. И если в этом файле прописаны запрещающие правила, то сайт индексироваться не будет. Как правило, файл располагается в корневой директории ресурса или в любом из его подкаталогов.

Тег Rel Canonical

Тег является элементом HTML, который используется для указания основного URL-адреса страницы. Его использование помогает избежать проблем с дублированием контента и способствует более эффективному ранжированию страниц в результатах поиска. Но также его использование может стать причиной, почему сайт не индексируется в Google, например, если тег используется некорректно.

Проверяем наличие тегов rel=”canonical”

В Google Search Console информация об этом теге находится в разделе «Проверка URL».

почему google не индексирует сайт

Также узнать, использовался ли тег, можно с помощью платных программ Screaming Frog, Netpeak Spider и прочих.

X-Robots-Tag

Это HTTP-заголовок, который предоставляет инструкции для поисковых ботов о том, как обрабатывать содержимое страницы. Значения X-Robots-Tag могут включать разные директивы. В частности, noindex — причина, по которой сайт не индексируется Гуглом.

Проверяем наличие X-Robots-Tag на страницах сайта

Можно использовать плагин Web Developer, который доступен для большинства популярных браузеров. В разделе Information или Headers вы найдете информацию о заголовках HTTP, включая X-Robots-Tag.

Также можно использовать инструменты для аудита сайтов Screaming Frog и Netpeak Spider. После завершения этого процесса вы найдете информацию о X-Robots-Tag.

Долгий ответ сервера

Время ответа сервера — это интервал, за который запрос от клиента в браузере достигает сервера, а клиент получает ответ. Согласно рекомендациям Гугл, время отклика не должно превышать 500 миллисекунд, а в идеале — быть менее 200 миллисекунд. Очень важно следить за тем, чтобы ответ не был долгим, ведь это одна из распространенных причин, почему Google не индексирует сайт в полной мере.

Проверяем время ответа сервера

WebPageTest — это мощный инструмент для тестирования производительности веб-сайтов. Он позволяет измерить скорость загрузки страницы с разных мест и на разных устройствах. Просто введите URL вашей страницы на сайте WebPageTest, выберите местоположение и браузер, а затем запустите тест. Вы получите подробный отчет о времени загрузки, компонентах страницы (DNS, TCP, TLS и другие), а также рекомендации по оптимизации.

гугл не индексирует новые страницы

Еще один бесплатный инструмент для проверки производительности веб-страниц — это GTmetrix. С его помощью вы можете проверить, как ваша страница загружается на разных устройствах. Также мгновенно проверить скорость загрузки вашей страницы можно с помощью сервиса Dotcom-Tools. Введите URL, и вы получите подробный график времени загрузки элементов страницы.

почему сайт не индексируется в гугле

Почему сервер может долго отвечать

Существует несколько распространенных причин, которые могут привести к замедлению загрузки страниц и снижению производительности сайта.

  • Ограниченные ресурсы сервера. Это особенно актуально для высоконагруженных ресурсов или сайтов с большим количеством динамического контента.
  • Неоптимизированная настройка сервера. Неправильная конфигурация веб-сервера, базы данных или других компонентов системы может приводить к неэффективному использованию ресурсов и, как следствие, к снижению производительности.
  • Отсутствие оптимизации клиентской части. Неоптимизированные файлы CSS, JavaScript и изображения увеличивают размер страницы и время ее загрузки.
  • Отсутствие кэширования. Кэширование статических ресурсов (CSS, JavaScript, изображений) и динамического контента на стороне сервера и клиента позволяет снизить нагрузку на нього и ускорить загрузку повторно посещаемых страниц.
  • Неоптимизированные запросы к базе данных. Избыточные запросы могут замедлять генерацию динамического контента и увеличивать время ожидания для пользователей.

Для обеспечения оптимальной скорости загрузки сайта рекомендуется регулярно проводить аудит и оптимизацию на всех уровнях.

Неверный ответ сервера

Также важно регулярно проверять коды ответа сервера, чтобы убедиться, что ваш сайт функционирует корректно и пользователи могут успешно получать доступ к контенту. Код 200 указывает на то, что страница доступна на сервере и успешно загружается. Если вы получаете другой код, это свидетельствует об ошибках в нем, например, 404 (страница не найдена) или 500 (внутренняя ошибка сервера). И это одна из причин, почему сайт не индексируется в Гугле.

сайт не индексируется в гугле

Проверяем ответ сервера

Есть несколько способов, как это можно сделать.

  • Google Search Console. Этот бесплатный инструмент от Google поможет вам отслеживать состояние вашего сайта.
  • httpstatus.io. Этот онлайн-сервис позволяет быстро проверить коды ответа сервера для конкретных URL-адресов.
  • Netpeak Spider и Screaming Frog. Эти программы предоставляют более подробные анализы вашего сайта.

Также вы можете установить специальные плагины для браузеров. Просто откройте страницу, нажмите F12, перейдите на вкладку Network, обновите страницу и посмотрите коды ответа для каждого ресурса.

Нестабильная работа хостинга или сервера

Владельцам веб-ресурсов крайне важно обеспечить надежность используемого хостинга и стабильность серверной инфраструктуры, так как нестабильная работа приводит к тому, что Google не индексирует страницы. Для контроля доступности сайта существует множество специализированных сервисов, известных как uptime checkers. Введя соответствующий поисковый запрос, вы получите обширный список инструментов, позволяющих отслеживать стабильность работы хостинга и своевременно выявлять любые перебои.

Проблемы с AJAX/JavaScript

Давайте подробнее рассмотрим, какие проблемы могут возникнуть.

  • Задержка индексации. Если ваш контент полностью зависит от клиентской обработки (так называемого Client-Side Rendering), это может привести к задержкам в индексации. Например, Google может видеть пустой экран, пока JavaScript не «отрисует» контент.
  • Проблемы с динамическим контентом. Индексация не будет осуществляться, если поисковые системы не могут интерпретировать контент или получить к нему доступ.
  • Недоступность контента. Если JavaScript не поддерживается или не распознается поисковыми роботами, Гугл не индексирует сайт.
  • Проблемы с навигацией. Использование AJAX может привести к сложностям с навигацией на вашем сайте. Например, навигационные элементы могут не работать должным образом.

Чтобы минимизировать эти проблемы, используйте универсальные фреймворки или Server-Side Rendering (SSR). Также избегайте скрытия важного контента за JavaScript, особенно на первоначальной загрузке страницы.

Контент низкого качества

Существует такое понятие как thin content (пустой или низкокачественный контент), которое относится к веб-страницам, лишенным ценности для пользователей.

К такому контенту относятся:

  • материалы, полностью или частично скопированные с других источников;
  • идентичная информация, размещенная на нескольких страницах вашего сайта или на других ресурсах;
  • сгенерированный программным путем контент, лишенный смысла и логики;
  • неинформативные страницы с партнерскими ссылками;
  • страницы, созданные исключительно для перенаправления пользователей на другие ресурсы.

Поисковые системы стремятся предоставлять релевантные и полезные результаты, поэтому Google не индексирует страницы или же они ранжируются намного ниже.

Ранее забаненный домен

Google поддерживает черные списки доменов, которые были забанены или имели проблемы в прошлом. Если ваш домен находится в таком списке, это ответ на вопрос, почему сайт не индексируется в Google.

Если вы приобрели ранее забаненный домен, важно предпринять шаги для восстановления его репутации. Убедитесь, что весь контент на нем соответствует стандартам Google и не нарушает правила. И после этого отправьте запрос на рассмотрение через Google Search Console.

Отсутствие Sitemap на сайте

не индексируется сайт в google

Sitemap или карта сайта представляет собой структурированный файл, содержащий список всех доступных страниц вашего сайта с их URL-адресами. И ее отсутствие — также одна из причин, по которой не индексируется сайт в Google. Без карты поисковый робот может случайным образом проиндексировать лишь несколько страниц. И если значительная часть веб-страниц останется неиндексированной, это негативно скажется на видимости сайта в поисковой выдаче.

Создание карты сайта — это относительно простой процесс, который можно выполнить вручную или с помощью специализированных инструментов и плагинов.

Бесконечный цикл переадресации

Зачастую эта проблема возникает из-за банальной опечатки или ошибки в настройках перенаправлений, но решить ее можно достаточно просто. Если ваш сайт работает на WordPress, инструмент .htaccess может помочь обнаружить страницы, с которых происходит перенаправление трафика. Достаточно выполнить в нем поиск по ключевому слову Redirect 301, чтобы найти все файлы с перенаправлениями. После этого внимательно проверьте их на наличие опечаток или ошибок и исправьте. Если вы обнаружите временные перенаправления (302 редирект), рекомендуется заменить их на постоянные (301 редирект).

Также можно использовать такой инструмент, как Screaming Frog. Он позволяет провести глубокий анализ сайта и обнаружить любые ошибки, из-за которых не индексируется сайт в Google. После устранения всех выявленных проблем рекомендуем повторно отправить запрос на индексацию вашего сайта через Google Search Console. Обычно процесс повторной индексации занимает около семи дней, после чего ваш веб-ресурс должен корректно индексироваться поисковыми системами.

почему сайт не индексируется в google

Отсутствие всех вариантов домена в Google Search Console

При переходе на HTTPS поисковые системы воспринимают HTTP и HTTPS версии сайта как два отдельных ресурса. Если вы не верифицируете обе версии в Search Console, Гугл не индексирует новые страницы, и тогда могут возникнуть проблемы с дублированием контента и передачей ссылочного веса между страницами.

Для предотвращения таких ситуаций необходимо добавить и верифицировать оба варианта домена (HTTP и HTTPS) в Search Console. Это позволит Google правильно распознавать и обрабатывать ваш сайт, независимо от используемого протокола.

Проблемы со стороны поисковиков

Причины, почему Гугл не индексирует страницы, могут быть связаны с работой самих поисковых систем. Временные сбои, перегрузки или другие проблемы могут временно повлиять на способность поисковых роботов индексировать веб-ресурсы. Если вы столкнулись с проблемами индексации, которые, по вашему мнению, связаны с работой поисковых систем, рекомендуем обратиться в службу поддержки.

Заключение

Без адекватной индексации веб-ресурса любые попытки продвижения в поисковых системах обречены на провал. Поэтому отслеживание этого процесса критически важно для успешного роста вашего онлайн-бизнеса. Постоянный мониторинг индексации и своевременная оптимизация контента позволят вам занять лидирующие позиции в поисковой выдаче и привлечь целевой трафик на ваш сайт.

FAQ

почему гугл не индексирует страницы

Почему сайт не индексируется в Гугле?

Причин, почему это происходит, может быть несколько.

  • Новый сайт. Гугл может не успеть проиндексировать новый сайт в течение нескольких недель или месяцев после создания.
  • Проблемы с доступом. Если у роботов поисковых систем есть проблемы с доступом к сайту, например, из-за ошибок в файле robots.txt или неправильной настройки серверов, то индексация будет затруднена.
  • Низкое качество контента. Сайты с некачественным, дублированным или малозначимым контентом могут быть проигнорированы поисковой системой.
  • Проблемы с внутренней перелинковкой. Если страницы сайта слабо связаны между собой, то часть из них может быть не проиндексирована.
  • Санкции поисковых систем. В случае нарушения веб-мастером правил поисковых систем, например, из-за попытки обмана алгоритмов, сайт может быть исключен из индекса полностью.

Почему не индексируются страницы сайта?

Отдельные страницы сайта могут не индексироваться по следующим причинам:

  • Закрытие от индексации в robots.txt. Если страницу закрыть в файле robots.txt, то поисковики ее проигнорируют.
  • Отсутствие внутренних ссылок. Если на страницу не ведут внутренние ссылки с других страниц сайта, то ее сложно будет обнаружить роботам.
  • Дублированный контент. Страницы с контентом, полностью продублированным с других ресурсов, могут быть проигнорированы.
  • Технические ошибки. Коды ошибок сервера, например, 404 и 500, не позволяют проиндексировать страницу.
  • Низкое качество контента. Страницы с малозначимым текстовым наполнением могут игнорироваться поисковиками.

Как часто Гугл индексирует сайт?

В среднем полная переиндексация актуальных сайтов происходит раз в несколько недель или месяцев. Однако новые и часто обновляемые страницы могут быть проиндексированы за несколько дней или даже часов после публикации. Частота переиндексации зависит от авторитетности сайта, периода обновления контента, технических ограничений ресурса и других факторов.

9 причин, почему Google не индексирует ваш сайт

Александра Путивская

Google не индексирует ваш сайт? Распространенная проблема, у которой есть много причин. Ниже рассмотрены 9 наиболее популярных и способы их решения.

Долгая загрузка сайта

Долго загружающиеся сайты не нравятся Google и индексируются дольше. У медленной загрузки есть множество причин. Например, слишком большое количество контента для обработки пользовательским браузером. Или использование устаревших серверов с ограниченными ресурсами.

Читайте также:
Как проверить скорость загрузки сайта и как ускорить загрузку

Проверить скорость загрузки сайта можно с помощью двух инструментов:

Скриншот PageSpeed Insights за январь 2022 года

  1. PageSpeed Insights. Этот инструмент Google анализирует скорость загрузки сайта и дает рекомендации для оптимизации. Хороший показатель — от 70 баллов. Чем ближе к 100, тем лучше.
  2. WebPageTest. Этот инструмент оценивает скорость загрузки сайта и выделяет элементы, которые ее снижают.

Более быстрый хостинг или использование CDN (сеть доставки содержимого) увеличат скорость загрузки сайта.

Присоединяйтесь к нашему Telegram-каналу!

  • Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
  • Для этого вам необходимо подписаться на наш канал.

У сайта бесконечный цикл переадресации

Бесконечный цикл переадресации — еще одна частая проблема, мешающая индексации. Она может появиться из-за банальной опечатки. Но решить ее просто.

Если используется WordPress, файл .htaccess поможет найти страницы, с которых перенаправляется трафик. Просто вставьте в поиск Redirect 301, чтобы обнаружить все файлы с перенаправлением. Исправьте опечатки. Если присутствует 302 редирект, его стоит поменять на 301.

Читайте также:
Как сделать редирект — подробное руководство по настройке и использованию

С помощью инструмента Screaming Frog можно найти дополнительные ошибки на сайте. После их устранения воспользуйтесь Google Search Console, чтобы повторно подать запрос на индексацию. Обычно процесс занимает около семи дней.

Использование плагинов, блокирующих Googlebot

Некоторые плагины могут блокировать работу поискового робота Googlebot. В таком случае поисковая система не сможет просканировать сайт. Если вы настраиваете файл robots.txt через одноименный плагин для WordPress, Googlebot будет заблокирован.

Самостоятельная настройка файла решит проблему. Robots.txt должен размещаться в корневой папке сайта и быть доступен по адресу ваш_домен.ru/robots.txt. Убедитесь, что в файле нет косой черты в строчке Disallow:

Наличие косой черты «/» блокирует все страницы из корневой папки сайта. Чтобы поисковый робот мог проиндексировать весь сайт, ее нужно убрать.

Читайте также:
Что такое robots.txt как его создать и правильно настроить

Для рендеринга используется JavaScript

В процессе рендеринга веб-страницы браузер преобразует код в картинку. Использование JavaScript не всегда приводит к проблемам с индексацией. Но они точно возникнут, если JavaScript используется для маскировки.

Маскировка — это прием, при котором сайт предоставляет пользователям и поисковым системам неодинаковый контент или разные URL. Это нарушение рекомендаций Google.

Иногда рендерная и сырая версия страницы отличаются друг от друга, что может восприниматься как маскировка. В таком случае индексация остановится. Скрытие файлов JavaScript и CSS также не позволит Google проиндексировать сайт.

В Google Search Console не указаны все варианты домена

В Google Search Console должны быть указаны и верифицированы все варианты вашего домена. Это особенно важно, если вы мигрируете с http:// на https://.

Установлены метатеги noindex, nofollow

Установка метатегов noindex, nofollow бывает необходима. Но если метатеги появляются не на той странице или применяются ко всему сайту, он не будет индексироваться.

Читайте также:
4 метатега, которые стоит использовать: Robots, Rel canonical, Hreflang, Schema.org

Решить эту проблему просто — поменяйте все метатеги noindex, nofollow на index, follow.

Штрафные санкции со стороны Google

За нарушение рекомендаций Google может пессимизировать сайт. Штрафные санкции накладываются как вручную, так и автоматически. Например, после обновления алгоритмов.

Да за что?!

До тех пор, пока нарушения не устранены, сайт не будет индексироваться. Чаще всего штрафы накладываются за наличие:

  • вредоносного и нежелательного ПО на сайте;
  • скрытого текста и ссылок;
  • маскировки;
  • скрытой переадресации;
  • нерелевантных ключевых слов;
  • избыточного количества ключевых слов;
  • дублированного контента.

Сайт не адаптирован под мобильные платформы

Адаптация сайта под мобильные платформы — критический момент. С 1 июля 2019 года Google при индексации отдает приоритет мобильному контенту.

Необязательно вносить много изменений. Бывает достаточно плавающей сетки и медиавыражений. Под плавающей сеткой понимается макет сайта, адаптирующийся под меняющиеся размеры экрана или устройство пользователя. А медиавыражения позволяют CSS адаптироваться под параметры или характеристики устройства.

Специальный инструмент Google позволит проверить оптимизацию для мобильных устройств. Он подскажет, не было ли нагромождений кода при написании сайта, что также влияет на индексацию.

Проблемы с техническим SEO

Техническое SEO — важный элемент при работе с сайтом. Именно техническая оптимизация помогает поисковым системам сканировать, понимать и индексировать страницы.

С помощью грамотно выполненного технического SEO можно идентифицировать проблемы с основными интернет-показателями, сканированием и индексацией. Порой может казаться, что проще запустить новые сайт, но качественное техническое SEO поможет решить проблемы.

Технический аудит сайта

  • Наличие дублей страниц, безопасность, корректность всех технических параметров: переадресаций, robots.txt, sitemap.xml скорость загрузки и др.
  • Техническая оптимизация — один из основных этапов в продвижении.

Поисковые роботы, вперед!

Чтобы сайт был успешным, важно размещать на нем хороший контент, работать с техническим SEO и создавать качественные обратные ссылки. Но все это будет впустую, если он не индексируется.

Убедитесь, что все проблемы с индексацией решены, и тогда Google отблагодарит вас хорошим трафиком.

Шесть способов проверить индексацию сайта или страницы

Чтобы сайт отображался в результатах поиска, все его страницы, открытые для индексации, должны стать частью индекса поисковой системы. Если системе не удается добавить страницы сайта в базу данных, они остаются практически невидимыми для потенциальных клиентов.

Предлагаю рассмотреть шесть способов проверки индексации. Выясним — почему поисковые системы не индексируют сайт, найдем пути решения проблем.

  • Как работает индексация сайта?
  • Проверка в Google Search Console
  • Как проверить индексацию конкретной страницы в Search Console?
  • Анализ индексации сайта в Google поиске
  • Проверка индексации онлайн с помощью сервисов
  • SEO-инструменты для проверки сайтов
  • Букмарклеты
  • Индексатор Google Indexing API
  • Почему Google не индексирует сайт?
  • Как ускорить индексацию сайта?
  • Как управлять краулинговым бюджетом?

Как работает индексация сайта?

На первый взгляд может показаться, что сканирование и индексация — два очень похожих процесса. Они действительно тесно взаимосвязаны, но являются разными этапами обработки сайта поисковыми системами.

Сканирование — процесс поиска страниц для дальнейшей обработки и индексации.

Индексация — процесс добавления просканированной страницы в базу данных (индекс) поисковой системы. Таким образом, при релевантном запросе пользователя, страница появится в результатах поиска:

Важно. Сканирование сайта не означает его индексацию. А попадание сайта в индекс поисковой системы не гарантирует первых позиций поисковой выдачи, так как за порядок отображения страниц по ключевому запросу отвечает ранжирование.

Netpeak ищет SEO-специалиста.

Как проверить сайт на индексацию

Проиндексирован — значит виден. Очень важно, чтобы все страницы, которые нужно показать потенциальным клиентам, пользователям или читателям, проиндексировались. Иначе может получиться так: товар или услуга лучшие на рынке, статья полностью раскрывает суть вопроса, но если страницы вашего сайта отсутствуют в индексе поисковой системы — про это никто не узнает.

Именно поэтому важно уметь проверять индексацию.

1. Проверка в Google Search Console

Это один из базовых способов проверки индексации для владельца сайта и веб-мастера.

Войдите в ваш аккаунт на Search Console и перейдите по вкладке «Страницы» в разделе «Индексирование»:

https://images.netpeak.net/blog/vojdite-v-vas-akkaunt-na-search-console.png

В этом отчете вы найдете общую информацию о проиндексированных и непроиндексированных страницах с отображением на временной шкале:

Перейдя в полный отчет, увидите подробные данные о всех страницах, проверенных на индексацию:

Чтобы просмотреть отчет по неиндексируемым страницам и ошибкам индексации, вернитесь в раздел «Индексирование страниц»:

https://images.netpeak.net/blog/ctoby-prosmotret-otcet-po-neindeksiruemym-stranicam-i-osibkam-indeksacii.png

Кликнув на левую колонку «Причина», можно увидеть списки страниц сайта, недоступных к индексации:

https://images.netpeak.net/blog/spiski-stranic-sajta-nedostupnyh-k-indeksacii.png

Как проверить индексацию конкретной страницы в Search Console?

Вставьте ссылку на интересующую вас страницу в строку поиска Search Console:

В результате проверки увидите одно из следующих сообщений:

  • страница успешно проиндексирована;

  • страница отсутствует в индексе.

Если вы внесли все необходимые изменения, но страница все еще отсутствует в индексе — отправьте запрос на пересканирование самостоятельно:

  1. Введите адрес страницы в инструменте проверки URL.
  2. Нажмите кнопку «Запросить индексирование».

Этот же способ можно использовать для ускорения индексации новых страниц сайта — но не более 10 в день.

При сканировании сразу нескольких страниц рекомендуется применять файл Sitemap.

2. Анализ индексации сайта в Google поиске

Поисковые операторы (например, «site:») помогают уточнить результаты поиска.

Чтобы узнать о наличии вашего сайта в индексе Google, наберите в строке поиска «site:[url вашего сайта]»:

Для проверки индексации конкретной страницы используйте оператор в формате «site:[url страницы вашего сайта]»:

Если сайт или страница успешно проиндексированы, они отобразятся в результатах поиска. Появится информация о приблизительном количестве страниц вашего сайта, которые индексировалось поисковой системой:

https://images.netpeak.net/blog/esli-sajt-ili-stranica-uspesno-proindeksirovany.png

Кроме того, инструменты поиска могут проанализировать количество страниц, индексированных поисковой системой за определенный период времени:

3. Проверка индексации онлайн с помощью сервисов

Существует большое количество бесплатных онлайн-сервисов для контроля индексации сайта, таких как linkody.com или smallseotools.com. Их недостаток — лимиты: от 5 до 50 страниц.

Однако, если ваш сайт подключен к Google Search Console, с помощью нового инструмента от Serpstat можно за один запрос проверить индексацию до 100 страниц.

  1. Перейдите в раздел «Инструменты» и выберите пункт «Индексация страниц»:

  1. Нажмите кнопку «Подключить Google Search Console» и войдите в сервис с помощью вашего аккаунта Google:

  1. После авторизации в верхней левой части страницы увидите список всех сайтов, к которым у вас есть доступ с помощью Google Search Console:

  1. Введите до 100 URL-адресов для проверки индексации сайта и нажмите кнопку «Проверить страницы». В правой части сервиса отобразятся результаты этой операции.

4. SEO-инструменты для проверки сайтов

Специальные программы, предназначенные для сканирования и анализа основных параметров сайта с целью выявления ошибок, могут также проверять индексацию.

При сканировании сайта в Netpeak Spider вы получите список страниц и значения параметров, влияющих на индексацию сайта: robots.txt, canonical, mета robots, X-Robots-Tag, наличие редиректов и др.:

Загрузив полученный список в Netpeak Checker, можно проверить наличие страницы или сайта в поисковой выдаче:

5. Букмарклеты

Букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки.

Чтобы воспользоваться букмарклетом, откройте файл Проверка индексации и перетяните ссылку на панель закладок:

Затем найдите интересующую вас страницу либо сайт и просто нажмите на закладку. Появится новая вкладка Google с поисковым запросом, использованием уточняющего оператора «site:» и результатами индексации по запросу.

6. Индексатор Google Indexing API

Google Indexing API — бесплатный индексатор от Google, с помощью которого можно:

  • узнать, когда последний раз Google получал информацию по запрошенному URL-адресу;
  • отправить запрос на переиндексацию страницы;
  • отправить запрос на удаление страницы из индекса.

Важным преимуществом Google Indexing API является возможность пакетных запросов индексирования, объединенных в один HTTP (до 100 штук). В день можно использовать не более 200 запросов, но если на ваших страницах внедрена разметка JobPosting или BroadcastEvent — вы можете подать заявку на увеличение квоты.

Подробнее о квотах индексатора и его подключении читайте в справке Google.

Почему Google не индексирует сайт?

  1. Новый сайт. В зависимости от количества страниц, полная индексация нового сайта может занять у Googlebot от одной недели до 2-4 месяцев.
  2. Принудительное закрытие страниц от индексации.

Тег noindex запрещает индексирование страниц поисковому роботу. Для исключения проблем, вызванных неправильным применением тега noindex, необходимо проверить следующие директории:
Метатег robots
Размещается в HTML коде и действует на уровне страницы. Пример метатега robots, запрещающего сканирование —

X-Robot-Tag
Является HTTP-заголовком, размещается в файле конфигурации сервера. Пример X-Robot-Tag, запрещающего сканирование —
X-Robots-Tag: noindex, nofollow
Файл robots.txt
С помощью robots.txt невозможно управлять непосредственно индексацией сайта, но неправильная конфигурация этого файла может привести к полному закрытию для сканирования поисковыми роботами.
Строка в robots.txt, полностью закрывающая сайт от сканирования —
User-agent: * Disallow: /

  1. Неправильное использование тега canonical. Тег canonical применяется для борьбы с дублирующимся контентом, который также может быть одной из причин плохой индексации сайта. Он указывает поисковому роботу на предпочитаемую версию страницы. При сканировании URL-адрес, указанный в теге canonical, будет воспринят Googlebot как основная версия, среди похожих по содержанию страниц.

Помимо настроек, которые напрямую ограничивают или запрещают сканирование сайта, стоит отметить следующие факторы, негативно влияющие на скорость индексации:

  • Отсутствие карты сайтаsitemap.xml. Она помогает поисковым роботам понять его структуру и быстрее просканировать страницы.
  • Отсутствие либо недостаточность внутренних ссылок. Правильная и равномерная перелинковка на сайте распределяет ссылочный вес страниц, а добавление ссылок на новые страницы сайта, а также страницы, которые уже находятся в индексе, помогает поисковым системам быстрее находить их.
  • Скорость работы сайта. Googlebot не находится на сайте постоянно. Он лишь периодически сканирует контент его страниц. Медленная скорость загрузки сайта усложняет его индексацию и работу алгоритмов поискового робота.
  • Качество контента. Последние обновления поисковой системы Google предполагают улучшение качества контента и создание авторитетных материалов — в первую очередь для людей, а не для манипуляции алгоритмами поиска. При оценке качества контента вашего сайта Google учитывает наличие орфографических ошибок, достоверность информации, оригинальность и другие факторы. Подробнее о создании полезного контента можно узнать в Google-справке.
  • Отсутствие оптимизации мобильной версии. Для новых сайтов, созданных после 1 июля 2019 года, Google использует метод индексации Mobile-First index, отдающий предпочтение индексации мобильной версии сайта. Такое решение компании вызвано тем, что уже в 2016 году более половины запросов в Google выполнялись с мобильных устройств.
  • Игнорирование ошибок в Google Search Console. Изучите отчет об ошибках в поисковой консоли Google. Посмотрите, какие из найденных ошибок, влияют на индексацию сайта и устраните их. Так же проверьте, не подвергался ли ваш сайт ручным санкциям. Возможно, его доменное имя ранее было ограничено в связи с нарушением правил Google.

Как ускорить индексацию сайта?

Возможности Googlebot по сканированию сайта ограничиваются краулинговым бюджетом — лимитом на проверку страниц за один визит. Узнать приблизительный краулинговый бюджет вашего сайта можно в Search Console (раздел «Индексация») — просмотрите отчет по количеству страниц, обработанных за месяц поисковой системой:

Краулинговый бюджет меняется по заложенному поисковой системой алгоритму: в зависимости от размера сайта, скорости его работы и потребностей. Если обнаружено много ошибок или мусорных страниц, бюджет может расходоваться быстрее.

Факторы, негативно влияющие на краулинговый бюджет:

  • дубли страниц;
  • неуникальный контент;
  • битые ссылки;
  • слишком большое количество редиректов;
  • медленная скорость работы сайта.

Как управлять краулинговым бюджетом?

Помимо фактического управления краулинговым бюджетом с помощью индексатора Google Index API, уменьшить его расход можно с помощью технической оптимизации и улучшения качества контента.

Файл sitemap.xml.
Проверьте содержимое XML-карты сайта, убедитесь, что все указанные в ней страницы открыты к индексации и отдают код ответа сервера 200, установите автоматические добавление новых страниц (открытых к индексации) в файл sitemap.xml.

Дата изменения страницы.
Настройте HTTP заголовки Last-Modified и If-Modified-Since, чтобы указать Googlebot на страницы, контент которых не изменился с его последнего посещения (они не требуют повторного сканирования).

Оптимизация скорости загрузки сайта .
Время ответа сервера не должно превышать 200 мс, а скорость загрузки страницы — 3-5 секунд. Проверьте скорость работы сайта с помощью PageSpeed Insights, оптимизируйте страницы исходя из рекомендаций.

Редиректы и битые страницы.
Не допускайте большого количества редиректов и битых страниц на сайте. В противном случае, вместо посещения нового контента, Googlebot будет расходовать свой краулинговый бюджет на переходы по неработающим позициям.

Оптимизация перелинковки .
Добавьте ссылки на новый контент на главную страницу сайта, выведите превью анонса недавних статей, покажите новинки товаров. Организуйте перелинковку между старыми и свежими материалами, разместите ссылки на новые страницы в соцсетях — это поможет поисковому роботу быстрее их найти и просканировать.

Частота обновления сайта.
Поисковые системы отдают предпочтение актуальной и качественной информации. Регулярно обновляйте содержимое своего сайта, добавляйте новый контент не реже, чем раз в неделю, актуализируйте и дополняйте информацию на старых страницах.

Запомнить

Шесть способов самостоятельно проверить индексацию сайта или страницы:

  1. В Google Search Console.
  2. С помощью операторов поиска.
  3. Онлайн-сервисами.
  4. SEO-инструментами, например, Netpeak Spider или Netpeak Checker.
  5. Используя букмарклеты.
  6. Google Indexing API.

Для улучшения индексации сайта:

  1. Настройте и оптимизируйте карту сайта sitemap.xml.
  2. Проверьте настройки файла robots.txt и использование тега noindex.
  3. Следите за количеством редиректов и наличием битых страниц.
  4. Работайте над перелинковкой сайта.
  5. Улучшите скорость загрузки страниц.
  6. Создавайте качественный контент и регулярно работайте над его обновлением и улучшением.
  7. Оптимизируйте расходование краулингового бюджета.
  8. Не забывайте о мобильной версии сайта.
  9. Регулярно изучайте отчеты об ошибках в Google Search Console.

В команде SEO Netpeak с августа 2022 года. Сейчас Junior SEO Specialist в Netpeak Agency.
Заинтересовалась SEO после посещения мероприятий и курсов от Netpeak и с того момента мечтала стать частью команды.

Узнайте больше

383

Почему не индексируется сайт?

Если вы занимаетесь продвижением бизнеса в интернете, первое, что нужно отслеживать — индексацию страниц сайта. Здесь возникает несколько вопросов: «Зачем нужна эта индексация сайта?» (спойлер: чтобы у пользователей была возможность найти ваш сайт в поисковой выдаче), «Где проверить сайт на индексацию» и «Что делать, если сайт не индексируется?». Ответы на них мы и разберем в данной статье.

Как проверить индексацию сайта

Перед тем, как поднять сайт в поисковиках, нужно оценить его видимость в популярных поисковых системах. Узнать видимость сайта можно с помощью специализированных ресурсов, например, Serpstat.

Чтобы узнать, насколько ваш сайт «виден» поисковикам, достаточно ввести адрес домена в поисковую строку и нажать «Поиск». Данный показатель относительный и его нужно смотреть в сравнении с основными конкурентами.

 Proverka vidimosti saita v Serpstat

Проверка видимости сайта в Serpstat

Если показатель видимости низкий, необходимо проверить индексацию вашего веб-ресурса и добавить информацию про него в базу данных поисковиков.

Самый простой способ узнать, индексируется ли ваш сайт, – воспользоваться панелью вебмастера. Для этого нужно иметь к ней доступ (почта в Google, регистрация-идентификация). Если доступ получен, то заходим в Панель, находим меню Search Console, достаем вкладку Индекс Google. В ней выбираем и смотрим Статус индексирования.

 Status indexacii sayta v Search Console

Статус индексации сайта в Search Console

Индексация сайта – это работа бота поисковой системы. Бот бесконечно сканирует тексты, изображения, видео, а потом добавляет информацию про веб-страницу или веб-ресурс в базу поисковой системы. Благодаря этой работе по накоплению базы пользователь получает релевантный ответ на свой запрос. Благодаря собранной ботом информации происходит ранжирование сайтов в конкретной поисковой системе.

А теперь подробнее разберемся в причинах того, почему поисковые системы могут не индексировать ваш сайт.

Google пока не нашел ваш сайт

Иногда Google просто «не видит» ваш сайт. Особенно это характерно для молодых площадок. Дело в том, что молодые сайты попадают в так называемую Песочницу – эдакий отстойник для веб-ресурсов, пока поисковая система не разберется, что это за сайт – какой он, чем дышит и для кого он предназначен.

Если сайту больше 6 месяцев (максимальное время зависания в Песочнице), то его «видимость» могут сдерживать фильтры поисковых систем. Потому что им не нравится, если контент на сайте не уникальный (стыренный у других авторов), а его содержание выходит за рамки морали, пропагандирует насилие или не имеет подтвержденной экспертизы. Пример: на сайте про лечебные средства отсутствуют имена и биографии авторов, которые их рекомендуют.

Если сайт не молодой, и с контентом все в порядке, то в теории нужно дать поисковым системам время на индексирование сайта в Гугле – минимум 2 недели.

Правда, процесс можно ускорить, чтобы поисковики быстрее увидели сайт, его нужно вручную добавить в поисковую систему (Add url), а также в Google Search Console.

Indexirovanie url vruchnuyu

Запрос на индексирование url вручную

Как проиндексировать сайт в Гугл? Для этого нужно постоянно обновлять контент (в этом случае в преимущественном положении находятся сайты-новостники), создавать новые страницы (преимущество имеют блогеры и интернет-магазины с растущим ассортиментом), а также осуществлять внутреннюю перелинковку страниц в комплексе со ссылками с авторитетных внешних ресурсов.

Как добавить сайт в Гугл вебмастер (Google Search Console)?

Правда, есть еще возможность проиндексировать сайт в Google быстро. Для этого выполняем 5 элементарных операций:

    Открываем Google Search Console – раз!

Сайт или страницы закрыты в robots.txt

Файл robots.txt — запретный инструмент Гугла. В нем содержатся инструкции для поисковых роботов: какие страницы они могут обрабатывать на вашем сайте. С помощью файла robots.txt можно искусственно ограничить количество запросов на сканирование. Это поможет снизить нагрузку на сервер. Актуально для неважной или повторяющейся информации. Для этого на веб-страницу сайта, которую нужно убрать из поля видимости Гугла, нужно добавить директиву noindex.

Важно! Даже если запретить индексацию в robot txt для какой-то веб-страницы, то она все равно может быть проиндексирована роботом Googlebot, при условии, что на нее есть ссылки с других сайтов. Это относится только к контенту в формате HTML. А вот заблокированные файлы PDF, изображения или видео будут надежно спрятаны от Google. Чтобы гарантированно исключить индексацию страницы с контентом в формате HTML в Гугле, нужно использовать директиву noindex в мета теге или HTTP-заголовке ответа.

А теперь, внимание, рассказываем, как задать в robots.txt директивы для роботов Google. Чтобы индексировать сайт в Гугл, необходимо в файле robots.txt позволить агентам роботов Googlebot, AdsBot-Google, Googlebot-Image позволить сканировать веб-ресурс. Для этого нужно добавить в файл robots.txt следующие строки:

Включены приватные настройки

Иногда сайт не индексируется Гуглом по самой банальной причине – в CMS включены приватные настройки. CMS – это движок сайта, например WordPress, Joomla, OpenCart. CMS — это набор скриптов, которые позволяют создавать, редактировать и управлять контентом на website.Чтобы индексация страницы состоялась, нужно проверить настройки страницы в конкретной CMS.

Сайт закрыт от индексации в noindex в метатегах

Мета-теги (HTML) нужны для того, чтобы структурировать содержимое веб-страницы. Как правило, мета-теги указываются в заголовке HTML-документа. Обязательным является атрибут content, а уже к нему добавляются остальные.

Появление meta noindex nofollow означает, что интернет-боты не должны трогать (индексировать) эту страницу. Причина запрета может быть в том, что страница имеет временное содержимое, быть версией для печати или содержать приватную информацию. Детальную инструкцию, какие страницы нужно закрыть от индексации, смотрите на нашем сайте.

Вот как meta noindex выглядит в HTML-документе, блокируя этим бота Google:

Чтобы заблокировать видимость веб-страницы в глазах бота MSN’s bot, пишем «волшебные слова»:

Чтобы отключить индексацию целой страницы убираем слово «noindex» из кода.

Наличие метатега robots в коде страницы в сочетании со словом noindex показывает поисковым роботам запрет на индексирование сайта в Гугл.

Выглядит robots txt noindex в HTML-документе вот так:

Где искать информацию про robots noindex? Заходим в Google Search Console. Открываем отчет «Индекс», выбираем «Покрытие», переходим во вкладку «Исключено». Если там написано, что индексирование страницы запрещено тегом rel noindex, то становится понятным, почему веб-ресурс закрыт от индексации. Ах, да, и не забудьте снять запрет, если ищете способ, как как проиндексировать страницу в Гугл.

Ошибки сканирования

Ошибки сканирования также останавливают индексацию в Гугл, ранжирование сайта в выдаче, а также отношение посетителей к веб-ресурсу. Эксперты выделяют три группы причин ошибок сканирования:

    Ошибки в настройках сервера (серверов).

Важно! Информация в Search Console попадает с небольшой оттяжкой во времени. Поэтому ошибки могут быть уже устранены, а в консоли по-прежнему будет отображаться их наличие.

Сайт заблокирован в .htaccess

Сайт может быть заблокирован в .htaccess. Это делается для того, чтобы лишить случайных посетителей доступа к какому-то файлу, папке, админ-панели сайта. Пароль на эти структурные элементы владелец ставить не хочет, но и непрошенных гостей здесь не ждет. Для этого в папке с инкогнито нужно создать 1 файл с именем htaccess.

В коде запрет доступа по IP адресу к файлу file.php выглядит вот так:

 Order Deny,Allow Deny from all Allow from Ваш IP адрес 

После этого все обращения к указанному файлу с чужого IP будет давать ответ 403 «Access denied». Если владелец ресурса хочет ограничить доступ ко всем файлам с одним расширением, то первую строчку делают вот такой . Если расширений несколько, то они пишутся через разделитель .

Чтобы проверить, находим на сервере файл .htaccess. Высматриваем в коде, не были ли когда-то закрыт сайт или его часть. Редко кто думает в этом направлении, но этот вариант обязательно нужно проверить, когда ищешь причины, почему сайт закрыт от поисковика.

Хостинг или сервер работает нестабильно

Если хостинг или сервер работают с перебоями, то это может стать причиной того, что индексация не состоялась. Представьте себе ситуацию: поисковый бот пришел на сайт (заглянул в гости) проиндексировать страницы, а там никого нет. Поэтому задача владельца ресурса — озаботиться тем, чтобы сервер был качественным, а хостинг — стабильным.

Контроль за состоянием доступа к сайту ведем с помощью множества сервисов. Подбираем их в поисковиках по запросу uptime checker – получаем множество вариантов сервисов, которые позволяют отследить стабильность работы хостинга. А также читаем нашу статью, как выбрать надежный хостинг для сайта, если услуга доказано некачественная.

Проблемы с AJAX/JavaScript

Google также индексирует AJAX и JavaScript, но делает это не так просто, как HTML. Поэтому разработчик должен вручную настроить все для поиска AJAX и JavaScript, чтобы «насильственно» заставить Гугл проиндексировать сайт и нужные вам страницы. Если интересно, то вот мнение экспертов про то, как устранить проблемы с видимостью сайтов на JavaScript-движках.

У вас на сайте много дублированного контента

Дублированный контент в 2021-2022 году после появления фильтров и, особенно, Панды, может стать одной из ключевых причин, почему на сайт накладывают санкции, а задача, как поднять сайт в поисковике, начинает «выедать» время и финансы. Правда, господа-сеошники уже давно разработали несколько действенных технологий, как избежать фильтров поисковиков за контент сайта без ущерба для этой самой оптимизации.

Дублированный контент может быть в страницах, а может и в метатегах. Чтобы исключить дублированный контент, нужно сначала отыскать все дубликаты страниц на сайте, а потом удалить их или закрыть от индексации. Читайте, нашу статью про то, как найти и удалить дубли страниц на сайте, чтобы зря не злить поисковых роботов.

Очень медленная скорость загрузки сайта

Скорость загрузки сайта является одним из факторов ранжирования и попадания в первую десятку топ-выдачи. В это понятие входит запрос к стороннему серверу, его ответ, загрузка скриптов/стилей/изображений, а также компиляция страницы – ее отрисовка на стороне пользователя. Доказано, что большинство пользователей говорит сайту «досвидос», если нужная им страница грузится больше, чем 3 секунды.

Поэтому скорость загрузки сайта прямо влияет на конверсию, снижает количество отказов, увеличивает глубину просмотра страниц, поэтому косвенно дает рост среднего чека и выручки. В общем, если сайт грузится долго, а страницы открываются удручающе медленно, то и индексироваться поисковиками он нормально тоже не будет.

Чтобы уменьшить размер страниц на сайте, нужно сократить объем графики, убрать лишние изображения, сократить объем загружаемых страницы путем сжатия gzip, кэшировать данные, сократить размер кода CSS и JavaScript.

Одновременно с этим можно озаботиться тем, как увеличить скорость загрузки сайта. Для этого проводятся исследования скорости загрузки страниц. Потом находятся слабые места и устраняются поштучно. Считается, что ускорение загрузки страниц сайта даже на 0,5 секунд дает отличные результаты в 80% случаев.

На всякий случай ловите 8 основных способов, как ускорить загрузку сайта, с примерами и картинками. А также абсолютно уникальный мануал про то, как ускорить загрузку верхней части страницы сайта – header.

Ваш домен ранее был забанен

Иногда вебмастер делает хороший сайт, регистрирует для него хороший и звучный домен, заказывает отличный дизайн, наполняет его уникальным, экспертным контентом, проводит перелинковку, выстраивает систему обратных ссылок, а поисковые системы не видят этот веб-ресурс принципиально. Как сделать чтобы сайт отображался в поисковике? Причина нелюбви Гугла может быть в домене, который ранее был забанен.

    Продолжать развивать проект.

У вас нет sitemap на сайте

Одной из возможных причин того, что вам потребуется проверка факта индексации сайта, может быть отсутствие на нем sitemap (список веб-страниц в пределах домена). Поисковые боты, которые заходят на сайт, рандомно индексируют несколько страниц, а потом, удовлетворенные этим, уходят. Поэтому сайтмап нужно сделать. Вот одна из лучших инструкций, как создать и настроить карту сайта (sitemap.xml) для Google, а уже потом добавить ее в Google Search Console.

Полезно! Если хотите, то ту же инструкцию, как создать XML карту сайта, можно посмотреть для видео.

Это отдельный, масштабный, как пирамида Хеопса и Великая Китайская стена взятые вместе, кусок работы по созданию карты сайта для новостей или другого динамического информационного контента. Для блока новостей делают собственную XML карту сайта, потом отправляют запрос в Новости Google и добавляют ее в news.google.com, чтобы поисковые роботы находили и индексировали такой контент еще быстрее.

Кроме того, собственная карта сайта – Image sitemap XML создается для изображений. Она нужна, чтобы обеспечить быстрое, правильное, естественное индексирование картинок. Ловите детальный мануал, как создать XML карту сайта для изображений.

Хотите узнать, как с помощью Serpstat оптимизировать сайт?
Нажимайте на космонавта и заказывайте бесплатную персональную демонстрацию сервиса! Наши специалисты вам все расскажут! 😉

Персональная демонстрация

Оставьте заявку и мы проведем для вас персональную демонстрацию сервиса, предоставим пробный период и предложим комфортные условия для старта использования инструмента

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *