Как проверить индексацию сайта в поисковиках

При продвижении любого сайта я обязательно и регулярно делаю проверку и анализ его индексации в поисковых системах яндекс и google. И в этой статье я покажу способы, как сделать это быстро и максимально просто.

Яндекс вебмастер

Заходим в Яндекс вебмастер и выбираем разделы Индексирование — Статистика обхода.

Если страниц не много, то я проверяю их вручную. В столбце “Стало” находятся проверяемые статусы урлов. Нужно проанализировать, сравнить их со статусами “Было”, возможно, произошли какие-то изменения на продвигаемой странице и ее выкинуло из индекса. Или наоборот, мусорная страница попала в выдачу. В общем это все нужно проанализировать и исправить, если найдены ошибки.

Если сайт очень большой, то лучше сделать выгрузку отчета в Excel. В самом низу есть кнопка “Скачать таблицу XLS”.

И опять проанализировать и сравнить текущий индекс (currentHttpCode) с предыдущим (prevHttpCode). Если на каких-то важных страницах код статуса отличный от 200, то нужно смотреть, в чем дело, почему такое произошло. В идеале, у всех продвигаемых страниц должен быть код ответа 200.

Также я проверяю страницы в поиске и исключенные страницы на подозрительные предметы, которые нужно удалить или наоборот вернуть в индекс.

Для этого также нужно зайти в раздел Индексирование — Страницы в поиске.

И проверить разделы “Все страницы” в индексе и “Исключенные страницы”.

В разделе “Все страницы” я проверяю не попал ли в индекс какой мусор, который нужно удалить. А в разделе “Исключенные страницы” проверяю не выкинул ли робот важные страницы, которые должны быть в индексе.

Google Search Console

В новой версии гугл серч консоль есть хорошая статистика по представлению сайта в поиске. Для перехода в нее нужно в левом меню нажать Индекс — Покрытие.

И вот в таком виде консоль предоставляет отчет по индексированию сайта. Здесь представлены 4 раздела, в которых содержится информация по ошибкам индексирования, страницам без ошибок в поиске и исключенным страницам.

И по каждой ошибке можно посмотреть подробно, что за страницы исключены из поиска и почему, а также посмотреть все страницы без ошибок, нет ли там каких-то мусорных и ненужных страниц в индексе.

И опять же принять меры по удалению или наоборот возврату страниц в индекс гугла.

Операторы

Следующий способ проверить индексацию сайта в яндекс и гугл, это вбить соответствующие операторы.

Для яндекса оператор будет host вот в таком виде.

Яндекс покажет все страницы сайта, которые есть в индексе и вручную можно проверить, все ли в порядке с сайтом, возможно, в поиск попали мусорные или технические или служебные страницы, которые там быть не должны. Или наоборот, нет страниц важных, которые по каким-то причинам выпали из поиска.

Для google оператор site выглядит вот в таком виде.

Так вы сможете посмотреть все страницы сайта, которые есть в поиске гугла и опять же проанализировать, нужны ли там все страницы или нет.

Вручную вбить страницу

Если нужно проверить одну или несколько страниц, то достаточно просто вбить их в поиск и посмотреть, есть ли она в индексе или нет.

Вот так выглядит страница, которая ЕСТЬ в индексе.

А вот этой страницы в индексе нет.

Сервисы и плагины

Ну и наконец, сервисы и плагины тоже помогают узнать индексацию сайта. Я пользуюсь плагином RDS Bar. Здесь можно узнать, сколько страниц в индексе Яндекс и Google. Также можно перейти в поиск по ссылке и посмотреть более подробно.

А вот еще например сервис raskruty.ru/tools/index/

Здесь правда ограниченное количество проверок, и я ими не пользуюсь, так как хватает вполне инструментов, описанных выше.

Для более наглядного представления посмотрите мое видео по проверке индексации:

Ошибки индексации

Теперь давайте разберем, почему сайт или отдельные страницы могут не индексироваться.

Вот самые распространенные причины:

• 404 код ответа — самая частая ошибка. Страницу например удалили с сайта и код ответа стал соответственно 404. Бывает такая ошибка из-за технических сбоев на сайте. То есть страницы существуют, но отдают 404 ответ сервера. Решается эта проблема восстановлением удаленной страницы или программным исправлением кода ответа на 200.
• 301 код ответа тоже частая ошибка. Целевая страница перенаправляет на другую не целевую страницу, в итоге в индексе оказывается не нужный документ. Исправляется эта ошибка снятием 301 редиректа, чтобы целевая страница отдавала 200 код ответа.
• 500 или 502 код ответа — проблемы с сервером. В этом случае нужно обратиться к хостингу и узнать, почему произошла такая ошибка. Они должны устранить ее, чтобы ответ был 200.
• Noindex — запрещен к индексированию. Такое тоже бывает, что по ошибке или невнимательности, например, программист поставит тег noindex для страницы, и она выпадает из индекса. Исправляется ошибка удалением noindex из кода.
• Закрыто в robots директивой disallow. Также случается, что по ошибке закрывают страницу или раздел в роботсе. Исправляется ошибка удалением директивы из роботса.
• Скорость загрузки низкая. Если у вас херовый хостинг или сервер, то возможно, что скорость загрузки сайта будет очень низкая и страницы могут не попадать в индекс. Исправляется проблема сменой тарифа хостинга или самого хостинга.
• Новый сайт также может долго не индексироваться, в гугле даже бывает, что месяц страницы нового сайта входят в индекс. И еще такая штука — если у домена была негативная история, то сайт может вообще не индексироваться. Поэтому перед покупкой домена нужно обязательно проверять его историю.

Вот и все способы проверки и анализа индексации сайта в яндекс и гугл. Если вам понравилась статья, если она была полезной, то поделитесь ею в соц сетях с друзьями, а также пишите ваши вопросы и комментарии.