Проверка индексации сайта: 4 варианта

Проверка индексации сайта в Яндексе

Переходим в ПС Яндекс, например по этой ссылке. После чего в форму ввода поисковой фразы вписываем следующее:

Оператор site отвечает за поиск всех страниц Вашего блога.

На нажимаем кнопку «Найти» и перед нами открывается следующая картина:

И мы видим, что 327 страниц моего блога было проиндексировано в поисковой системе Яндекс.

Так же, можно проверить находиться ли какая-то определенная страница. Для этого необходимо ввести следующую фразу:

Оператор url отвечает за нахождение в индексе определенной страницы, адрес которой Вы ввели при поиске.

И мы видим, что статья «Можно ли заработать в Интернете» успешно красуется в индексе. Но если вместо страничке Вы наблюдаете следующую фразу «По вашему запросу ничего не нашлось», то это значит что страницы еще нет в поисковой выдаче. Поэтому необходимо ускорить индексацию.

Так же, в Яндексе проверить необходимую страницу можно из сервиса Яндекс Вебмастер, который находится по этой ссылке. Если Ваш сайт еще не зарегистрирован там, то скорее регистрируйте! А если сайт уже успешно добавлен в центр, то переходим «Индексирование сайта» — «Страницы в поиске» и наблюдаем довольно подробный отчет по всем страницам Вашего блога, которые находятся в индексе.

И мы видим, что у моего блога 274 страницы в индексе по данный Яндекс Вебмастер. А в поисковой выдаче написано, что 327 страниц, как быть в этом случае?  Давайте подсчитаем: 327-274=153 страницы, от которых мне нужно избавиться! Это страницы-сопли, то есть дубли каких-то существующих страниц.

Так, с Яндексом мы разобрались, теперь давайте перейдем к Google.

Проверка индексации сайта в Google

Переходим в ПС Google по этой ссылке, и по аналогии с Яшей вписываем следующий запрос:

После чего Google выдает нам перечь страниц, находящихся у него в индексе.

И здесь, в моем случае, мы наблюдаем то, что количество страниц в Google значительно больше, чем в Яндексе, практически в два раза. Это обозначает, что в Google так же содержится большое количество страниц-соплей, от которых мне нужно избавиться.

Стоит понимать, что база данных у Гугла делится на две части: основная выдача и дополнительная. И как Вы уже поняли, основная выдача содержит только те страницы, которые отображаются именно в поисковой выдаче, ранжируются. А в дополнительной выдаче хранятся все остальные страницы и документы Вашего сайта.

И для того, чтобы проверить сколько страниц находится только в основной выдаче, необходимо прописать следующее:

И мы можем наблюдать резкое уменьшение количества страниц в индексе.

В основной выдаче находится 190 страниц из всех 581. А остальные получается находятся в дополнительной выдаче, и с большей частью мне нужно бороться, чтобы не получить фильтр от Google, да и просто увеличить посещаемость с этой поисковой системы.

Проверка индексации сайта с помощью сервиса PR-CY

На самом деле сервисов, которые следят за индексации сайта в поисковых системах большое количество, но мне больше всего по душе именно PR-CY.ru, о котором мы сейчас немного поговорим.

Это бесплатный и очень удобный сервис, в котором имеется множество различных отчетов для вебмастеров. Но в рамках данной статьи мы лишь разберем «История показателей Яндекс» и «История показателей Google».

Перед тем, как мы приступим Вы должны быть зарегистрированы на данном сервисе.

А после регистрации переходите на главную страницу сервиса и вводите адрес своего блога. После чего нажимаете «Анализировать».

Теперь пролистываем открывшуюся страницу немного вниз и видим следующие показатели:

Как мы видим из графика выше, сервис позволяет нам увидеть как изменялось количество страниц в индексе за последние полтора года существования Вашего ресурса. Я считаю, это классной возможностью!

То же самое и в Google:

Как видно из скриншота, в последнее время количество страниц в поисковой выдаче Google постепенно уменьшается. А происходит это по причине того, что я стал экспериментировать с «соплями» и удалять их.

Массовая проверка индексации страниц

После чего через несколько секунд мы получаем такой результат:

Цифра 1 обозначает, что страница находится в индексе, а цифра , что страница отсутствует. Но стоит понимать, что все роботы могут ошибаться, поэтому рекомендую проверять на несколько раз.

Вот и все! Теперь Вы знаете как проверить индексацию сайта и страниц сайта в Яндексе и Google.

Желаю Вам удачи, друзья и до встречи в следующей статье.

1. 5
2. 4
3. 3
4. 2
5. 1

(1 голос, в среднем: 5 из 5)

Добавить пост в избранныеПерейти к списку →

Почему проект не индексируется

Мы подробно рассмотрели, что такое индексация сайта, для чего она нужна, какую играет роль. Мы узнали, как проводится проверка индексации сайта в Яндексе и Google. Теперь нужно понять, почему страницы ресурса могут не попасть в базу поисковых систем. Тут возможно несколько вариантов развития событий.

Во-первых, ошибка 404. Распространенная проблема, когда страница недоступна. Следовательно, поисковый робот не может ее найти, проанализировать и добавить в базу. И проверка индексации страниц сайта не даст желаемый результат. Это может случиться из-за отсутствия самой страницы, неправильного адреса или блокировки скриптом. Необходимо проверить весь проект на предмет ошибок, проанализировать работу скриптов. Многие из них отправляют сообщение о результате проверки, что поможет выявить проблему и устранить ее. После исправления ошибок стоит повторно проверить индексацию сайта.

Во-вторых, спам или переоптимизация. Здесь подразумевается манипуляция пользователями и поисковыми системами с целью привлечь трафик на ресурс. Здесь могут быть использованы различные подходы, например, добавление большого количества ключевых слов в заголовок и текст страницы, маскирование ключевых слов при помощи цвета фона или мелкого шрифта и так далее. Визуально страница может выглядеть нормально (для пользователя), но в глазах поискового робота она будет избыточно нагружена ключевыми словами. Результат — неудачная проверка сайта в поисковых системах.

Использовать подобные сомнительные способы продвижения не стоит, поскольку сегодня поисковики могут успешно определять спам и переоптимизацию, что наказывается фильтрами и баном всего проекта. Подобные подходы могут привести и к снижению позиций в поисковой выдаче, что негативно скажется на общем состоянии сайта. Мгновенное перенаправление на другую страницу (длительность перенаправления равна 0 секунд) тоже может закончиться исключением из списка выдачи.

Помните, что поисковики служат для пользователей. Они предоставляют им сайты с информацией, которая максимально релевантна их запросам, то есть соответствует тому, что они ищут. Задача оптимизатора — создать такой контент, который легко ищется поисковиком и предоставляется пользователю. И своевременная проверка индексации сайта в Гугле и Яндексе имеет здесь весомое значение.

В-третьих, ошибки в датах. Поисковики умеют сортировать загружаемые данные по датам, однако это не всегда происходит верно. По этим причинам нужно не только правильно отображать данные о времени публикации в HTML документе, но и поработать с настройками вебсервера. Будет хорошим тоном настроить систему так, чтобы при передаче запросов указывались временные данные, что позволит исключить возможные неприятности. В этом случае проверка индексации сайтов покажет положительный результат.

В-четвертых, проблемы с кодировок. Очень частая и крайне неприятная ситуация. Если в HTML документе неправильно указана кодировка текстов (или ее там вовсе нет), то на выходе поисковый робот может загрузить не полноценный текстовый материал, а набор символов. Особенно это актуально при работе с документами не на английском языке (русский, украинский и пр.). Соответствующие правки можно внести в мета-тег «Content-type». Это поможет обезопасить себя и сделать посещение сайта комфортным для пользователей.

Если проект содержит одинаковые страницы, но с разным языковым наполнением, то тут стоит осуществлять передачу кодировок в разных robots.txt на разных портах (серверах). Если передача проходит по директориям, то достаточно одного robots с соответствующими записями. После внесения изменений не забудьте проверить индексацию сайта в Google и Yandex.

В-пятых, загрузка одного веб-сайта с разных серверов. Эта проблема актуальна при наличии зеркал или mirror. Под ними понимают разные доменные адреса, ведущие на один и тот же сайт. В результате может случиться так, что поисковый бот проиндексирует один из вариантов, а другой документ исключит (а ведь это может быть не зеркало, а основной ресурс). Здесь поможет внесение записей в файл robots.txt.

Стоит поговорить и о том, сколько индексируется сайт в Яндексе или в Google. Длительность процедуры нигде не установлена и может составлять как один день, так и несколько недель. На это влияет ряд факторов:

• возраст сайта;
• состояние внутренней оптимизации (перелинковка);
• наличие ошибок на сайте;
• скорость загрузки страниц;
• количество и качество контента.

Индексация страниц сайта

Зачастую некоторые владельцы блогов рыщут в интернете в поисках различных способов, которые  помогут значительно быстрее индексировать их интернет-ресурсы. Я раньше тоже думал об этом и также искал подобную информацию.

Однако, теперь понял для себя, что не следует тратить свое время на эту деятельность.

Многие сейчас возможно подумали о том, что я не хочу, чтобы мои статьи появились в поиске. Совсем нет.

Просто мои статьи индексируются и так неплохо — в течение дня после написания! И я Вам открою секрет, почему так происходит.

Все дело в том, что сейчас я часто выкладываю новые статьи на свой блог — 2-3 раза в неделю.

Раньше я писал редко, и индексация страниц занимала значительно большее время. Все это вполне объяснимо и зависит как раз от поведения поисковых систем, которые сканируют сайты.

Я сейчас поясню на примере. Допустим, поисковый робот посетил Ваш блог сегодня, просканировал его и, увидев новую страницу, добавил ее в результаты поиска. Затем он заходит к Вам завтра или послезавтра сканирует, но ничего нового не находит.

Теперь он не станет приходить к Вам каждый день, а появится на Вашем блоге, к примеру, дня через три. Вот так происходит индексация страниц сайта.

В своей предыдущей статье о правильном написании статей я рассказывал, какие дополнительные действия необходимо предпринять после того, как Вы ее опубликовали.

Повторюсь ее раз: нажмите на кнопки социальных сетей для добавления в них написанной статьи.

Это нужно сделать для того, чтобы поисковый робот проник на Вашу страницу через соцсеть. Так как поисковики очень часто сканируют различные социальные сети, это поможет Вам в ускорении индексации сайта.

Некоторые советуют добавлять в пункт «сервисы обновления» в административной панели различные новые сервисы.

Считается, что благодаря им, после написания новой статьи, поисковые роботы быстрее проиндексируют страницы. Я тоже добавлял подобные сервисы себе на блог, однако видимого эффекта от их размещения так и не обнаружил. Оставьте в этом пункте 3-5 сервисов обновления. Этого будет вполне достаточно.

Пункт «Сервисы обновления»можно найти в своей административной панели на сайте, открыв вкладки Настройки –> Написание –> Сервисы обновления.

Про то как осуществляется проверка индексации сайта вы узнаете ниже.

Как проверить индексацию сайта в Яндексе через Yandex вебмастер

Для того чтобы узнать проиндексирован ваш сайт яндекс-ботами или нет нужно зарегистрироваться в Вебмастере Yandex. Весь процесс регистрации описывать не вижу смысла, он достаточно простой. Единственное, что вас в этом процессе может озадачить, это подтверждение прав на регистрируемый сайт. Нужно скопировать файл предложенный Яндексом и вставить его в корневую папку сайта и нажать кнопку подтвердить. После этого вам станут доступны все функции системы и можно перейти во вкладку – индексирование:

Если прокрутить страницу ниже будут видны страницы которые проиндексировал робот и дата индексации. Все мои статьи Яндекс-боты “кушают” просто мгновенно, прямо в день выхода. И это очень круто, так как моя проиндексированная статья сразу попадает в ТОП 10 выдачи Яши и начинает работать, привлекая трафик на сайт. Вот даты индексации моих последних опубликованных статей:

Многие начинающие хозяева сайтов недооценивают важность индексации. Я встречал интернет магазины публикующие карточки товаров по 1000 штук в день, которые попадали в индекс сайта только спустя месяцы

Представьте себе, что 1000 товаров не были видны в поиске Яндекс столько времени и значит они не работали. Товары соответственно из-за этого не покупали. Как следствие компания недополучила прибыль из-за того, что её SEO-оптимизаторы не удосужились ускорить индексацию страниц своего сайта.

Думаю с тем, как проверить индексацию сайта в Яндексе всё понятно. Давайте теперь разберёмся как индексацию сайта ускорить.

Как ускорить индексацию сайта

Для того чтобы опубликованные статьи на вашем сайте мгновенно индексировались, необходимо приручить Яндекс-бота как можно чаще посещать ваш сайт. В первую очередь необходимо установить на сайте файл Sitemap (карту сайта), благодаря которой роботы будут быстрее понимать, что и где на вашем сайте поменялось. Следующим важным моментом будет закрытие тех папок и документов на сайте, которые роботам смотреть не обязательно и тратить на их просмотр время. Такие действия выполняются с помощью файла Robots.txt. Грамотно составленный robots облегчит работу скролеров и уменьшит нагрузку на сервер.

Следующим этапом до публикации статьи на сайте необходимо добавить её в блог Вебмастера “оригинальные тексты“, чтобы исключить возможность воровства контента и обозначиться перед Яндексом, как первоисточник информации.

Затем переходим в раздел “переобход страниц” в Яндекс Вебмастере:

Вставляем URL добавленной на сайт страницы в графу и нажимаем кнопку отправить. Таким образом мы информируем роботов, что на нашем сайте появилась новая страница, которую необходимо проиндексировать. Тоже самое нужно сделать со всеми страницами на сайте, которые не попали в индекс.

Как установить расписание для индексирующего сайт робота:

Такая функция тоже есть в вебмастере в разделе скорость обхода:

С помощью ползунка вы можете задать скорость обода и индексации вашего WEB проекта вручную. Лично я этого не делал и оставил галочку в строке “доверять Яндексу”. То что Яндекс-бот приходит на мой сайт ежедневно это меня более чем устраивает.

Как я приручил робота Яндекс часто индексировать мой сайт

Поделюсь с вами ещё одной фишкой которая максимально ускоряет процесс индексации сайта. Для этого нужно публиковать свои тексты туда где Яндекс-ботов и Google-ботов очень много. Это социальные сети и новостные порталы. В них роботы скролеры просто живут и не выходят от туда. Как только у меня выходит на сайте статья, я сразу же её разпощиваю по социальным сетям, таким как Вконтакте, Одноклассники, Твитер, Фэйсбук, и так далее. Роботы видят новый контент, переходят на мой сайт и индексируют страницу. В дальнейшем они понимают частоту появления контента на сайте и приходят также часто, как появляются статьи. Как видите всё очень просто!

Процесс индексации – это первое с чего начинается SEO продвижение сайта. Но этого не достаточно, чтобы увидеть ваш интернет проект на первой странице Яндекса. Проиндексированная страница может занять к примеру 100-е место в выдаче и дальше хозяину сайта необходимо приложить все знания и усилия, чтобы загнать её в ТОП 10 выдачи. Как это сделать я подробно рассказываю на своих онлайн курсах по SEO обучению.

На этом сегодня всё, всем удачи и до новых встреч!

Рекомендации по индексации сайта (проверка, анализ)

Одинаковое число проиндексированных страниц в Яндексе и Google

Периодичность проверки индексации страниц

Seo-продвижение напрямую зависит от результатов процесса индексирования. Здесь все просто — если нужные нам целевые страницы не имеют прописки в индексе Яндекса и Гугла, о дальнейшем их попадании в поисковую выдачу нет смысла говорить.

Поэтому необходимо периодически проверять статус страниц, которые мы продвигаем в поиске. Обычно это происходит в процессе проверки видимости сайта. Проверяем позиции, видим наличие целевых документов в поиске.

Например, используя инструментарий сервиса «Топвизор», мы не только видим позиции сайта, но и можем тут же сверить соответствие целевой страницы с той, которая находится в поиске по проверяемому запросу:

Для постоянной проверки индексированных страниц в Яндексе, рекомендую использовать специальную возможность в вебмастере поисковика. Речь идет об инструменте «мониторинг важных страниц».

Он позволяет отслеживать данные указанных вебмастером страниц (до 100 включительно), среди которых числится статус документа в поиске и наличие индексации в Яндексе:

Сопоставление проиндексированных страниц в Яндексе и Гугле

Проверяя индексацию сайта в Яндексе и Гугл, обязательно стоит сверить число проиндексированных страниц:

Вот какие могут быть различия в полученных данных и возможные причины проблемы индексации (в таблице ниже Я — число проиндексированных станиц в Яндексе, G — в Гугле):

Конечно, это не все проблемы несоответствия страниц в индексе Гугла и Яндекса. Могут быть и банальные причины возникшей проблемы (полетел хостинг, залез вирус, на сайт наложены санкции и т.д.).

Но в любом случае, если числа проиндексированных страниц Гугла и Яндекса сильно отличаются друг от друга, пора бить тревогу!

В противном случае потеря поискового трафика не только неизбежна, но и сулит в дальнейшем проблемы с повторной индексацией, когда решится вопрос несоответствия.

Ведь чаще всего бывает так, что один из поисковиков начинает игнорировать страницы сайта из-за наложенных на него санкций или бана. Выползти из этой ситуации очень сложно, поэтому лучше не доводить ситуацию с проблемной индексацией до крайностей.

Как ускорить индексацию

Для ускорения индексации «Яндексом» существует сразу несколько способов, при этом все они делятся на 2 категории. Одна и них подразумевает проведение работы с самим сайтом, в результате чего он станет более привлекательным для поисковиков. Вторая категория действий относится непосредственно к работе с внешними факторами.

Наиболее эффективным вариантом является комплекс мер, в который входят действия из обеих категорий. Значительное количество предстоящей работы может несколько огорчить вебмастера, однако большинство предлагаемых действий придется выполнить лишь один раз. При этом результат будет заметен довольно быстро.

Индексация сайта в поиске

Теперь, когда мы рассказали, что такое индексация, почему она так важна и как её проверить, приступим к практике.

Как ускорить индексацию?

Мы писали выше, что управлять индексацией, что бы кто не говорил, вы не можете. Но повлиять на процесс или даже ускорить возможно. 

Советы по ускорению индексации

• Обязательно добавьте сайт во все сервисы Яндекса и Google, особенно в Яндекс Вебмастер и Google Search Console.
• Создайте sitemap.xml, поместите карту в корень сайта и постоянно обновляйте.
• Следите за robots.txt и исключайте ненужные страницы (об этом ниже).
• Выберите надёжный и быстрый хостинг, чтобы робот мог беспрепятственно индексировать содержимое сайта.
• Используйте инструменты Яндекс Вебмастера (Индексирование → Переобход страниц) и Google Search Console (Проверка URL → Запросить индексирование). Способ идеально подходит для работы с отдельными страницами. 
• Если ваша CMS любит создавать дубли (например, Битрикс), то используйте атрибут rel=canonical.
• Автоматизируйте создание новых ссылок со старых страниц. Как вариант, можно сделать блок на главной с новыми товарами или статьями.
• Ведите соцсети и анонсируйте новые товары, услуги, страницы. Замечено, что ссылки с соцсетей могут ускорить процесс.
• Создавайте качественный контент на каждой странице. Под качественным контентом мы понимаем актуальную, релевантную и уникальную информацию для пользователей.
• Работайте над структурой сайта и делайте её удобной и понятной пользователю. Помните о правиле 3 кликов: это оптимальное количество действий для пользователя.
• Проверяйте периодически сайт на вирусы и санкции поисковых систем. В Яндекс Вебмастере раздел Диагностика → Безопасность и нарушения, в Google Search Console — раздел Проблемы безопасности и меры, принятые вручную.
• Улучшайте свой ссылочный профиль и пишите анонсы на других сайтах (в рамках правил поисковых систем).
• Используйте родные браузеры (Chrome, Яндекс Браузер) и заходите на новые страницы с них.

Как запретить индексацию?

Выше мы рассмотрели основные способы, как ускорить индексацию, и рассказали, что такое краулинговый бюджет и почему он ограничен для каждого сайта. Поэтому чтобы его не тратить зря, советуем закрывать от индексации служебные и технические страницы, кабинеты пользователей и конфиденциальную информацию, а также страницы в разработке и дубли. 

3 основных способа запретить индексацию:

1. Директива Disallow в файле robots. Мы писали, что такой запрет может не сработать в отдельных случаях. Тем не менее это основной способ запрета индексации.
2. В коде страницы указать метатег robots с директивой noindex (для текста) и/или nofollow (для ссылок). Хорошо подходит для запрета индексации отдельных страниц.
3. Настроить HTTP-заголовок X-Robots-Tag с директивой noindex и/или nofollow. Лучше всего подходит для закрытия индексации не HTML-файлов (PDF, изображения, видео и другие).

Используйте все наши советы по улучшению индексации на полную мощь.
Максимальное внимание уделите улучшению структуры и навигации и обновлению карты сайта.
Структура сайта должна быть проста и понятна, охватывать весь спектр ключевых запросов, а каждая страница сайта в идеале должна быть доступна в 3–4 клика

Для этого используйте дополнительные блоки на главной странице и в разделах.
Хорошо работает облако тегов: с помощью него часто получается продвигать категории, улучшать навигацию и полно охватывать семантику.
Для многостраничных сайтов действительно важно постоянно обновлять sitemap.xml
Зачастую в таких случаях карту делят на несколько частей, чтобы охватить весь список страниц. 
Настройте маски (автоматические шаблоны) метатегов для новых страниц в категориях и каталогах. 
Скорее всего, вам не обойтись без команды профессионалов, которые смогут обеспечить техподдержку, производство контента и SEO-продвижение.

Почему возникают проблемы с индексированием сайта: описание основных проблем и пути их решения

Рассмотрим основные причины, почему сайт может не индексироваться. Зачастую на исправление ошибок нужно не так уж и много времени, но после этого результаты поисковой выдачи существенно улучшаются.

Молодой сайт

Если вашему ресурсу совсем мало дней/недель/месяцев, нужно лишь просто подождать. Немного. Так уж работают поисковые системы, что сайты и страницы попадают в индекс далеко не сразу. Иногда приходится ждать несколько месяцев.

Отсутствует sitemap

Без нормальной карты сайта добиться хороших результатов нереально. Sitemap оказывает непосредственную помощь поисковым роботам, что существенно ускоряет скорость сканирования сайта, а также попадания его страниц в индекс. Добавлять ссылку на карту сайта проще всего через панель управления в сервисе веб-мастеров.

Как проверить индексацию сайта: наличие ошибок

Внимательно следите за оповещениями при посещении сервиса веб-мастеров. Там постоянно появляются сообщение о наличии тех или иных недочетов, ошибок. Просматривайте их и не забывайте исправлять.

Проблема с robots

Метатег robots важен для правильного индексирования сайта. Неосознанное изменение настроек на хостинге или вашей CMS приводит к появлению следующей записи в коде.

Что говорит о том, что страница попросту не индексируется.

Ошибка с файлом robots.txt

Правильно написанный файл robots.txt – гарантия хорошего индексирования. Нередко можно встретить советы и рекомендации закрывать для поисковых роботов через данный файл все ненужное.

Однако уникальная особенность файла состоит в том, что лишь один неправильно поставленный символ может вообще закрыть сайт для индексации поисковыми системами.

Даже если вы стремились закрыть всего лишь одну страницу, может оказаться так, что одним кликом перекрыли несколько страниц и т.д.

Посмотрите внимательно на свой файл. Нет ли в нем записи User-agent: * Disallow: /? Если она присутствует, значит сайт закрыт для индексирования.

И еще несколько причин, по которым сайт не индексируется

Среди основных проблем с индексированием можно выделить:

• наличие дублей страниц;
• использование при наполнении сайта неуникальных материалов;
• низкая скорость загрузки сайта и проблемы с доступом к нему.