Как проверить индексацию сайта в поисковых системах

Проверка индексации сайта в Гугле

Рассматривая забугорный поисковик стоит отметить, что Google держит страницы сайта в двух выдачах: основной и дополнительной (Supplemental Results).

В основной индекс попадают только качественный страницы площадки, которые и будут участвовать в ранжировании сайта. А в дополнительный (его еще называют «сопли») заносятся все дубли основных страниц, технические разделы, которые создаются движком (CMS) сайта, а также страницы закрытые от индексации в файле robots.txt.

Ввиду всего выше сказанного, если вы введет в строку поиска команду site (site:ваш_сайт), тогда получите общее количество страниц индексируемых Гуглом в обеих выдачах.

Если же надо узнать общее число страниц из основной выдачи, тогда в конце запроса надо добавить знак амперсанд (/&).

Прибегнул к простым формулам математики видим, что в дополнительную выдачу Гугл отправил 785 — 259 = 526 страниц блога seoslim.ru. Если хотите посмотреть какие именно страницы находятся в «соплях», тогда идите до конца списка страниц, а затем нажмете на ссылку «Показать скрытые результаты».

Для того чтобы увидеть информацию о конкретной странице в поиске стоит использовать оператор info (info:адрес_страницы).

Заключительный анализ, проиндексированных страниц делаем в панели Гугл Вебмастер. Переходим в меню «Индекс Google» далее «Статус индексирования», далее жмем на кнопку «Расширенные данные» и отмечаем все галочки.

Заблокировано в файле — те страницы, к которым Гуглу не удалось получить доступ по причине их запрета в файле robots.txt

Здесь надо быть внимательным, так как роботы ПС не всегда обращают внимание на предписываемые для них правила и могут забирать запрещенные страницы в дополнительную выдачу

Проиндексировано всего — это общее число страниц, которые были добавлены роботом ПС в индекс. По мере добавления или удаления страниц этот показатель будет изменяться.

В качестве примера посмотрите на график индексации страниц моего блога. После того, как я в начале сентября поставил редирект на дубли replytocom, о чем рассказал в статье «Находим и удаляем одинаковый контент», с каждым днем из индекса начали выпадать мусорные url адреса.

На этом я заканчиваю свой рассказ, надеюсь новичкам статья придется кстати, а матерые блоггеры вспомнят и до того знакомые правила. Если кто-то проверяет, как индексируются страницы в известных поисковиках другими способами, жду ваших комментариев. Пока!

Как определить наличие страниц с помощью сторонних инструментов

Помимо поисковых систем, проверка сайта в Google и Yandex может быть проведена и с помощью сторонних инструментов. Например, это специальные плагины или букмарклеты — программы на JavaScript (или других языках), автоматизирующие процесс сбора информации. Все, что нужно здесь, — это ввести адрес сайта и запустить систему. Тут не требуется работать с самими поисковиками.

Плагины доступны в большом спектре и для самых разных браузеров: Google Chrome, Firefox и пр. Некоторые из них бесплатны. Другие же за отдельную плату предложат вам расширенный функционал. Букмарклеты работают как закладки. Вы сохраняете сайт, потом открываете закладку и получаете всю необходимую информацию. Имеет смысл использовать несколько плагинов, чтобы с высокой точностью определить, прошла ли проверка индексации сайта. Дело в том, что у инструментов могут различаться алгоритмы работы. И по одной и той же странице могут быть получены разные данные.

Как ускорить индексацию сайта

Итак, как ускорить индексацию сайта?

Для того чтобы ускорить индексацию сайта создайте на сайте карту sitemap.xml для поисковых систем, а также карту блога для своих посетителей.

Это в разы улучшит индексацию! О том, как это осуществить, можно прочитать в моей статье о создании карты сайта. Читайте ее, там все подробно расписано.

Если Вы начали наполнять блог статьями и не осуществляете внутреннюю перелинковку страниц, остановитесь! Так действовать себе дороже.

Срочно читайте мою статью про правильную внутреннюю перелинковку на блоге. Применяйте на практике мои советы и потом скажите мне спасибо.

Почему важно проверять индексацию сайта

Поисковики периодически меняют алгоритмы ранжирования сайтов. Это зачастую приводит и к изменению времени индексирования web-страниц. А иногда страницы вообще выпадают из индекса поисковых систем и, как следствие, из органической выдачи.

Кроме того, не забывайте, в Интернете публикуется масса материалов ежедневно, ежечасно и ежесекундно. Если новая страница долго индексируется, мы рискуем утратить её уникальность. Ведь в это время другие ресурсы схожей тематики, у которых индексация проходит мгновенно, также наполняют Интернет новой информацией. Я уже не говорю об умельцах, которые могут скопировать контент с плохо индексируемого сайта и опубликовать его на своём, где страницы появляются в индексе поисковых систем со скоростью света. В этом случае поисковик будет считать автором уже не вас, а такого хитроумного умельца. Ваш контент просто перестанет быть уникальным.

Поэтому важно ускорять индексацию страниц сайта. А вот как это сделать, совсем другая история

Всем быстрой индексации!

1) Как проверить индексацию сайта через панель управления в сервисе для веб-мастеров

Этот метод является основным. Для сервиса Google следует выполнить следующие действия:

• перейти в панель управления сервиса;
• выбрать вкладку Search Console;
• после этого перейти в еще одну вкладку «Индекс Google»;
• кликнуть по пункту Статус индексирования.

Для сервиса Яндекс последовательность действий будет следующей:

• открыть Вебмастер;
• найти пункт Индексирование сайта;
• выбрать строку Страницы в поиске.

Также можно пойти по другой последовательности вкладок – после Индексирования сайта кликнуть на вкладку История, а уже там кликнуть на вкладку Страницы в поиске. Это позволит вам отследить, как меняется количество проиндексированных страниц.

Такой способ проверки доступен только тем веб-мастерам, для которых в панели инструментов сервиса открыт соответствующий доступ.

На картинке ниже представлен график хорошо проиндексированного сайта. Как можно увидеть, количество страниц в индексе постоянно возрастает.

А на картинке ниже представлен тот случай, когда наблюдаются проблемы с индексацией или страницы сайты вообще закрыты от индексирования.

Способы узнать количество проиндексированных страниц в Гугле

Способ 1. Search Console

Чтобы следить за всеми показателями сайта в поиске Google, нужно зарегистрировать сайт Search Console, – сервисе для комплексного анализа показателей сайта в поиске Гугле.

После регистрации, подтверждении прав на сайт и выполнении необходимых настроек, сервис должен набрать статистику по сайту, в том числе показать, сколько страниц есть в индексе Гугле.

Посмотреть количество и их список можно на вкладке Индекс Google>>>Статус Индексирования.

На диаграмме страницы сервис покажет  динамику индексации страниц за год в двух вариантах: Только основные и Расширенные данные.

Основные данные показывают количество страниц в индексе и график индексации по месяцам за год.

Расширенные данные покажут, сколько страниц закрыты от сканирования в файле robots.txt, и сколько страниц вы сами удалили из индекса за текущий год.

Важно! Резкое снижение и резкое увеличение страниц в индексе Гугле, не связанное с вашими действиями на сайте, может говорить о проблемах. Например, резкое увеличение может говорить о взломе сайта, автоматическим созданием контента, большим количеством дублей

Резкое снижение, говорит, о невозможности Гугле сканировать часть вашего контента или санкциях наложенных новым алгоритмом

Например, резкое увеличение может говорить о взломе сайта, автоматическим созданием контента, большим количеством дублей. Резкое снижение, говорит, о невозможности Гугле сканировать часть вашего контента или санкциях наложенных новым алгоритмом.

Как говорит сам Google в своих рекомендациях:

Информация Search Console доступна только после подтверждения прав на сайт, а значит, не всегда доступна и не может использоваться для анализа сайтов конкурентов.

Как в этом случае узнать количество проиндексированных страниц в Гугле?

YCCY

Насколько я понимаю программка YCCY старожил на рынке seo, хотя до сих пор не потеряла свою актуальность. Вообще она содержит несколько модулей, которые выполняют разные задачи. Так, например, там есть некий WHOIS PAID, позволяющий массово проверять даты окончания доменов, NAME GENERATOR, генерирующий доменный имена и PageRankDC, который смотрит значение PR по разным дата центрам Google. Но самую большую ценность представляет модуль INDEXATOR. Он содержит следующие функции:

• Массовая проверка индексации страниц сайтов в Яндексе (через Mail.ru, Яндекс.XML) и в Google.
• Проверка количества проиндексированных страниц в Яндексе, Google, Rambler.
• Проверка Google PageRank, тИЦ, AlexaRank, бэклинков Yahoo.
• Пакетная проверка количества найденных страниц по запросу.
• Пакетная проверка обратных ссылок(текста ссылки) в Яндексе, Google.

При этом поддерживается экспорт ссылок PROPAGE, SAPE, XAP, прокси-сервера, что крайне полезно в работе. Вообще программа YCCY достойна похвалы. Работать с ней проще простого.

Слева добавляете нужные ссылки, далее указываете настройки проверки (в моем случае индексация страниц в ПС), а потом запускаем процесс. В результате справа в первом блоке появятся проиндексированные ссылки, потом не проиндексированные и те, которые не смогли определиться (для них можно запустить повторную проверку).

Если говорить о результатах, то на 90-95% информация программы соответствует действительности, а это, поверьте, среди других онлайн сервисов просто блестящий показатель. Что касается отзывов, то в большинстве случаев читал только положительные. Причем люди сравнивали с некоторыми другими похожими программами (хоть и давно это было). Оптимизаторы говорили, что YCCY работает быстрее остальных, хотя при проверке большого числа страниц пишут, что Яша может забанить IP (что, в принципе, для всех программ характерно — в YCCY  можно и нужно использовать прокси).

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.

1. Через панель вебмастера

Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.

Яндекс

1. Авторизуйтесь в Яндекс.Вебмастер.
2. Перейдите в меню «Индексирование сайта».
3. Под ним найдите строку «Страницы в поиске».

Можно пойти и по другому пути:

1. Выберите «Индексирование сайта».
2. Дальше перейдите в «История».
3. Затем кликните на вкладку «Страницы в поиске».

И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.

1. Зайдите в панель управления сервиса .
2. Кликните на вкладку Search Console.
3. Перейдите в «Индекс Google».
4. Нажмите на опцию «Статус индексирования».

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».

Важно! Если результаты в Google и Яндекс сильно разнятся между собой, то значит ваш сайт имеет какие-то проблемы со структурой сайта, мусорными страницы, индексацией или на него наложены санкции. Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени

Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа»

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа».

3. Посредством плагинов и расширений

Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.

Самым популярным плагином, применяемым в этих целях, является RDS bar, который можно скачать в магазине приложений любого браузера.

Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц

На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них регулярно нужно вводить капчу.

Нельзя оставить без внимания и букмарклет «Проверка индексации». Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.

4. С помощью специальных сервисов

Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.

Бесплатный сервис

https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.

Платный сервис

Из платных мне больше всего нравится Topvisor — стоимость 0.024р. за проверку одной страницы.

Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.

Индексация страниц сайта

Зачастую некоторые владельцы блогов рыщут в интернете в поисках различных способов, которые  помогут значительно быстрее индексировать их интернет-ресурсы. Я раньше тоже думал об этом и также искал подобную информацию.

Однако, теперь понял для себя, что не следует тратить свое время на эту деятельность.

Многие сейчас возможно подумали о том, что я не хочу, чтобы мои статьи появились в поиске. Совсем нет.

Просто мои статьи индексируются и так неплохо — в течение дня после написания! И я Вам открою секрет, почему так происходит.

Все дело в том, что сейчас я часто выкладываю новые статьи на свой блог — 2-3 раза в неделю.

Раньше я писал редко, и индексация страниц занимала значительно большее время. Все это вполне объяснимо и зависит как раз от поведения поисковых систем, которые сканируют сайты.

Я сейчас поясню на примере. Допустим, поисковый робот посетил Ваш блог сегодня, просканировал его и, увидев новую страницу, добавил ее в результаты поиска. Затем он заходит к Вам завтра или послезавтра сканирует, но ничего нового не находит.

Теперь он не станет приходить к Вам каждый день, а появится на Вашем блоге, к примеру, дня через три. Вот так происходит индексация страниц сайта.

В своей предыдущей статье о правильном написании статей я рассказывал, какие дополнительные действия необходимо предпринять после того, как Вы ее опубликовали.

Повторюсь ее раз: нажмите на кнопки социальных сетей для добавления в них написанной статьи.

Это нужно сделать для того, чтобы поисковый робот проник на Вашу страницу через соцсеть. Так как поисковики очень часто сканируют различные социальные сети, это поможет Вам в ускорении индексации сайта.

Некоторые советуют добавлять в пункт «сервисы обновления» в административной панели различные новые сервисы.

Считается, что благодаря им, после написания новой статьи, поисковые роботы быстрее проиндексируют страницы. Я тоже добавлял подобные сервисы себе на блог, однако видимого эффекта от их размещения так и не обнаружил. Оставьте в этом пункте 3-5 сервисов обновления. Этого будет вполне достаточно.

Пункт «Сервисы обновления»можно найти в своей административной панели на сайте, открыв вкладки Настройки –> Написание –> Сервисы обновления.

Про то как осуществляется проверка индексации сайта вы узнаете ниже.

Проверка индексации страниц сайта в Яндексе через AddURL

Еще один способ, позволяющий узнать, попал ли в индекс определенная страница сайта, можно воспользоваться инструментом AddURL. Например, проверим, проиндексировался ли сайт в Яндекс. Для этого в аддурилке данной системы поиска вводим интересующий нас адрес страницы. После этого все станет ясно. Если страница уже находится в индексе, то будет выведена надпись «Указанный URL уже проиндексирован». Ну, а если ссылка еще не появилась в индексе, то напишет приблизительно следующее: «Адрес такой-то успешно добавлен. Его индексация и добавление в поиск будут осуществлены по мере обхода робота». Все это правдиво лишь в том случае, если вы не установили запрет для индексации вашего сайта.

Данный метод – достаточно неплох, однако, придется тратить время на неоднократное введение капчи.

YCCY

Данная программа включает в себя несколько блоков, исполняющих разнородные задачи, но в нашем случае самое большое значение имеет модуль INDEXATOR, который выполняет следующие функции:

• Проверка индексированных страниц в Google и Яндексе в массовом порядке
• Проверка в пакетном режиме на количество страниц
• Проверка на тИЦ сайта

Программу можно скачать с официального сайта, там же прочитать полное описание всех модулей программы и инструкцию по работе. Все достаточно просто и наглядно. Для проверки необходимо в левое окно ввести адрес тестируемого сайта, выставить нужные чекбоксы на предмет проверки, нажать кнопку Начать проверку и в трех правых окнах получить результат проверки.

Проверка индексации программой YCCY

Этапы индексации сайта

У поисковиков есть специальные роботы, с помощью которых поисковые системы проводят индексацию.

У Яндекса есть основной робот, который скачивает документы для их последующей индексации, его еще могут называть «спайдер» (от spider — паук), есть отдельный робот для индексации изображений, робот-зеркальщик, который определяет зеркала сайтов, быстроробот (посещает часто обновляемые сайты и практически мгновенно помещает новые страницы в индекс, при этом на их ранжирование влияют не все факторы, и после захода основного бота позиции могут измениться).

Полный список роботов Яндекса можно найти (однако, там есть боты сервисов, которые уже закрыты, например, Яндекс.Каталог).

У Google тоже множество ботов: робот для сканирования новостей, изображений и видео, мобильных сайтов и т.д. Полный список поисковых роботов Google можно найти в справке.

Рассматривать работу всех ботов мы не будем, достаточно понять принцип:

1. Поисковая система узнает о новом сайте,
2. Основной бот заходит на сайт и скачивает основные страницы для дальнейшего анализа, вся информация помещается в отдельную промежуточную базу.
3. Дальше в дело вступает робот «краулер» (от crawl — ползать). Он сканирует документы из временной базы и обрабатывает контент:
   • Текст. Обработка текстового контента происходит в первую очередь. После изучения данные о нем передаются в очередь на добавление в основную базу поисковика.
   • Скрипты. Если на странице таковые есть, то при первом посещении страницы они игнорируются. Если краулер сканирует данную страницу не первый раз, и основная информация уже была проиндексирована, то в этом случае поисковик может попытаться определить содержимое скриптов. Грубый пример: если текстовый контент транслируется на страницу через скрипты и поисковик сумел их извлечь, то эти тексты будут добавлены в базу.
   • Ссылки. Если на страницах были найдены ссылки, еще не известные поиску, то информация о них передается основному боту и, как вы понимаете, процесс повторяется.

Это сильно упрощенная модель, но ее достаточно, чтобы понять, как все устроено.

Semonitor

В одном из постов блога я писал уже про  Semonitor, когда рассматривал программы для мониторинга обменных или купленных ссылок. Собственно, софт оказался весьма универсальным в плане проверки ссылок, там за это отвечает отдельный модуль Link Exchanger. От вас требуется ввести сайт на которые ставятся ссылки и из файла загрузить список url для проверки индексации страницы в поисковиках. После этого можно выбрать проверяемые параметры и запустить программу:

Безусловным плюсом в Semonitor есть то, что кроме проверки наличия ссылки вы сможете увидеть некоторые параметры проекта, анкор, количество внешних, внутренних ссылок, открытость ссылки для индексации и т.п. При большом числе запросов не обойтись без Yandex XML лимитов которые можете найти в своей учетной записи.

Ну и, конечно, результат проверки на 100% правильный, что также весьма радует. Даже и не знаю теперь, может не продавать Semonitor будет от него теперь хоть какая-то польза:) Нужно изучить остальные модули, там в принципе, полно опций и фишек для оптимизаторов.

А какими сервисами для проверки индексации страниц в поисковиках пользуетесь вы?

Проверка индексации сайта в Google

Как и в «Яндексе», для этого существует два способа:

• Ввод комбинации site:ваш сайт вручную. Результат будет идентичен тому, что получен в «Яндексе».
• Применение инструментов Google для веб-мастеров (аналог «Яндекс.Вебмастера»).

Подсчитав, какое количество страниц из существующих вошло в индекс поисковой системы, можно получить три варианта:

1. Число страниц на сайте и проиндексированных поисковиками идентично. Это значит, что ваш ресурс в отличном состоянии.
2. В индекс вошло меньше страниц, чем содержит сайт. Это признак того, что есть определенные проблемы, скорее всего – статьи с низкой уникальностью или недостаточно информативные.
3. Проиндексировано больше страниц, чем размещено на ресурсе. Причина – дублирование страниц, то есть к одной и той же есть доступ с разных адресов. Это отрицательно сказывается на продвижении сайта, поскольку размывается статический вес страниц и некоторые из них содержат одинаковый контент.

Чтобы продолжить диагностику, придется определить, какие именно страницы попали в индекс, а какие нет.

Необходимость в этом появляется при желании проверить конкретную (например, только что опубликованную) страницу на своем ресурсе или на чужом, где вами куплена ссылка, и вы ждете, когда страничка будет проиндексирована.

Ручной способ. Скопированный адрес страницы помещаете в поисковую строку «Яндекса» или Google. Внесенная в индекс займет верхнюю позицию в поисковой выдаче:

Автоматический способ. В этом случае используется плагин «RDS бар». С его помощью можно узнать, прошла ли индексацию страница, на которой вы находитесь в данный момент.

Затем определим на включение в индекс одновременно все страницы сайта. Это позволит понять, какие конкретно страницы не проиндексированы в поисковике.

Для этого потребуется не только знать, сколько страниц фактически находится на сайте, но и иметь список их адресов (url). При генерировании карты сайта создается и список страниц, однако адреса из него необходимо извлекать при помощи какой-либо программы по обработке данных.

Список всех страниц сайта получим, используя программу для Windows, функция которой – генерирование карты сайта, это Sitemap Generator (.

Настройка параметра Exclude Patterns предваряет сбор ссылок, чтобы исключить попадание ненужных. К примеру, адреса, указывающие на комментарий к странице, нам не нужны. Их можно исключить, используя маску *replytocom*.

Следующий шаг – запуск сбора url программой, по окончании которого осуществляем переход на вкладку Yahoo Map/Text, чтобы оттуда скопировать адреса (в бесплатной версии программы кнопка «Сохранить» не активна).

В итоге мы получили адреса всех страниц.

Для следующего этапа требуется программа YCCY (.

Запускаем программу и добавляем в список исходных url тот перечень адресов, который мы получили ранее. Возможности программы таковы, что проверить индексацию сайта в поисковых системах «Яндекс» и «Гугл» не составит труда, достаточно выбрать одну из них и начать процесс.

Результатом проверки станет перечень страниц, не включенных в базу данных. Наша цель – разобраться, что стало причиной. Если технических проблем нет, то индексации страницы может поспособствовать закупка ссылок на нее или ретвитов с прокачанных аккаунтов.

Проверка индексации сайта в поисковиках – очень полезная процедура, которая повысит продуктивность вашей работы с системами и поможет определить, какие проблемы присущи вашему ресурсу.

Вас также может заинтересовать: Файл htaccess: применение, включение, настройка