Как проверить индексацию сайта в поисковых системах

Как подготовиться к проверке индексации сайта Как проверить индексацию в Яндекс Вебмастере Как проверить индексацию в Google Search Console Как проверить индексацию без доступа к сайту Как проверить индексацию отдельных страниц Как контролировать процесс индексации

Мы в Telegram

В канале «Маркетинговые щи» только самое полезное: подборки, инструкции, кейсы.
Не всегда на серьёзных щах — шуточки тоже шутим =)

Подписаться

Станьте email-рокером 🤘

Пройдите бесплатный курс и запустите свою первую рассылку

Подробнее

Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO. Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.

Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.

Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.

Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.

Теперь давайте обо всем по порядку.

Как подготовиться к проверке индексации сайта

Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.

Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).

Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.

Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.

Как проверить индексацию в Яндекс Вебмастере

Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.

Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».

В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.

В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.

Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.

Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.

Здесь же можно посмотреть исключенные из поиска страницы.

В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.

Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.

После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.

Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.

Как проверить индексацию в Google Search Console

Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».

Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:

1. Без ошибок (нужно стремиться, чтобы важные страницы сайта были именно в этом списке).
2. С ошибками.
3. Без ошибок, но с предупреждениями (как правило, предупреждения можно игнорировать).
4. Исключенные.

Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.

Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.

Как проверить индексацию без доступа к сайту

Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.

Поисковые операторы

Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.

В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.

В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.

В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.

Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.

Минус такого способа проверки не только в том, что он отнимает больше времени — данные выдачи могут не совпадать с реальностью. Особенно часто этим грешит Яндекс. 

Например, при проверке моего сайта с помощью оператора site выяснилось, что в поиске всего 164 страницы. А в панели Яндекс Вебмастера (раздел «Страницы в поиске») отображаются все 330 страниц. Вебмастер дает более точную информацию, поэтому верить все же стоит ему, а не данным в выдаче.

SEO-сервисы и утилиты

Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.

Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.

Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.

Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.

Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.

SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.

Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.

RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox. В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.

Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует.

Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.

И не забывайте, что данные в поиске тоже неточные (особенно в Яндексе). Если вы мониторите собственный сайт, лучше пользуйтесь отчетами Google Search Console и Яндекс Вебмастера.

Как проверить индексацию отдельных страниц

Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.

Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.

Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».

Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».

Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).

Как контролировать процесс индексации

Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу. 

Вот краткий список рекомендаций:

Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.

Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).

Создайте файл robots.txt

. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.

Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.

Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.

Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.

Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.

Поделиться

СВЕЖИЕ СТАТЬИ

Другие материалы из этой рубрики

Не пропускайте новые статьи

Подписывайтесь на соцсети

Делимся новостями и свежими статьями, рассказываем о новинках сервиса

«Честно» — авторская рассылка от редакции Unisender

Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы и интервью с экспертами диджитала.

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как запустить email-маркетинг с нуля?

В бесплатном курсе «Rock-email» мы за 15 писем расскажем, как настроить email-маркетинг в компании. В конце каждого письма даем отбитые татуировки об email ⚡️

*Вместе с курсом вы будете получать рассылку блога Unisender

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как проверить индексацию сайта в поисковых системах

Как подготовиться к проверке индексации сайта Как проверить индексацию в Яндекс Вебмастере Как проверить индексацию в Google Search Console Как проверить индексацию без доступа к сайту Как проверить индексацию отдельных страниц Как контролировать процесс индексации

Мы в Telegram

В канале «Маркетинговые щи» только самое полезное: подборки, инструкции, кейсы.
Не всегда на серьёзных щах — шуточки тоже шутим =)

Подписаться

Станьте email-рокером 🤘

Пройдите бесплатный курс и запустите свою первую рассылку

Подробнее

Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO. Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.

Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.

Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.

Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.

Теперь давайте обо всем по порядку.

Как подготовиться к проверке индексации сайта

Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.

Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).

Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.

Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.

Как проверить индексацию в Яндекс Вебмастере

Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.

Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».

В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.

В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.

Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.

Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.

Здесь же можно посмотреть исключенные из поиска страницы.

В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.

Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.

После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.

Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.

Как проверить индексацию в Google Search Console

Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».

Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:

1. Без ошибок (нужно стремиться, чтобы важные страницы сайта были именно в этом списке).
2. С ошибками.
3. Без ошибок, но с предупреждениями (как правило, предупреждения можно игнорировать).
4. Исключенные.

Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.

Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.

Как проверить индексацию без доступа к сайту

Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.

Поисковые операторы

Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.

В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.

В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.

В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.

Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.

Минус такого способа проверки не только в том, что он отнимает больше времени — данные выдачи могут не совпадать с реальностью. Особенно часто этим грешит Яндекс. 

Например, при проверке моего сайта с помощью оператора site выяснилось, что в поиске всего 164 страницы. А в панели Яндекс Вебмастера (раздел «Страницы в поиске») отображаются все 330 страниц. Вебмастер дает более точную информацию, поэтому верить все же стоит ему, а не данным в выдаче.

SEO-сервисы и утилиты

Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.

Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.

Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.

Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.

Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.

SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.

Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.

RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox. В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.

Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует. Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.

И не забывайте, что данные в поиске тоже неточные (особенно в Яндексе). Если вы мониторите собственный сайт, лучше пользуйтесь отчетами Google Search Console и Яндекс Вебмастера.

Как проверить индексацию отдельных страниц

Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.

Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.

Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».

Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».

Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).

Как контролировать процесс индексации

Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу. 

Вот краткий список рекомендаций:

Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.

Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).

Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.

Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.

Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.

Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.

Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.

Поделиться

СВЕЖИЕ СТАТЬИ

Другие материалы из этой рубрики

Не пропускайте новые статьи

Подписывайтесь на соцсети

Делимся новостями и свежими статьями, рассказываем о новинках сервиса

«Честно» — авторская рассылка от редакции Unisender

Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы и интервью с экспертами диджитала.

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Как запустить email-маркетинг с нуля?

В бесплатном курсе «Rock-email» мы за 15 писем расскажем, как настроить email-маркетинг в компании. В конце каждого письма даем отбитые татуировки об email ⚡️

*Вместе с курсом вы будете получать рассылку блога Unisender

Оставляя свой email, я принимаю Политику конфиденциальности

Наш юрист будет ругаться, если вы не примете 🙁

Индекс Google: как проверить общее количество проиндексированных страниц и получить мгновенное индексирование поисковыми роботами Google

Если вы хотите, чтобы ваш сайт отображался в результатах поиска Google, он должен быть частью поискового индекса Google.

Вы можете думать об этом индексе Google как о гигантской библиотеке веб-сайтов и отдельных страниц, которые Google хранит для ускорения поиска.

Если все пойдет правильно, ваш сайт будет проиндексирован автоматически, а если нет? Или что, если проиндексированы только некоторые из ваших веб-страниц или ваши проиндексированные веб-страницы?

Это руководство расскажет вам все об индексе Google и о том, как убедиться, что весь ваш контент проиндексирован должным образом, что является основополагающим для SEO.

Нажмите здесь, если у вас серьезные проблемы с деиндексацией в Google.

Содержание

Что такое проиндексированные страницы веб-сайта?

Google ведет регулярно обновляемый «индекс» релевантных страниц в Интернете, чтобы он мог быстрее генерировать страницы результатов поисковых систем (SERP). Опять же, лучше всего думать об этом индексе Google как о своего рода библиотеке, в которой Google может легко разобраться, когда это необходимо; если ваших страниц нет в индексе, они не будут в поисковой выдаче.

Google использует автоматических ботов (известных как пауки, или Googlebot, конкретное название веб-паука Google) для постоянного поиска в Интернете нового контента и недавно запущенных веб-сайтов для добавления в индекс.

Любые новые страницы или значительные объемы информации, добавленные на веб-страницы , отмечаются Google.  Каждая страница веб-сайта индексируется поисковым роботом на предмет ценности контента и будущих поисковых запросов потребителей.

Будущий клиент Интернета может осуществлять поиск, используя определенные ключевые слова, а ключевые слова могут находить веб-страницы с определенным содержанием или изображением.

Поисковые системы Google и поисковые роботы узнают о каждой новой части информации, напечатанной или размещенной на веб-странице, по мере ее публикации.

Почему страницы сайта индексируются?

Каждая новая страница веб-сайта в Интернете индексируется по определенным категориям и другим инструментам маркировки.

Страницы индексируются, потому что содержание и сами веб-сайты должны быть перечислены среди множества других веб-сайтов, которые могут быть похожими.

Сначала необходимо проиндексировать страницу.

Боты Google сканируют веб-сайт и создают кешированную копию каждой страницы. Добавляются уже заполненные индексы, и, например, может быть создана новая иерархия ценных страниц веб-сайта.

В конечном счете, процесс индексации Google позволяет Google выполнять поиск в Интернете более тщательно, точнее и быстрее.

Как сделать так, чтобы Google проиндексировал ваш сайт?

Вот хорошие новости. Google делает большую часть работы за вас.

Если вы не спешите проиндексировать все свои страницы и на вашем сайте нет ничего необычного, все, что вам нужно сделать, это подождать, пока поисковые роботы Google в конечном итоге обнаружат ваш сайт и соответствующим образом обновят индекс Google. В зависимости от нескольких переменных этот процесс может занять от нескольких часов до нескольких недель. И даже когда ваша страница в конечном итоге будет проиндексирована, она, вероятно, испытает волатильность рейтинга из-за явления, ласково называемого Google Dance.

Если вы заинтересованы в ускорении процесса или просто хотите убедиться, что у Google есть точная информация, вы можете отправить карту сайта и запросить индексацию через Google Search Console — бесплатный инструмент, предоставляемый Google веб-мастерам. Если вы еще этого не сделали, вам необходимо зарегистрировать учетную запись и подтвердить свое право собственности на веб-домен.

После этого перейдите к «инструменту проверки URL» и вставьте URL-адрес, который Google должен проиндексировать.

Если вы хотите просканировать весь сайт, просто вставьте свой домен высокого уровня и нажмите «Запросить индексирование Google». Имейте в виду, что этот процесс может занять несколько дней или дольше.

Если вы хотите поработать над созданием XML-файла карты сайта, вы также можете загрузить его непосредственно в Google через Google Search Console. В разделе «Индекс Google» нажмите «Карты сайта», и у вас будет возможность загрузить свою карту сайта напрямую.

Как узнать, сколько страниц вашего сайта проиндексировано Google

Как узнать наверняка, проиндексированы ли ваш сайт и все страницы?

Для быстрого и грязного метода просто выполните простой поиск по сайту в строке поиска Google с помощью «site:yourdomain.com»

Ниже приведен результат поиска по сайту SEO.co:

Если ваш сайт не отображается, значит, он может быть не проиндексирован, и может быть что-то не так.

Как использовать средство проверки проиндексированных страниц Google?

Вы также можете использовать средство проверки проиндексированных страниц Google, чтобы определить, проиндексированы ли ваши страницы. Средство проверки проиндексированных страниц Google можно использовать следующим образом:

• Введите свой URL-адрес в средство проверки проиндексированных страниц Google.
• URL-адрес — это веб-сайт, который вы хотите проверить на предмет его рейтинга или ценности содержимого веб-страницы.
• Нажмите «Продолжить», чтобы получить результаты поиска Google по вашему сканированию.

Получение сведений о страницах, проиндексированных Google, в Google Search Console

Как узнать, сколько страниц в настоящее время проиндексировано Google для моего бизнеса?

Если вы хотите копнуть глубже и точно узнать, какие из ваших страниц были проиндексированы, лучше всего использовать Google Search Console.

Войдите в систему, перейдите в область индекса Google и перейдите на вкладку «Покрытие». Там вы сможете создать список «Все известные страницы».

Здесь вы получите информацию о том, сколько ваших страниц действительны в настоящее время, сколько «Действительно с предупреждениями» и сколько у вас «Ошибок».

Если вы видите здесь нули по всем направлениям, это означает наличие серьезной проблемы; Google вообще не индексирует ваш сайт.

Если вы видите количество страниц в столбце «Действительные», равное количеству страниц на вашем сайте, все готово. Если у вас есть какие-либо страницы в разделах «Действительно с предупреждениями» или «Ошибка», вы можете изучить их; Google точно скажет вам, что не так и что нужно исправить, чтобы решить проблему.

Пока вы это делаете, вы можете проверить, проиндексирована ли конкретная страница, используя инструмент проверки URL (уже обсуждался выше). Просто скопируйте и вставьте URL-адрес или инструмент проверки URL-адресов в инструмент, и Google сообщит вам, присутствует ли страница в индексе Google или нет.

Это прекрасно подходит для проверки того, что ваши усилия увенчались успехом, если вам нужно устранить неполадки с конкретной неиндексированной страницей. Это также то, как вы можете мгновенно проиндексироваться.

Почему Google не индексирует ваш сайт

Такое случается нечасто, но когда случается, это ужасно.

Если вы собираетесь получать органический трафик от онлайн-поиска, вам необходимо убедиться, что ваш сайт виден. Другими словами, если вы хотите показываться на страницах результатов поиска Google, Google должен знать, что ваш сайт существует. .

И если ваш сайт не индексируется Google, он может и не существовать.

Но есть большая разница между индексацией Google и ранжированием в Google.

Если ваш веб-сайт вообще не отображается в органическом поиске, боритесь с искушением начать паниковать. В большинстве случаев это просто указание на какую-то ошибку или блокировку, которая не позволяет Google проиндексировать ваш сайт, и эти проблемы легко исправить.

Взгляните на эти 10 причин, по которым Google может не индексировать ваш сайт. Если вас не удается найти в Google, скорее всего, виновата одна из них. Если ваш сайт не ранжируется, это совсем другая история.

1. У вас нет домена с www и без www.

Для обычного посетителя веб-сайта нет реальной разницы между URL-адресом, начинающимся с https:// или https://www. Оба они в конечном итоге приводят вас к одному и тому же месту, поэтому большинство пользователей и инструментов Google для веб-мастеров не задумываются об этом. Но вариант с www на самом деле является поддоменом более широкой версии без www. Чтобы правильно проиндексировать ваш веб-сайт, вам необходимо подтвердить свое право собственности на оба в Google Webmaster Tools. Вы также можете указать свой предпочтительный домен, чтобы сообщить Google, какую версию вы хотели бы использовать в первую очередь.

2. Google все еще ищет ваш сайт.

Если вы только что запустили сайт и взволнованно искали его в Google, расслабьтесь. Обычно Google требуется не менее нескольких дней, чтобы проиндексировать новый сайт. Если прошло уже несколько дней, а вы все еще не видите никаких результатов, это может означать, что у Google возникли проблемы с индексацией вашего сайта, и обычно это означает, что у вас проблема с картой сайта. Если вы еще не создали или не загрузили правильно отформатированную карту сайта, это может быть вашей проблемой. После исправления вы можете «заставить» Google сканировать ваш сайт через Google Search Console.

Это, безусловно, самый распространенный виновник, поэтому, если ваши страницы не проиндексированы, это, вероятно, причина.

3. У вас есть устаревший файл robots.txt.

Файлы robots.txt — это файлы инструкций, которые могут указывать поисковым роботам, как работать.

Иногда разработчики или контент-менеджеры используют файл robots.txt, чтобы запретить поисковым системам намеренно индексировать данную страницу (например, если страница не готова для публичного просмотра).

По сути,  файл взаимодействует со сканерами Google и сообщает им не индексировать сайт или определенную страницу на этом сайте , поэтому, если вы обновите или удалите файл, у вас больше не будет проблем с индексированием.

Надлежащий аудит веб-сайта проведет тщательное сканирование кода вашего веб-сайта и обновит все экземпляры файлов robots.txt, которые отсутствуют по определенной причине.

Вам все равно нужно будет дать Google несколько дней, чтобы Google проиндексировал ваш сайт после исправления ошибочного файла.

4. Google испытывает ошибки при сканировании.

Это случается не часто, , но есть вероятность, что у Google возникают проблемы со сканированием некоторых ваших веб-страниц или веб-страниц вашего индекса.

Если ваша домашняя страница индексируется, но не все ваши внутренние страницы, это может быть признаком простой ошибки сканирования. Войдите в консоль поиска Google и нажмите «Сканирование», затем «Ошибки сканирования».

Это приведет вас к списку всех страниц вашего сайта, на которых в настоящее время возникают ошибки сканирования. Эти ошибки иногда связаны с файлами robots.txt, описанными выше, но также могут быть результатом ошибок DNS или ошибок сервера, которые в большинстве случаев легко исправить.

5. Дублированный контент мешает поисковым роботам.

Если вы следуете передовым методам контент-маркетинга, это не должно быть проблемой, но в некоторых случаях на вашем сайте может существовать дублированный контент, например варианты слов на «главной странице», предназначенные для несколько иной аудитории.

Если Google обнаружит несколько экземпляров дублированного контента, роботы поисковых систем могут запутаться и вообще отказаться от индексации вашего сайта.

Самый простой способ исправить это — избавиться от совпадающего содержимого.

Если полное удаление повторяющегося контента невозможно, вы можете использовать переадресацию 301 или выборочные файлы robots.txt, чтобы Google сканировал только один экземпляр каждой страницы.

6. Проблемы с загрузкой вашего сайта.

Если Google собирается проиндексировать ваш сайт, ваш сайт должен быть запущен.

Это означает, что если у вас возникли проблемы с загрузкой, когда Google пытается проиндексировать ваш сайт, вы можете упустить возможность быть проиндексированным.

Иногда проблема заключается в смехотворно долгом времени загрузки; в этом случае вы можете уменьшить время загрузки, настроив достойную систему кэширования, уменьшив размер изображений и установив несколько приложений, чтобы сайт загружался быстрее. Также возможно, что ваш хостинг ненадежен, что приводит к периодическим простоям, которые прерывают попытки индексации Google.

7. Вы используете плохо оптимизированные языки программирования.

У Google есть определенные предпочтения в отношении типа кода на вашем сайте. HTML — один из самых легко индексируемых языков, но не все варианты так удачны.

JavaScript и AJAX, например, поддерживаются Google, но их не так легко индексировать, как HTML.

Если ваш сайт построен на AJAX или JavaScript, а ваша структура не совсем правильная, у Google могут возникнуть проблемы с индексацией ваших страниц.

8. Вы заблокированы .htaccess или настройками конфиденциальности.

Если вы запускаете сайт WordPress, возможно, вы случайно включили настройки конфиденциальности — вы можете отключить их, проверив «Конфиденциальность» на вкладке «Настройки».

Также возможно, что вы используете файл .htaccess для своего веб-сайта на сервере.

Хотя файлы . htaccess в большинстве случаев полезны, иногда они могут мешать индексации сайта.

9. Где-то в метатеге есть пометка Noindex или Nofollow.

Как и файл robots.txt, это дополнение может скрыть страницы вашего сайта от обнаружения поисковыми роботами. Проверьте код своего сайта и найдите тег «noindex» где-нибудь в мета-заголовке. Если вы обнаружите это где-то, вы сразу же диагностируете проблему с индексацией. Просто удалите тег и замените его, если это необходимо, и вы должны вернуться на быстрый путь к индексации поисковыми системами.

10. Вы получили крупный штраф.

Когда Google наказывает сайты, он обычно делает это, снижая рейтинг и, следовательно, видимость и трафик. Однако бывают редкие и крайние случаи, когда Google наказывает сайт, полностью удаляя его из индексов.

Это тип ручного наказания, предназначенного для серьезных нарушений, поэтому вам не нужно беспокоиться об этом, если вы не сделали что-то очень неправильное в глазах поисковых систем.

Если вы были деиндексированы таким образом, вы, вероятно, уже были уведомлены поисковой системой, поэтому, если это не так, вам не нужно беспокоиться о том, что вас не индексируют в качестве наказания.

Как только ваш сайт будет проиндексирован, дайте Google несколько дней, чтобы наверстать упущенное. Вскоре вы должны увидеть свой сайт в результатах поиска.

Если у вас все еще возникают проблемы, возможно, ваша проблема с индексацией может быть более сложной, чем обычно.

Если вы появляетесь, но имеете очень низкий рейтинг, это может быть признаком того, что ваш сайт все еще новый и не имеет большого авторитета, или это может быть признаком штрафа.

В любом случае, приверженность передовым практикам в течение длительного периода времени — лучший способ повысить свою узнаваемость.

Как исправить проблему, если страницы моего веб-сайта не отображаются в списке?

Если ваш сайт не полностью проиндексирован в Google, вы можете упустить серьезный трафик (и доход). Если страниц нет в поисковой выдаче Google, их невозможно обнаружить.

Если вы обнаружите, что некоторые (или все) ваши страницы не индексируются, выполните следующие действия:

1. Используйте Google Search Console, чтобы проверить, какие страницы не индексируются. Весь ваш сайт не индексируется или это всего лишь несколько страниц? Как вы могли догадаться, чем больше страниц отсутствует, тем больше проблема.

2. Определите основную причину проблемы. Даже если вы не являетесь техническим экспертом, вы сможете выяснить основную причину вашей проблемы. Просмотрите предыдущий раздел, чтобы узнать о возможных причинах, по которым Google может не проиндексировать ваш сайт. Если ваш сайт новый и ни одна из ваших страниц не проиндексирована, это может быть естественной задержкой. Если это не так, возможно, у вас есть файл robots.txt, блокировщик конфиденциальности или другой фрагмент кода, который препятствует индексации ваших страниц.

3. Устраните проблему и отправьте обновленную карту сайта. Какой бы ни была проблема, работайте над ее устранением. Когда вы закончите, вы можете отправить обновленную карту сайта в Google. В Google Search Console выберите «Добавить свойство» и загрузите обновленную карту сайта. Когда вы закончите, вы можете использовать инструмент «Просмотреть как Google», чтобы специально запросить бота для сканирования указанной вами страницы. Просто введите URL-адрес, выберите «Настольный» или «Мобильный» и нажмите «Получить». Этот процесс займет некоторое время, но после его завершения Google оценит ваши страницы на предмет индексации.

Если вы застряли с непроиндексированными страницами и не знаете, что не так, выполните следующие основные шаги по устранению неполадок:

• Удалите все блокираторы сканирования в файле robots.txt. Проверьте файл robots.txt, перейдя по адресу yourdomainhere.com/robots.txt. Там вы можете использовать CTRL + F для поиска «Googlebot» и «*». Если у вас есть какие-либо строки, в которых указано User-agent: Googlebot или User-agent: * (что относится ко всем ботам), запрещенные ими страницы не будут проиндексированы в Google. В некоторых случаях это может быть выгодно, но чаще это просто препятствие для индексации. Обновите файл robots.txt на сервере, чтобы решить эту проблему.
• Удаление ненужных тегов noindex. Аналогичным образом, если в ваших метатегах есть теги content=»noindex», поисковые роботы Google не будут индексировать ваш контент. Эту проблему легко найти и исправить, даже если у вас нет навыков кодирования.
• Удалите неточные канонические теги. Канонические теги — это необязательные теги страниц, которые сообщают Google, какая версия вашей страницы является предпочтительной, «канонической» страницей. На некоторых страницах есть канонический тег, который указывает Google, что это единственная версия. Однако при неправильной реализации канонический тег может заставить Google искать другую каноническую страницу, которой не существует. Если это произойдет, это может помешать процессу индексации Google. Если это ваша проблема, она должна отображаться как ошибка сканирования в консоли поиска Google.
• Обновите карту сайта. Робот Google должен иметь возможность органически обнаруживать весь ваш контент, но вы можете создать и обновить свою XML-карту сайта, чтобы быть уверенным. Загрузите это через Google Search Console, чтобы помочь Google «увидеть» весь спектр вашего сайта.

И помните, большинство людей, обеспокоенных тем, что их сайты не индексируются, просто не ждали достаточно долго.

Если с момента запуска вашего веб-сайта прошло всего несколько часов или несколько дней, постарайтесь набраться терпения.

Пауки Google хороши в том, что они делают, но им нужно время, чтобы работать.

Как оцениваются и ранжируются страницы веб-сайта?

То, что страницы вашего веб-сайта проиндексированы, не означает, что они будут хорошо видны в результатах поиска Google. Это потому, что Google хочет, чтобы пользователи поиска Google находили наилучший возможный контент при выполнении поиска.

Google классифицирует страницы на основе их релевантности и ранжирует их в соответствии с их надежностью (или «авторитетом»), поэтому, даже если ваши страницы проиндексированы, они могут не отображаться в результатах поиска вашей целевой аудитории.

Поисковая оптимизация (SEO) — это процесс внесения внутренних и внешних изменений для повышения вероятности ранжирования ваших страниц.

Это чрезвычайно глубокая тема, которая не может быть достаточно раскрыта в одной статье, но если вы новичок в мире SEO, стоит учитывать следующие факторы ранжирования:

• Релевантность контента. Google должен убедиться, что ваш контент соответствует намерениям пользователей поиска. В старые времена SEO это означало размещение определенных ключевых слов и фраз на вашем сайте. В наши дни Google слишком изощрен, чтобы попасться на эту уловку; вместо этого лучше отвечать на конкретные вопросы, которые могут возникнуть у пользователя, или естественно и подробно освещать конкретную тему.
• Качество контента. Google хочет, чтобы только лучший контент имел достаточно высокий рейтинг, чтобы пользователь мог щелкнуть его. Ваш контент должен быть глубоким, кратким и хорошо написанным. Он должен ссылаться на несколько источников, полностью освещать тему и не содержать ошибок.
• Заголовки и теги. Внутренний код ваших страниц также имеет значение. Включение кратких, стратегически загруженных ключевых слов тегов заголовков, метаописаний и заголовков может повысить ваш потенциал ранжирования.
• Внешние ссылки. С точки зрения Google одним из лучших показателей надежности является ссылка, указывающая на вашу страницу с внешнего сайта. Чем больше у вас внешних ссылок и чем авторитетнее эти ссылки (т. е. они исходят из надежного источника), тем лучше.
• Внутренние ссылки. Также полезно, чтобы ваши страницы были тесно связаны друг с другом, чтобы пользователи могли легко переходить со страницы на страницу на вашем сайте. Кроме того, роботу Googlebot будет легче сканировать ваш сайт.
• Скорость загрузки и технические факторы. Google также учитывает множество технических факторов, влияющих на эффективность вашей страницы. Например, страницы, которые оптимизированы для мобильных устройств и быстро загружаются, имеют более высокий рейтинг, чем те, которые не оптимизированы и не могут.

Как мне увеличить трафик и конверсию продаж для моего интернет-бизнеса?

Даже если у вас есть привлекательный продукт и фантастическая бизнес-модель, это не будет иметь значения, если люди не узнают о вашем бизнесе.

И лучший способ сделать ваш бизнес узнаваемым в современную эпоху — это использовать поисковую систему Google.

Индексация — это первый шаг. Прочитав это руководство, вы сможете правильно проиндексировать свой веб-сайт в Google, даже если для этого вам придется выполнить некоторые шаги по устранению неполадок.

После этого вам нужно будет посвятить свое внимание повышению вашего рейтинга в поисковой выдаче Google с помощью построения ссылок для SEO, создания контента и других тактик SEO. Если вы хотите узнать больше или готовы начать SEO-стратегию с нуля, свяжитесь с нами сегодня для бесплатной консультации!

Резюме

Индекс Google — это архив веб-контента, который он использует для более быстрой обработки пользовательских запросов, и индексирование вашего сайта жизненно важно.

К счастью, получить индекс обычно несложно, даже если вы столкнетесь с несколькими препятствиями на этом пути.

После индексации единственный способ сделать ваш сайт видимым для новых пользователей — это повысить рейтинг в поисковой выдаче, и единственный способ сделать это — с помощью SEO.

• Автор
• Последние сообщения

Сэмюэл Эдвардс

Директор по маркетингу компании SEO

За более чем 9 лет работы в области цифрового маркетинга Сэм работал с бесчисленным количеством малых предприятий и предприятий из списка Fortune 500 компаний и организаций, включая NASDAQ OMX, eBay, Duncan Hines, Drew Barrymore , Вашингтон, округ Колумбия, юридическая фирма Price Benowitz LLP и правозащитная организация Amnesty International. Как технический SEO-стратег, Сэм возглавляет все платные и органические операционные группы для клиентских SEO-услуг, услуг по построению ссылок и партнерских отношений с SEO. Он постоянно выступает на конференциях Search Marketing Expo и выступает на TEDx Talker. Сегодня он работает напрямую с высококлассными клиентами по всем вертикалям, чтобы максимизировать рентабельность инвестиций в поисковую оптимизацию на сайте и за его пределами с помощью контент-маркетинга и построения ссылок. Свяжитесь с Сэмом на Linkedin.

Последние сообщения Сэмюэля Эдвардса (см. все)

Проиндексированные и непроиндексированные страницы в Google

Вернуться к сообщениям

6 мая 2014 г. домена в качестве представителя по онлайн-продажам — при правильном проведении контент-маркетинговой кампании она может привлекать трафик и потенциальных клиентов. Следующим шагом с этим веб-сайтом должно быть обеспечение того, чтобы Google распознал этот веб-сайт. Король поиска делает это, находя, сканируя и индексируя отдельные веб-страницы.

Google находит веб-страницы (уникальные URL-адреса) по ссылкам и XML-картам сайта, отправленным в Инструменты Google для веб-мастеров. Google просматривает веб-страницы, которые он находит, чтобы определить ценность контента на странице, связанного с поисковыми пользователями и их запросами. Затем он индексирует страниц на основе этих определений (подумайте об этом как об огромной библиотеке веб-страниц, каталогизированной Google).

Если вы правильно настроили свой веб-сайт в Инструментах Google для веб-мастеров, вы уже отправили карту сайта в формате XML (или за вас это сделала замечательная компания онлайн-маркетинга, такая как Blue Corona).

Но что происходит, когда вы отправляете свою карту сайта, а есть проиндексированные и непроиндексированные страницы? К счастью для вас, именно для этого я здесь!

Что означает «проиндексированные страницы»?

Проиндексированные страницы были обнаружены поисковыми роботами (такими как поисковые роботы Google) и признаны достаточно качественными для релевантных поисковых фраз. Проиндексированные страницы будут отображаться в результатах поиска и могут привлекать органический трафик на ваш сайт.

В приведенном ниже примере видно, что 137 страниц сайта этой компании были проиндексированы Google:

Что означает «неиндексированные страницы»?

Google не гарантирует, что он будет сканировать (или, таким образом, индексировать) каждый URL-адрес вашего веб-сайта. Если ваш веб-сайт новый или вы недавно добавили на него много новых страниц, возможно, они еще не проиндексированы. При наличии миллионов доменов Google требуется некоторое время, чтобы просканировать и проиндексировать каждый из них, чтобы получить максимальную пользу от своих поисковых пользователей. Если вы недавно добавили или обновили карту сайта, дайте ей время, прежде чем новые страницы будут проиндексированы.

Если прошло какое-то время, а Google по-прежнему указывает многие страницы в вашей карте сайта как «не проиндексированные», это может быть более серьезной проблемой либо с качеством ваших страниц, либо со структурой вашей карты сайта. Страницы, которые Google часто не индексирует, включают:

• Страницы категорий блогов
• Страницы автора блога
• Страницы, проиндексированные под другим доменом (www.example.com, а не example.com)
• Страницы с ошибкой 404 или сервером
• Страницы с кодировкой или каноническим тегом, которые говорят Google игнорировать их
• Страницы низкого качества или дублированный/идентичный контент на разных страницах

Как заставить Google индексировать больше страниц?

Вместо того, чтобы зацикливаться на том, сколько страниц «не проиндексировано», сосредоточьтесь на том, чтобы каждая страница вашего сайта содержала высококачественный контент, который пользователи сочтут ценным. Но если вы обнаружите, что количество отправленных вами страниц не соответствует количеству проиндексированных Google страниц, вы можете сделать несколько вещей, чтобы Google оценил каждую страницу вашей карты сайта:

• Включите соответствующий контент на каждую из страниц вашего веб-сайта
• Повысьте авторитет вашего веб-сайта, получив больше ссылок с авторитетных сайтов
• Сделайте так, чтобы страницы вашего веб-сайта легко находили Google
• Отправьте обновленные карты сайта в Инструменты Google для веб-мастеров
• Сосредоточьтесь на создании и распространении замечательного контента

Узнайте больше об улучшении статуса индексации вашего сайта »

В основном я говорю вам, что да, иногда у вас будут как проиндексированные, так и неиндексированные страницы в статусе индекса ваших инструментов Google для веб-мастеров.