Также вы можете проверить статус при помощи строки поиска. Для необходимо воспользоваться специальными операторами. Их можно найти в документации для Яндекса и Гугла.

Если вам нужна массовая проверка, то вы можете воспользоваться специальными сервисами:

Отправление страницы на переобход

Если вы хотите, чтобы робот обошел материал еще раз, то вам необходимо отправить страницу на переобход. Это можно сделать при помощи панелей для вебмастеров.

В Яндекс.Вебмастере

Перейдите в “Индексирование” – “Переобход страниц”.

Введите адреса нужных документов в столбик – одна ссылка – одна строка. После этого нажмите кнопку “Отправить”. В течение нескольких часов робот Яндекса вновь проиндексирует материал.

В Search Console

Нужно ввести нужный адрес в поле в верхней панели – далее кликнуть на кнопку “Запросить индексирование”.

Как ускорить индексацию

Чтобы ускорить индексацию, вы должны соблюсти несколько требований. В первую очередь, это добавление ресурса в поисковую систему – желательно через сервис для вебмастеров. Далее следуют повседневные рекомендации, выполняя которые, вы можете добиться ускорения этого процесса.

1. Добавлять на сайт интересный контент. Будет лучше, если размещение материалов на ресурсе будет носить регулярный характер. В таком случае высока вероятность того, что на вашем проекте будут обитать быстроботы – они индексируют статьи в течение нескольких часов.
2. Оптимизировать скорость загрузки при помощи сжатия картинок, оптимизации HTML, CSS, JS. Будет хорошо, если вы подберете для своего проекта быстрый виртуальный хостинг.
3. Сформировать правильную структуру сайта, добавить функционал для удобной навигации. Поисковики могут оценивать, насколько ваш ресурс удобен для пользователей.
4. Настроить перелинковку между материалами, рубриками и прочими страницами. Когда робот анализирует какую-то страницу со ссылками, он автоматически еще и индексирует те документы, на которые эти ссылки ведут.
5. Создать правильный robots.txt. Вы должны закрыть ненужные технические страницы, оставив только само содержимое. Так в ранжирование не будет попадать мусор, это гарантирует, что ПС будут чаще посещать ваш проект.
6. Создать XML-карту сайта и добавить ее в Яндекс Вебмастер и Search Console. С помощью этой карты Яндекс и Гугл будут ориентироваться по материалам. Это в значительной мере улучшит скорость анализа. Также можно сделать обычную карту сайта для пользователей. С ее помощью ваши гости смогут легко находить нужные статьи или рубрики. Это улучшит поведенческие факторы и видимость в ПС.
7. Создать профили своего проекта в социальных сетях и регулярно размещать там ссылки на статьи. Это элемент крауд-маркетинга, который сейчас очень хорошо воспринимается ПС.
8. Регулярно проверять сайт на ошибки и устранять их. Самые серьезные будут отображаться в сервисах для вебмастеров. Также вы можете закидывать ресурс на валидатор, чтобы определить ошибки в HTML/CSS-коде.

Раньше для этих целей использовали пингование. Оповещение ПС при помощи специальных плагинов или сервисов о выходе нового поста. Сейчас такой формат почти не используется. Яндекс и Гугл ограничили этот функционал, теперь в прежнем варианте пинг использовать нельзя.

Как закрыть сайт от индексации

Для этого мы можем использовать два способа:

Просто нужно удалить все содержимое этого файла, добавив вместо него:

User-agent: *

Disallow: /

С помощью этой строчки вы скажете всем поисковым роботам, что ваш ресурс индексировать не нужно – ни одной странички. Если до этого какие-то материалы попали в ранжирование – они будут удалены.

Также можно запретить индексацию для роботов какой-то отдельной поисковой системы. Для этого вместо звездочки, в User-agent: вы должны ввести название этого робота. Например, Yandex – для Яндекса, Googlebot – для Google.

Когда вы передумаете, вам нужно будет просто удалить этот код и добавить вместо него нормальное содержимое файла.

• С помощью мета-тегов

На каждой странице должны быть размещены следующие мета-теги:

<meta name=»robots» content=»noindex, nofollow»/>

<meta name=»Yandex» content=»noindex, nofollow»/> – если хотим закрыть для какой-то конкретной ПС, то в поле name вставляем имя робота.

Разместить такие мета-теги можно при помощи плагина Yoast SEO. В нем есть отдельные параметры, которые отвечают за индексацию. Можно закрыть как отдельную страницу, так и весь ресурс в целом.

Закрывать от индексации отдельные страницы при помощи мета-тегов считается хорошим тоном. Это и проще, и быстрее – не надо по многу раз дополнять файл robots.txt.

Заключение

Для того, чтобы ваш сайт хорошо индексировался, вы должны соблюдать совсем несложные требования. Нужно просто добавить его в Яндекс Вебмастер и Search Console, следить за регулярным выходом качественных материалов, своевременно исправлять ошибки и не нарушать правил.

Все это гарант того, что ваш проект будет на хорошем счету у роботов. А это, в свою очередь, будет иметь материальное значение. Ваши статьи будут выше в выдаче, дохода будет больше.

Некоторым новичкам бывает очень сложно разобраться со всеми тонкостями SEO-оптимизации. Очень много разной информации и не всегда она правильная. Если вы один из таких новичков, то я рекомендую вам пройти курс Василия Блинова “Как создать сайт”.

Из материалов с этого курса вы сможете узнать о том, как создать собственный информационный проект под монетизацию. Там рассмотрены наиболее важные нюансы, которые должен учитывать каждый вебмастер.

iklife.ru

Индекс и индексация сайта: что это такое?

Индекс поисковых систем – специальная база данных, в которую заносится информация, собираемая поисковыми роботами со страниц сайтов. При этом учитывается текстовое наполнение, внутренние и внешние ссылки, графические и некоторые другие объекты. Когда пользователь задает запрос поисковой системе, происходит обращение к базе данных. После этого выполняется ранжирование по релевантности – формирование списка сайтов по мере убывания их значимости.

Что такое индексация

Процесс добавления роботами собранной информации в базу называется индексацией. Затем данные определенным образом обрабатываются и создается индекс – выжимка из документов. Процесс заполнения индекса осуществляется одним из двух способов: вручную или автоматически. В первом случае владелец ресурса должен самостоятельно добавить URL веб-ресурса в специальную форму, которая есть у «Яндекса», Google и других поисковых систем. Во втором робот сам находит сайт, планомерно переходя по внешним ссылкам с других площадок или сканируя файл-карту sitemap.xml.

Первые попытки индексировать веб-ресурсы были сделаны еще в середине 90-х годов прошлого столетия. Тогда база данных была похожа на обычный предметный указатель, в котором содержались ключевые слова, найденные роботами на посещенных ими сайтах. Почти за 30 лет этот алгоритм был значительно усовершенствован и усложнен. Например, сегодня информация перед попаданием в индекс обрабатывается по сложнейшим вычислительным алгоритмам с привлечением искусственного интеллекта.

Зачем индекс поисковым системам

Индексация страниц сайта – неотъемлемая часть работы поисковых систем (не только Google и «Яндекса», но и всех остальных). База, полученная в процессе сканирования веб-ресурсов, используется для формирования релевантной выдачи. Основные роботы поисковых систем:

• основной – сканирует весь контент на сайте и его отдельных страницах;
• быстрый – индексирует только новую информацию, которая была добавлена после очередного обновления.

Также существуют роботы для индексации rss-ленты, картинок и др.

При первом посещении в базу попадают все новые сайты, если они подходят под требования поисковой системы. Во время повторного визита информация лишь дополняется деталями.

Скорость индексации страниц

Чем быстрее происходит добавление страницы в индекс, тем лучше для веб-ресурса. Однако поисковые роботы не могут выполнять такой большой объем работы так же часто, как обновляется наполнение сайтов. Индексация в «Яндекс» в среднем занимает одну-две недели, а в Google – несколько дней. С целью ускорения индексации ресурсов, для которых очень важно быстрое попадание информации в базу (новостные порталы и т. д.), применяется специальный робот, посещающий такие сайты от одного до нескольких раз в день.

Как проверить индексацию в «Яндексе» и Google

Воспользоваться информацией из панели веб-мастеров. В списке сервисов Google откройте Search Console, а затем перейдите в раздел «Индекс Google». Нужная информация будет находиться в блоке «Статус индексирования». В «Яндекс.Вебмастер» необходимо перейти по следующей цепочке: «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске».

Задать поиск по сайту с использованием специальных операторов. Для этого используйте запрос с конструкцией «site:», указав далее адрес вашего ресурса в полном формате. Так вы узнаете количество проиндексированных страниц. Серьезные расхождения в значениях (до 80 %), полученных в разных поисковых системах, говорят о наличии проблем (например, веб-ресурс может находиться под фильтром).

Установить специальные плагины и букмарклеты. Это небольшие дополнения для браузера, которые позволяют выполнить проверку индексации страниц сайта. Одним из самых популярных среди них является RDS Bar.

Как ускорить индексацию

На скорость индексации сайта прямо влияют несколько факторов:

• отсутствие ошибок, замедляющих процесс сбора информации поисковым роботом;
• авторитетность ресурса;
• частота обновления контента на сайте;
• частота добавления нового контента на сайт;
• уровень вложенности страниц;
• корректно заполненный файл sitemap.xml;
• ограничения в robots.txt.

Чтобы ускорить индексацию сайта, выполните ряд правил:

• выберите быстрый и надежный хостинг;
• настройте robots.txt, установив правила индексации и сняв ненужные запреты;
• избавьтесь от дублей и ошибок в коде страниц;
• создайте карту сайта sitemap.xml и сохраните файл в корневой папке;
• по возможности организуйте навигацию таким образом, чтобы все страницы были в 3 кликах от главной;
• добавьте ресурс в панели веб-мастеров «Яндекса» и Google;
• сделайте внутреннюю перелинковку страниц;
• зарегистрируйте сайт в авторитетных рейтингах;
• регулярно обновляйте контент.

Дополнительно рекомендуем оценить объем flash-элементов с точки зрения их влияния на продвижение. Наличие визуальных объектов этого типа значительно снижает долю поискового трафика, так как не дает роботам выполнить индексацию в полной мере. Также не желательно размещения ключевой информации в PDF-файлах, сохраненных определенным образом (сканироваться может только текстовое содержимое документа).

wiki.rookee.ru

Что такое индексация сайта?

Индексация сайта представляет собой процесс внесения информации о контенте сайта в базу поисковых систем. Непосредственно индекс это и есть база данных поисковой системы. Если сайт не проиндексирован, то его страницы не смогут оказаться в поисковой выдаче. Поисковая выдача представляет перечень сайтов, которые выдает поисковая система в ответ на запрос пользователя, чем выше авторитет к ресурсу, тем выше он оказывается в этом перечне.

Индексацией занимаются специальные поисковые роботы. Следуя определенным алгоритмам, они обходят всю страницу целиком, находя при этом разрешенные к индексации ссылки, а также всю информацию и изображения. Таким образом, исследуется весь ресурс. Благодаря индексу ПС максимально быстро и корректно отвечает на пользовательские запросы. Индексация сайта это достаточно важный и первоочередной элемент в оптимизации сайта.

Существует различные способы определения сайта поисковыми системами:

1. Можно предоставить поисковым ботам возможность самостоятельно определить созданный сайт либо новые его страницы. Естественно данный процесс занимает определенное время. Следует отметить, что индексация произойдет лишь в случае наличия активных ссылок на ваш ресурс с других индексируемых сайтов, в противном случае ПС может и не узнать о сайте, в то время как большое количество внешних ссылок значительно сократит время прихода поискового робота.
2. Добавление вручную URL на сайт в специальной форме поисковой системы, после чего сайт автоматически оказывается в очереди на индексацию. Достаточно добавить только лишь главную страницу сайта, далее процесс обработки пройдут и все остальные страницы из меню и внутренних ссылок. Способ в некоторых случаях более длительный, но его преимуществом является то, что он наименее энергозатратный и бесплатный.

Процесс индексации в зависимости от различных обстоятельств составляет от нескольких часов до нескольких недель. Следует заблаговременно подготовить сайт к индексации. Основным моментом при этом является правильное заполнение тега <title> и описания сайта. Описание в последующем должно привлекать посетителей на ресурс, убеждать их в уникальности и пользе контента.

Непосредственно управлять индексацией возможно с помощью специального файла robots.txt, либо специального тега NOINDEX и атрибута rel=»nofollow для Яндекса и Google соответственно, которые закрывают страницы для индексации. В дальнейшем необходимо отслеживать процесс индексации ресурса, только так можно добиться увеличения количества посетителей.

seosage.ru

что это такое и как работает

Индексация сайта – это процесс, заключающийся в поиске, сборе, обработке и добавлении поисковыми роботами информации веб-ресурса в базу данных поисковиков.

Поисковый индекс – это база данных поисковых систем, предназначенная для хранения всех сведений, найденных поисковыми роботами на сайтах, попавших под индексацию.

Пояснение терминов «индексация сайта» и «поисковый индекс»

Под индексацией веб-ресурса подразумевают посещение ботами его интернет-страниц, анализ содержащегося в них контента и его добавление в базу данных. Это делается для того, чтобы потом пользователи могли находить информацию на ресурсе по ключевым запросам в поисковых системах.

Проще говоря, юзер заходит в поисковик, вводит в строке поиска нужный ему запрос и в ответ получает список из множества веб-страниц, проиндексированных поисковыми роботами.

Индексация является обязательной процедурой в работе поисковых систем. Для этого создается специальная специализированная база данных, посредством которой и формируются результаты выдачи.

Поисковый индекс любого сайта зависит непосредственно от его контента, внешних и внутренних ссылок, наличия изображений, графиков и прочих материалов. Вводя в поисковой строке запрос, интернет-пользователь обращается к индексу. Затем из него на основании данных осуществляется ранжирование результатов поиска, список страниц, которые выстраиваются по мере уменьшения релевантности запросу.

Представьте, что Всемирная Сеть – это большая библиотека. В ней обязательно должен быть специальный каталог, который делает поиск необходимых материалов гораздо проще. Всем книгам, которые находятся в библиотеке, принадлежит свой шифр. Все шифры объединены темами, разделами и прочими параметрами.

Когда человек приходит в библиотеку и просит книгу на определенную тематику (делает запрос), библиотекарь идет к нужному разделу, достает все книги, соответствующие ему, и подбирает для читателя самую подходящую.

По аналогичному принципу работают и поисковики: пользователь делает запрос, поисковая машина достает все соответствующие страницы и выдает наиболее релевантные.

На заметку. Под занавес прошлого века индексация проходила именно по принципу каталогизации – боты отыскивали на ресурсах ключевые слова, из которых и состояла база данных. В наши дни роботы, помимо ключевиков, учитывают множество других параметров контента, в числе которых уникальность, информативность, грамотность и многое другое. Именно на этом и основывается современная индексация.

С каждым годом поисковые алгоритмы становятся все совершеннее, база данных все больше наполняется дополнительной информацией, при этом поиск для пользователей становится куда легче и более релевантнее.

Как Яндекс и Google индексируют сайты?

Индексированием занимаются два типа роботов:

1. Основные. Изучают контент, содержащийся на страницах интернет-ресурса;
2. Быстрые (быстророботы). Анализируют и индексируют новые материалы, которые добавились после обновления сайта.

Чтобы веб-ресурс был проиндексирован в самых популярных поисковых системах, вебмастеру нужно сообщить о своем проекте:

• Добавить сайт на индексацию, самостоятельно заполнив специальную форму поисковика через такие сервисы, как Google Webmaster, Яндекс.Вебмастер и т.п. Такой способ индексации проходит медленно, от двух недель и дольше, потому что проект попадает в очередь.
• Отправить ресурс на индексацию посредством размещения ссылок на других веб-сайтах. Данный метод является самым эффективным, потому что найденные таким образом страницы боты считают полезными, и индексируют их куда быстрее – не более двух недель, а если повезет, то и вовсе за 12 часов.

В большинстве случаев, новые сайты и страницы индексируются за 1-2 недели. Многие отмечают, что поисковый гигант Google включает интернет-ресурсы в индекс гораздо быстрее, всего за несколько дней. Это связано с тем, что он индексирует страницы не только с качественным, но и плохим материалом. А вот под ранжирование попадает исключительно полезный контент.

У Яндекса подобный процесс проходит медленней, но под индексацию попадают только информативные и полезные страницы, а мусор отсеивается сразу.

Индексирование интернет сайтов проходит в 3 этапа:

1. Робот отыскивает ресурс, изучает информацию, содержащуюся в нем.
2. Добавляет найденный материал в базу данных.
3. Спустя 1-2 недели информация, которая успешно прошла индексацию, попадает в выдачу поисковой системы.

Как проверить индексацию в Google и Яндекс

Проверить, прошел ли сайт или страница индексацию в Яндекс или Google, можно 3 способами:

1. C использованием инструментов webmaster.yandex.ru или google.com/webmasters. Для Яндекса заходим в «Индексирование сайта», после чего в «Страницы в поиске». Для Google, нажимаем «Search Console». Далее выбираем раздел «Индекс Google» и отыскиваем нужные данные в меню «Статус».
2. Посредством плагинов для браузера. Наиболее популярным сегодня является RDS Bar.
3. Введя в поисковую строку команду: site:domen.ru

Как сделать индексацию быстрее?

Естественно, любой вебмастер желает, чтобы роботы как можно скорее проиндексировали их сайт, ведь от этого зависит, насколько быстро содержащийся в нем материал появится в поисковой выдаче, который и привлечет новых посетителей. Чтобы индексация прошла быстрее, стоит следовать таким рекомендациям:

• Добавить проект в поисковую систему.
• Постоянно пополнять сайт новым уникальным, информативным и полезным для целевой аудитории контентом.
• Разместить проект на надежном и скоростном хостинге.
• Создать удобную навигацию по ресурсу, доступ на страницы должен быть не больше 3 кликов от главной.
• Правильно настроить файл robots.txt, а именно: заблокировать индексацию служебных страниц и убрать лишние запреты.
• Проверить количество ключевиков, устранить ошибки в исходном коде.
• Обеспечить внутреннюю перелинковку (соединить страницы сайта между собой ссылками).
• Создать карту сайта. Можно даже сделать карту сайта отдельно для роботов и для посетителей.
• Разместить ссылки на статьи портала в соц.сетях.

Как закрыть ресурс от индексации?

Бывают случаи, когда необходимо закрыть роботам поисковых систем доступ к проекту или отдельным его страницам, частям текста или изображениям. Как правило, владельцы сайтов прибегают к таким действиям, когда хотят спрятать некоторую информацию от публичного доступа, скрыть сайты, находящиеся в разработке, технические или дублированные страницы и т.д. Сделать это можно так:

1. С применением файла robots.txt.
Создайте в корне сайта текстовый документ robots.txt и пропишите в нем правила для поисковых систем, складывающиеся из двух частей. Первая (User-agent) сообщает какой поисковой системе учитывать команды, а вторая (Disallow) запрещает индексацию определенного материала. Чтобы запретить индексацию всего ресурса для роботов всех поисковых систем, нужно прописать команду:

User-agent: *
Disallow: /

2. Посредством мета-тега.
Этот способ лучше подходит для запрета индексирования одной страницы. Теги nofollow и noindex позволяют запретить индексацию отдельной страницы или фрагмента текста роботам всех поисковиков. Прописывается в коде определенной страницы, которую хотите закрыть от индексации.

Команда на запрет индексации всего документа:

<meta name=”robots” content=”noindex, nofollow”/>

Запрет для робота конкретной поисковой машины:

<meta name=”yandexbot” content=”noindex, nofollow”/>

Роль индексации при продвижении сайта

Без индексации веб-ресурсы не появлялись бы в поисковых системах. Регулярное обновление сайта качественным контентом способствует его частому посещению поисковыми ботами, что приводит к более быстрой индексации, высоким позициям проекта в поисковой выдаче и притоку трафика.

Помимо качества контента, поисковые роботы также учитывают посещаемость и поведение посетителей на сайте для оценки его полезности при дальнейшем ранжировании. Поэтому индексация является одним из важнейших процессов при SEO-продвижении интернет-ресурсов.

А для того, чтобы информация была успешно внесена в базу данных поисковиков, боты должны убедиться, что материалы, содержащиеся на сайте, полезны для посетителей.

Заключение

Индексация сайта – это процесс сбора и размещения информации с интернет-ресурсов в базу данных поисковых систем, а индекс поисковой системы – это непосредственно база данных, где и содержатся все материалы с сайтов.

Без индексирования портала и его попадания в индекс невозможно продвижение проекта, привлечение трафика и, соответственно, получение доходов с него. С того момента, как сайт попадет в индекс, начинается отсчет его возраста. А чем больше находится документ в индексе, тем лучше он ранжируется.

Пожалуйста, оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!

Рейтинг статьи: / 5. Кол-во оценок:

webmasterie.ru

Индексация сайта в поисковых системах

СОДЕРЖАНИЕ

Что такое индексация сайта и как она происходит

Как проверить индексацию сайта

Проверить индексацию сайта в Яндекс.Вебмастере

Проверка индексации сайта в Google Search Console

Индексация сайта в Майл (Mail.ru)

Индексация сайта в Bing.com

Сервисы проверки индексации сайтов

Как ускорить индексацию сайта

Быстрая индексация сайта в Яндексе

Индексация картинок сайта

Вопросы

Как запретить индексацию сайта

Как открыть сайт для индексации

Когда последний раз проходил индексацию сайта

Как добавить сайт на индексацию

Что такое индексация сайта и как она происходит

SEO продвижение сайта невозможно без индексации сайта. Чтобы повысить поведенческие факторы, необходимо, чтобы страницы были проиндексированы. Индексация сайта — что это такое простыми словами? У каждой поисковой системы есть свой собственный поисковый робот. Он может в любой момент зайти на сайт и «погулять» по нему, передавая все отсканированные документы (весь html-код, текст, изображения, ссылки и все остальное) в базу своей поисковой системы. Этот процесс принято называть «сканированием».

Далее поисковая система анализирует полученные данные и выставляет ссылки на документы в поисковую выдачу. Именно это и подразумевается под фразой «индексация сайта».

Ну а теперь давайте искать ответы на вопросы «как ускорить индексацию?» и «как улучшить индексацию?»

Как проверить индексацию сайта в Google и Яндекс

Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение – обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:

1. Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.

2. В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.

3. Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.

Проверить индексацию сайта в Яндекс.Вебмастере

Заходим в https://webmaster.yandex.ru/ и логинимся. Далее переходим в «Индексирование сайта» — «Страницы в поиске» (как вариант — «Индексирование сайта» — «История» — «Страницы в поиске»). Здесь можно посмотреть статистику последних изменений в индексации и даже выявить исключенные из индекса страницы.

Проверка индексации в сайта Google Search Console

Чтобы проверить индексацию сайта в Google, нужно первым делом зайти в https://www.google.com/webmasters/tools/home, логинимся, после чего на боковой вкладке «Индекс Google» выбираем «Статус индексирования».

Индексация сайта в Майл (Mail.ru)

У поисковой системы Mail.ru тоже есть свой вэбмастерский кабинет — https://webmaster.mail.ru/. Заходим туда, логинимся и через форму go.mail.ru/addurl добавляем сайт на индексацию. Радует тот факт, что Mail.ru все-таки решила разрабатывать и продвигать свои собственные инструменты для вебмастеров.

Индексация сайта в Bing.com

Кто не в теме, поисковая система Bing была разработана корпорацией Microsoft (ей и принадлежит), чтоб заменить поиск Live Search. В России она пользуется очень малой популярностью. Однако, есть те, кто успешно получает с нее достаточно много поискового трафика. К слову, «пригласить поискового бота» можно и без регистрации – заходим на www.bing.com/toolbox/submit-site-url, вводим адрес сайта, капчу, кнопку «Отправить» и всё!

Сервисы проверки индексации сайтов

В Рунете существует достаточно большое количество сервисов по массовой проверке индексации сайтов. О некоторых из них мы и поговорим.

1) Сервис http://www.seogadget.ru/sepages

Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) – это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.

Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.

2) Сервис http://xseo.in/indexed

Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:

• сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
• можно проверить индексацию еще и в Bing’е.

Как ускорить индексацию сайта

Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.

Самое первое, что нужно сделать – добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.

Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.

Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта – тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).

Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос – тем лучше, ибо если сказать роботу «у нас обед, приходите через час» — робот просто уйдет, причем надолго.

Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.

В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.

Быстрая индексация сайта в Яндексе

Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.

В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.

А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» — «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.

Индексация картинок сайта

В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.

Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?

Однако, есть один универсальный совет по оптимизации изображений – прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.

Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””

Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок – неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.

Как узнать, сколько картинок проиндексировано поисковиком?

Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.

Для Яндекса это будет выглядеть вот так:

А для Google – вот так

Вопросы

Как запретить индексацию сайта

Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько – технические работы на сайте, либо тестируется новый дизайн, и т.д.

Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.

Самый первый, самый популярный и самый простой – через файл robots.txt. Достаточно просто прописать вот этот код:

User-agent: *

Disallow: /

Теперь давайте разберем, что этот код означает.

User-agent – это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка – значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:

Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.

Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй – индивидуальный список для какого-то конкретного робота. В данном случае – робота поисковой системы Яндекс.

User-agent: *

Disallow: /

User-agent: Yandex

Allow: /

С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.

Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.

Второй способ – метатег robots. Для этого необходимо в код сайта добавить следующую строку:

META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”

ВАЖНО!!! Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.

По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.

Третий способ – закрытие сайта через .htaccess

Способ тоже довольно простой – добавить в файл .htaccess следующий код:

Теперь поисковый робот не сможет без пароля получить доступ к сайту.

Это самый верный способ закрыть сайт от индексации, но появляется другая проблема – возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.

Способ 4 представляет собой настройку заголовка ответа HTTP

Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом – вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.

При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.

При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую. Например, вот так:

Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.

Как открыть сайт для индексации

Ответ ранее уже прозвучал – с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).

Еще раз:

Allow: / разрешает индексацию сайта, а Disallow: / запрещает.

Когда последний раз проходила индексация сайта

Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.

В Яндексе же сделано все еще проще – вся необходимая информация и история доступна в Яндекс.Вебмастере:

Как добавить сайт на индексацию

Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт – тем быстрее Вы получите свой первый поисковый трафик.

Добавление сайта в Google

Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl, логинимся (при необходимости), вводим URL, проходим капчу (в данном случае – ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».

Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».

Если с сайтом все в порядке, то индексация произойдет очень быстро.

Добавление сайта в Яндекс

Первым делом заходим на https://webmaster.yandex.ru/, регистрируемся, затем переходим в «Индексирование» — «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.

Добавление сайта в Bing

Тут все еще проще – идём сюда http://www.bing.com/toolbox/submit-site-url, вводим имя домена, капчу, и все – готово! Регистрация при этом не требуется.

ВАЖНО!!! На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.

Добавление сайта в Поиск Mail.ru

Данная процедура тоже достаточно проста – переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl, регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».

Затем на экран будет выведено вот такое сообщение:

Готово!

P.S. Индексация сайта на WordPress, Wix, Joomla, Ucoz или на любой другой CMS или конструкторе — ничем не отличается. Все зависит от набора правил, которые прописаны в файле robots.txt или же в самом коде страниц. Более подробно узнать о том, как правильно настроить файл robots.txt, а также как открыть или закрыть страницы от сканирования в Яндекс и Google прочтите ЭТУ статью! Также, в статье вы найдете готовые файлы robots для правильной индексации сайтов WordPress, Joomla, Wix в Яндексе и Гугле.

stokrat.org

Что такое индексация сайта

Доброго времени суток, посетители блога вебмастерша.ру. В данной статье обсудим такую несложную, но важную тему как индексация сайта. Данное понятие у всех на слуху, поэтому давайте разбираться. Из статьи Вы узнаете: что такое индексация сайта, как ее ускорить и где это сделать.

Индексация сайта простыми словами

Итак, когда Вы пишите статьи и размещаете их на своем сайте, то изначально никто о них кроме Вас не знает. Они просто лежат на просторах интернета и ждут, когда их заметят. А заметить их можно только после того, как к Вам на сайт зайдут так называемые роботы поисковых систем. Они придут, посмотрят, что в интернете появилась новая статья и сделают ее заметной для остальных. Этот процесс и есть индексация. Но вот дело в том, что прийти они могут через день, через два или через месяц, а то и еще дольше. И все это время Ваши статьи будут никому не видны. И это очень плохо для развития ресурса. Однако есть способ ускорить индексацию сайта или отдельных его страниц.

Ускоряем индексацию сайта сами

Для того, чтобы поисковые системы быстрее проиндексировали Ваш сайт необходимо самим рассказать поисковым системам о том, что у Вас появилось что-то новое. Тогда робот в обязательном порядке заглянет к Вам и проиндексирует то, что Вам необходимо. Вот что для этого нужно сделать. Самое основное это то, что у Вас уже давно должны быть зарегистрированы Яндекс и Гугл вебмастер.

Заходим в Яндекс Вебмастер. Слева находим вкладку ИНДЕКСИРОВАНИЕ. Нажимаем на нее и далее выбираем ПЕРЕОБХОД СТРАНИЦ. Это место также известно как аддурилка Яндекс. В окно добавляем страницы своего сайта, которые необходимо проиндексировать. Добавить можно до 20 ссылок в день. Это немного огорчает, тем не менее, это лучше, чем ждать. К тому же, если у Вас не огромный продающий сайт, то этого хватит с головой.

Раньше у аддурилки Яндекс была еще одна замечательная функция, которой больше нет. Туда можно было добавлять ссылки на свой сайт с других источников. Но Яндекс убрал эту функцию, видимо, в связи с борьбой с покупкой ссылок. Теперь можно запрашивать проверку только своего подтвержденного сайта.
С поисковой системой Гугл также. Заходим в Гугл Вебмастер. Слева выбираем СКАНИРОВАНИЕ. Далее переходим на вкладку ПОСМОТРЕТЬ КАК ГУГЛБОТ. Добавляем по одной ссылке без той части, где указано название вашего сайта, только хвост с названием страницы. И отправляем на индексацию.

Это все, что нужно сделать для того, чтобы Ваш сайт быстрее продвигался. Сообщить роботам об обновлении у Вас на сайте совсем несложно и очень быстро. Результат Вы заметите сразу.

Это самое основное, что нужно знать об индексации сайта, конечно, есть некоторые нюансы, например, касающиеся того, что роботы не должны индексировать, и что им лучше не видеть. Но это уже другая тема. А на сегодня все. Удачи.

webmastersha.ru