Индексация сайта что это: Что такое индексация сайта (Как улучшить индексацию в Google)

Содержание

Что такое индексация сайта (Как улучшить индексацию в Google)

Индексация сайта — это процесс сбора информации поисковой системой о содержимом вашего сайта. Во время индексации поисковые роботы (пауки) сканирую и обрабатывают web страницы, изображения, видео и другие доступные для сканирования файлы. Чтобы поисковая система быстро проиндексировала сайт: создайте карту сайта и добавьте ее в Google Search Console.

Сайт должен быть проиндексирован чтобы отображаться в поиске

Страницы, которые прошли сканирование и обработку, сохраняются в базу данных. Такая база называется «поисковой индекс». Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.

Важно понимать:
Если страницы нет в поисковом индексе — ее невозможно найти в поисковой системе.
Индексация нужна чтобы участвовать в поиске.
У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
Поисковой бот от Google называется Googlebot.
Настройка индексации сайта, это базовый уровень работ по SEO.

Содержание статьи

Как проверить индексацию страницы?

Самый быстрый способ — написать в строку поиска команду site:[адрес страницы]. Такой поиск найдет все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]. Если вам нужно проверить индексацию конкретной страницы просто скопируйте ее адрес и введи в поиск запрос site:[адрес страницы]. Этот метод будет работать как в Google так и в Yandex или Bing.

Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.

Как проверить индексацию всего сайта

Для проверки индексации сайта нужно выполнить 2 простых шага:

Узнать сколько страниц на сайте. Для этого просканируйте свой сайт специальными инструментами. Если ваш сайт до 500 страниц вам подойдет бесплатная версия Screaming Frog , если этого недостаточно используйте, бесплатный Site Analyzer. В разделе «HTML» вы увидите общее количество страниц вашего сайта.
Зайдите в инструменты для вебмастеров или Google Search Console (Что такое Google Search Consol ) откройте отчет «Покрытие» и просмотрите количество страниц в статусе «Без ошибок». Количество страниц в сканере Site Analyzer и страниц в Google Search Console должно приблизительно совпадать. Это, будет означать, что основные страницы сайта сканируются. Если часть страниц попала в группу «Исключено» вы можете изучить причины исключения страниц. В этом же отчете вы можете познакомиться с историей индексации вашего сайта за последние 3, 6 или 12 месяцев.
Довольно часто в отчете «Покрытие» вы можете увидеть большое количество страниц в статусе «Страница просканирована, но пока не проиндексирована» — это означает, что поисковая система уже получила данные о ваших страницах но пока не обработала их до конца. Так же, страницы могут находиться в этом статусе по причине низкого качества: пустые страницы или страницы с повторяющимся содержанием. Если количество «пока не проиндексированных» страниц не сокращается попробуйте уникализировать, добавить содержание или увеличить количество качественных внешних ссылок на свой сайт.
Если вам нужно массово проверить индексацию страниц вашего сайта, воспользуйтесь онлайн инструментом https://indexchecking.com
Хорошая идея проверить свой сайт с помощью инструментов https://en.ryte.com — это поможет вам понять какие страницы закрыты от индексации. А так же, обнаружить страницы на которых есть технические проблемы.

Проверяем не закрыта ли отдельная страница от индексации

Если перед вами появилась задача, проверить запрет индексации конкретной страницы проще всего использовать инструменты для вебмастеров. Скопируйте адрес страницы которую вы хотите проверить и вставьте в инструмент «Проверка URL на ресурсе».

В результате проверки вы получите информацию о запретах индексации. Обратите внимание на информацию о запретах, статусе страницы и канонический адрес.

Как добавить новый сайт в индекс поисковиков?

Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex. Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.

Узнайте больше о работе поисковой системы

Что делать, если сайт плохо индексируется?

Прежде всего нужно проверить не закрыт ли сайт от индексации. Это можно сделать по инструкции в этой статье чуть выше. Основные способы улучшить индексацию:

Создайте карту сайта и загрузите в инструменты для вебмастеров.
Обновите старые страницы.
Удалите пустые страницы.
Поставьте дополнительные ссылки на сайт с сторонних сайтов и соц. сетей.

Как происходит индексация сайта

Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:

Сканирование страниц.
Обработка страниц.

Этап 1: Сканирование

Сканирование или “обход” страниц — это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:

Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
Перечень ссылок, которые находятся на странице.

Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список — “очередь сканирования”, для дальнейшей обработки.

Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что первый способ ускорить сканирование сайта — увеличить количество ссылок на нужные страницы.

Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты. Второй способ улучшить индексацию — создать карту сайта sitemap.xml и сообщить о ней поисковой системе. Карта сайта — самый простой способ отправить на индексацию все страницы в рамках нашего домена.

Есть несколько способов создать карту сайта:

Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com.
Программа для сканирования сайта, с возможностью создания sitemap — xenu links.
Библиотека приложений для создания sitemap.
Самый популярный плагин для создания карты сайта для WordPress.

Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt

Добавление карты сайта в Search Console:

Зайдите в https://search.google.com/search-console/
Добавьте свой сайт или выберите из списка.
Перейдите в раздел Сканирование — Файлы Sitemap.
Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.

Добавление sitemap в robots.txt:

Зайдите в корневой каталог сайта через ftp.
Откройте файл robots.txt
Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.

Третий способ ускорить индексацию — сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.

Инструмент проверки заголовка lastmod и ответа сервера not modify.

Наличие настроек lastmod и not modify позволяют поисковой системе быстро получить информацию о том, изменилась ли страница с даты последнего сканирования. Благодаря этому поисковой бот ставит в приоритет новые и измененные страницы, а новые страницы быстрее индексируются.

Для настройки lastmod и not modify вам нужно будет обратиться к веб разработчику.

Этап 2: Обработка данных

Перед тем как сохранить информацию в базу данных, она проходит обработку и структуризацию, которая необходима для ускорения дальнейшего поиска.

В первом шаге обработки программа-индексатор формирует страницу с учетом всех стилей, скриптов и эффектов. В этот момент программа-индексатор понимает расположение элементов на странице, определяет видимые и невидимые пользователю части, разделяет страницу на навигацию и содержание.

Важно чтобы google bot имел полный доступ к css и js файлам, ведь без них индексатор не сможет понять структуру страницы. Для проверки доступности всех служебных файлов зайдите в Google Search Console, отчет “Посмотреть как Googlebot” в разделе “Сканирование”. Проверьте с помощью этого инструмента основные страницы сайта, обратите внимание на различия между тем, как вашу страницу видит поисковой бот и как ее видит пользователи. Изучите таблицу из отчета. Все ресурсы, которые размещены на вашем домене, должны быть открыты для сканирования.
Сейчас Google использует алгоритм индексации, который называется Caffeine. Он был запущен в 2009 году. Основные задачи этого алгоритма:
Обработка современных страниц, использующих сложные js и css элементы.
Максимально быстрое сканирование всех страниц в Интернете.

Анализ текста при индексации

После разделения страницы на зоны и определения их важности, алгоритм выделяет из содержания основные элементы для дальнейших расчетов. Так одним из самых популярных показателей, которые поисковая система извлекает из страницы, является частота упоминания ключевого слова.

Стоит отметить, что перед расчетом частоты упоминания слова, индексатор проводит упрощение слов к элементарной форме. Этот процесс называется стеминг. Такое упрощение позволяет учитывать слово в разных словоформах как одно слово.

Частота упоминания (Term frecency, ТА) слова рассчитывается как отношение упоминания слова к общему количеству слов страницы. Пример: если на странице 100 слов и слово “машина” встречалось на ней 2 раза — частота упоминания слова “машина” будет равна TF=0,02

Самый простой поисковой индекс легко представить в виде огромной таблицы, в столбцах которой перечислены все слова языка, а в строках — адреса всех страниц. При этом в ячейках указаны частоты слов на соответствующих страницах.

Именно такая таблица позволяет поисковой системе быстро находить страницы, которые содержат нужные слова. Конечно современные поисковые системы учитывают не только частоту упоминания слов, но и более сложные факторы. Поисковой индекс Google значительно сложнее чем приведенный пример.

Анализируя содержание поисковая система проверяет уникальность страницы. Тексты и прочее содержание, которое уже было проиндексировано на других страницах, не несет ценности для системы, так как не добавляет в базу новой информации. А это значит, что страницы с низкой уникальностью могут быть не проиндексированы. Проверить уникальность достаточно просто с помощью бесплатных инструментов.
Старайтесь создавать максимально уникальный и полезный контент и он точно будет проиндексирован.

От чего зависит индексация сайта?

Доступность сайта для индексации — если сканирование сайта запрещено поисковая система не сможет получить его страницы. Подробнее о инструментах управления индексацией: youtube.com Внутренняя оптимизация: robots.txt, sitemap
Количество ссылок на ваш сайт — ссылки, это пути которые приводят поисковых роботов к вам на сайт. Чем больше ссылок с популярных ресурсов вы получаете, тем чаще будут сканироваться страницы вашего сайта.
Частота обновления сайта. Поисковые системы всегда ищут новый интересный контент, чем чаще вы публикуете новое уникальное содержание, тем быстрее поисковая система будет его сканировать.
Наличие сайта в инструментах поисковых систем. Видео в тему: Как зарегистрировать сайт в Google Search Console.

Подведем итоги

Индексация — это процесс сканирования и обработки содержания для хранения в базе данных поисковой системы.
Ускорить индексацию можно с помощью ссылок, карты сайта и настроек сервера.
Чтобы поисковая система понимала ваши страницы, все ресурсы вашего сайта должны быть доступны поисковому боту.

Мы можем проверить и настроить индексацию вашего сайта за вас.

SEO аудит с рекомендациями за 10 дней.

Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.

Руководитель отдела продвижения SEO7. Ведущий Youtube канала Школа SEO. Автор блога о поисковой оптимизации seo-sign. com

Что такое Индексация сайта?

Индексация сайта — это процесс сканирования Вашего сайта поисковыми роботами и внесения всей полученной информации (текстов, ссылок, изображений и так далее) в базу поисковой системы. Соответственно, для того, чтобы Ваш сайт появился в результатах выдачи поисковой системы, он должен быть проиндексирован и добавлен в базу. Эта база и называется “индекс”. До тех пор, пока роботы поисковой системы не проиндексируют Ваш сайт, его в поисковой выдаче не будет, а это, в свою очередь, означает, что пользователи не смогут найти Ваш сайт.

Поисковая система осуществляет индексирование сайта с помощью поисковых роботов. Поисковые роботы — программы автоматизированного получения данных, бороздящие сеть в поисках информации и ссылок на информацию. Поисковый робот обращается по протоколу HTTP к серверам, на которых хранятся страницы сайта, и получает в ответ тело страниц. Робот подчиняется указаниям, прописанным в файле robots.

txt , который лежит в корневой папке сервера. В robots.txt указывается, какие страницы запрещены к индексации роботом.

После обработки документа модулями робота, документ анализируется html-парсером, который оставляет только самое нужное и весомое для поиска: текст, оформление, ссылки и адреса. Все это при поиске будет влиять на ранжирование странички.

После обработки парсером происходит индексирование документа. При этом используются алгоритмы морфологического анализа. В конце концов, документ инвертируется и добавляется к основному индексу. Управление роботом поисковой системы ограничено и заключается, в основном, в установлении запретом на индексацию некоторых страниц сайта. На само расписание робота, на частоту его посещения можно лишь оказывать косвенное влияние.

Поисковый робот посещает страницу сайта исходя из того, как часто изменяется содержание этой страницы. На часто обновляемые страницы робот может ходить каждый день и даже чаще. Например, если это страница новостного сайта. Когда же страница изменяется нечасто, то робот посещает ее один-два раза в неделю. Те страницы, содержимое которых не меняется, все равно посещаются роботом, однако очень редко, не более трех раз в месяц.

При этом за один заход робот запрашивает не более 20-30 страничек с сайта. Это связано с тем, что роботы стараются не загружать сервер своими запросами. На сайт с большим количеством страниц робот ходит часто и каждый раз берет только небольшую «порцию» страниц.

Робот – это один из основных элементов любой поисковой системы. Он выполняет очень важные функции, связанные с индексацией сайтов Интернета. Из информации, добытой роботом, формируется индексная база поисковой системы, которая непосредственным образом влияет на качество поиска.

Аудитор индексирует страницы вашего сайта аналогично поисковым роботам вплоть до HTML кода, используя те же критерии ранжирования сайтов, что и поисковые системы. Переходя по доступным ссылкам на страницах сайта, аудитор сканирует страницы, собирая содержимое с учетом морфологии.

Далее информация попадает в базу данных. Следующий этап- это анализ информации, после которого система выдает подробный отчет по каждой страницы вашего сайта с рекомендациями по устранению ошибок.

Что такое индексация сайта поисковиками

Чтобы поисковым роботам было проще:

— старайтесь, чтобы любые страницы вашего сайта были доступны по ссылкам с главной страницы не более чем за 3 перехода. Если структура сайта этого не допускает, то сделайте так называемую карту сайта, которая позволит выполнять указанное правило;

— не повторяйте распространенных ошибок. Идентификаторы сессий затрудняют индексацию. Если вы используете навигацию через скрипты, то обязательно дублируйте ссылки обычным образом – поисковые системы не умеют читать скрипты.

— помните, что поисковые системы индексируют не более 100-200 кб текста на странице. Для страниц большего объема будет проиндексировано только начало страницы (первые 100-200 кб. ). Из этого следует правило – не используйте страницы размером более 100 кб, если хотите, чтобы они были проиндексированы полностью.

Управлять поведением поисковых роботов можно с помощью файла robots.txt, в нем можно явно разрешить или запретить для индексации те или иные страницы. Существует также специальный тег «NOINDEX», позволяющий закрыть для индексации отдельные части страницы, однако этот тег поддерживается только российскими поисковыми системами.

Базы данных поисковых систем постоянно обновляются, записи в базе могут подвергаться изменениям, исчезать и появляться снова, поэтому число проиндексированных страниц вашего сайта может периодически меняться.

Одной из наиболее частых причин исчезновения страницы из индекса является недоступность сервера, то есть поисковый робот при попытке индексации сайта не смог получить доступ к нему. После восстановления работоспособности сервера сайт должен появиться в индексе снова через некоторое время.

Следует также заметить, что чем больше внешних ссылок имеет ваш сайт, тем быстрее происходит его переиндексация.

Самый простой способ посмотреть, сколько страниц вашего сайта проиндексировано различными поисковиками — воспользоваться сервисами проверки. Сервис проверки индексации сайта.

Индекс — Словарь— PromoPult.ru

Индекс — это база поисковой системы, которая содержит в структурированном виде собранную поисковыми роботами информацию о веб-документах. Поисковые системы хранят в своих базах почти полные копии контента всех сайтов, которые сочтут подходящими для участия в поиске. Такую копию оптимизаторы называют индексом сайта.

Что такое индексация сайта

Индексация (индексирование) сайта — это процесс, который включает в себя обход страниц сайта роботом, сбор контента, его структуризацию и добавление в базу.

Что содержит индекс

Содержание индекса представляет собой строго структурированные данные из ключевых слов, текстовых и мультимедийных элементов и ссылок. Благодаря продуманной структуре время обработки поискового запроса сокращается в десятки раз по сравнению с поиском в необработанных документах.

Как проверить сайт на индексацию

Подробные сведения об индексации сайтов есть в кабинетах веб-мастеров — «Яндекс.Вебмастер» (индексация в «Яндексе») и Google Search Console (индексация в Google).

Проверить индексацию чужого сайта можно, используя в строке поиска запрос site: site.ru или url:site.ru*.

Оператор site выведет весь список проиндексированных страниц сайта, включая страницы поддоменов. Оператор url при использования звёздочки после имени сайта выведет только список проиндексированных страниц на данном домене без учета поддоменов. Используя этот оператор, можно проверить наличие в индексе страницы или целого раздела.

Добавление сайта в индекс

Для продвижения сайта индексация играет большое значение. Если страница не попадёт в индекс, она не будет и ранжироваться, поэтому все страницы, с которых оптимизатор хочет получать поисковый трафик, должны быть проиндексированы как можно быстрее.

Чтобы поисковая система начала индексировать сайт, достаточно добавить его в кабинеты веб-мастера («Яндекс. Вебмастер» и Google Search Console). Если сайт не закрыт от индексации и содержит контент приемлемого, по мнению поисковых систем, качества, первые страницы появятся в индексе в течение недели.

Управление индексацией сайта

Не все разделы и страницы сайта должны быть проиндексированы. Управлять индексацией страниц можно при помощи файла robots.txt и инструментов в кабинетах веб-мастера.

Директивы Robots.txt разрешают или запрещают индексацию любых доступных поисковым системам страниц и разделов сайта. Официально и Google, и «Яндекс» поддерживают robots.txt. На практике, к сожалению, они иногда игнорируют директивы по неизвестным причинам и индексируют то, что не должны. Проблема решается обращением в техническую поддержку.

Как ускорить индексацию страницы или переиндексировать ее

В последнее время и «Гугл», и «Яндекс» быстро индексируют и переиндексируют страницы, но иногда этот процесс надо ускорить. В случае с «Яндексом» достаточно отправить URL на переобход в разделе «Переобход страниц».

Для переиндексации сайта «Гуглом» рекомендуется использовать сервис «Посмотреть как Googlebot». После просмотра страницы этим сервисом Google быстро переиндексирует сначала просмотренную страницу, а затем связанные с ней.

Удаление фрагментов страницы из индекса

Иногда необходимо исключить из индекса фрагменты индексируемой страницы, например, дублирующее меню или список, неуникальный фрагмент текста или текст с большим количеством вхождений ключевых слов, который нельзя переписать. В «Яндексе» для этого существует специальный тег <noindex></noindex>, в который помещают исключаемый из индекса контент. Google не поддерживает закрытие части страницы тегом <noindex> и не предлагает никаких альтернатив. Для решения этой проблемы веб-мастера идут на различные ухищрения: размещают текст в виде картинки или подгружают при помощи JavaScript закрытую от индексации страницу.</noindex>

Почему не индексируется сайт

Иногда новый сайт вообще не индексируется поисковыми системами или одной из них. Причин может быть несколько (список не исчерпывающий):

Страницы сайта не отдают поисковому роботу код 200. Проблема может быть в настройках хостинга, директивах .htaccess или коде CMS.
Страницы сайта закрыты от индексации в robots.txt или тегом <noindex></noindex>, внутри которого находится весь контент целиком.

Веб-мастер зарегистрировал или купил домен, на котором раньше размещался сайт, получивший бан от поисковых систем.
На страницах сайта размещен очень некачественный контент.

См. также

Индексация сайта — что это такое, определение и как использовать ROMI.center

Что это такое

Индексация страниц сайтов в поисковиках происходит по алгоритмам поисковых систем: учитываются ссылки ресурса, релевантность и распределение контента по разделам. Роботам важно понять, насколько представленная информация ценна для пользователя, который ввёл запрос в поисковую строку. Именно это и позволяет выявить поисковая индексация сайта.

Как настроить свой ресурс для наилучшей поисковой выдачи и как проверить все показатели? Обо всём этом расскажем далее.

Как проходит индексация сайта

Как только появилась глобальная сеть, у владельцев поисковых систем возникла необходимость фильтрации результатов запросов. В эти времена и появилась индексация сайта по ключевым словам. Такой односторонний метод оценки привёл к тому, что на первых строках результатов появлялись совершенно бесполезные страницы, сплошь и рядом заполненные необходимыми словоформами.

С тех пор многое изменилось и поисковые роботы научились оценивать сайты сразу по нескольким параметрам для получения наиболее достоверной информации. Сейчас индексация сайта бесплатная и высота отображения ресурса зависит исключительно от его качества.

Для улучшения индексации ресурса большинству русскоязычных сайтов достаточно учесть особенности алгоритмов двух основных поисковиков: Google и Яндекс. Подача данных нового сайта может происходить автоматическим и ручным методами. Рассмотрим далее самые распространённые вопросы о прохождении индексации:

Как происходит автоматическая проверка?

Автоматическая индексация сайта в поисковых системах происходит при помощи механизмов, которые самостоятельно находят ресурс и анализируют его контент, релевантность информации, ссылки, трафик, время визитов пользователей и многое другое. Началу прохождения такой проверки способствует наличие ссылок на сайт на других ресурсах.

Индексация в Google сайта: как сделать вручную?

Необходимо зарегистрировать ресурс в сервисе Google Search Console.

Где проверить количество страниц в индексе?

Чтобы узнать, сколько страниц сайта проиндексировано Яндексом, перейдите по ссылке. Для аналогичного мониторинга в Google необходимо ввести в поисковую строку значение site: домен сайта. Например site:moisait.ru

Почему Яндекс не индексирует сайт?

Яндекс сканирует ресурсы с более низкой скоростью, в сравнении с Google. Для получения заветной отметки в базе данных необходимо зарегистрироваться в Яндекс. Вебмастер.

Индексация Яндекс и Google: что важно учесть?

Помимо регистрации в Яндекс.Вебмастер и Search Console необходимо проверить карту сайта — sitemap, а также указать необходимые параметры индексации в файле Robots.txt.

Сколько времени индексируется новый сайт

Сколько занимает проверка — зависит от поисковой системы. Google является скоростным лидером в данном процессе, управляясь с индексацией примерно за одну неделю. Время индексации в Яндексе может быть больше — до нескольких недель.

Скорость, с которой поисковик заметит ресурс зависит от множества параметров, поэтому указанные сроки весьма условны. Например, дополнительные страницы уже проиндексированного сайта рассматриваются быстрее.

Что значит переиндексация сайта

Переиндексация — повторный анализ страниц, производимый алгоритмами поисковых систем. Как часто происходит данный процесс? Во многом это зависит от регулярности обновлений. Чем чаще на сайте появляется новая информация, тем с большим вниманием поисковик рассматривает ресурс, чтобы не пропустить новости. О прочих лайфхаках для ускорения индексации поговорим далее.

Проверить сайт на запрет индексации

При индексации сайта могут возникнуть проблемы, которые требуется оперативно устранить. Чтобы страницы успешно прошли проверку и отображались в поиске.

Яндекс.Вебмастер и Search Console содержат разделы, в которых можно посмотреть проблемы, найденные на ресурсе. Например, система может сделать запрет на индексацию страниц за нарушение правил безопасности или за отсутствие подверждённого домена.

Последствия запрета индексации части сайта отразятся на показах этих страниц. Пользователь просто не увидит их, когда введёт в поисковик целевой запрос.

Как открыть сайт для индексации, скрыв отдельные страницы

Однако иногда часть страниц требуется закрыть от индексации преднамеренно, прописав их в файле robots.txt. Вот в каких случаях это может пригодиться:

Дублированные страницы.
Страницы в разработке.
Технические разделы, которые необходимо скрыть.

Во-первых, запретить индексацию специально можно путём указания имени нужного файла или папки в файле robots.txt:

User-agent: *

Disallow: /folder/file.php

Disallow: /folder/

Системы не смогут проверить noindex и nofollow, поэтому второй вариант скрытия ненужного контента — это указание данных тегов.

Запретить индексацию сайта полностью

Иногда требуется полностью удалить сайт из базы данных поисковых систем. Для это необходимо прописать в robots.txt значение:

User-agent: *

Disallow: /

Если же сайт не индексируется, но требуется обратное — необходимо в первую очередь проверить этот же файл. Возможно, во время работ на ресурсе он был временно скрыт от посторонних взглядов.

Проверка индексации сайта в поисковых системах

Проверить индексацию страницы можно:

При помощи поисковой строки, добавив к домену сайта символы «site:».

Встроенными инструментами Яндекс.Вебмастер и Google Search Console.
Специальными сервисами, например RDS Bar или XSEO.in.

Как ускорить индексацию?

Индексирование сайта — это целый ряд процессов, повлиять на которые возможно, улучшив качество ресурса. Как проверить, достаточно ли хорош продукт с точки зрения поисковых роботов? Выполните перечисленные пункты и потенциальные клиенты уже совсем скоро увидят вас на страницах Яндекса и Google.

Поисковые боты ценят частое обновление контента, поэтому нужно публиковать новости регулярно.
Файлы sitemap.xml и robots.txt должны быть корректно заполнены.
Индексация ссылок — краеугольный камень SEO, поэтому стоит включить внутреннюю перелинковку и добавить внешние ссылки.
Необходимо проверить наличие ошибок.
Провести индексацию сайта наилучшим образом поможет качественный контент и удобство ресурса для пользователей.
Проверить контент сайта и включить в него ключевые слова, по которым необходимо отображаться.
Исключить дубли страниц или скрыть их от индексации.

Сколько времени индексируется сайт

Как известно, сделать понятный, красивый и интересный сайт – это только полдела. Остальная работа – добиться высокой посещаемости. В начале существования сайта основная масса посетителей приходит на него из популярных поисковых систем.

Итак, сайт создан, выложен на хостинг, наполняется информацией. Владелец ведет над ним непрерывную работу, а посещаемость все равно не растет. Сайта нет в результатах выдачи Google и Yandex? Это непосредственно связано с тем, что поисковики не сразу индексируют новый сайт, а через определенный промежуток времени. Как долго ждать посетителей? Сколько времени индексируется сайт в Google и «Яндекс»?

Для начала нужно разобраться, от чего вообще зависит скорость индексации сайта. Как показывает практика, на нее влияют следующие факторы:

движок сайта;
возраст домена и доменная зона;
частота наполнения сайта контентом.

Чтобы разобраться в том, сколько времени индексируется сайт в «Яндексе» или Google, нужно детальнее познакомиться с каждым из пунктов.

Индексация сайта в Google и «Яндекс»: разбивка по группам

Высшая категория. Живые форумы и новостные сайты. Боты на таких сайтах пасутся регулярно. Индексация для таких сайтов никогда не будет проблемой, так как страницы заходят в индекс практически моментально.
Первый сорт. Часто обновляемые, трастовые сайты. Сюда поисковые боты заглядывают каждый день и быстро индексируют новые страницы.
Второй сорт. Качественные сайты, обновляемые каждую неделю. На них поисковый робот заглядывает периодически, как только появилось сообщение о том, что ресурс обновился. В некоторых случаях индексация на них может задерживаться дней на семь.
Третий сорт. Если Ваши сайты не подходят к первым трем группам, то, скорее всего, они где-то здесь. «Яндекс» заходит на сайт, когда ему захотелось, и это никак не влияет на скорость. Иногда индексации ждать приходится очень долго.
Не сортовые сайты. К этой группе относятся все новые сайты, которые только недавно были выложены на хостинг. Если никак не влиять на их индексацию, то может уйти несколько месяцев, пока они появятся в поиске. Больше всего вопросов и возгласов, связанных с индексацией сайтов в Google и «Яндексе», поступает от владельцев таких ресурсов.

Естественно, такая разбивка на группы была сделана условно, а не из официальных источников «Яндекса» или Google.

Сколько времени индексируется сайт в Google?

На новый сайт быстрее всего заходит робот от Google. Уже в первую неделю после создания сайта в поиске могут появиться некоторые страницы. Google одинаково хорошо индексирует доменные зоны .ru и .com. Хотя в зоне .com сайты вылезают в поиске несколько раньше. Бытует мнение, что домен в зоне .info индексируется медленно. Что касается доменной зоны .рф, то здесь проблем индексации не отмечено (хотя мнения веб-мастеров в этом плане отличаются).

Сколько времени индексируется сайт в «Яндексе»?

В поисковой выдаче сайт появляется спустя две-четыре недели после добавления его в аддурилку. Но это время может несколько затянуться по причине редких апдейтов поисковой базы.

Если Вы создали сайт, но на нем нет посетителей, не стоит опускать руки. Ведите над ним планомерные работы, и в скором времени заметите первые движения.

Особенно хорошо индексируются «Яндексом» и Google сайты, построенные на популярных движках, таких как WordPress, Drupal, DLE, 1C-Bitrix, OpenCart и т.д. Такие скрипты интернет-магазинов, как Webasyst, Shop Script и Vam Shop, индексируются намного хуже. Могут встречаться проблемы и с индексированием сайтов на самописных движках.

Во многом скорость индексации сайта в «Яндексе» и «Гугле» зависит и от того, насколько часто он наполняется контентом. Например, поисковый бот зашел на сайт раз в три дня. Если он заметит, что контент редко обновляется, то, соответственно, и заглядывать на него он будет реже. При регулярном обновлении контента Google и «Яндексу» придется чаще заглядывать на сайт, чтобы никогда не отставать от последних обновлений. Если нет возможности регулярно добавлять новости самостоятельно, можно воспользоваться планировщиком записей.

Возраст домена тоже сказывается на скорости индексации ресурса. Более старые домены, имеющие определенный вес, будут индексироваться быстрее, чем новые. При этом трафик может идти с других сайтов посредством внешних ссылок.

Как ускорить индексацию сайта?

В поисковых системах есть специальные сервисы – аддурилки, которые позволяют «рассказать» поисковым системам о том, что появился новый сайт. Также Вы можете добавить свой сайт в популярные каталоги, такие как «Яндекс.Каталог», DMOZ и прочие.

Для ускорения индексации поможет регистрация в социальных сетях и закладках (vkontakte.ru, twitter.com, memori.ru и другие). Туда можно добавлять анонсы своих новостей.

Также можно завести свои блоги на livejournal.com, blogs.mail.ru, blogspot.com, my.ya.ru и др. Регулярно добавляйте записи со ссылками, и индексация сайта заметно улучшится.

Не забывайте о таком важном моменте, как внутренняя перелинковка. Она помогает продвигать сайт по НЧ-запросам, а также способствует улучшению поведенческих факторов.

Поисковые роботы часто посещают трастовые блоки с их комментариями. Они отслеживают в блогах все ссылки и индексируют их, переходя на Ваш ресурс. Но при размещении комментариев соблюдайте правила блога, добавляя ссылки в специально отведенное место, чтобы исключить удаление Вашего комментария.

Е-mail-рассылка. В рассылке очень помогает сервис Subscribe.ru. Опубликованные темы будут рассылаться многим пользователям, а ссылки на сайт будут улучшать его индексацию.

Достаточно трудоемким является способ размещения большого количества текстов со ссылками на свой сайт. Сложность заключается в том, что Вам придется писать много интересных статей, которые бы выполняли функцию, похожую на каталог ссылок.

Нужно построить грамотную и четкую структуру ресурса. Она должна быть удобной и легкой для работы поисковых ботов со страниц. Добиться этого несложно. Принцип состоит в том, чтобы ссылки на страницах направляли бота с одной страницы на другую.

Если сайт состоит из огромного количества страниц, то робот просто может не добраться до последних страниц, наиболее удаленных от главной. В таком случае нужно создать карту сайта и продумать структуру так, чтобы каждая из страниц была не больше трех кликов от главной.

Веб-мастера отмечают, что основное содержимое сайта быстрее индексируется, нежели статьи в разделах, которые не отдаются в RSS-ленту и не появляются на главной. Статьи в скрытых разделах в некоторых случаях способствуют ускорению индексации. Хотя если Вы готовы ждать несколько недель, то дергаться не нужно.

В принципе способов улучшения индексации в «Яндексе» и Google гораздо больше, но даже этих вполне достаточно.

Что делать, если поисковик отказывается индексировать сайт?

Часто на форумах можно встретить вопрос: «Почему сайт не индексируется?». И на это есть несколько самых распространенных причин:

Сайт закрыт от индексации командой в файле txt. Подкорректируйте файл, открыв сайт для индексации, добавив следующую строчку:

User-agent: *
Disallow:

Ошибка в коде сайта, не позволяющая видеть поисковикам страницы сайта. К примеру, текст заключен в следующие теги <noindex></noindex>.
Неуникальный контент. Важно, чтобы тексты на сайте были уникальными, то есть они не должны встречаться на других сайтах. Поисковики особенно не любят сайты с неуникальным контентом, которые продают ссылки. Рано или поздно они попадают под фильтры, из которых выйти практически невозможно. Если ранее сайт имел неуникальный контент, но с него не продавались ссылки, то есть вероятность, что сайт будет нормально ранжироваться и индексироваться, если Вы добавите уникальные статьи.
Переспам, переоптимизация. Не злоупотребляйте вхождением ключевых слов в статье и такими тегами, как <i>, <b>, <strong>, <em>. Все должно быть непринужденно и естественно.
Некачественный контент. Не стоит экономить на текстах, если Вы надеетесь на развитие сайта.
Сайт выступает зеркалом другого сайта. Речь идет о той ситуации, когда есть сайт с полностью уникальным контентом, но по структуре и смыслу он частично или полностью копирует другой сайт. «Яндекс», по крайней мере, не очень любит такие сайты, и если он их вычисляет, то «склеивает» их с «главным зеркалом» всех ресурсов.
Продажа ссылок с сайта. Поисковые системы плохо относятся к сайтам, которые продают ссылки. Как следствие, выпадение всех страниц из индекса. В этом плане «Яндекс» более жестокий, чем Google, который ранжирует все что можно и нельзя.
Ссылочный взрыв. Если на неизвестный сайт в один прекрасный день начнут ссылаться сразу тысячи сайтов, то это может стать причиной санкций со стороны поисковиков.
Домен, который Вы купили, был заблокирован (забанен) поисковыми системами.
Хостинг блокирует поисковых ботов. К сожалению, и такая ситуация может быть. Поэтому пользуйтесь услугами хостинга с проверенной репутацией.

Как проверить индексацию сайта?

Проверить страницы, вошедшие в индекс, можно очень легко. Достаточно скопировать URL и вбить их в поисковую строку «Яндекса» или Google. Если Ваша страница видна в поиске, это означает, что она занесена в базу поисковика. Если ее нет в выдаче, то она не прошла индексацию.
Сервис pr-cy.ru и тому подобные позволяет Вам обо всем узнать быстрее и проще. С его помощью можно контролировать индексацию всего сайта и посмотреть, какие страницы уже вошли в индекс и каков их процесс. Внесите в форму адрес сайта и нажмите на кнопку «Анализировать», после чего Вы получите подробный отчет по данным.
В меню «Яндекс.Вебмастер» и GoogleWebmaster Они содержат функции проиндексированных страниц и другую полезную информацию. В «Яндекс.Вебмастере» отдельно подсчитывается число страниц, которые прошли проверку роботов, и общее количество загруженных страниц для будущей индексации.

Что делать, если Вы исправили все недочеты, но сайт все равно не индексируется?

Если вышеперечисленные советы не помогли, сайт все равно не индексируется, то здесь остается только одно – обратиться за помощью к сотрудникам поисковых систем:

Написать Google. Вы можете задать вопрос Google на родном языке, но ответ получите на английском, и он будет стандартным. Первый ответ будет приблизительно таким: «Мы получили Вашу заявку на пересмотр сайта и т.д.» Второй ответ, если с сайтом все нормально, будет примерно следующим: «Мы рассмотрели сайт и не обнаружили присутствие спама. Ожидайте, пока сайт будет проиндексирован».
Написать «Яндексу». В большинстве случаев ответ от «Яндекса» приходит такой: «Улучшайте качество сайта». Однако не стоит расстраиваться, если Вам пришел шаблонный ответ. Скорее всего, это означает, что времени на рассмотрение Вашего ресурса совсем не было. В таком случае вступите в долгую переписку с представителями поисковика, стараясь отстоять свои права. Они должны понять, что Ваш сайт им небезразличен. Если Вы будете до конца уверены в том, что ресурс качественный, фильтр будет снят.

Внимание! Не давайте адрес сайта на разных форумах, блогах и прочих ресурсах, если он еще не проиндексировался. В противном случае у Вас просто своруют контент, скопировав его с Вашего сайта и разместив на своем. Также не рекомендуем регистрировать сайт, который еще не вошел в индекс, поскольку владельцы каталогов могут проверить сайт на наличие страниц в поиске и своровать его страницы.

Сколько страниц проиндексировано | Индексация сайта в Яндексе

Для многих наших клиентов индексация сайта — это что-то из разряда фантастики. Они привыкли, что маркетологи как-то сами справляются с продвижением сайта и иногда у них даже получается. Однако, ведение блога компании это еще не все. В этом материале расскажем, что такое индексация сайта и как выяснить, сколько страниц проиндексировано.

Что такое индексация сайта

Индексация помогает сайту или странице появляться в результатах поисковых систем, что обычно приводит к ранжированию и привлечению трафика.

Индексация веб-сайта — это процесс, который поисковые системы используют для понимания функций вашего веб-сайта и каждой страницы на этом сайте. Это помогает поисковикам Google или Яндекс найти сайт, добавить его в свой индекс, связать каждую страницу с поисковыми запросами, вернуть этот сайт на страницы результатов поиска и привлечь к вашему контенту нужных людей.

Почему индексация так важна для продвижения

То, что вы видите в поисковой системе, — это не интернет. Это индекс поисковой системы в Интернете. Это важно, потому что не каждая страница, которую вы публикуете, гарантированно привлечет внимание поисковой системы.

Как владелец сайта, вам нужно сделать несколько вещей, чтобы добавить его в этот индекс. Наличие проиндексированных страниц гарантирует, что ваш сайт сможет появляться в результатах поисковой системы.

Например, если сайт посвящен сетям B2B, продвинуть его могут ключевые слова «бизнес для бизнеса» и «сеть». Они помогут поисковой системе понять, как контент соотносится с этими поисковыми запросами. Помните, что актуальность контента, а также то, какие страницы ссылаются на него — играют ключевую роль в способности поисковой системы найти и проиндексировать ваш сайт.

Как происходит индексация сайта в Яндексе и в Google

Поисковые системы индексируют веб-сайты, которые имеют несколько ключевых компонентов. Взгляните на них ниже:

Соответствует популярным поисковым запросам.
Легко перемещается для создания домашней страницы сайта.
Ссылается с других страниц в домене вашего сайта и за его пределами.
Не является «заблокированным» от индексации с использованием определенных метатегов.

Это связано с тем, что ключевые слова похожи на пинг для поисковой системы: они говорят ей, о чем ваш контент, в нескольких словах, которые могут быть переданы обратно поисковым запросам.

Как проверить индексацию сайта

Внешняя оптимизация сайта, а именно ее качество, зависит от количества проиндексированных страниц. Чтобы провести анализ индексации сайта поисковыми системами, введите URL-адрес вашего домена, поставив перед ним тег site:. Например, site:mywebsite.com.

Результаты показывают сколько страниц вашего сайта проиндексировано, и текущие метатеги, сохраненные в индексе поисковой системы. Если ни одна из ваших страниц не отображается, значит, что сайт еще не проиндексирован. Этим способом можно проверить индексацию в Яндексе, так и в Google.

Как ускорить индексацию сайта

Добавьте ссылки на сайты с высокой посещаемостью. Лучшее, что вы можете сделать для индексации сайта в поисковых системах, — это увеличить количество ссылок, указывающих на вашу домашнюю страницу или на страницу, которую вы хотите проиндексировать. Количество входящих ссылок и PageRank домена напрямую влияют как на общее количество проиндексированных страниц веб-сайта, так и на скорость индексации сайта в Яндексе и Google

Используйте карты сайта XML и HTML. Теоретически поисковые системы могут извлекать ссылки со страницы и переходить по ним без вашей помощи. Тем не менее, настоятельно рекомендуется использовать карты сайта XML или HTML, поскольку доказано, что они могут помочь в процессе индексации. После создания XML-файлов Sitemap убедитесь, что вы отправили их в консоли для веб-мастеров различных поисковых систем и включили их в robots.txt. Поэтому убедитесь, что вы обновляете свои карты сайта и повторно отправляете их, когда на вашем сайте происходят серьезные изменения.

Измените скорость сканирования. Еще один способ уменьшить время индексации сайта в Google — изменить скорость сканирования из консоли инструментов Google для веб-мастеров. Установка скорости сканирования на «быстрее» позволит роботу Googlebot сканировать больше страниц, но, к сожалению, это также увеличит генерируемый трафик на вашем сервере.

Почему индексация веб-сайтов является обязательной для маркетологов

Что вы знаете об индексации веб-сайтов?

Если почти ничего, значит, вы не одиноки.

Индексация веб-сайтов — это не то, что вы делаете как маркетолог, а процесс, который выполняет поисковая система , когда вы публикуете новый контент в Интернете. Маркетологи должны знать, как убедиться, что вы правильно настроили для индексации .

Проиндексированный веб-сайт помогает сайту или странице действительно появляться в результатах поисковых систем, что обычно является первым шагом к ранжированию и привлечению трафика.

Теперь, когда мы рассмотрели, почему проиндексированный веб-сайт важен для SEO, давайте теперь рассмотрим, как вы можете подготовиться к индексации своего собственного сайта.

Что значит индексировать ваш сайт?

Вкратце, индексирование веб-сайтов — это процесс, который поисковые системы используют для понимания функций вашего веб-сайта и каждой страницы на этого веб-сайта. Это помогает Google найти ваш веб-сайт, добавить его в свой индекс, связать каждую страницу с искомыми темами, вернуть этот сайт на страницы результатов поисковых систем (SERP) и, в конечном итоге, привлечь к вашему контенту нужных людей.

Подумайте, как работает указатель в книгах: это запись полезных слов и информации, которая дает больше контекста по предмету. Это именно то, что делает индексация веб-сайтов в контексте страниц результатов поисковых систем (SERP).

То, что вы видите в поисковой системе, — это не Интернет. Это индекс поисковой системы в Интернете. Это важно, потому что не каждая страница, которую вы публикуете в Интернете, гарантированно привлечет внимание поисковой системы. Как владельцу веб-сайта вам необходимо сделать несколько вещей, чтобы добавить его в этот индекс.

Google индексирует веб-сайты, состоящие из нескольких ключевых компонентов. Взгляните на них ниже:

Соответствует популярным поисковым запросам.
Удобная навигация для создания домашней страницы веб-сайта.
Ссылки с других страниц в домене вашего сайта и за его пределами.
Не «заблокирован» от индексации из-за использования определенных метатегов (подробнее об этом позже).

Это связано с тем, что ключевые слова похожи на пинг для поисковой системы: они в нескольких словах говорят Google, о чем ваш контент, которые могут быть переданы обратно поисковым запросам.

Наличие ключевых слов — это лишь один из факторов, который Google принимает во внимание перед индексированием веб-сайтов. Другие потребности включают отсутствие «битых» страниц или ссылок или сложный веб-дизайн, который мешает пользователю легко найти страницу или понять вопрос, на который отвечает страница.

В следующем разделе мы рассмотрим, почему Google учитывает определенные факторы при индексировании веб-сайтов и как индексировать ваш веб-сайт.

Индексация веб-сайта

Индексация веб-сайтов — это процесс, с помощью которого поисковая система добавляет веб-контент в свой индекс.Это осуществляется путем «сканирования» веб-страниц по ключевым словам, метаданным и связанным сигналам, которые сообщают поисковым системам, где и когда следует ранжировать контент. Проиндексированные веб-сайты должны иметь доступную для навигации, доступную и понятную контент-стратегию.

Наличие проиндексированного веб-сайта гарантирует, что ваш сайт сможет появляться в результатах поисковой системы. Например, если ваш веб-сайт посвящен сетям B2B, такие ключевые слова, как «бизнес для бизнеса» и «сеть», могут помочь Google понять, как ваш контент соотносится с этими поисковыми запросами.Однако имейте в виду, что актуальность содержания (как давно оно было опубликовано), а также то, какие другие страницы ссылаются на него, также играют ключевую роль в способности Google найти и проиндексировать ваш сайт.

Теперь, когда вы лучше понимаете, что такое индексация веб-сайта, давайте обсудим, сколько времени занимает этот процесс и как заставить Google индексировать ваш сайт.

Сколько времени нужно Google, чтобы проиндексировать веб-сайт?

Google не очень избирательно индексирует веб-сайты.Фактически, он проиндексирует любой сайт, соответствующий критериям.

Хотя это и различается, Google может просканировать сайт от нескольких дней до нескольких недель. Есть несколько факторов, которые незначительно влияют на то, как быстро Google индексирует веб-сайт, например, популярность веб-сайта, правильная оптимизация и общая структура веб-сайта.

Распространенные ошибки могут повлиять на то, индексирует ли Google сайт или нет.

Чтобы подготовиться, наберитесь терпения, проверьте дизайн своего веб-сайта и обновите его, если считаете это необходимым.

Как проиндексировать ваш сайт в Google

Во-первых, вам необходимо подтвердить свой веб-сайт в Search Console. Это означает, что вы подтвердите Google, что являетесь владельцем веб-сайта. Затем вам нужно будет запросить Google сканировать URL-адреса вашего веб-сайта.

Для решения проблем миграции / индексации убедитесь, что если ваш сайт недавно был перемещен, вы соблюдаете рекомендации Google по перемещению сайта, чтобы вы могли убедиться, что ваш новый адрес правильно индексируется в поисковой системе.

Помните, что поврежденные веб-страницы — очевидно, по коду ошибки «404» или трудные для чтения Google, вероятно, не будут проиндексированы.

Кроме того, оптимизация веб-сайта включает добавление ключевых слов на веб-страницы, сообщения в блогах и URL-адреса, а также архивирование содержимого. Наше руководство по поисковой оптимизации — это отличное глубокое погружение в оптимизацию контента веб-сайта, а также возможность проверить вашу работу перед запросом индексации.

Индексирование веб-сайта требует немного времени и терпения.Выполняя работу по максимальной оптимизации содержимого веб-сайта перед отправкой запроса в Google, процесс будет более плавным.

Как работают поисковые системы: сканирование, индексирование и ранжирование | Руководство для начинающих по SEO

Чтобы определить релевантность, поисковые системы используют алгоритмы, процесс или формулу, по которым хранимая информация извлекается и упорядочивается осмысленным образом. Эти алгоритмы претерпели множество изменений за прошедшие годы, чтобы улучшить качество результатов поиска.Google, например, вносит корректировки в алгоритм каждый день — некоторые из этих обновлений представляют собой незначительные улучшения качества, тогда как другие представляют собой основные / общие обновления алгоритмов, развернутые для решения конкретной проблемы, например Penguin для решения проблемы ссылочного спама. Ознакомьтесь с нашей историей изменений алгоритмов Google, чтобы получить список подтвержденных и неподтвержденных обновлений Google, начиная с 2000 года.

Почему алгоритм так часто меняется? Google просто пытается держать нас в тонусе? Хотя Google не всегда раскрывает подробности того, почему они делают то, что они делают, мы знаем, что цель Google при корректировке алгоритмов — улучшить общее качество поиска. Вот почему в ответ на вопросы об обновлении алгоритма Google ответит примерно так: «Мы постоянно делаем качественные обновления». Это означает, что если ваш сайт пострадал после корректировки алгоритма, сравните его с рекомендациями Google по обеспечению качества или рекомендациями по оценке качества поиска, оба очень красноречивы с точки зрения того, чего хотят поисковые системы.

Чего хотят поисковые системы?

Поисковые системы всегда хотели одного и того же: давать полезные ответы на вопросы поисковиков в наиболее полезных форматах.Если это правда, то почему кажется, что поисковая оптимизация сейчас отличается от прошлых лет?

Подумайте об этом как о человеке, изучающем новый язык.

Поначалу их понимание языка очень элементарное — «См. Spot Run». Со временем их понимание начинает углубляться, и они изучают семантику — значение языка и взаимосвязь между словами и фразами. В конце концов, при достаточной практике ученик знает язык достаточно хорошо, чтобы понимать нюансы, и может дать ответы даже на расплывчатые или неполные вопросы.

Когда поисковые системы только начинали изучать наш язык, было намного проще обмануть систему, используя уловки и тактики, которые на самом деле противоречили рекомендациям по обеспечению качества. Возьмем, к примеру, наполнение ключевыми словами. Если вы хотите ранжироваться по определенному ключевому слову, например «смешные анекдоты», вы можете несколько раз добавить на свою страницу слова «смешные анекдоты» и сделать их жирными, в надежде повысить свой рейтинг по этому запросу: на анекдотов ! Рассказываем самые смешные анекдоты в мире. Веселые анекдоты веселые и безумные. Ваш смешной анекдот ждет. Устройтесь поудобнее и прочитайте смешных анекдотов , потому что смешных анекдотов могут сделать вас счастливыми, а смешнее . Несколько смешных любимых забавных анекдотов .

Эта тактика создавала ужасный пользовательский опыт, и вместо того, чтобы смеяться над забавными шутками, людей засыпали раздражающим, трудночитаемым текстом. Возможно, это сработало в прошлом, но поисковые системы никогда этого не хотели.

Введение в индексирование | Центр поиска Google | Разработчики Google

Индексирование вашего контента Google определяется системными алгоритмами, которые учитывают проверка спроса и качества пользователей аккаунта. Вы можете повлиять на процесс индексации Google тем, как вы управляете обнаружением своего контента, который зависит от URL-адреса страницы. Без твоего URL-адресов страниц, наши системы не могут сканировать, индексировать и в конечном итоге представлять вашу информацию в Поиск.Этот документ вводит понятие попадания в индекс Google, помогая вам решить, как управлять обнаружением вашего содержания Google, что является первым шагом в процесс индексации.

Способы управления ресурсами для поиска с помощью Google

Вы можете выбрать несколько подходов, которые помогут Google найти ваши ресурсы и данные: от полностью пассивного до очень активного. В этом разделе описаны общие варианты, которые могут вам понадобиться для предоставления метаданных ресурсов — карт сайта и ссылок на ресурсы — для наилучшего позиционирования вашего контент, который будет отображаться в поиске.

Хотя эти подходы помогают Google находить URL-адреса на вашем сайте, они не гарантировать, что ваш контент будет проиндексирован и показан в результатах поиска.
Пассивный подход
Если вы создаете веб-сайт без предоставления карты сайта, наши системы пытаются найти и проиндексировать контент на вашем сайте, если вы специально не заблокируете его от поисковых роботов. Как обычно В ходе своей деятельности системы Google сканируют отношения между вашими страницами и другими страницы веб-сайта, которые ссылаются на ваш контент.Для получения дополнительной информации см. Вводное руководство.
Преимущества : Никакой дополнительной работы, кроме создания вашего контента. подход подходит для ситуаций, когда у вас простой веб-сайт и не требуется своевременное обнаружение контента в результатах поиска. Недостатки : Использование естественных ссылок как единственного средства для открытия означает, что наши системы могут не найти весь контент на вашем сайте, особенно если он новый или на него мало ссылок.Это может вызвать проблемы с новым контентом, который вы хотят видеть в результатах поиска, например контент, размеченный специально для включения в Результаты.
Активно управляйте своими URL-адресами
Предоставляя нашим системам прямой список URL-адресов вашего содержания, известный как карта сайта, наша способность находить ваши страницы больше не зависит исключительно от связь с другими ссылающимися страницами в более широкой сети. Это ускоряет процесс обнаружения вашего контента нашими системами. Обычно вы размещаете карта сайта в вашем домене в месте, доступном для робота Googlebot.
Кроме того, если у вас есть несколько URL-адресов, которые содержат одинаковые контент — например, AMP-страница, HTML-страница и представление мобильного приложения — помогает указывают на взаимосвязь между этими ресурсами. Создание взаимосвязь между вашими ресурсами позволяет нашей системе правильно обслуживать правильный контент, например ссылку на ваше приложение или на ваши AMP-страницы. Сделать это, вы устанавливаете канонические страницы для своего сайта и устанавливаете ссылки взаимосвязь между этими страницами и альтернативным контентом в Интернете или приложении.Однажды мы установить отношения между вашими различными ресурсами, мы можем определить какой тип контента отображать пользователю в результатах поиска, например показ ссылка на ваше приложение для пользователей, которые ищут со своего телефона и имеют ваше приложение уже установлено.
Преимущества : Повышает эффективность ваших расширенных результатов поиска. Ускоряет процесс добавления в систему нового контента с низким уровнем переходов. Эта подход устраняет одно потенциальное препятствие для быстрого обслуживания вашего контента в Google. в самых разных формах. Недостатки : Вы выполняете дополнительную работу по обеспечению ресурса метаданные , которые являются вашей картой сайта и отношениями, которые вы указываете между своими веб-страницами, ваше приложение и ваши AMP-страницы.
Отправка новых и обновленных URL-адресов в Google
Хотя вы можете просто разместить карту сайта на своем сайте, чтобы наши системы могли ее обнаружить, вы также можете предоставлять уведомление о новых URL-адресах или существующих URL-адресах, содержание которых изменилось.
Для новых URL-адресов отправка карты сайта помогает нам быстрее их обнаруживать. Для содержания изменения существующих URL-адресов, вы можете предоставить XML-карту сайта с отметками времени изменения для уведомить нас об измененном содержании, готовом к повторной индексации.
Когда наши системы получают список URL-адресов, мы определяем, когда сканировать контент. Для контент, который мы сканируем, мы устанавливаем наличие ресурса на вашем сервере ( процесс, известный как «проверка»), а затем подготовьте этот контент для нашего процесса индексации.
Преимущества : Отправка URL-адресов в Google помогает повысить своевременность обновления содержания из вашего домена в поиск. Недостатки : Немного. Когда вы закончите работу по созданию карты сайта, отправить его в Google — это простой процесс, и многие системы управления контентом предлагают программное обновление карты сайта.
Узнать больше о файлах Sitemap и почему он может вам понадобиться для вашего сайта в Справочном центре Search Console.
10 способов заставить Google индексировать ваш сайт (которые на самом деле работают)
Если Google не проиндексирует ваш сайт, вы в значительной степени невидимы. Вы не увидите ни одного поискового запроса, и вы не получите никакого органического трафика. Zilch. Нада. Нуль.
Учитывая, что вы здесь, я полагаю, это не новость для вас. Итак, приступим непосредственно к делу.
В этой статье рассказывается, как решить любую из этих трех проблем:
Весь ваш веб-сайт не проиндексирован.
Некоторые из ваших страниц проиндексированы, а другие нет.
Ваши недавно опубликованные веб-страницы не индексируются достаточно быстро.
Но сначала давайте удостоверимся, что мы находимся на одной странице и полностью понимаем эту ошибку индексирования.
Что такое сканирование и индексирование?
Google обнаруживает новые веб-страницы путем сканирования Интернета, а затем добавляет эти страницы в свой индекс . Они делают это с помощью веб-паука под названием Googlebot .
Запутались? Давайте определим несколько ключевых терминов.
Сканирование : процесс перехода по гиперссылкам в Интернете для обнаружения нового содержания.
Индексирование : процесс сохранения каждой веб-страницы в обширной базе данных.
Web spider : Часть программного обеспечения, разработанная для выполнения процесса сканирования в масштабе.
Googlebot : веб-паук от Google .
Вот видео от Google, которое более подробно объясняет этот процесс:

https: // www.youtube.com/watch?v=BNHR6IQJGZs
Когда вы что-то гуглите, вы просите Google вернуть все соответствующие страницы из их индекса. Поскольку часто есть миллионы страниц, отвечающих всем требованиям, алгоритм ранжирования Google делает все возможное, чтобы отсортировать страницы так, чтобы вы сначала увидели наилучшие и наиболее релевантные результаты.
Важный момент, который я здесь подчеркиваю, заключается в том, что индексирование и рейтинг — это две разные вещи .
Индексирование отображается для гонки; рейтинг выигрывает.
Невозможно выиграть, не выбрав первое место в гонке.
Как проверить, проиндексированы ли вы в Google
Зайдите в Google, затем найдите сайт : yourwebsite.com
Это число примерно показывает, сколько ваших страниц проиндексировал Google.
Если вы хотите проверить статус индекса определенного URL, используйте тот же сайт : yourwebsite.com/web-page-slug operator.
Результаты не будут отображаться, если страница не проиндексирована.
Стоит отметить, что если вы пользователь Google Search Console, вы можете использовать отчет Охват , чтобы получить более точное представление о статусе индекса вашего веб-сайта. Просто перейдите по ссылке:
Google Search Console> Индекс> Покрытие
Посмотрите количество действующих страниц (с предупреждениями и без них).
Если в сумме эти два числа не равны нулю, значит, Google проиндексировал по крайней мере некоторые страницы вашего сайта. Если нет, то у вас серьезная проблема, потому что ни одна из ваших веб-страниц не проиндексирована.
Примечание.
Не пользуетесь Google Search Console? Зарегистрироваться. Это бесплатно. Каждый, кто управляет веб-сайтом и заботится о привлечении трафика от Google, должен использовать Google Search Console. Это , что важно.
Вы также можете использовать Search Console, чтобы проверить, проиндексирована ли конкретная страница. Для этого вставьте URL-адрес в инструмент проверки URL-адресов.
Если эта страница проиндексирована, будет написано «URL находится в Google».
Если страница не проиндексирована, вы увидите слова «URL не в Google.”
Как получить индексирование в Google
Вы обнаружили, что ваш сайт или веб-страница не проиндексированы в Google? Попробуйте следующее:
Перейдите в консоль поиска Google
Перейдите к инструменту проверки URL
Вставьте URL-адрес, который Google должен проиндексировать, в строку поиска.
Подождите, пока Google проверит URL-адрес
Нажмите кнопку «Запросить индексирование»
Этот процесс является хорошей практикой при публикации нового сообщения или страницы. Вы фактически сообщаете Google, что добавили что-то новое на свой сайт и что они должны это изучить.
Однако запрос на индексирование вряд ли решит основные проблемы, мешающие Google индексировать старые страницы. В таком случае следуйте приведенному ниже контрольному списку, чтобы диагностировать и устранить проблему.
Вот несколько быстрых ссылок на каждую тактику — на случай, если вы уже попробовали:
Удалите блоки сканирования в файле robots.txt
Удалите мошеннические теги noindex
Включите страницу в карту сайта
Удалите мошеннические канонические теги
Убедитесь, что страница не потеряна.
Исправьте внутренние ссылки nofollow
Добавьте «мощные» внутренние ссылки
Убедитесь, что страница ценная и уникальная
Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет» )
Создавайте качественные обратные ссылки
1) Удалите блоки сканирования в ваших роботах.txt файл
Google не индексирует весь ваш сайт? Это могло произойти из-за блокировки сканирования в файле robots.txt.
Чтобы проверить наличие этой проблемы, перейдите по адресу yourdomain.com/robots.txt .
Найдите любой из этих двух фрагментов кода:
User-agent: Googlebot Disallow: /
Пользовательский агент: * Disallow: /
Обе они сообщают роботу Googlebot, что им запрещено сканировать какие-либо страницы вашего сайта. Чтобы решить проблему, удалите их.Это , что просто.
Блок сканирования в robots.txt также может быть причиной, если Google не индексирует одну веб-страницу. Чтобы проверить, так ли это, вставьте URL-адрес в инструмент проверки URL-адресов в Google Search Console. Нажмите на блок «Покрытие», чтобы получить более подробную информацию, затем найдите «Сканирование разрешено? Нет: заблокировано файлом robots.txt ».
Это означает, что страница заблокирована в robots.txt.
В таком случае еще раз проверьте файл robots.txt на наличие каких-либо запрещающих правил, относящихся к странице или соответствующему подразделу.
При необходимости удалить.
2) Удалите ложные теги noindex
Google не будет индексировать страницы, если вы им запретите. Это полезно для сохранения конфиденциальности некоторых веб-страниц. Есть два способа сделать это:
Метод 1: метатег
Страницы с любым из этих метатегов в разделе не будут индексироваться Google:

Это метатег роботов, который сообщает поисковым системам, могут они или не могут индексировать страницу.
Примечание.
Ключевой частью является значение «noindex». Если вы это видите, значит для страницы задано значение noindex.
Чтобы найти все страницы с метатегом noindex на вашем сайте, запустите сканирование с помощью Ahrefs Site Audit. Перейдите к отчету Индексируемость . Ищите предупреждения «Страница Noindex».
Щелкните, чтобы увидеть все затронутые страницы. Удалите метатег noindex со всех страниц, которым он не принадлежит.
Метод 2: X ‑ Robots-Tag
Сканеры также учитывают заголовок HTTP-ответа X ‑ Robots-Tag.Вы можете реализовать это, используя язык сценариев на стороне сервера, такой как PHP, или в файле .htaccess, или изменив конфигурацию сервера.
Инструмент проверки URL в Search Console сообщает вам, заблокирован ли Google сканирование страницы из-за этого заголовка. Просто введите свой URL и найдите «Индексирование разрешено? Нет: «noindex» обнаружен в http-заголовке «X ‑ Robots-Tag»
Если вы хотите проверить наличие этой проблемы на своем сайте, запустите сканирование в инструменте аудита сайта Ahrefs, а затем используйте «Информация о роботах в HTTP-заголовке. ”В проводнике страниц:
Сообщите разработчику, чтобы он исключил страницы, которые вы хотите проиндексировать, из возврата этого заголовка.
Рекомендуемая литература: Спецификации метатега роботов и HTTP-заголовка X ‑ Robots-Tag
3) Включите страницу в карту сайта
Карта сайта сообщает Google, какие страницы на вашем сайте важны, а какие нет т. Это также может дать некоторые рекомендации о том, как часто их следует сканировать повторно.
Google должен иметь возможность находить страницы на вашем веб-сайте независимо от того, есть ли они в вашей карте сайта, но по-прежнему рекомендуется включать их.В конце концов, нет смысла усложнять жизнь Google.
Чтобы проверить, есть ли страница в вашей карте сайта, используйте инструмент проверки URL в Search Console. Если вы видите ошибку «URL не в Google» и «Sitemap: N / A», значит, его нет в вашей карте сайта или он не проиндексирован.
Не используете Search Console? Перейдите по URL-адресу вашей карты сайта — обычно yourdomain. com/sitemap.xml — и найдите страницу.
Или, если вы хотите найти все доступные для сканирования и индексирования страницы, которых нет в вашей карте сайта, запустите сканирование в программе Ahrefs Site Audit.Перейдите в Page Explorer и примените эти фильтры:
Эти страницы должны быть в вашей карте сайта, поэтому добавьте их. После этого сообщите Google, что вы обновили карту сайта, выполнив ping по этому URL:
http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml
Replace эту последнюю часть с URL-адресом вашей карты сайта. Вы должны увидеть что-то вроде этого:
Это должно ускорить индексацию страницы Google.
4) Удалите ложные канонические теги
Канонический тег сообщает Google, какая версия страницы является предпочтительной.Выглядит это примерно так:

Большинство страниц либо не имеют канонического тега, либо так называемого канонического тега, ссылающегося на себя. Это говорит Google сама страница является предпочтительной и, вероятно, единственной версией. Другими словами, вы хотите, чтобы эта страница была проиндексирована.
Но если на вашей странице есть ложный канонический тег, то он может сообщать Google о предпочтительной версии этой страницы, которая не существует. В этом случае ваша страница не будет проиндексирована.
Чтобы проверить каноничность, воспользуйтесь инструментом Google для проверки URL. Вы увидите предупреждение «Альтернативная страница с каноническим тегом», если канонический тег указывает на другую страницу.
Если этого не должно быть, и вы хотите проиндексировать страницу, удалите канонический тег.
ВАЖНО
Канонические теги не всегда плохи. У большинства страниц с этими тегами есть причина. Если вы видите, что ваша страница имеет канонический набор, проверьте каноническую страницу. Если это действительно предпочтительная версия страницы и ее также не нужно индексировать, то канонический тег должен остаться.
Если вы хотите быстро найти ложные канонические теги на всем сайте, запустите сканирование с помощью инструмента аудита сайта Ahrefs. Перейдите в проводник страниц. Используйте эти настройки:
Это ищет страницы в вашей карте сайта с несамодействующими каноническими тегами. Поскольку вы почти наверняка захотите проиндексировать страницы в карте сайта, вам следует дополнительно изучить, возвращает ли этот фильтр какие-либо результаты.
Весьма вероятно, что у этих страниц либо неправильная каноническая версия, либо их вообще не должно быть в вашей карте сайта.
5) Убедитесь, что страница не «осиротевшая»
Сиротские страницы — это те страницы, на которые не указывают внутренние ссылки.
Поскольку Google обнаруживает новое содержание, сканируя Интернет, они не могут обнаружить потерянные страницы с помощью этого процесса. Посетители веб-сайта тоже не смогут их найти.
Чтобы проверить наличие лишних страниц, просканируйте свой сайт с помощью программы Ahrefs Site Audit. Затем проверьте отчет Ссылки на наличие ошибок «Сиротская страница (нет входящих внутренних ссылок)»:
Здесь показаны все страницы, которые одновременно индексируются и присутствуют в вашей карте сайта, но не имеют внутренних ссылок, указывающих на них.
ВАЖНО
Этот процесс работает только в том случае, если верны два условия:
Все страницы, которые вы хотите проиндексировать, находятся в ваших картах сайта
Вы установили флажок, чтобы использовать страницы в ваших картах сайта в качестве отправных точек для сканирования при настройке. проект в Ahrefs Site Audit.
Не уверены, что все страницы, которые вы хотите проиндексировать, есть в вашей карте сайта? Попробуйте следующее:
Загрузите полный список страниц вашего сайта (через вашу CMS)
Просканируйте ваш сайт (используя такой инструмент, как Ahrefs Site Audit)
Сделайте перекрестные ссылки на два списка URL-адресов
Любые URL-адреса не обнаружены во время сканирования, являются потерянными страницами.
Вы можете исправить потерянные страницы одним из двух способов:
Если страница не важна , удалите ее и удалите из карты сайта.
Если страница важна , включите ее во внутреннюю структуру ссылок вашего веб-сайта.
6) Исправить внутренние ссылки nofollow
Ссылки Nofollow — это ссылки с тегом rel = «nofollow». Они предотвращают передачу PageRank на целевой URL. Google также не сканирует ссылки nofollow.
Вот что Google говорит по этому поводу:
По сути, с использованием nofollow заставляет нас отбрасывать целевые ссылки из нашего общего графа сети. Однако целевые страницы могут по-прежнему отображаться в нашем индексе, если другие сайты ссылаются на них без использования nofollow, или если URL-адреса отправлены в Google в файле Sitemap.
Короче говоря, вы должны убедиться, что следуют все внутренние ссылки на индексируемые страницы.
Для этого воспользуйтесь инструментом аудита сайта Ahrefs для сканирования вашего сайта.Проверьте отчет Links на предмет индексируемых страниц с ошибками «Страница имеет только входящие внутренние ссылки nofollow»:
Удалите тег nofollow из этих внутренних ссылок, предполагая, что вы хотите, чтобы Google проиндексировал страницу. Если нет, либо удалите страницу, либо не индексируйте ее.
Рекомендуемая литература: Что такое ссылка Nofollow? Все, что вам нужно знать (без жаргона!)
7) Добавьте «мощные» внутренние ссылки
Google обнаруживает новый контент, сканируя ваш веб-сайт.Если вы не укажете внутреннюю ссылку на рассматриваемую страницу, они не смогут ее найти.
Одно из простых решений этой проблемы — добавить на страницу несколько внутренних ссылок. Вы можете сделать это с любой другой веб-страницы, которую Google может сканировать и индексировать. Однако, если вы хотите, чтобы Google проиндексировал страницу как можно быстрее, имеет смысл сделать это с одной из ваших наиболее «мощных» страниц.
Почему? Потому что Google, вероятно, будет повторно сканировать такие страницы быстрее, чем менее важные страницы.
Для этого перейдите в сайт Ahrefs ‘Site Explorer, введите свой домен, затем перейдите в отчет Best by links .
Здесь показаны все страницы вашего веб-сайта, отсортированные по рейтингу URL (UR). Другими словами, он сначала показывает самые авторитетные страницы.
Просмотрите этот список и найдите соответствующие страницы, с которых можно добавить внутренние ссылки на рассматриваемую страницу.
Например, если бы мы хотели добавить внутреннюю ссылку к нашему руководству по размещению гостевых сообщений, наше руководство по созданию ссылок, вероятно, предложило бы подходящее место для этого. И эта страница оказывается 11-й по авторитетности страницей в нашем блоге:
Затем Google увидит эту ссылку и перейдет по ней в следующий раз, когда повторно просканирует страницу.
pro tip
Вставьте страницу, с которой вы добавили внутреннюю ссылку, в инструмент проверки URL-адресов Google. Нажмите кнопку «Запросить индексирование», чтобы сообщить Google, что что-то на странице изменилось и что они должны повторно сканировать это как можно скорее. Это может ускорить процесс обнаружения внутренней ссылки и, следовательно, страницы, которую вы хотите проиндексировать.
8) Убедитесь, что страница ценная и уникальная
Google вряд ли проиндексирует некачественные страницы, потому что они не представляют ценности для пользователей.Вот что сказал об индексировании в 2018 году Джон Мюллер из Google:
Мы никогда не индексируем все известные URL, это вполне нормально. Я бы сфокусировался на том, чтобы сделать сайт потрясающим и вдохновляющим, тогда все обычно получается лучше.
— 🍌 John 🍌 (@JohnMu) 3 января 2018 г.
Он подразумевает, что если вы хотите, чтобы Google проиндексировал ваш веб-сайт или веб-страницу, он должен быть «потрясающим и вдохновляющим».
Если вы исключили технические проблемы из-за отсутствия индексации, то причиной может быть отсутствие ценности. По этой причине стоит просмотреть страницу свежим взглядом и спросить себя: действительно ли эта страница ценна? Сможет ли пользователь найти ценность на этой странице, если щелкнет по ней в результатах поиска?
Если ответ на любой из этих вопросов отрицательный, то вам необходимо улучшить свой контент.
Вы можете найти больше потенциально некачественных страниц, не проиндексированных с помощью инструмента аудита сайта Ahrefs и профилировщика URL. Для этого перейдите в Page Explorer в Ahrefs Site Audit и используйте следующие настройки:
Это вернет «тонкие» страницы, которые индексируются и в настоящее время не получают органического трафика.Другими словами, велика вероятность, что они не проиндексированы.
Экспортируйте отчет, затем вставьте все URL-адреса в URL Profiler и запустите проверку индексации Google.
ВАЖНО
Рекомендуется использовать прокси, если вы делаете это для большого количества страниц (т. Е. Более 100). В противном случае вы рискуете, что ваш IP-адрес будет забанен Google. Если вы не можете этого сделать, другой альтернативой является поиск в Google «бесплатной массовой проверки индексации Google». Есть несколько таких инструментов, но большинство из них ограничено <25 страницами за раз.
Проверьте все неиндексированные страницы на предмет проблем с качеством. При необходимости улучшите, а затем запросите переиндексацию в Google Search Console.
Вы также должны стремиться исправить проблемы с дублирующимся контентом. Google вряд ли проиндексирует повторяющиеся или почти повторяющиеся страницы. Используйте отчет Дублированное содержимое в Аудите сайта, чтобы проверить наличие этих проблем.
9) Удалите некачественные страницы (для оптимизации «краулингового бюджета»)
Наличие на вашем сайте слишком большого количества некачественных страниц приводит только к потере краулинга.
Вот что Google говорит по этому поводу:
Потеря ресурсов сервера на [малоценных страницах] приведет к истощению активности сканирования со страниц, которые действительно имеют ценность, что может вызвать значительную задержку в обнаружении отличного содержания на сайте. .
Думайте об этом как об учителе, оценивающем эссе, одно из которых принадлежит вам. Если им нужно оценить десять эссе, они довольно быстро доберутся до вашего. Если у них есть сотня, им потребуется немного больше времени. Если у них тысячи, их рабочая нагрузка слишком высока, и они, возможно, никогда не дойдут до оценки вашего эссе.
Google заявляет, что «сканирование бюджета […] — это не то, о чем должно беспокоиться большинство издателей», и что «если на сайте меньше нескольких тысяч URL-адресов, в большинстве случаев он будет сканироваться эффективно».
Тем не менее, удаление некачественных страниц с вашего веб-сайта никогда не бывает плохим. Это может только положительно повлиять на краулинговый бюджет.
Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.
10) Создавайте качественные обратные ссылки
Обратные ссылки говорят Google, что веб-страница важна. В конце концов, если кто-то на него ссылается, значит, он должен иметь какую-то ценность. Это страницы, которые Google хочет проиндексировать.
Для полной прозрачности Google индексирует не только веб-страницы с обратными ссылками. Есть много (миллиарды) проиндексированных страниц без обратных ссылок. Однако, поскольку Google считает страницы с качественными ссылками более важными, они, скорее всего, будут сканировать — и повторно сканировать — такие страницы быстрее, чем те, у которых нет. Это приводит к более быстрой индексации.
У нас есть много ресурсов для создания качественных обратных ссылок в блоге.
Взгляните на несколько руководств ниже.
Индексирование ≠ рейтинг
Если ваш веб-сайт или веб-страница проиндексированы в Google , это не приравнивается к рейтингу или трафику.
Это разные вещи.
Индексирование означает, что Google знает о вашем сайте. Это не значит, что они будут ранжировать его по каким-либо релевантным и ценным запросам.
Вот где приходит SEO — искусство оптимизации ваших веб-страниц для ранжирования по конкретным запросам.
Короче говоря, SEO включает:
Поиск того, что ищут ваши клиенты;
Создание контента по этим темам;
Оптимизация этих страниц под ваши целевые ключевые слова;
Создание обратных ссылок;
Регулярно переиздайте контент, чтобы он оставался «вечнозеленым».”
Вот видео, которое поможет вам начать работу с SEO:

… и некоторые статьи:
Заключительные мысли
Есть только две возможные причины, по которым Google не индексирует ваш веб-сайт или веб-страницу:
Технические проблемы мешают им сделать это
Они считают ваш сайт или страницу некачественными и бесполезными для своих пользователей.
Вполне возможно, что существуют обе эти проблемы.Однако я бы сказал, что технические проблемы встречаются гораздо чаще. Технические проблемы также могут привести к автоматическому созданию индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.
Тем не менее, выполнение приведенного выше контрольного списка должно решить проблему индексации в девяти случаях из десяти.
Просто помните, что индексирование ≠ ранжирование. SEO по-прежнему жизненно важен, если вы хотите ранжироваться по любым полезным поисковым запросам и привлекать постоянный поток органического трафика.
Как заставить Google мгновенно индексировать ваш новый веб-сайт
Хотите, чтобы на ваш сайт было больше обычного поискового трафика?
Готов поспорить, что да — все мы!
Органический поисковый трафик имеет решающее значение для развития вашего веб-сайта и бизнеса.
Согласно некоторым исследованиям, около 33% трафика вашего сайта можно отнести к обычному поиску.
Но статистика не имеет большого значения. , если ваш сайт вообще не отображается в результатах поиска.
Как вы индексируете свой новый сайт или блог в Google, Bing и других поисковых системах? Что ж, у вас есть два варианта.
Вы можете использовать «черепаховый» подход — просто сядьте и подождите, пока это произойдет естественным образом, но это может занять недели или месяцы.
Поверьте, я бывал там раньше — не весело.
Или вы можете сделать это сейчас, давая вам больше времени и энергии для увеличения коэффициента конверсии, улучшения вашего социального присутствия и, конечно же, написания и продвижения отличного и полезного контента.
Не знаю, как вы, но я бы предпочел, чтобы мои сайты были проиндексированы как можно быстрее, потому что это дает мне больше времени для расширения моей аудитории.
Именно благодаря этим стратегиям я увеличил количество посетителей этого блога до 600 000 в месяц так же быстро, как и я!
Хотите сделать то же самое?
Не сдавайтесь, потому что в этом пошаговом руководстве я рассказываю обо всем, что узнал о SEO и о том, как быстро проиндексировать ваш сайт!
Хотите перейти к определенному разделу?
Почему вам нужно индексировать ваш сайт?
Итак, какие факторы индексации имеют значение?
Шаг 1. Проиндексирован ли мой сайт?
Шаг 2: Установите и настройте Google Analytics и Search Console
Шаг 3: Создайте стратегию контент-маркетинга
Шаг 4: Начните вести блог
Шаг 5: Используйте внутренние ссылки на своем веб-сайте
Шаг 6: Продвигайте социальный доступ к вашему контенту
Шаг 7: Добавьте плагин карты сайта, чтобы Google проиндексировал ваш сайт
Шаг 8: Отправьте карту сайта в Search Console
Шаг 9: Создайте каналы социальных сетей
Шаг 10: Используйте robots.txt
Шаг 11: Индексируйте ваш сайт в других поисковых системах
Шаг 12: Поделитесь своим контентом на агрегаторах
Шаг 13: Разместите ссылку на ваш сайт везде
Шаг 14: Настройте RSS-канал
Шаг 15: Разместите свой сайт в каталогах
Step 16. Часто проверяйте ошибки сканирования Google
[БОНУС] Шаг 17: Страницы, которые не следует индексировать, и как предотвратить их сканирование БОНУС!
[БОНУС] Шаг 18. Составьте план обновления старого содержания
Я расскажу, как быстро проиндексировать ваш сайт, что приведет к увеличению органического поискового трафика и повышению рейтинга.
Приступим!
Почему вам нужно индексировать ваш сайт?
Во-первых, очевидный ответ.
Если вы хотите, чтобы ваш сайт вообще отображался в результатах поиска, его необходимо проиндексировать.
Однако вы не хотите, чтобы ваш сайт проиндексировался только один раз. Вы хотите, чтобы поисковые системы продолжали переиндексировать ваш сайт.
Поисковые системы, такие как Google, не обновляются автоматически.
Они полагаются на пауков — небольшие кусочки компьютерного кода, которые каждая поисковая система отправляет для «сканирования» сети (отсюда и «паук»).Вам нужна эффективная и частая скорость сканирования.
Задача паука — искать новые материалы в сети и обновлять уже проиндексированную версию вашего сайта. Этим «новым материалом» может быть новая страница на существующем сайте, изменение существующей страницы или совершенно новый сайт или блог.
Как только паук находит новый сайт или страницу, ему необходимо выяснить, о чем этот новый сайт или страница.
Еще на Диком Диком Западе ранней сети пауки поисковых машин были далеко не такими умными, как сегодня.Вы можете заставить паука проиндексировать и ранжировать вашу страницу только на основе того, сколько раз конкретная поисковая фраза («ключевое слово») появлялась на странице.
Для сегодняшнего успеха контента нельзя полагаться на эти старые стратегии поисковой оптимизации.
И ключевое слово даже не обязательно должно быть в теле страницы. Многие люди оценивали торговую марку своего крупнейшего конкурента, просто вставляя десятки вариаций этой торговой марки в метатеги страницы!
К счастью для пользователей поиска Google и этичных владельцев веб-сайтов, те времена давно прошли .
Сегодня за наполнение ключевыми словами и метатегами вы будете наказаны, а не вознаграждены. А метатеги с ключевыми словами на самом деле вообще не являются частью алгоритма (хотя есть веских причин использовать их ).
Если вы не будете осторожны, ваш сайт может вообще исключить из индекса — это означает, что ваш сайт вообще не будет ранжироваться ни по одному ключевому слову.
В наши дни Google гораздо больше заботится об общем опыте пользователя на вашем сайте и о намерениях пользователя, стоящих за поиском — i.д., хочет ли пользователь что-то купить (коммерческое намерение) или чему-то научиться (информационное намерение)?
Не поймите меня неправильно — ключевые слова по-прежнему имеют значение. По словам Брайана Дина из Backlinko, другие факторы также важны — всего до 200. К ним относятся такие вещи, как качественные входящие ссылки, социальные сигналы (хотя и не напрямую) и действительный код на всех ваших страницах.
Но все это не имеет значения, если «пауки» не смогут определить поисковые системы, где находятся ваши страницы, то есть они не будут отображаться в результатах поиска.
И поэтому индексация так важна.
Проще говоря, индексирование — это способ паука собирать и обрабатывать все данные со страниц и сайтов во время их обхода по сети.
Частое индексирование улучшает результаты поиска.
Паук отмечает новые документы и изменения, которые затем добавляются в поисковый индекс Google. Эти страницы добавляются только в том случае, если они содержат качественный контент и не вызывают никаких тревог из-за таких сомнительных действий, как наполнение ключевыми словами или создание кучи ссылок из источников, не заслуживающих доверия.
Когда паук видит изменение на вашем веб-сайте, он обрабатывает как контент (текст) на странице, так и те места на странице, где размещены условия поиска. Он также анализирует теги заголовков, метатеги и атрибуты alt для изображений.
Затем этот паук добавляет или «индексирует» этот контент в Google.
Это вкратце индексация. Это важный инструмент для веб-мастеров.
Когда поисковый пользователь приходит в поисках информации, вводя ключевые слова для поиска, алгоритм Google начинает работать.Затем алгоритм решает, где оценить страницу по сравнению со всеми другими страницами, связанными с этими ключевыми словами.
Частота индексации вашего сайта может повлиять на вашу эффективность в результатах поиска. Вы хотите, чтобы весь ваш последний контент всегда был доступен для тех, кто ищет, и для пауков Google.
Это краткая и несколько упрощенная версия того, как Google находит, анализирует и индексирует новые сайты , подобные вашему. Многие другие поисковые системы, такие как Bing или Yahoo, следуют аналогичным процедурам, хотя могут быть различия в специфике, поскольку каждая имеет свой собственный алгоритм.
Итак, какие факторы индексации имеют значение?
Вам нужен эффективный индекс для вашего веб-сайта.
Это означает, что вы хотите, чтобы пауки поисковых систем как можно быстрее находили ваш новый контент после того, как вы нажали кнопку публикации.
Вы можете проверить, как часто Google сканирует ваши страницы, войдя в Search Console.
Вы еще не настроили Google Search Console? Перейдите к шагу 2, чтобы узнать, как настроить свой веб-сайт.
В Search Console щелкните свой веб-сайт.Затем нажмите Сканирование -> Статистика сканирования. Вы увидите следующие графики:
Первый график — синий — показывает, как часто Google сканирует ваш сайт.
Это мои графики. Как видите, синий имеет тенденцию к росту. Этот график — график «Страниц, просканированных за день» показывает, как часто Google сканирует мой сайт каждый день.
Как показывает практика, чем больше ползать, тем лучше.
Однако в некоторых случаях чрезмерное сканирование может перегрузить ресурсы сервера.Обычно это результат неправильной конфигурации сервера , а не проблемы с пауками Google.
Это случается очень редко, поэтому вам, вероятно, не стоит об этом беспокоиться. Google позволяет вам изменить скорость сканирования (только вниз, а не вверх), если это происходит с вами.
Итак, что я сделал, чтобы увеличить скорость сканирования?
В последнее время я много публикую и обновляю старый контент, поэтому Google стремится получать все мои обновления и изменения как можно быстрее. Он учится чаще проверять меня.
Я также перешел на новый веб-хостинг в апреле, который намного быстрее, чем мой старый. Вы можете видеть на зеленой диаграмме выше, что время загрузки моего веб-сайта резко сократилось с марта.
Чем быстрее загружается ваш сайт, тем быстрее Google может его проиндексировать!
Google хочет рекомендовать своим пользователям лучшие веб-сайты. Он ищет сайты, которые удобны для пользователей. Хотя это включает в себя множество факторов, очень важно качество контента и скорость загрузки сайта .
Проще говоря:
Более быстрый сайт = лучший пользовательский опыт.
Лучший пользовательский опыт = более высокий рейтинг в результатах поиска.
Гораздо важнее, чем то, как часто Google индексирует ваш сайт, сколько страниц он индексирует. Вы хотите, чтобы как можно больше страниц вашего сайта было проиндексировано.
Не волнуйтесь, ваша карта сайта позаботится об этом, о чем я подробно расскажу в шаге 7.
Но сначала давайте начнем с самого начала.Следующие 18 шагов проведут вас через все, что вам нужно знать об индексировании вашего сайта.
Вам не обязательно делать все 18 шагов, чтобы иметь хорошо проиндексированный веб-сайт, но если вам интересно, как повысить рейтинг в Google, это единственное руководство, которое вам когда-либо понадобится!
Шаг 1. Проиндексирован ли мой сайт?
Если вы не создаете новый сайт, он, вероятно, уже проиндексирован.
Если вы не уверены, вот как это узнать.
Самый простой способ проверить это — выполнить поиск на сайте : vashdomen.com в Google. Если Google знает, что ваш сайт существует и уже просканировал его, вы увидите список результатов, аналогичный тому, что был для NeilPatel.com на снимке экрана ниже:
Если Google еще не нашел ваш сайт, вы не получите никаких результатов, например:
Если ваш сайт уже проиндексирован, это хорошо, но, вероятно, его можно улучшить. Остальные шаги этого руководства помогут вам убедиться, что ваш сайт проиндексирован в полной мере.
Шаг 2. Установите и настройте Google Analytics и Search Console
Если вы еще не знакомы с этими бесплатными инструментами Google, вот краткое описание.
Google Analytics :: Измеряет статистику о вашем веб-сайте, такую как посетители, время, проведенное на сайте, какие страницы они просматривали, откуда они и т. Д.
Консоль поиска Google (ранее известная как Google Webmaster Tools): Она позволяет отслеживать различные аспекты вашего веб-сайта, например, когда он последний раз сканировался, любые ошибки индексации, проблемы с безопасностью и т. Д.
Search Console также позволяет вам управлять некоторыми ключевыми аспектами вашего появления в результатах поиска и вручную отправлять карты сайта — все это я расскажу позже в этой статье.
Но сначала приступим.
Если у вас уже есть Google Analytics и Search Console, нажмите здесь, чтобы перейти к Шагу 3: Создание стратегии контент-маркетинга.
Чтобы настроить Google Analytics, нажмите здесь и войдите в свою учетную запись Google.
Это может быть ваш @gmail.com или ваш адрес электронной почты @ mydomain.com, если вы используете службу G Suite for Business от Google.
Когда вы войдете, вы увидите этот экран. Щелкните Зарегистрироваться.
Введите имя и URL-адрес своего веб-сайта, затем нажмите «Получить идентификатор отслеживания» внизу страницы.
Вы увидите такую страницу. Не паникуйте!
Есть несколько способов установить Google Analytics на свой сайт.
Если вы используете WordPress или другую систему управления контентом, которая запрашивает ваш идентификатор отслеживания Google Analytics, вам просто нужен номер в самом верху.В моем случае это UA-98962030-1.
Это не мой настоящий идентификатор отслеживания! Просто говорю, не размещайте это в Интернете! 😉
Плагин Google Analytics от MonsterInsights для WordPress настроить очень легко.
Просто скачайте его, загрузите плагин в WordPress, активируйте его, и вы увидите этот экран.
Нажмите синюю кнопку «Аутентификация», и она проведет вас через все остальное.
Для настройки плагина у вас должен быть уже создан профиль Analytics, что мы и сделали на предыдущем шаге.
Если вы не используете WordPress или хотите добавить код Google Analytics вручную, вот как это сделать.
Вам необходимо поместить этот код (в красном поле) на каждую страницу вашего веб-сайта.
Самый простой способ сделать это — создать один файл с кодом в нем, а затем создать строку кода на каждой странице вашего веб-сайта, которая будет загружать этот файл.
Кусок торта, правда?
Не волнуйтесь, вот как это сделать!
Для этого шага вам необходимо иметь доступ к файлам вашего веб-сайта на сервере вашей хостинговой компании.Обычно это делается через FTP.
Откройте свой FTP-клиент ( FileZilla отличный, бесплатный) и войдите на свой сервер. Если у вас нет этой информации, вы можете создать учетную запись FTP в cPanel своего веб-хостинга или просто обратиться к своему веб-хостеру, чтобы попросить информацию.
Ваша регистрационная информация должна выглядеть примерно так:
После подключения вы увидите список подобных файлов и папок.
Откройте новый текстовый файл (Блокнот для Windows или TextEdit для Mac подходят для этого).Убедитесь, что для него установлено значение «Только обычный текст».
В TextEdit вы нажимаете Формат -> Сделать обычный текст, чтобы сделать это.
Это действительно важно, потому что текстовые процессоры, такие как Word, могут добавлять форматирование в код, которое может испортить код на вашем сайте. При работе с кодом всегда используйте обычный текст .
Когда у вас будет обычный текстовый документ, вставьте код Google Analytics. В итоге вы получите:
Сохраните файл как analyticstracking. php. Убедитесь, что он имеет расширение .php, а не .txt.
Если ваш текстовый редактор по какой-то причине сохранил его с именем «analyticstracking.php.txt», просто переименуйте файл на своем компьютере в «analyticstracking.php».
Загрузите этот файл в корневой каталог через FTP (первая папка вашего сайта).
Вам нужно добавить одну строку кода для каждого шаблона страницы, который у вас есть. Это «вызывает» только что созданный файл и обеспечивает отслеживание каждой страницы вашего веб-сайта, использующей этот шаблон, в Google Analytics.
Для этого загрузите все файлы шаблонов PHP для своего веб-сайта и отредактируйте их.
Если у вас есть один с именем header.php, который загружается на каждой странице, вам нужно сделать это только один раз!
Загрузите header.php.
Затем откройте загруженный файл в текстовом редакторе.
Найдите тег и начало, например:
Вставьте одну строку кода сразу после тега.
Скопируйте этот код:
И вставьте сюда:
Сохраните файл header.php и повторно загрузите его на свой веб-сайт.
Готово!
Если у вас нет файла header.php, вам нужно повторить этот процесс для каждого шаблона страницы php, который есть на вашем веб-сайте, например index.php, blog.php и т. Д.
Если вы используете WordPress, у вас определенно есть преимущество. Все, что вам нужно сделать, это установить плагин.
Хорошо, нужно настроить еще кое-что, и мы перейдем к шагу 3.
Теперь, когда мы настроили Google Analytics, пора добавить наш веб-сайт в Google Search Console (ранее известную как Google Webmaster Tools).
Щелкните здесь, чтобы перейти к Search Console . Войдите в свою учетную запись Google.
Вы увидите этот экран:
Введите URL-адрес вашего веб-сайта.
Затем вам нужно будет подтвердить, что вы являетесь владельцем этого домена. Есть несколько способов сделать это.
По умолчанию он может показать вам вариант подтверждения через ваш веб-хостинг.
Щелкните раскрывающееся меню, чтобы найти поставщика доменного имени.
Если вашего нет в списке, вы можете нажать «Другое» (внизу).
Search Console затем попросит вас создать запись TXT, что потребует изменения конфигурации вашего домена.
Это немного над головой? Не волнуйтесь, у меня есть способ попроще!
Если вы все же хотите добавить запись TXT, вот как .
Щелкните Альтернативные методы вверху.
Есть два простых способа подтвердить свой домен: с помощью Google Analytics или с помощью загрузки файла HTML.
Я расскажу о них обоих.
Чтобы подтвердить с помощью Google Analytics, просто выберите его и нажмите «Подтвердить».
Google проверит вашу учетную запись Google Analytics, чтобы убедиться, что вы являетесь тем, кем себя называете, и если да, то вы увидите сообщение об успешном завершении. Убедитесь, что вы используете тот же аккаунт Google для Search Console, что и для Analytics.
Процесс загрузки файлов HTML по-прежнему остается довольно простым.
Щелкните, чтобы загрузить файл на свой компьютер на шаге 1, затем снова откройте программу FTP. Загрузите HTML-файл Google в свой корневой каталог.
Затем перейдите по URL-адресу, который Google дал вам, чтобы убедиться, что файл там. В моем случае это https://neilpatel.com/googlefba739b2a6dd0306.html.
Если вы загрузили его правильно, вы увидите имя файла в окне браузера.
Вернитесь в Search Console и нажмите «Подтвердить» внизу.
Вот и все!
Не забудьте оставить HTML-файл на вашем сервере. Это гарантирует, что ваш сайт будет оставаться подтвержденным в Search Console.
Есть еще две действительно важные вещи, которые вам нужно сделать сейчас:
Добавьте версии neilpatel.com и neilpatel.com своего домена
Установить основной домен
Зачем вам это нужно, спросите вы?
Как объясняет Google : «Если вы видите сообщение о том, что ваш сайт не проиндексирован, это может быть связано с тем, что он проиндексирован в другом домене. Например, если вы получили сообщение о том, что http://example.com не проиндексирован, убедитесь, что вы также добавили http://www.example.com в свою учетную запись (или наоборот), и проверьте данные. для этого сайта ».
Добавить другую версию вашего URL-адреса просто — повторите тот же процесс, который я только что объяснил. В приведенном выше примере я подтвердил свой домен neilpatel.com. Поэтому я бы пошел в Search Console и проделал те же шаги, но вместо этого использовал бы « neilpatel.com ».
После того, как оба «yourdomain.com »и« www.yourdomain.com », добавленные в Search Console, вам необходимо указать предпочтительный домен.
Для этого щелкните свой веб-сайт в Search Console.
В правом верхнем углу щелкните значок шестеренки и выберите Параметры сайта.
Выберите, хотите ли вы, чтобы ваши URL отображались с префиксом www. или без.
Я собираюсь показать вам все удивительные возможности Search Console позже в этой статье, так что держите эту вкладку открытой!
Но теперь нам нужно вернуться к основам маркетинга и поговорить о создании стратегии SEO для вашего контента.
Шаг 3. Создание стратегии контент-маркетинга
Если я сказал недостаточно, позвольте мне повторить еще раз: в ваших интересах иметь письменную стратегию контент-маркетинга, ориентированную на результаты поиска.
Но не верьте мне на слово.
Из Института контент-маркетинга: «Те, у кого есть задокументированная стратегия контент-маркетинга:
С гораздо большей вероятностью считают себя эффективными в контент-маркетинге
Почувствуйте себя значительно менее сложным во всех аспектах контент-маркетинга
Считают себя более эффективными в использовании всех тактик контент-маркетинга и каналов социальных сетей
Могут оправдать расходование более высокого процента своего маркетингового бюджета на контент-маркетинг »
Все это абсолютно верно.Что касается меня, я чувствую себя намного лучше, когда у меня есть письменный план действий, на который я могу ссылаться и отслеживать свой успех.
Мои блоги и многочисленные предприятия не росли бы так быстро, как они, без письменного плана.
Помимо того, что вы сосредотачиваетесь на своих целях, документированная стратегия содержания также помогает вам индексировать страницы вашего сайта путем создания новых страниц содержания.
Согласно отчету HubSpot «Состояние входящего трафика 2014», контент-маркетологи заявили, что ведение блога дает 13-кратный положительный ROI , если все сделано правильно.
И это было давно!
Более недавние исследования показали, что компании, которые публикуют более 16 сообщений в блогах в месяц, получают примерно на в 4,5 раза больше потенциальных клиентов (), чем компании, публикующие 0–4 сообщения в месяц.
Делать все возможное, чтобы публиковать ценный, интересный и полезный контент, а затем делать все возможное, чтобы ваши потенциальные клиенты видели его.
Вот пример.
Когда я, , создаю и публикую профессиональную инфографику на моем сайте, и она публикуется на другой веб-странице со ссылкой на мою страницу, я получаю «кредит» контент-маркетинга за оба сообщения.
А поскольку это инфографика, у меня больше шансов привлечь аудиторию на обоих сайтах.
Инфографика
имеет один из самых высоких показателей вовлеченности читателей. Доказано, что большинство людей тратят больше времени на просмотр инфографики , чем на чтение текста на странице.
Но вы все это читаете, верно ?!
И инфографикой в социальных сетях делятся примерно в 3 раза больше, чем любым другим типом контента.
Вот инфографика об инфографике, чтобы действительно убедить вас в этом.
Когда вы разрабатываете свою стратегию контент-маркетинга, блоггинг обязательно должен быть в списке.
Но вам также необходимо учитывать контент, который вы будете публиковать на других сайтах. Это не только помогает увеличить ваш трафик, но также помогает повысить скорость индексации и получение входящих ссылок.
Вот несколько примеров внешнего контента, который можно использовать в вашем плане:
Гостевые посты на других сайтах в вашей нише
Пресс-релизы отправлены на сайты, публикующие такой контент
статей на сайтах высококачественных каталогов статей (Примечание: будьте осторожны здесь — подавляющее большинство каталогов статей , а не высокого качества, и на самом деле могут навредить вашему бренду, репутации и SEO. )
Некоторые авторитетные каталоги: Medium , Brighthub и HubPages .
Видео размещено на Vimeo или на вашем канале YouTube
Конечно, любой контент , на котором вы указываете свое имя или , должен быть высокого качества и опубликован на авторитетном сайте .
В противном случае вы нарушите цель поисковой оптимизации и нанесете ущерб своему трафику и бренду.
Контент, опубликованный на сайтах со спамом и имеющий обратную ссылку на ваш сайт, подсказывает результатам поиска Google, что ваш сайт также является спамом.
Примерами сайтов с хорошей репутацией, на которых можно публиковать гостевые сообщения, могут быть Forbes, Entrepreneur, Smashing Magazine и т. Д. Это известные веб-сайты с репутацией качественного контента, а это именно то, что вы хотите ассоциировать со своим брендом.
Не очень хорошие места для публикации? Сайты полны некачественных красных флажков: загромождены рекламой, много грамматических или орфографических ошибок или неизвестны в той отрасли, на которую вы ориентируетесь.
Я не хочу здесь называть никаких имен, но вашего здравого смысла должно хватить, чтобы сказать вам, что такое сайт, рассылающий спам. Например, сайт с именем neilsbestmarketingadvice101.tumblr.com, вероятно, мало что вам даст, верно?
Хорошо продуманный план контент-маркетинга поможет вам избежать безумной спешки по публикации большего количества контента. Он ставит вас на место водителя поисковой оптимизации, так что вы можете сосредоточиться на привлечении потенциальных клиентов и повышении коэффициента конверсии .
Создание стратегии письменного контента не должно быть трудным.
Вот фреймворк, который я использую для своего:
Каковы ваши цели? Укажите целей SMART и способ измерения вашего прогресса (т. Е. Показатели).
Кто ваша целевая аудитория? Профили или личности клиентов необходимы для понимания вашей аудитории и того, что они хотят / в чем они нуждаются.
Какие типы контента вы будете создавать? Вы хотите убедиться, что вы доставляете типа контента , который хочет видеть ваша целевая аудитория.
Где это будет опубликовано? Конечно, вы будете размещать свой собственный контент на своем веб-сайте, но вы также можете обратиться к другим сайтам или использовать такие платформы, как YouTube, LinkedIn и Slideshare.
Как часто вы будете публиковать свой контент? Гораздо лучше последовательно выпускать одну хорошо написанную и качественную статью в неделю, чем публиковать каждый день в течение недели, а затем ничего не публиковать в течение месяца. Последовательность — ключ к успеху.
Какие системы вы выберете для публикации своего контента? Системы — это в основном повторяемые процедуры и шаги для выполнения сложной задачи.Они помогут вам сэкономить время и быстрее написать контент , чтобы вы могли не отставать от графика. Все, что поможет вам публиковать контент за меньшее время, не жертвуя качеством , улучшит вашу прибыль.
Включите инструментов и технологий для ведения блогов / контента , которые вы будете использовать, и то, как они вписываются в вашу систему.
После того, как вы задокументируете свой план контент-маркетинга, вам станет проще публиковать качественный контент по согласованному графику.Это поможет быстрее проиндексировать новые веб-страницы вашего сайта.
Шаг 4. Начните вести блог
Зачем нужен блог?
Это просто: B журналов — это трудолюбивые SEO-машины . Контент блога сканируется и индексируется быстрее, чем статические страницы.
Блоги также привлекают больше трафика. Компании, которые регулярно ведут блог, привлекают на свои сайты посетителей на 55% больше, чем те, которые этого не делают.
А ведение блога работает для любого бизнеса, отрасли или ниши, а также почти для всех бизнес-моделей — даже B2C и сайтов электронной коммерции.
Не бойтесь вести блог. Да, это требует постоянных усилий. Вы должны регулярно писать (или передавать на аутсорсинг) высококачественных и подробных сообщений в блогах . Но награда, как я выяснил, того стоит.
Необязательно вести блог каждый божий день — хотя 82% маркетологов , которые ведут блог ежедневно, сообщают, что получают клиентов благодаря своим сообщениям.
Если у вас есть сайт электронной торговли, ведение блога не должно быть очень сложным или трудным.
Например, когда вы создаете страницу нового продукта, напишите и опубликуйте в блоге сообщение о новом продукте. Добавьте несколько качественных изображений продукта и ссылку на страницу продукта. Это помогает поисковым системам быстрее индексировать страницу продукта.
Еще одна отличная стратегия ведения блога для электронной коммерции — писать пост каждый раз, когда покупатель задает вам вопрос.
И, для большей стратегии, ориентированной на продажи, поделитесь ссылкой на этот пост в блоге с другими блоггерами и влиятельными лицами, чтобы известить о них.Возможно, они захотят разместить ваш продукт в своих блогах, которые, опять же, являются отличным источником ссылок и трафика и положительно повлияют на вашу скорость сканирования.
Шаг 5. Используйте внутренние ссылки на своем веб-сайте
Внутренние ссылки, то есть ссылки на страницы вашего собственного веб-сайта, — еще один отличный способ быстро проиндексироваться и повысить свою позицию в обычных результатах поиска.
Одним из очевидных источников внутренних ссылок является навигация по вашему сайту.
Важно структурировать навигацию по веб-сайту так, чтобы она имела смысл для Google.
Ваша навигация должна следовать предсказуемому потоку, например, Домашняя страница -> Категория -> Дополнительная страница.
Очевидно, что все элементы должны быть связаны. Итак, если вы веб-дизайнер, ваша навигация может выглядеть так.
Домашняя страница -> Услуги веб-дизайна -> WordPress Design
Видите, как все это связано и имеет смысл?
Еще одним ключевым фактором является правильная структура URL-адресов . Эмпирическое правило Google — сделать их максимально простыми и понятными.
Так что, если это имеет смысл для вас, человека, это должно иметь смысл и для Google.
Еще один отличный способ ссылаться на ваш контент — это сообщения в блогах.
Люди обычно связывают фразы в своих блогах на соответствующие темы, например, если бы я хотел предложить вам дополнительной информации о структуре URL-адресов .
Или я мог бы создать такую строку:
Связано: Имеет ли значение структура URL? Ответ на основе данных
Создает ссылки, которые заставляют пауков Google возвращаться и сканировать эти страницы снова.Кроме того, это положительно улучшает пользовательский опыт. Ваши читатели оценят дальнейшие ресурсы.
Не забывайте всегда помнить об удобстве использования. Это идет рука об руку с SEO. У Google есть все эти правила и способы работы, потому что он пытается предоставить своим пользователям наилучшие результаты и дать им ответы, которые они ищут.
Вы должны сосредоточиться на одном и том же!
Шаг 6. Поощряйте публикацию вашего контента в социальных сетях
Естественно, побудить людей поделиться вашим контентом в социальных сетях — это хорошо.Совершенно уверен, что мне не нужно убеждать вас в этом!
Он представляет ваш контент для новых людей, привлекает их на ваш веб-сайт, и это тот контент, который люди хотят видеть больше всего, согласно HubSpot .
Но публикация ваших постов в социальных сетях также имеет преимущества для SEO, поскольку создает обратные ссылки на ваш контент.
Что, если вы внимательно … говорит паукам Google проиндексировать ваш сайт!
Бонусных баллов, если вы уже догадались.
Сейчас ведутся споры о том, насколько ссылки в социальных сетях влияют на ранжирование органического поиска.
Google дал смешанные заявления по этому поводу, заявив, что сначала в 2015 году они вообще не учитывали сообщения в социальных сетях для ранжирования органического поиска, а затем , позже заявив, что они сделали .
«Да, мы используем это как сигнал. Он используется как сигнал в нашем органическом рейтинге и рейтинге новостей. Мы также используем его, чтобы сделать наши новости универсальными, отмечая, сколько людей поделились статьей.»- говорит Google в SearchEngineLand.com.
Мэтт Каттс из Google Славы сказал несколько лет назад :
Я снял видео еще в мае 2010 года, где я сказал, что мы не использовали «социальные сети» в качестве сигнала, и в то время мы не использовали это как сигнал, но сейчас мы снимаем это на пленку в декабре. 2010 г., и мы используем это как сигнал.
Bing , с другой стороны, очень четко объяснил, как он использует ссылки социальных сетей в рейтинге результатов поиска, известные как «социальные сигналы».”
Многие маркетологи считают, что социальные сигналы являются важным фактором ранжирования, , и я один из них .
Обмен в социальных сетях помог мне значительно расширить мой блог. Когда я основал NeilPatel. com, я начал с нуля и быстро увеличил свою аудиторию до 60 000 читателей в месяц за 2 месяца.
Всего два года спустя у меня в среднем более 600 000 читателей в месяц.
Я приписываю большую часть своего успеха социальному обмену и положительному росту SEO, который я получил благодаря социальным сигналам, ссылкам и повышенной скорости индексации страниц.
В любом случае социальный обмен имеет много других преимуществ для вашего веб-сайта, так что просто сделайте это!
Шаг 7. Добавьте плагин карты сайта, чтобы Google проиндексировал ваш сайт
Во-первых, давайте поговорим о том, что такое карта сайта.
Вы, несомненно, видели слово «карта сайта» раньше, но, возможно, вы никогда не знали, что именно оно означает и как оно связано с поисковой оптимизацией. Вот определение, которое нам предлагает Google:
Карта сайта — это в основном список (в формате XML) всех страниц вашего сайта . Его основная функция — сообщать поисковым системам, когда что-то изменилось — будь то новая веб-страница или изменения на определенной странице — а также то, как часто поисковая система должна проверять наличие изменений.
Влияют ли карты сайта на ваш поисковый рейтинг ? Наверное, нет — по крайней мере, незначительно. Но они помогут вашему сайту быстрее проиндексироваться с более эффективной скоростью сканирования.
Изображение с FirstPageSage.com
В современном мире поискового запроса существует множество мифов о SEO , которых вам нужно опасаться.Но одно остается неизменным: при прочих равных отличный контент, поднимется на вершину, как сливки.
Карты сайта помогают сканировать и индексировать ваш контент, чтобы он мог быстрее подняться на вершину поисковой выдачи , согласно в блоге Google для веб-мастеров . По словам Google, «отправка файла Sitemap помогает убедиться, что Google знает об URL-адресах на вашем сайте».
Это гарантия, что ваш сайт будет немедленно проиндексирован? Нет. Но это определенно эффективный инструмент для веб-мастеров, который помогает в этом процессе.
Кейси Генри интересовало, насколько карты сайта повлияют на скорость сканирования и индексирование , поэтому он решил провести небольшой эксперимент.
Кейси поговорил с одним из своих клиентов, который вел довольно популярный блог, используя как WordPress, так и плагин Google XML Sitemaps Generator для WordPress (подробнее об этом ниже).
С разрешения клиента Кейси установил скрипт отслеживания, который отслеживал действия робота Googlebot на сайте. Он также отслеживал, когда бот обращался к карте сайта, когда карта сайта была отправлена, и каждую страницу, которая была просканирована.Эти данные хранились в базе данных вместе с отметкой времени, IP-адресом и пользовательским агентом.
Клиент просто продолжил свой обычный график публикации (около двух или трех сообщений в неделю).
Кейси назвал результаты своего эксперимента не чем иным, как «удивительными» с точки зрения поисковой оптимизации. Но судите сами: когда карта сайта не была отправлена, Google потребовалось в среднем 1375 минут, чтобы найти, просканировать и проиндексировать новый контент.
А когда была отправлена карта сайта? Это среднее значение упало до 14 минут.
И статистика поискового бота Yahoo! Следовала той же тенденции.
Как часто нужно сообщать Google, чтобы он проверял наличие изменений, отправляя новую карту сайта? Не существует твердого правила. Однако некоторые виды контента требуют более частого сканирования и индексации.
Например, если вы добавляете новые продукты на сайт электронной торговли, и у каждого из них есть собственная страница продукта, вам нужно, чтобы Google часто проверял их, увеличивая скорость сканирования.То же самое верно и для сайтов, которые регулярно публикуют горячие или свежие новости, которые постоянно соревнуются в запросах поисковой оптимизации.
Но есть гораздо более простой способ создать и отправить карту сайта. Если вы используете WordPress, просто установите и используйте плагин Google XML Sitemaps .
Это тот же плагин, который Кейси Генри использовал в тематическом исследовании, о котором я упоминал выше.
Его настройки позволяют указать плагину, как часто карта сайта должна создаваться, обновляться и отправляться в поисковые системы.Он также может автоматизировать процесс для вас, так что всякий раз, когда вы публикуете новую страницу, карта сайта обновляется и отправляется.
Другие инструменты карты сайта, которые вы можете использовать, включают XML Sitemaps Generator , онлайн-инструмент, который должен работать для любого типа веб-сайтов.
Получив карту сайта, вы хотите отправить ее в Google Search Console , о чем мы поговорим дальше.
Шаг 8. Отправьте карту сайта в Search Console
Крайне важно, чтобы ваша карта сайта соответствовала последней версии Google Search Console. Я люблю заходить раз в 2 недели или, по крайней мере, ежемесячно, и обновлять его.
Еще не зарегистрировались в Google Search Console? Вернитесь к шагу 2, чтобы узнать, как это сделать!
Щелкните URL-адрес, чтобы перейти на панель управления для этого сайта. Слева в разделе «Сканирование» нажмите «Карты сайта», затем в правом верхнем углу нажмите «Добавить / проверить карту сайта».
Для следующего шага вам понадобится URL-адрес вашей карты сайта. Если вы используете плагин для WordPress, эта информация будет доступна в его настройках.
Обычно это URL-адрес yourdomain.com/sitemap.xml.
Как я упоминал выше, вы также можете использовать веб-сайт, например XML-Sitemaps.com , чтобы создать его. Для этого просто введите свой URL и выберите время изменения частоты.
Частота изменения просто говорит Google, как часто он должен индексировать ваш сайт. Это всего лишь предложение Google, и паук должен определить, когда он вернется, чтобы снова проиндексировать ваш сайт.
Как только он предоставит вам карту сайта.xml, загрузите его на свой сайт через FTP.
Получив URL-адрес карты сайта, введите его в Google Search Console.
После отправки вы увидите это внизу страницы.
Когда Google закончит его индексирование, в столбце «Обработано» изменится с «Ожидание» на дату, когда он был проиндексирован.
Как видите, только 294 из 473 моих веб-страниц были проиндексированы! Будем надеяться, что за это время паук подберет их больше. Однако не беспокойтесь, если вы увидите похожую статистику — некоторые из этих страниц, вероятно, вы и не хотите индексировать (подробности см. В шаге 17!).
Сделайте привычкой отправлять новую карту сайта не реже одного раза в месяц.
Вы также можете использовать Bing Инструменты для веб-мастеров , чтобы сделать то же самое для Bing. Хорошо бы охватить все ваши базы, тем более что Bing является второй по популярности поисковой системой после Google!
Шаг 9. Создайте каналы в социальных сетях
У вас есть профили в социальных сетях для вашего нового сайта или блога? Если нет, то сейчас самое время.
Почему? Потому что, как мы узнали на шаге 6, один из компонентов поисковой оптимизации обращает внимание на социальные сигналы. Эти сигналы потенциально могут побудить поисковые системы сканировать и индексировать ваш новый сайт.
Более того, социальные сигналы помогут вам повысить рейтинг ваших страниц в результатах поиска.
К настоящему времени очевидно, что надежный план маркетинга в социальных сетях помогает SEO . Но социальные профили для вашего сайта также дают вам другое место для добавления ссылок на ваш сайт или блог .
профилей Twitter, страниц Facebook, профилей LinkedIn или страниц компаний, профилей Pinterest, каналов YouTube и особенно профилей или страниц Google+ — все это легко создать и является идеальным местом для добавления ссылок, указывающих на ваш веб-сайт.
Если вы не хотите создавать новые профили на социальных сайтах для своего нового сайта или блога, вы также можете просто добавить ссылку нового сайта в свои существующие профили, чтобы увеличить скорость сканирования. Однако я настоятельно рекомендую создавать новые профили для проектов. Помимо того, что это хорошо для SEO, это также отлично подходит для брендинга.
И, вероятно, это само собой разумеется, но если вы создаете эти каналы в социальных сетях, будьте готовы также регулярно обновлять их, добавляя новый контент.
Шаг 10. Используйте robots.txt
Если вы не являетесь опытным программистом или разработчиком, возможно, вы видели файл с именем «robots.txt» в файлах своего домена и задавались вопросом , что это такое и для чего он нужен .
Часть «что это такое» очень проста. Это простой текстовый файл, который должен находиться в корневом каталоге вашего домена . Если вы используете WordPress, он будет находиться в корневом каталоге вашей установки WordPress.
Часть «что он делает» немного сложнее.По сути, robots.txt — это файл, который дает строгие инструкции для роботов поисковых систем о том, какие страницы они могут сканировать и индексировать — и от каких страниц следует держаться подальше.
Когда поисковые роботы находят этот файл в новом домене, они читают содержащиеся в нем инструкции, прежде чем делать что-либо еще. Если они не находят файл robots.txt, поисковые роботы предполагают, что вы хотите просканировать и проиндексировать каждую страницу.
Теперь вы можете спросить: «С какой стати мне нужно, чтобы поисковые системы , а не индексировали страницу на моем сайте?» Это хороший вопрос!
Короче говоря, это , потому что не каждую страницу, существующую на вашем сайте, следует учитывать как отдельную страницу для целей поиска. Подробнее об этом позже!
Ваш первый шаг — убедиться, что на вашем новом сайте есть файл robots.txt. Вы можете сделать это либо через FTP, либо щелкнув свой файловый менеджер через CPanel (или аналогичный, если ваша хостинговая компания не использует CPanel).
Если его там нет, вы можете легко создать его с помощью текстового редактора, такого как Блокнот.
Примечание: Очень важно использовать только обычный текстовый редактор, а не что-то вроде Word или WordPad, , которые могут вставлять невидимые коды в ваш документ, что действительно испортит ситуацию.
WordPress-блоггеры могут оптимизировать свои файлы robots.txt с помощью надежного плагина WordPress, такого как плагин Yoast SEO.
Формат файла robots.txt довольно прост. В первой строке обычно указывается пользовательский агент, который представляет собой просто имя поискового бота — например, Googlebot или Bingbot. Вы также можете использовать звездочку (*) в качестве идентификатора подстановочного знака для всех ботов. Этот тип плагина WordPress — эффективный инструмент для веб-мастеров.
Далее идет строка разрешающих или запрещающих команд.Они сообщают поисковым системам, какие части они должны сканировать и индексировать («Разрешить»), а какие — игнорировать («Запрещать»).
Эти правила гарантируют, что в результаты поиска попадут только те страницы, которые вы хотите проиндексировать.
Итак, резюмируем: функция robots.txt заключается в том, чтобы сообщать поисковым системам, что делать с контентом / страницами на вашем сайте . Но помогает ли это проиндексировать ваш сайт?
Harsh Agrawal из ShoutDreams Media говорит
Да.
Он смог проиндексировать сайты в течение 24 часов, используя комбинацию стратегий, включая robots.txt и методы SEO на странице.
С учетом всего сказанного, крайне важно быть очень осторожным при редактировании файла robots.txt, потому что легко ошибиться, если вы не знаете, что делаете.
Неправильно настроенный файл может скрыть весь ваш сайт от поисковых систем. Это полная противоположность тому, что вы хотите! Вы должны понимать, как редактировать файл robots.txt, чтобы предотвратить снижение скорости сканирования.
Вы можете нанять опытного разработчика, который позаботится об этой работе, и оставить его в покое, если вам не нравится риск навредить вашему SEO.
Если вы хотите попробовать сами, вы можете использовать инструмент Google robots.txt , чтобы убедиться, что ваш файл правильно закодирован .
Шаг 11. Проиндексируйте свой сайт в других поисковых системах
Вы также можете воспользоваться прямым подходом и отправить URL вашего сайта в поисковые системы.
Прежде чем вы это сделаете, вы должны знать, что существует множество разногласий по поводу ручной отправки URL сайта как метода его индексации.
Некоторые блоггеры полагают, что это по крайней мере ненужно, если не совершенно вредно .
Марк Уолтерс пишет , что если ваш сайт работал дольше недели, поисковые системы его уже нашли. Он утверждает, что отправлять вручную бессмысленно, а платить компаниям за то, чтобы они делали это за вас, — это кража.
Ручная отправка в поисковую систему также может быть вредной, Билл Хартцер утверждает, что , когда вы отправляете свой сайт не только в Google, Bing и другие авторитетные поисковые системы.
Некоторые сайты с бесплатной отправкой предлагают разместить ваш сайт в нескольких поисковых системах, но эти ссылки могут быть некачественными и отрицательно сказаться на вашем SEO.
Видите все эти случайные каталоги и веб-сайты, куда будет отправлен ваш сайт? Если эти сайты рассматриваются Google как спам, наличие с них ссылок на ваш сайт повредит вашему SEO-рейтингу.Google накажет вас за «привязанность» к этим сайтам.
Поскольку есть другие методы, которые работают эффективно, большинство блоггеров и владельцев сайтов игнорируют этот шаг.
С другой стороны, это не займет много времени и не повредит вашему SEO , если вы просто отправляете данные в Google, Bing, Yahoo или другие очень уважаемые веб-сайты .
Чтобы отправить URL своего сайта в Google, просто войдите в свою учетную запись Google и перейдите по адресу Submit URL в Google Search Console.Введите свой URL, щелкните поле «Я не робот» и нажмите кнопку «Отправить запрос».
Шаг 12. Поделитесь своим контентом на агрегаторах
Агрегаторы контента — это веб-сайты, которые действуют как поисковая система для контента, отправленного пользователями.
Это означает, что люди отправляют свой контент на эти сайты, а затем посетители могут искать и находить контент от людей со всего мира. Это огромные сети доступного для поиска контента.
Хорошо известными примерами являются Reddit и Medium .
Размещение вашего контента на агрегаторах — отличный источник ссылок и новых контактов, как и социальные сети.
Некоторые другие агрегаторы, на которых вы можете поделиться своим контентом:
Medium — также отличное место для публикации вашего контента. Для получения более подробной информации ознакомьтесь с моим полным руководством по по увеличению посещаемости вашего веб-сайта с помощью Medium .
Шаг 13: Разместите ссылку на свой веб-сайт везде
Еще один простой способ получить ссылки на ваш новый сайт или блог — обновить ваш собственный социальный статус.
Конечно, эти ссылки будут nofollow, но они все равно будут учитываться для целей оповещения об индексировании, поскольку мы знаем, что Google и Bing, по крайней мере, отслеживают социальные сигналы с веб-страниц.
Старая поговорка «ваша сеть — это ваш капитал» также применима здесь. Если вы только начинаете, вашими первыми клиентами могут стать члены семьи, друзей или знакомых, поэтому не стесняйтесь делиться своим новым сайтом в своих личных аккаунтах в социальных сетях.
Если вы используете Pinterest, выберите высококачественное изображение или снимок экрана со своего нового сайта .Добавьте URL-адрес и оптимизированное описание (то есть убедитесь, что вы используете подходящие ключевые слова для своего сайта) и закрепите его либо на существующей доске, либо на новой, которую вы создаете для своего сайта.
Мне нравится, как Whole Foods использует Pinterest для взаимодействия со своей целевой аудиторией (например, гурманами и любителями натуральных рецептов). У них есть доски для каждой темы, включая текущие праздники и сезонные тенденции.
Если вы на YouTube, проявите творческий подход! Запишите короткий видеоролик, представляющий ваш сайт и подчеркивающий его особенности и преимущества. Затем добавьте URL-адрес в описание видео.
Social Media Examiner предлагает поместить ваш URL в первую строку описания.
Если у вас есть существующий список рассылки из другой компании, относящейся к той же нише, что и ваш новый сайт, вы можете разослать по всему списку рассылку, представляя ваш новый сайт и включая ссылку.
Джон Морроу, известный под названием Copyblogger, сделал это со своим новым сайтом Unstoppable.мне . Он составил список адресов электронной почты тысяч людей из своих многочисленных предприятий и успешно использовал его для привлечения трафика на свое новое предприятие.
Когда он опубликовал свой первый пост, он разослал электронное письмо своим подписчикам с других своих веб-сайтов, чтобы сообщить им о своем новом сайте.
Он также использовал раздел биографии на своем сайте SmartBlogger , чтобы привлечь трафик на свой новый блог.
Его первый пост на Unstoppable.me собрал более 60 000 репостов в Facebook и 3 000 репостов в Twitter в только за первый месяц .
Наконец, не забывайте о своей личной учетной записи электронной почты. Добавьте свой новый URL-адрес и имя сайта в подпись электронной почты. Это просто, но работает.
Шаг 14. Настройка RSS-канала
Что такое RSS?
RSS — это автоматический канал содержания вашего веб-сайта, который обновляется, когда вы публикуете новое сообщение в блоге.
И как это влияет на индексирование и сканирование?
Что ж, прежде чем мы перейдем к этому, давайте проясним одну вещь: Многие думают, что RSS мертв .
С тех пор, как Google убил Google Reader в 2013 году, количество пользователей неуклонно снижается с до . Я думаю, что RSS развивается, а не умирает.
Но даже Дэнни Браун, который написал ту последнюю статью, в которой он назвал RSS «Really So-Over-It Syndication», немного изменил свою мелодию .
RSS обычно помогает увеличить читаемость и коэффициент конверсии , но он также может помочь проиндексировать ваши страницы. Расшифровывается как Really Simple Syndication или Rich Site Summary и подходит как для пользователей, так и для владельцев сайтов.
Для пользователей RSS-каналы предоставляют гораздо более простой способ получить большой объем контента за более короткое время.
Пользователи могут подписаться на ваш RSS-канал в своей любимой программе чтения RSS и автоматически получать ваши новые сообщения. Популярные программы чтения RSS — Feedly и Feeder.
Как владелец сайта, вы получаете мгновенное распространение нового контента и возможность для читателей подписаться на вас, не отказываясь от своего адреса электронной почты, что некоторые люди не любят делать.
Хотя вы по-прежнему хотите сосредоточить большую часть своих усилий на создании списка адресов электронной почты , предложение подписки на RSS-канал улучшает пользовательский опыт, предоставляя людям, заботящимся о конфиденциальности, еще один вариант подписки на вас.
Рассматривая RSS-канал, вы должны следовать нескольким рекомендациям:
Решите, хотите ли вы показать полное содержание сообщения или отрывки. Если вы пишете длинный контент (более 2 000 слов), вам, скорее всего, следует включить в RSS-канал только отрывки.
Убедитесь, что ваш фид включает изображения , иначе ваши подписчики могут упустить ценную инфографику или другую графику, необходимую для понимания сообщения.
Настройка RSS-канала с помощью Feedburner (собственный инструмент Google для управления RSS) помогает уведомить Google о том, что у вас есть новое сообщение в блоге или страница, готовые для сканирования и индексации.
Чтобы создать RSS-канал для своего сайта, перейдите на страницу Feedburner . Войдите в свой аккаунт Google.
Введите свой URL-адрес в поле и нажмите Далее.
Дайте своему каналу заголовок и URL-адрес Feedburner (это будет общий адрес вашего RSS-канала).
Затем вы увидите сообщение об успешном использовании нового URL-адреса Feedburner. Чтобы люди подписались на него, просто перейдите по этому URL-адресу.
Например, у вас может быть кнопка на вашем веб-сайте с надписью «Подписаться через RSS» и ссылкой на этот URL.Другой распространенный способ, которым веб-сайты делают это, — это стандартный значок RSS, который выглядит как этот раздел на домашней странице TechCrunch :
Вы можете бесплатно создать свой собственный модный значок RSS.
Нажмите здесь , и вы увидите этот экран.
Измените размеры на размер, который вам нужен для вашего веб-сайта. Я выбрал 128 пикселей. Затем выберите форму фона (я выбрал круг), цвет фона и цвет значка.
Загрузите его в формате PNG, загрузите на свой веб-сайт и свяжите изображение с URL-адресом Feedburner, который мы только что создали.Теперь у вас есть простой RSS-канал на вашем сайте!
Шаг 15: Разместите свой веб-сайт в каталогах
Вы, наверное, уже знаете, что отправка вашего нового URL в каталоги блога может помочь вашему сайту «найти» новые потенциальные пользователи.
Но это также может помочь ускорить сканирование и индексацию — если вы все сделаете правильно.
Давным-давно бесплатные каталоги блогов засоряли цифровой ландшафт. Существовали буквально сотни — если не тысячи — этих сайтов, и слишком многие из них не представляли никакой ценности для читателей блогов.
Проблема качества стала настолько серьезной, что в 2012 году Google удалил многие бесплатные каталоги сайтов из своего индекса, правильно понизив рейтинг веб-страниц с небольшой ценностью контента.
Moz изучил проблему , проанализировав 2678 каталогов, и в итоге пришел к выводу, что «из 2678 каталогов только 94 были забанены — не так уж плохо. Однако было еще 417 каталогов, которые избежали блокировки, но были наказаны ».
Так что же ответ? I Если вы собираетесь отправлять в каталоги, убедитесь, что вы отправляете только в авторитетные каталоги с достойным рейтингом.
Списки лучших каталогов, составленные отраслевыми и авторитетными блогами, могут помочь вам отделить хорошее от плохого, но убедитесь, что список, который вы используете, актуален. Например, , этот от Harsh Agrawal был обновлен совсем недавно, в январе 2017 года.
Другие варианты, которые вы, возможно, захотите изучить, — это TopRank, который содержит огромного списка сайтов, на которые вы можете отправить свой RSS-канал и блог; Technorati , который является одним из лучших каталогов блогов; и — после того, как вы опубликовали приличное количество высококачественного контента — субдомен Alltop для вашей ниши или отрасли.
Отправка на высококачественные сайты с приличными рейтингами авторитета домена может не только открыть ваш контент для совершенно новой аудитории, но также предоставить входящие ссылки, которые могут подтолкнуть поисковые системы к сканированию и индексации вашего сайта.
Самый простой способ разместить свой сайт сразу в нескольких каталогах — воспользоваться бесплатным сервисом Ping O Matic.
Ping O Matic уведомляет каталоги о том, что ваш веб-сайт изменился и что они должны его проиндексировать. На это уходит около 30 секунд, и вот как это сделать.
Введите название вашего блога, URL-адрес домашней страницы и URL-адрес RSS (если он у вас есть), как это. В разделе Services to Ping нажмите Check All.
Нажмите «Отправить пинг», и все готово.
Шаг 16. Часто проверяйте ошибки сканирования Google
Этот шаг действительно важен для поддержания частоты индексирования. Я люблю проверять свои веб-сайты на наличие ошибок сканирования хотя бы раз в месяц.
Чтобы проверить наличие ошибок сканирования, откройте Search Console .
Слева нажмите Сканирование -> Ошибки сканирования.
На этом экране отображаются все ошибки, с которыми робот Googlebot столкнулся при сканировании вашего сайта, например ошибки 404.
Как видите, у меня сейчас три ошибки 404. Мне лучше убрать их как можно скорее!
Вы также можете видеть, что в апреле у меня было МНОГО ошибок! Это было время, когда я переключился со старого веб-хостинга на новый, и, поскольку индексация не произошла сразу, количество ошибок и 404 увеличилось.
К счастью, регулярная отправка новой карты сайта позволила быстро проиндексировать мой сайт, избавиться от этих 404 ошибок и вернуться в нужное русло.
Вот то, что вам следует отслеживать хотя бы раз в месяц:
Ошибки сканирования
Просмотреть как Google (показывает, как определенные страницы вашего сайта выглядят для поисковой системы)
Статистика сканирования
На странице статистики сканирования вы можете узнать, как часто Google индексирует ваш сайт, и это определенно то, за чем нужно следить.
Например, мои результаты растут, а это значит, что Google теперь индексирует меня чаще — это хорошо. Но если ваш график имеет тенденцию к снижению, это может быть признаком того, что вам нужно опубликовать больше контента или отправить новую карту сайта.
Последнее, что нужно проверить в Search Console, — это Другие ресурсы. Здесь есть несколько довольно мощных инструментов.
Отличным вариантом является тестер структурированных данных . Google использует структурированные данные, чтобы лучше понять, о чем ваш сайт.
Структурированные данные в основном означают, что вы предоставляете Google релевантную информацию, которая помогает отвечать на вопросы пользователей.
Вот пример. Я искал концерты рядом со мной.
Этот веб-сайт использовал структурированные данные, чтобы сообщить Google, что эти списки будут полезны для меня, и они отображаются под обычным заголовком и описанием страницы SEO.
Так как вы это тоже получили?
Он довольно продвинутый, так что это может быть еще один элемент, который вы хотите передать на аутсорсинг разработчику.
Вы можете увидеть все параметры для структурированных данных в галерее поиска Google .
У Google также есть упрощенный инструмент, который помогает людям, не являющимся разработчиками, добавлять структурированные данные на свои сайты. Перейдите к помощнику по разметке структурированных данных и введите информацию о своем веб-сайте.
Затем вам просто нужно выделить элемент на веб-странице, который вы хотите преобразовать в структурированные данные.
Из всплывающего меню вы можете добавить такие атрибуты, как Автор, Дата публикации, Изображение, URL, Текст статьи и так далее.
Если вы внедрили структурированные данные, вы можете использовать инструмент тестирования для их проверки.
Опять же, это довольно сложный процесс, поэтому, если вы не разработчик, вероятно, лучше всего нанять профессионала, который позаботится об этом за вас.
[BONUS] Шаг 17. Страницы, которые не следует индексировать, и как сделать так, чтобы они не индексировались
Есть страницы, которые вы не хотите, чтобы Google или другие поисковые системы индексировали. Вот страницы, которые вы не хотите показывать в поиске:
Страницы с благодарностью: Обычно это страницы, на которые кто-то попадает после подписки на ваш список рассылки или загрузки электронной книги.Вы же не хотите, чтобы люди проходили мимо очереди и сразу переходили к товарам! Если эти страницы будут проиндексированы, вы можете потерять потенциальных клиентов, заполняющих вашу форму.
Повторяющееся содержание: Если какие-либо страницы вашего сайта имеют повторяющееся содержание или немного отличаются друг от друга, например, страница, для которой вы проводите A / B-тест, вы не хотите, чтобы это индексировалось.
Допустим, у вас есть две страницы с одинаковым содержанием на вашем сайте. Может быть, это потому, что вы проводите сплит-тестирование визуальных элементов своего дизайна, но содержание двух страниц совершенно одинаково.
Дублированный контент , как вы, наверное, знаете, потенциально является проблемой для SEO. Итак, одно из решений — использовать файл robots.txt, чтобы поисковые системы игнорировали один из них.
Вот как сделать так, чтобы страницы, которые вы хотите исключить, не индексировались.
Вариант 1. В файле robots.txt
Помните тот файл robots.txt, который мы создали на шаге 10? Вы можете добавить в него директивы, чтобы поисковые системы не индексировали файл или весь каталог.Это может быть удобно, если вы хотите убедиться, что весь раздел вашего сайта остается неиндексированным.
Чтобы добавить это, откройте файл robots.txt.
См. Шаг 10, чтобы узнать, как это сделать, если вам нужно напомнить.
Чтобы заблокировать индексирование страницы, введите этот код в файл robots.txt.
Запретить: / nameoffolder /
Блокирует все в этой папке.
Кроме того, вы можете заблокировать только один файл.
Запретить: / папка / имя файла.html
Сохраните его, повторно загрузите на свой сервер и все.
Дополнительную информацию о файлах robots.txt можно найти на сайте robotstxt.org .
Вариант 2. Используйте ссылку nofollow или noindex
Этот вариант очень прост. Когда вы создаете ссылку на своем сайте, просто добавьте тег nofollow или noindex к ссылке .
Во-первых, давайте рассмотрим, что они означают.
Nofollow: Указывает Google не сканировать ссылки на этой странице.
Это означает, что если я перейду на ваш веб-сайт с neilpatel.com и использую ссылку nofollow, никакая из моих ссылок (или авторитета домена) не будет передана вам.
Noindex: Сообщает Google не индексировать страницу, даже если паук ее видит. Он не будет добавлен в результаты поиска.
Вы можете использовать оба одновременно.
Вот пример.
Если вы делаете ссылку на специальную целевую страницу мероприятия, которое проводите только для VIP-персон, и не хотите, чтобы эта страница отображалась в результатах поиска, вы должны указать на нее тег noindex.
Это будет выглядеть так: Посмотрите мое супер-крутое мероприятие .
Даже если люди будут искать в Google «супер крутое мероприятие Нила», эта страница не появится.
Однако вы получите множество вариантов концертов, посвященных памяти Нила Даймонда.
Чаще всего вам понадобится тег noindex. Обычно вы хотите использовать nofollow только для партнерских ссылок, ссылок, за создание которых вам кто-то заплатил, или для которых вы получаете комиссию.Это потому, что вы не хотите «продавать ссылки». Когда вы добавляете nofollow, он говорит Google не передавать полномочия вашего домена этим источникам. По сути, он защищает Интернет от повреждений, когда дело доходит до ссылок.
Если вы хотите, чтобы вся страница была исключена из результатов поиска из всех источников, вместо того, чтобы просто включать теги nofollow или noindex в свои ссылки, выполните следующие действия.
Сначала откройте HTML-код страницы.
Если вы используете CMS (систему управления контентом), такую как WordPress, вы можете редактировать этот файл прямо из панели управления WordPress.
Вот как это сделать.
Войдите в систему и перейдите в Pages. Щелкните Изменить на странице, на которой создается ссылка. Не страницу, которую вы хотите скрыть из результатов поиска, а страницу, на которую вы переходите по ссылке, которую хотите скрыть.
Если это сообщение, а не страница, процесс тот же, просто отредактируйте это сообщение.
Вот мой пост.
Если я хочу исключить эту страницу события из результатов поиска, мне просто нужно добавить тег noindex к ссылке, как это.
Если у вас нет такой CMS, как WordPress, вы можете загрузить страницу, которую нужно отредактировать, через FTP.
Не знаете, как использовать FTP? Вернитесь к шагу 2, где я это объясню!
Нажмите на страницу, которую вы хотите исключить из результатов поиска, и загрузите ее.
Откройте его в текстовом редакторе. Блокнот для Windows или TextEdit на Mac отлично подходят для этого. Найдите тег, например:
Прямо перед этим тегом вы хотите вставить ОДИН из следующих фрагментов кода.
Если вы хотите, чтобы страница была исключена из результатов поиска, но по-прежнему переходила по ссылкам на странице, используйте:
Если вы хотите, чтобы страница включалась в результаты поиска, но чтобы Google не переходил по ссылкам на странице, используйте:
И, если вы хотите, чтобы страница была исключена из поиска И чтобы Google не переходил по ссылкам, используйте:
Как это:

[БОНУС] Шаг 18. Составьте план обновления старого содержания
Итак, что мы узнали об индексировании?
Что каждый раз, когда вы обновляете свой сайт, Google хочет сканировать его чаще.
Отличный способ заработать на этом — составить план регулярного обновления старого контента.
Вот чем я сейчас занимаюсь с этим мега-сообщением!
Этот пост был первоначально опубликован в 2015 году, и я стараюсь обновлять его по крайней мере каждые несколько месяцев или, когда происходят серьезные изменения в Google, чтобы поддерживать его в актуальном состоянии.
Информация быстро устаревает, особенно в быстро меняющемся мире маркетинга. Каждый месяц я составляю список своих старых постов и выбираю несколько, чтобы обновить их свежей информацией и советами.Редактируя хотя бы несколько сообщений в месяц, я могу гарантировать, что мой контент останется актуальным и полезным.
Для наилучшего влияния на скорость индексации старайтесь обновлять свой веб-сайт не реже трех раз в неделю. Этими тремя вещами могут быть публикация одного нового сообщения в блоге и обновление содержимого двух старых сообщений.
Обновление по крайней мере три раза в неделю говорит Google, что лучше проверять у вас почаще, чтобы убедиться, что на нем установлена последняя версия вашего сайта.
Вся эта индексация и новая информация означает, что обновление ваших старых сообщений может увеличить ваш органический поисковый трафик на 111% !
Вот несколько простых способов обновить старый контент.
Проверьте устаревшие факты или термины: Например, в этом сообщении упоминались Инструменты Google для веб-мастеров, когда они теперь называются Search Console.
Ссылка на свежие источники информации: Если вы написали сообщение о SEO в 2013 году и использовали в своем сообщении данные того же года, тогда это нормально, но не в 2017 году. Обновите свои точки и вспомогательную информацию, чтобы они были свежими.
Неработающие ссылки / новые ссылки: Проверьте неработающие ссылки и исправьте их, или при необходимости измените любые ссылки в вашем сообщении на более качественные источники.Например, я могу направить людей, читающих мои старые сообщения, на Crazy Egg . 😉
Ссылка на другой ваш контент: Включите ссылки на новые сообщения или соответствующий контент, который вы опубликовали после исходного сообщения. Большинство блогеров делают это так:
Связанный: SEO мертв?
Обновите свои точки зрения: Это важно. Просмотрите старые сообщения и обновите свои рекомендации до более актуальных, если необходимо. Вещи меняются! Так должны быть решения, которые вы предлагаете людям.
Заключение
Надеюсь, вам понравилось это подробное руководство по индексации вашего сайта!
Я знаю, что это очень важно. Я и половины этого не знал, когда начал вести блог.
В моем первом блоге я установил Google Analytics, и все!
Конечно, тогда у нас не было столько возможностей для улучшения нашего SEO-рейтинга или индексации, и это не управлялось сложным алгоритмом, как сейчас.
Вот почему я написал для вас это руководство.При запуске нового веб-сайта очень важно изучить SEO и индексацию, особенно в условиях конкуренции.
Можно занять место на первой странице и «победить больших парней», но для этого требуется много работы и исследований.
Лучший совет, который я могу дать?
Продолжайте учиться и будьте в курсе новостей отрасли. Все меняется так быстро, особенно когда дело касается поисковых систем.
Изучите SEO и перепроверьте любой новый предложенный метод с помощью собственного независимого исследования, прежде чем пробовать его.
И убедитесь, что вы часто обновляете свой сайт — не только с новым содержанием, но и с обновлением старых сообщений. Это заставляет Google возвращаться к частому сканированию вашего сайта и поддерживать актуальность этих сообщений для новых посетителей.
Последний совет — составьте план!
Запишите план контент-маркетинга, в том числе то, как вы будете отслеживать индексирование, аналитику и как обновлять старую информацию на своем сайте. Для меня не было бы возможности расти так быстро, как я, без письменного плана.
Какие тактики сканирования и индексирования вы пробовали? Каковы были ваши результаты?
Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт
SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
Paid Media — эффективные платные стратегии с четким ROI.
Заказать звонок
Что такое сканирование и индексирование Google?
SEO — это очень большое, глубокое море. Чтобы полностью понять SEO, мы должны знать некоторые основные термины SEO.
Crawling и indexing — два таких термина.
Если вы какое-то время были в Интернете, вы хотя бы слышали слова:
Сканирование и индексирование Google.
Это два термина, от которых зависит весь веб-мир .
Давайте определимся, разберемся и получим подробную информацию о сканировании и индексировании.
Ползание:
Когда Google посещает ваш сайт в целях отслеживания. Этот процесс выполняется поисковым роботом Google Spider.
Индексирование:
После завершения сканирования результаты помещаются в индекс Google (то есть в веб-поиск).
Что такое сканирование Google?
Сканирование означает, что следует по пути.
В мире SEO сканирование означает переход по вашим ссылкам и «сканирование» по вашему сайту. Когда боты приходят на ваш сайт (любую страницу), они следуют за другими ссылками на вашем сайте.
Это одна из причин, почему мы создаем карты сайта, поскольку они содержат все ссылки в нашем блоге, и боты Google могут использовать их для глубокого просмотра веб-сайта.
Мы останавливаем сканирование определенных частей нашего сайта с помощью роботов.txt файл.
Что такое индексирование Google?
С точки зрения непрофессионала, индексирование — это процесс добавления веб-страниц в поиск Google.
В зависимости от того, какой метатег вы использовали (index или NO-index), Google будет сканировать и индексировать ваши страницы. Тег без индекса означает, что страница не будет добавлена в индекс веб-поиска.
По умолчанию индексируются все записи и страницы WordPress.
Хорошая идея для , занимающего более высокое место в поисковых системах , — это позволить индексировать только жизненно важные части вашего блога / веб-сайта.
Не индексируйте ненужные архивы , такие как теги, категории и все другие бесполезные страницы.
Факторы, влияющие на сканирование:
На этой Земле миллион веб-сайтов . Все ли довольны скоростью сканирования и индексации ?? Нет !! Большинство людей постоянно задаются вопросом, почему их статьи не индексируются.
Давайте посмотрим на некоторые основные факторы , которые играют важную роль на сервере сканирования и индексирования.
Обратные ссылки
Чем больше у вас обратных ссылок , тем более надежным и авторитетным вы будете в глазах поисковых систем.
Если у вас хороший рейтинг, но вы не получаете обратных ссылок для своего сайта, поисковые системы могут предположить, что у вас некачественный контент .
Чтение:
Лучшие 5 инструментов онлайн-проверки обратных ссылок
101 способ получить качественные обратные ссылки на ваш блог
Внутренние ссылки
Было очень много обсуждений относительно внутренних ссылок (также известных как глубокие ссылки).Люди даже предлагают использовать тот же якорный текст в одной статье, так как это помогает при глубоком сканировании сайта.
Важно помнить, что внутренние ссылки — хорошая практика не только для SEO, но и для поддержания активных пользователей на вашем сайте.
XML Карта сайта
В тот момент, когда вы настраиваете сайт в WordPress, вам советуют использовать карту сайта XML , чтобы ваша карта сайта могла быть сгенерирована автоматически . Таким образом, Google будет проинформирован о том, что ваш сайт обновлен, и захочет его просканировать.
Чтение:
Как отправить карту сайта в Google
Дублированное содержимое
Это может быть очень плохо для вас.
Недавно я нашел сайт, на котором было так много повторяющихся абзацев, разбросаны по разным сообщениям. Этот сайт был заблокирован Google из-за такой практики.
Старайтесь не иметь дублированного контента на вашем сайте.
Исправьте все ваши 301 и 404 перенаправления для еще лучшего сканирования и SEO.
Чтение:
Как исправить проблему «Replytocom», чтобы избежать дублирования контента
Используйте Robots.txt для борьбы с дублирующимся контентом
Канонизация URL-адресов
Создайте оптимизированные для SEO URL-адреса для каждой страницы вашего сайта.
Это огромный для правильного SEO.
Чтение:
Что такое канонизация URL-адресов и как правильно использовать канонические теги?
Мета-теги
Иметь уникальные и неконкурентные метатеги для вашего сайта.Это гарантирует, что у вас будет на вершине рейтинга в поисковых системах. Избегайте каннибализации ключевых слов любой ценой, они также снижают рейтинг.
Чтение:
Как использовать анализатор метатегов во время SEO
Проверка связи
Убедитесь, что вы добавили все основные сайты ping на ваш сайт WordPress. WordPress имеет функцию автоматического пинга, которая будет информировать поисковые системы об обновлениях вашего сайта.
Чтение:
WordPress Ping List
Когда вы оптимизируете свой веб-сайт на основе этих факторов, у Google не останется другого выбора, кроме как сканировать и индексировать вашу страницу быстрее и точнее.
Что вы делаете для более быстрой индексации вашего сайта? Присоединяйтесь к обсуждению в комментариях ниже!
Было ли это руководство полезным? Поделитесь им с друзьями в Facebook, Twitter и Google Plus!
Определение индекса
— дополнительная информация в глоссарии SEO
Индекс как основной ориентир
Это исходные данные в индексе Google, которые в конечном итоге определяют ценность различных поисковых запросов и ключевых слов.Поисковые системы применяют свои алгоритмы к доступным данным и измеряют частоту различных факторов в разных условиях, какие факторы связаны друг с другом и так далее. Индекс включает не только URL-адреса, но и весь контент, включая тексты, изображения, видео и, в принципе, все, что находится в HTML-коде URL-адреса.
Информация, полученная в результате этого анализа, возвращается в алгоритм Google, чтобы предоставить новую оценку данных индекса, которая пытается понять, какой контент лучше всего соответствует намерениям пользователей.Затем на основе этой оценки содержания рассчитываются результаты поиска Google или рейтинг.
Индексы стран
Глобальные поисковые системы, такие как Google, обычно имеют отдельный индекс для каждого рынка. Это означает, что, например, существует индекс Google для США (google.com), индекс Google для Японии (google.co.jp) и т. Д. Наличие национальных индексов помогает поисковой системе адаптировать результаты к поисковому поведению (включая, но не ограничиваясь языком) каждого рынка.Это обеспечивает более надежный информационный ресурс, более тесно связанный с тем, что ищут пользователи в стране. Более слабый альтернативный подход заключался бы в том, чтобы основывать результаты на том, что было бы универсальным индексом, включая данные со всех рынков, но это сделало бы невозможным удовлетворение конкретных потребностей пользователей в каждой стране.
Хотя несколько глобальных игроков имеют сайты с высоким рейтингом в индексах нескольких стран, как показано в нашем мировом рейтинге SEO, стоит знать о различных факторах ранжирования, применимых в каждой стране.В частности, данные поиска по каждому ключевому слову уникальны для каждого национального индекса. Без этих данных невозможно принимать решения по SEO и контент-маркетингу на реальном поведении пользователей.
Локальные индексы
Индекс местной поисковой системы следует тому же принципу, что и индекс страны, только на региональном или городском уровне. Локальные индексы в основном важны для поиска локальных служб или мест, поскольку они позволяют возвращать информацию, специфичную для местоположения пользователя.Самый очевидный пример — поисковые запросы, содержащие «рядом со мной» или что-то вроде «телефонный номер такси», когда пользователи в Майами явно ожидают совершенно разных ответов от пользователей в Портленде.
.