Нам нужно просканировать вашу страницу, чтобы увидеть тега и заголовки HTTP. Если страница по-прежнему отображается в результатах, возможно, это связано с тем, что мы не сканировали страницу с вы добавили noindex правило. В зависимости от важности страницы на Интернет, роботу Googlebot может потребоваться несколько месяцев, чтобы повторно посетить страницу. Вы можете запросить, чтобы Google пересканировать страницу с помощью Инструмент проверки URL.

Если вам нужно быстро удалить страницу вашего сайта из результатов поиска Google, см. документация об увольнении.

Другая причина также может заключаться в том, что файл robots.txt блокирует URL-адрес из сети Google. сканеры, поэтому они не могут видеть тег. Чтобы разблокировать свою страницу от Google, вы должны отредактируйте файл robots.txt. Вы можете редактировать и тестировать файл robots.txt с помощью robots.txt Тестер инструмент.

Наконец, убедитесь, что правило noindex видно Googlebot. Чтобы проверить, если ваш noindex реализация правильная, используйте Инструмент проверки URL чтобы увидеть HTML-код, полученный роботом Googlebot при сканировании страницы. Вы также можете использовать Отчет об индексации страниц в Search Console, чтобы отслеживать страницы вашего сайта, с которых робот Googlebot извлек noindex правило.

Как запретить Google индексировать определенные веб-страницы

Типичная цель поисковой оптимизации — проиндексировать и просканировать как можно больше страниц вашего веб-сайта поисковыми системами, такими как Google.

Распространенное заблуждение состоит в том, что это может привести к улучшению рейтинга SEO. Однако так может быть не всегда. Часто необходимо намеренно запретить поисковым системам индексировать определенные страницы вашего сайта, чтобы повысить SEO. Одно исследование показало, что органический поисковый трафик увеличился на 22% после удаления дубликатов веб-страниц, в то время как Moz сообщил об увеличении органического поискового трафика на 13,7% после удаления малоценных страниц.

Веб-страницы, которые не нужно индексировать

Как уже упоминалось, не все страницы вашего сайта должны быть проиндексированы поисковыми системами. Как правило, они включают, но не ограничиваются следующим:

• Целевые страницы для рекламы
• Страницы благодарности
• Страницы конфиденциальности и политик
• Административные страницы
• Дублирование страниц (например, похожий контент, размещенный на нескольких веб-сайтах, принадлежащих одной компании)
• Малоценные страницы (например, устаревший контент многолетней давности, но достаточно ценный, чтобы его нельзя было удалить с вашего веб-сайта)

Перед деиндексацией важно провести тщательный аудит контента вашего веб-сайта, чтобы у вас был системный подход к определению того, какие страницы следует включить, а какие исключить.

Как запретить Google индексировать определенные веб-страницы

Существует четыре способа деиндексации веб-страниц поисковыми системами: метатег noindex, X-Robots-Tag, файл robots.txt и инструменты Google для веб-мастеров.

1. Использование метатега noindex

Наиболее эффективным и простым инструментом для предотвращения индексации Google определенных веб-страниц является метатег «noindex». По сути, это директива, которая сообщает поисковым роботам , а не индексирует веб-страницу и, следовательно, впоследствии не будет отображаться в результатах поиска.

Как добавить метатег «noindex»:

Все, что вам нужно сделать, это вставить следующий тег в раздел HTML-разметки страницы:

<метаимя=”роботы” контент=”ноиндекс”>

В зависимости от вашей системы управления контентом (CMS) вставка этого метатега должна быть довольно простой. Для CMS, таких как WordPress, которые не позволяют пользователям получать доступ к исходному коду, используйте плагин, такой как Yoast SEO. Здесь следует отметить, что вам нужно сделать это для каждой страницы, которую вы хотите деиндексировать.

Кроме того, если вы хотите, чтобы поисковые системы деиндексировали вашу веб-страницу и , а не , перейдите по ссылкам на этой странице (например, в случае страниц благодарности, где вы не хотите, чтобы поисковые системы индексировали ссылку на ваше предложение ), используйте «noindex» с метатегом «nofollow»:

<мета имя = «роботы» содержание = «без индекса, nofollow»>

2. Использование HTTP-заголовка X-Robots-Tag

В качестве альтернативы вы можете использовать тег X-Robots-Tag, который вы добавляете в заголовок ответа HTTP для данного URL-адреса. По сути, он имеет тот же эффект, что и тег «noindex», но с дополнительными параметрами для указания условий для разных поисковых систем. Для получения дополнительной информации см. руководство Google здесь.

Как добавить тег X-Robots:

В зависимости от используемого веб-браузера найти и отредактировать заголовок ответа HTTP может быть довольно сложно. Для Google Chrome вы можете использовать инструменты разработчика, такие как ModHeader или Modify Header Value. Вот примеры X-Robots-Tag для определенных функций:

• Чтобы деиндексировать веб-страницу:

X-Robots-Tag: noindex

• Чтобы установить разные правила деиндексации для разных поисковых систем:

X-Robots-Tag: googlebot: nofollow

X-Robots-Tag: otherbot: noindex, nofollow

3. Использование файла robots.txt

Файл robots.txt в основном используется для управления трафиком роботов поисковых систем, чтобы избежать перегрузки вашего веб-сайта запросами. Однако следует отметить, что этот тип файла не предназначен для сокрытия веб-страниц от Google; скорее, он используется для предотвращения появления изображений, видео и других мультимедийных файлов в результатах поиска.

Как использовать файл robots.txt, чтобы скрыть медиафайлы от Google:

Использование файла robots. txt связано с техническими проблемами. По сути, вам нужно использовать текстовый редактор для создания стандартного текстового файла ASCII или UTF-8, а затем добавить этот файл в корневую папку вашего веб-сайта. Чтобы узнать больше о том, как создать файл robots.txt, ознакомьтесь с руководством Google здесь. Google также создал отдельные руководства для скрытия определенных медиафайлов от отображения в результатах поиска:

• Скрытие изображений с помощью файла robots.txt
• Скрытие видео с помощью файла robots.txt

4. Использование инструментов Google для веб-мастеров

Вы также можете временно заблокировать страницы из результатов поиска Google с помощью инструмента удаления URL-адресов Google для веб-мастеров. Обратите внимание, что это применимо только к Google; другие поисковые системы имеют собственные инструменты. Также важно учитывать, что это удаление является временным. Чтобы навсегда удалить веб-страницы из результатов поиска, ознакомьтесь с инструкциями Google здесь.

Как использовать инструменты Google Remove URL для временного исключения страниц:

Процедура довольно проста. Откройте инструмент удаления URL-адресов и выберите ресурс в Search Console, которым вы владеете. Выберите Временно скрыть и введите URL-адрес страницы. После этого выберите   Очистить URL-адрес из кеша и временно удалите из поиска . Это скроет страницу из результатов поиска Google на 90 дней, а также очистит кешированную копию страницы и фрагменты из индекса Google. Для получения дополнительной информации ознакомьтесь с руководством Google здесь.

Завершение

Google может занять некоторое время, чтобы получить ваш запрос на деиндексацию. Часто для вступления изменений в силу требуется несколько недель. Если вы заметили, что ваша страница по-прежнему отображается в результатах поиска Google, скорее всего, это связано с тем, что Google не сканировал ваш сайт с момента вашего запроса. Вы можете запросить у Google повторное сканирование вашей страницы с помощью инструмента «Просмотреть как Google».

Если вы хотите узнать больше или вам нужна помощь с какими-либо вашими потребностями в SEO, у Ilfusion есть знания и опыт, чтобы протянуть вам руку помощи. Позвоните нам по телефону 888-420-5115 или отправьте электронное письмо на адрес [email protected].

Категория: SEO

Избранные статьи

1 февраля 2018 г. | Автор: Ilfusion Team

Запуск кампании по поисковой оптимизации (SEO) может оказаться сложной задачей для любого интернет-маркетолога. Как начать? Какой самый важный элемент для реализации? Как узнать, работает ли он? Однако не переусердствуйте. Начинаем SEO... больше

26 сентября 2017 г. | Автор: Тинни

Маркетинг является важной частью вашей бизнес-стратегии. Это то, что заставляет шестерни вращаться и является движущей силой продаж вашей компании. Для малого бизнеса маркетинг важен для распространения информации о том, что ваша компания существует и... подробнее

21 сентября 2017 г. | Автор: Тинни

Наблюдается рост использования мобильных устройств для доступа к Интернету, и нет никаких признаков того, что в ближайшее время он замедлится. В эпоху, когда большинство людей живет в пути, видеомаркетинг... далее

13 сентября 2017 г. | Автор: Тинни

Если вы представляете компанию, чья контент-стратегия опирается на изображения, или если ваш бизнес-блог изобилует изображениями, вам пора подумать об оптимизации изображений для SEO — если вы еще этого не сделали. Пока нет... подробнее

2 августа 2017 г. | Автор: Тинни

Не знаете, какие ключевые слова использовать? Узнайте больше о том, как искать лучшие ключевые слова для вашей веб-страницы. Когда у вас есть кампания SEO или PPC, все начинается с одного основного элемента: исследования ключевых слов. Ключевые слова... показать еще

26 июля 2017 г. | Автор: Тинни

Узнайте больше о том, что нужно для повышения вашего рейтинга в поисковых системах. Попадание на первую страницу результатов поисковой системы Google является одной из конечных маркетинговых целей многих владельцев веб-сайтов. Пока Google молчит о том, что... подробнее

28 июня 2017 г. | Автор: Тинни

Вот почему вам нужны социальные сети для вашего SEO. В настоящее время социальные сети, бесспорно, стали незаменимым инструментом любой маркетинговой стратегии. SEO, конечно же, также является одним из тех инструментов, которые развивались вместе со многими тенденциями и изменениями... подробнее

27 апреля 2017 г. | Автор: Тинни

Вот как разместить свой веб-сайт в верхней части результатов поиска. Создание веб-сайта, который плохо ранжируется на странице результатов поисковой системы Google (SERP), плохо отражается на ваших общих деловых усилиях. В последние годы Google... подробнее

2 июля 2015 г. | Автор: дирижер

Мы часто это слышим; обратная связь с клиентами, которая сосредоточена на том, какой контент является и не находится «вверху». Честно говоря, этот старый газетный термин может вызвать разочарование у хорошего пользователя... подробнее

3 июня 2015 г. | Автор: Доктор

Этот наш старый сумасшедший мир с каждым днем ​​вращается все быстрее и быстрее. Не в буквальном смысле, поскольку мы все были бы брошены на нашу космическую гибель. Образно говоря, мы все движемся быстрее и наполняем каждое мгновение какой-то частичкой... подробнее

6 мая 2015 г. | Автор: Ilfusion Team

Думаете, ваш сайт адаптирован для мобильных устройств? Подумайте еще раз. Новые функциональные изменения Google вызвали острую потребность в оптимизации веб-сайтов для мобильных устройств. Mobilegeddon на нас, и ваш веб-сайт может быть в опасности. См. инфографику ниже.

23 апреля 2015 г. | Автор: Эль Хефе

Вопрос, который я получаю регулярно (читай: каждый день): «Сколько будет стоить мой новый сайт?». На что я обычно отвечаю что-то вроде: «Ну, это зависит от объема работы, которую необходимо выполнить... подробнее

7 апреля 2015 г. | Автор: Изобретатель

Практика поисковой оптимизации сегодня сильно отличается от той, какой она была всего несколько лет назад. Ключ номер один к хорошему ранжированию в поисковых системах сегодня — это создание уникального качественного контента. Сначала разместите его на своем веб-сайте или... далее

25 марта 2015 г. | Автор: Ilfusion Team

Ilfusion любит сообщать вам новости о новейших функциях и тенденциях в социальных сетях. Недавно в мире социальных сетей произошло три крупных события. Meerkat, новое приложение, получившее известность благодаря музыке 2015 года... подробнее

12 марта 2015 г. | Автор: дирижер

Независимо от того, сосредоточены ли вы на конкретном проекте или используете комплексный подход к своим маркетинговым усилиям, один аспект не меняется: всегда смотрите на общую картину. Компании часто обращаются как минимум к нескольким агентствам, когда рассматривают возможность взаимодействия с... подробнее

Что нужно знать о SEO-перенаправлениях

Как покупать цифровые медиа для вашего бренда

Руководство для начинающих по контекстной рекламе

Что нужно знать об истории доменов и SEO

Основные сведения об обновлении Link Spam от Google

Что нужно знать о ChatGPT и SEO

Что нужно знать об обновлении Google E-A-T в 2023 году

Как использовать Google Search Essentials для улучшения вашей SEO-стратегии в 2023 году

Как подготовить свой сайт для Google Analytics 4

Руководство для начинающих по управлению ссылками

Как проводить маркетинговое A/B-тестирование для начинающих

5 советов по внешним ссылкам для повышения вашего рейтинга в SEO

Рекомендации по улучшению бюджета сканирования вашего сайта

Что нужно знать о релевантности ссылок для SEO

Как создать эффективную иерархию контента для SEO

Руководство для начинающих по конкурентным исследованиям

Как провести обрезку контента для улучшения SEO

Бот-трафик и SEO: что вам нужно знать

Как повысить видимость видео вашего бренда в поиске

Как создать эффективный многоязычный веб-сайт

Руководство для начинающих по созданию эффективных электронных рассылок

Как провести аудит социальных сетей, чтобы улучшить свою SMM-стратегию

Что нужно знать о гиперлокальном SEO

Как создать выигрышную стратегию контент-маркетинга B2B

Как безопасно использовать всплывающие окна для вашего бизнес-сайта

5 советов по продвижению подкастов, чтобы расширить охват

Почему вы должны создавать краеугольный камень для своего бизнес-блога?

Контент-аудит для начинающих: 5+ полезных советов

Что вам нужно знать о веб-доступности и SEO

Что нужно знать о Google Discover

Сотрудничество с инфлюенсерами и цифровыми создателями: что лучше для вашего бренда?

Как использовать социальное аудио для повышения вовлеченности бренда

Руководство для начинающих по архетипам брендов (часть 2)

Руководство для начинающих по архетипам брендов (часть 1)

Как персонализировать маркетинговые кампании

Тенденции веб-дизайна и графического дизайна на 2022 год

4 SEO-тенденции, на которые стоит обратить внимание в 2022 году

6 важнейших SEO-факторов на странице, на которые следует обратить внимание

Руководство для начинающих по покупателям

Как эффективно формировать и поддерживать лояльность клиентов

Использование традиционных медиа для усиления вашей стратегии цифрового маркетинга

Советы по созданию высококачественных маркетинговых видеороликов

Как использовать внешнее SEO для продвижения вашего бизнес-сайта

Как сохранить свежесть вечнозеленого контента: 5 советов по обновлению контента

Создание эффективных обучающих видеороликов: 4 совета и рекомендации

6 советов по внутренней перелинковке для повышения вашего SEO-рейтинга

4 совета по поиску ключевых слов для начинающих

Основное обновление Google летом 2021 года: переоценка вашего контента

Советы по электронной коммерции: написание описаний продуктов, которые продают

Что вам нужно знать о короткометражках YouTube для вашего бизнеса

4 совета по управлению сообществом в социальных сетях для улучшения связи с клиентами

Улучшение пользовательского опыта вашего веб-сайта для повышения SEO

Как исправить распространенные ошибки индексации для улучшения посещаемости веб-сайта

5 способов улучшить онлайн-покупки в вашем магазине электронной коммерции

Каковы основы SEO SWOT-анализа?

5 советов по мобильной фотографии для начинающего бизнеса

Как безопасно использовать стоковые фотографии для маркетинга вашего стартапа

Распространенные причины, по которым ваш листинг Google My Business был приостановлен

5 советов по планированию контента, которые помогут улучшить вашу стратегию контент-маркетинга

5 маркетинговых идей, как правильно начать Новый год

4 тенденции дизайна UI/UX, которые будут в центре внимания в 2021 году

Как доминировать в SEO в 2021 году: 5 тенденций и прогнозов

5 сезонных советов по брендингу для увеличения праздничных продаж

Как выбрать лучшие ключевые слова для оптимизации вашего контента

Как создать отличное руководство по фирменному стилю

7 SEO-советов по подготовке интернет-магазина к праздничному сезону

5 умных советов по успешному ребрендингу вашего бизнеса

Контрольный список из 5 шагов веб-дизайна для создания эффективных веб-сайтов

Изучите эти 9 приемов Twitter, чтобы повысить вовлеченность

Как попасть в сеть знаний Google, чтобы расширить свой охват

Как создать домашнюю страницу веб-сайта, которая конвертирует

7 способов транслировать эффективные прямые трансляции Facebook

Как улучшить SEO с помощью белых методов построения ссылок

3-этапный контрольный список для адаптации новых SEO-клиентов

Что вам нужно знать о сигнале ранжирования Google Core Web Vitals

Как использовать TikTok для успешного продвижения вашего бренда

Как позиционировать свой авторитет с помощью структурированных данных проверки фактов

Как успешно запустить новый продукт в социальных сетях

НОВОСТИ И СОВЕТЫ: ​​Google полностью перейдет на индексирование, ориентированное на мобильные устройства, к сентябрю 2020 г.