Как правильно удалить страницу на сайте
Удаление страниц сайта и 301 Redirect.
Иногда возникает необходимость удалить страницу на сайте. Некоторые это делают не задумываясь о последствиях. Давайте посмотрим, как можно нужно это сделать правильно.
Для начала: что такое удаление страницы?
Каждая страница (и не только) вашего сайта в первую очередь характеризуется уникальным URL адресом. Таким образом, удаление или изменение этой записи будет означать удаление страницы сайта. Из этого можно сделать вывод – если вы переименовали страницу (URL адрес), то это равнозначно ее удалению.
Например эта страница имеет адрес (смотри в строке браузера)
http://seorepublic.ca/how-delete-website-page-301-redirect/
http://seorepublic.ca/How-Delete-Website-Page-301-redirect/ – это уже другая страница, если вы так переименовали первый вариант. Никогда не используйте в URL адресе заглавные буквы.
А вот более сложные комбинации, встречающиеся на устаревших сайтах:
http://www.seorepublic.ca/how-delete-website-page-301-redirect/ – это уже другая страница.
Почему нельзя удалять страницы.
Ваш сайт может насчитывать десятки или десятки тысяч страниц. Все они имеют внутренние связи – линки. Скорее всего на удаленную страницу на вашем сайте стоят линки с других страниц. Тогда, при переходе по такому линку, посетитель увидит (если это настроено) 404 ошибку – такой страницы нет! Его действие – закрыть сайт. Но и это еще не все. Частыми посетителями вашего сайта являются поисковые системы. Они тщательно сканируют ваш сайт, в том числе и на ошибки (404). При росте числа таких страниц ваш сайт будет понижен в ранжировании по внутренней оптимизации сайта. А если на эту удаленную страницу ссылались другие сайты, то шанс, что ваш сайт попадет под фильтр поисковика будет, очень высоким и ваш уровень SEO будет понижен.
Вечный вопрос – что делать?
Самой частой причиной удаления страниц на сайте является удаление товара (услуги) на сайтах Магазинов, Объявлений, Новостных порталов. Постарайтесь не удалять такие страницы, а размещать надпись о временном отсутствии товара / услуги.
Если сайт относится к разделу small business website, и вам НАДО удалить страницу (пост), то перенаправьте всех со старой страницы на другую, похожую, или на Главную страницу вашего сайта (крайний вариант).
Для этого существует такое понятие как 301 Редирект, его еще называют permanent redirect (да, существует и 302 – временный, но это уже не в этой статье). При таком варианте удаления страницы вы сообщаете поисковикам, что это сделано специально, теперь этой страницы нет, и вместо нее смотри вот эту (нужно указать какую). Посетители при переходе по линку (внутреннему или внешнему) будут автоматом перенаправлены на указаную вами в 301 редиректе страницу.
Как сделать 301 редирект?
Если ваш сайт на WordPress (как, впрочем, и для других CMS), то это очень легко..*$ http://site.ca/ your-page-2/? [R=301,L]
Существуют и специальные плагины для таких действий, но мы не рекомендум ими пользоваться так как процедура простая, а каждый плагин тормозит ваш сайт.
Как найти потеряные страницы?
Если вы прочли статью и в ужасе вспомнили, что ранее «махали шашкой» на просторах вашего сайта удаляя страницы, то вам понадобятся услуги такой компании как SEORepublic.ca. Мы имеем специальные инструменты по сканированию вашего сайта и сможем найти «оборваные» линки, составить таблицу и прописать 301 редиректы.
Есть еще одна причина обращения к нам – вы задумали обновить сайт, и ваш девелопер радостно вам демонстрирует супер дизайн нового сайта – НЕ СПЕШИТЕ ОБНОВЛЯТЬ! Посмотрите в этой статье, что может произойти с позициями вашего сайта, как можно избежать обвала и потери клиентов.
7 способов удаления страницы из индекса поисковых систем
В этой статье я помогу вам разобраться в том, какие страницы не стоит индексировать, как удалить страницы из индекса поисковиков и зачем это нужно делать.
Содержание:
-
Зачем нужно удалять страницы из индекса и что это за страницы
-
Зачем нужно удалять страницы из индекса и что это за страницы?
«Ненужные страницы» – это страницы, которые не предназначены для притягивания трафика из поиска и их дальнейшего продвижения.
Устранение подобных страниц из индекса позволяет удалить лишние копии страниц, скрыть персональную информацию и, самое главное, улучшить хостовые поведенческие факторы, которые включают в себя такие основные показатели, как:
-
Показатель отказов.
-
Глубина просмотра (среднее количество просмотренных страниц в рамках одной сессии).
-
Время, проведенное пользователем на странице.
-
Среднее время, проведенное пользователем на сайте.
-
Поведение пользователей на выдаче.
Логика простая: чем больше мусорных страниц в поиске, по которым не кликают, тем хуже значения хостовых поведенческих факторов сайта, что влечет за собой ухудшение ранжирования.
К таким страницам относятся:
-
Страницы с GET-параметрами, которые выступают дублями посадочных страниц (страницы сортировок или с различными вариантами отображения карточек товаров и т. д.). Примеры таких страниц: https://site.ru/catalog/page1/?sort=sort&order=asc; https://site.ru/catalog/page2/?display=list.
-
Страницы с результатами поиска по сайту, страницы сравнения (https://site.ru/search/?q=&s=Найти; https://site.ru/catalog/page1/compare.php).
-
Страницы с неуникальным контентом.
-
Страницы, не несущие в себе смысловой нагрузки (административные и технические страницы с персональной информацией).
-
Системные каталоги и файлы.
-
Страницы, удаленные на сайте, но все еще отображающиеся в поиске.
Как удалить страницы из поисковой выдачи?
Рассмотрим ключевые методы удаления страниц из индекса.
1 способ. Директива Disallow в файле Robots.txt
Используя данную директиву, можно дать указания роботу не посещать список заданных страниц.
Имеется существенное дополнение.
Страница, запрещенная к индексированию с помощью директивы Disallow, все равно может быть просканирована и проиндексирована. Что может происходить из-за того, что на настоящую страницу ссылаются иные страницы на сайте.
Стоит отметить и то, что Yandex чаще всего воспринимает директивы robots.txt как четкие инструкции по внесению в индекс. Совсем другая ситуация с «Гуглом», для него robots.txt – это всего лишь рекомендации. Поэтому, если вы закрыли страницу от индексации в robots.txt, поисковые роботы Google все равно могут ее проиндексировать. Чтобы этого избежать, можно воспользоваться другими способами, описанными ниже.
2 способ. Настройка 404, 403 и 410 HTTP-кодов ответа от сервера
При получении одного из этих кодов ответа при посещении страницы, робот воспринимает ее более недоступной и исключает ее из индекса.
Работающая страница, которая подлежит индексации, должна отдавать код 200.
Проверить HTTP-коды ответа сервера можно с помощью сервиса bertal.ru
3 способ. Директива noindex в HTTP-ответе сервера
Мы уже выяснили, что робот при обходе страницы получает какой-либо ответ с сервера в котором содержатся специальные коды. Они показывают роботу, что сканируемая страница работает, либо недоступна. Но может возникнуть ситуация, когда страница должна работать на сайте, т. е. отдавать код 200, но ее нельзя индексировать. При таких условиях в HTTP-ответ сервера можно добавить HTTP-заголовок, который будет запрещать индексирование данной страницы.
HTTP-заголовок для запрета к индексации выглядит так:
X-Robots-Tag: noindex
Образец кода ответа сервера с применением noindex:
4 способ. Директива noindex, прописанная в метатеге
Задается в коде страницы при помощи тега <meta name=”robots” content=”noindex”>
5 способ. Устранение страниц из поиска в сервисе «Яндекс Вебмастер»
«Яндекс Вебмастер» предлагает 2 способа исключения страниц: по URL и по префиксу.
Используя вариант удаление «по URL», в окне сервиса необходимо просто указать список страниц, которые вам необходимо удалить.
Удаление «по префиксу» позволяет устранить все страницы, вложенные в каком-либо разделе или страницы, содержащие определенный параметр.
Например на сайте https://site.ru необходимо удалить все страницы из раздела catalogue, для этого в «Яндекс Вебмастере» откроем вкладку по префиксу и укажем УРЛ https://site.ru/catalogue/. В итоге все страницы из раздела catalogue будут удалены из индекса.
Если нужно удалить все страницы, которые содержат параметр после символа «?» в адресе, воспользуемся такой записью:
Перед тем, как отправить страницы на удаление в «Яндекс Вебмастере», необходимо запретить соответствующие страницы к индексации в robots.txt, иначе ваша заявка на удаление страниц будет отклонена.
6 способ. Удаление страниц из поиска в сервисе Google Search Console
Инструмент Google URL Removal работает также, как и аналогичный инструмент в «Яндекс Вебмастер» и имеет возможность удалять страницы как по URL-адресу, так и по префиксу.
Основное отличие состоит в том, что с помощью данного инструмента Google исключает страницу из поиска временно (на срок до 90 дней). Иными словами через некоторое время отправленная на удаление страница, снова рискует попасть в индекс, если ее HTTP-код отличен от 404, 403, 410, и она не имеет установленной директивы noindex в коде страницы, либо в HTTP-заголовке.
7 способ. Защита страницы паролем
Разделы, защищенные паролем, запрещают поисковикам получить доступ к контенту, вследствие чего подобные страницы чаще всего не попадают в индекс.
Выводы
-
Необходимо удалять из индекса страницы, по которым не притягивается трафик из поиска.
-
Удаление ненужных страниц дает улучшение релевантности сайта и поведенческих факторов на выдаче.
-
Ключевые методы удаления страниц из индекса:
-
Директива Disallow в Robots.txt.
-
Настройка HTTP-кодов ответа от сервера 404, 403 и 410.
-
Директива noindex, используемая в HTTP-ответе страницы и метатеге.
Самые результативные способы удаления страниц из индекса – это настройка 404, 403 и 410 HTTP-кодов ответа сервера и директива noindex, используемая в HTTP-заголовке, либо коде страницы.
Директива Disallow не дает 100%-ой гарантии, что страница не будет снова занесена в индекс. А страница, защищенная паролем, в свою очередь создаст неудобства для пользователей.
Удалить сайт — Справка
Содержание
Удаление сайта навсегда
Удаление сайта с платными услугами
Альтернативные опции
Отмена удаления сайта
Закрытие учётной записи
Удаление сайта навсегда
После окончательного удаления сайта вы не сможете использовать свой адрес WordPress.com (например, yourgroovysite.wordpress.com
).
Если это не входит в ваши намерения, вы можете воспользоваться приведёнными ниже альтернативными опциями.
Если вы уверены, что хотите удалить сайт навсегда, это можно сделать следующим образом.
Если на этом сайте есть платные услуги, удалите их, прежде чем удалять сайт. Подробнее об этом см. в разделе Удаление сайта с платными услугами.
Шаг 1. Перейдите на страницу настроек сайта, выбрав в меню Мой сайт (мои сайты) → Управление → Настройки.
Шаг 2. Прокрутите страницу настроек вниз и выберите Удалить сайт навсегда.
Помните, что удаление сайта необратимо!
Шаг 3. На следующем экране вам будет предложен вариант экспорта содержимого. Поскольку после удаления сайта восстановить контент будет невозможно, мы рекомендуем сначала экспортировать содержимое в файл ZIP. Это можно сделать с помощью кнопки Экспорт содержимого.
Шаг 4. После экспорта содержимого прокрутите страницу вниз до кнопки Удалить сайт. Если в вашей учётной записи несколько сайтов, проверьте, чтобы в жёлтой строке оповещений были указаны правильные адреса сайтов.
Шаг 5. Подтвердите удаление. Введите адрес сайта (отображается красным цветом) в соответствующее поле и нажмите кнопку Удалить этот сайт.
Это заключительный шаг: после нажатия кнопки Удалить этот сайт ваш сайт будет удален навсегда.
Теперь каждый, кто попытается зайти на ваш сайт, увидит сообщение о том, что сайт больше не доступен и удалён его авторами.
↑ Содержание ↑
Удаление сайта с платными услугами
В процессе удаления может появиться следующее сообщение.
Это значит, что к вашему сайту привязаны платные услуги. Перед удалением сайта вы должны удалить их. Это предотвращает потерю доступа к платным услугам.
Нажмите кнопку Управление покупками, чтобы перейти на страницу Покупки. На странице воспользуйтесь ссылками, чтобы отменить свои платные услуги, или обратитесь в службу поддержки, чтобы вам помогли перенести их на другой сайт, принадлежащий вашей учётной записи.
Если вам не удаётся отменить платные услуги, вы также можете обратиться в службу поддержки.
После удаления с сайта платных услуг перейдите в меню Мой сайт (мои сайты) → Управление → Настройки и начните процедуру заново.
↑ Содержание ↑
Альтернативные опции
↑ Содержание ↑
Отмена удаления сайта
Отменить удаление сайта можно в течение 30 дней после его закрытия. Если вы обнаружили, что закрыли свой сайт по ошибке, незамедлительно свяжитесь с нами. Мы сможем помочь восстановить ваш сайт в течение 30-дневного срока. По прошествии 30 дней все данные вашего сайта удаляются и больше не могут быть восстановлены, адрес сайта также удаляется и не может быть использован заново.
↑ Содержание ↑
Закрытие учётной записи
Если вы хотите полностью закрыть свою учётную запись WordPress.com, ознакомьтесь с информацией на странице Закрытие учётной записи.
Как быстро удалить аккаунт на сайте Badoo навсегда
Тем, кто хочет удалить страницу в badoo следует зайти в свой аккаунт.
А затем придерживайтесь следующих рекомендаций:
- После входа на сайт пользователь попадает на главную страницу знакомств, где размещены анкеты участников. Для того, чтобы удалиться с сайта badoo нужно перейти в настройки. Сделать это можно после перехода на страницу профиля, нажав на свою фотографию слева вверху.Щелчок по фотографии позволит перейти в профиль
- В профиле справа вверху расположены три кнопки — “Настройки”, “Галерея”, “Профиль”. Нужно выбрать первую из них.Нужно нажать на колесико, обозначающее “Настройки”
- В меню настроек следует опуститься в самый низ страницы.В “Настройках”, чтобы на badoo удалить профиль, нужно промотать страницу вниз
- В разделе “Настройки платежей” есть специальная кнопка “Удалить профиль”.Для удаления нужно нажать на соответствующую кнопку
- После этого появится окно, в котором можно выбрать другие функции, и избежать удаления.Высветится список, в котором нужно выбрать подходящее действие
- Нужно выбрать “Удалить профиль” и нажать появившуюся кнопку “Продолжить”.Для удаления следует подтвердить действие
- После этого потребуется указать причину удаления, можно добавить комментарий.Следует выбрать причину
- Для подтверждения необходимо будет ввести пароль и капчу. Проблемы могут возникнуть в случае, если пользователь забыл свой пароль. Чтобы восстановить пароль можно воспользоваться привязанным к аккаунту телефоном, электронной почтой.Требуется ввести текущий пароль
На этом вопрос, как удалить аккаунт в badoo можно считать решенным. Все инструкции о том, как восстановить аккаунт будут отправлены на электронную почту.
На почту отправлены инструкции по восстановлениюПисьмо содержит информацию о том, что спустя 30 дней профиль будет полностью удален, а в течение этого времени есть возможность восстановить его.
Удаление приложения
Не знаете, как удалиться из приложения badoo с телефона? Чтобы полностью удалить анкету, сначала необходимо удалить ее с полной версии сайта, а затем удалять непосредственно приложение с телефона. Для операционных систем ios и android действия имеют немного разную специфику и незначительные отличия:
- На смартфонах с ОС андроид удаление происходит в настройках в разделе “Мои приложения”, в Айфонах в разделе “Статистика”.
- Также удаление осуществляется через главный экран. На андроид зажмите ярлык приложения и перетащите в появившуюся корзину. Для ios следует зажать ярлык, дождаться появления вверху слева крестика и нажать на него.
удалить, оставить или ставить редирект? || Блог Megaindex.com
Что делать с неактуальными страницами? Имеет ли смысл удалять такие страницы с сайта?Или ставить 301 редирект?
Или лучше скорректировать контент, и оставить страницы на сайте?
Разберемся с вопросом далее.
Зомби-страницы: что это и почему это важно в SEO?
Подходы в поисковой оптимизации сайтов изменились. Раньше увеличение количества страниц на сайте считалось правильным действием, так как в результате у сайта увеличивался статический вес в поисковой системе.
Теперь дела с учетом количества страниц обстоят иначе. На раскрутку влияют как статический вес и полнота ответа, так и трафик на страницах.
Подобные страницы негативно влияют на значения поведенческих факторов доменного имени.
Что такое зомби-страницы? Такими страницами называются неактуальные страницы сайта, у которых:
- Нет поисковых сигналов;
- Нет трафика;
- Нет потенциала для привлечения трафика.
Такие страницы сайта не создают добавочную ценность, и не приносят никакой пользы в принципе.
Оптимальная схема действий с такими страницами на данный момент выглядит так. Сначала следует провести ряд проверок:
- Найти страницы без трафика. Проверить через log сервера есть ли на страницах трафик;
- Проверить, есть ли размещенные на страницу внешние ссылки;
- Выяснить, есть ли потенциал для привлечения трафика.
Все дальнейшие действия зависят от результатов проверок, приведенных выше.
Если есть потенциал по привлечению трафика, то такие страницы удалять нельзя. В таком случае следует провести внутреннюю и внешнюю оптимизацию сайта. А еще провести техническую оптимизацию для всех страниц.
Если нет трафика и нет потенциала для привлечения трафика, но есть внешние ссылки, то следует:
- Разместить 301-ый редирект;
- Изменить внешние ссылки так, чтобы внешние ссылки вели на актуальные страницы. Например, путем переговоров, иными словами через аутрич;
- Переиндексировать внешние ссылки. Рекомендованный материал в блоге MegaIndex на тему индексации сторонних страниц — Как быстро проиндексировать страницы сторонних сайтов. И зачем?;
- Проверить индексацию;
- Удалить лишние страницы с сайта.
Как найти внешние ссылки на страницу? К прим еру, через MegaIndex.
Ссылка на сервис — Внешние ссылки.
Что делать с неактуальными страницами: удалить, оставить или ставить редирект?
Если нет ни трафика, ни внешних ссылок, ни потенциала по привлечению трафика, то страницы следует удалить, поведенческие факторы улучшаться.
На базе каких данных сделаны такой вывод? Аргументы следующие:
- Ряд экспериментов указывает на то, что удаление ряда страниц способствует росту позиций сайта в поисковой выдаче;
- Заявления представителей поисковых систем, которые прямо или косвенно указывают на оптимальные действия в отношении таких страниц;
- Патенты о поведенческих факторах указывает на учет поведенческих факторов.
Есть ли примеры заявлений? Есть. Пример заявления от Google:
В переводе так:
Уменьшите количество страниц на сайте настолько, насколько возможно. Не создавайте страниц низкого качества и с минимальной добавочной ценностью. Это просто не стоит того, поскольку мы не хотим индексировать такие страницы. Мы считаем это пустой тратой ресурсов. А ещё, вы просто не получите качественного трафика. Если вы не получите трафик, зачем тратите ресурсы?
Какие есть примеры поведенческих факторов? Например, есть фактор длины клика. Больше в блоге MegaIndex про поисковые алгоритмы по ссылке далее — Исследования алгоритмов.
Удаление страниц из индекса поисковых систем является темой, которая практически не рассматривается в контексте оптимизации сайтов. Тем не менее, в ряде случаев страницы следует удалить. Примеры таких случаев:
- Страницы созданы по причине технических ошибок системы управления;
- Страницы неактуальны;
- Страницы созданы поисковыми оптимизаторами из эпохи динозавров с целью увеличения статического веса сайта.
Как удалить страниц из поиска
Есть разные способы для удаления страниц сайта из индекса Yandex, Google. Например такие:
- Мета-тег robots с параметром content и значением noindex;
- Заголовок X-Robots-Tag;
- Инструменты поисковых систем. Например, Google Removals и Yandex Del.
Подробнее в блоге MegaIndex на тему удаления страниц — Как удалить страницы из индекса поисковых систем?
После удаление страницы, код ответа сервера изменится на 404.
Как проверить код ответа заголовка страницы? Например, использовать бесплатный сервис от MegaIndex.
Ссылка на сервис — Проверка заголовков сервера — Проверка HTTP статусов.
Пример работы сервиса:
Вопросы и ответы
Маленькие сайты могут привлекать трафик из поисковой выдачи? Да. Сайты с объемом от 30 страниц могу привлекать органический трафик, как и большие сайты.
Удалять ли страницы при переносе сайта? Нет. При смене доменного имени страницы удалить не следует. Если сначала на сайте использовать 301 редирект, а затем удалить страницы, то в итоге просто на сайт придет меньше трафика.
Что делать, если товара нет в наличии? Как поступать с страницами, если товар был снят с продажи? Интересная задача с разными вариантами решения.
Если трафик есть, следует действовать по следующей схеме:
- Указать метку «Снят с производства»;
- Опубликовать на странице блок с похожими продуктами;
- Разместить на странице призыв к действию и элемент управления. Например, «Подобрать подобный продукт».
Если трафика нет, то следует провести проверки на трафик и внешние ссылки, и выполнить действия по схеме описанной выше.
Рекомендованные материалы в блоге MegaIndex на тему контента:
Выводы
В ряде случаев страницы сайта требуется удалить из индекса поисковых систем. Удаление страниц сайта из поисковой выдачи в контексте раскрутки сайта выглядит алогичным действием. Но на практике смысл есть. Примеры из практики рассмотрены выше.
Как удалить страницы сайта из поисковой выдачи? Например, использовать заголовок X-Robots-Tag. Пример реализации по ссылке — Как удалить страницы из индекса поисковых систем? Еще есть инструмент для массового удаления страниц из индекса. Но данный инструмент требует настройки. Ссылка на инструмент — Google Search Console Bulk URL Removal.
Зачем удалять страницы? Неактуальные страницы пессимизируют сайт. В ряде случаев удаление страниц позволяет повысить позиции сайта в поисковой выдаче.
На практике подобный эффект был замечен разными оптимизаторами. Речь не про маргинальные случаи, а про разные проекты в конкурентных нишах. К примеру, на днях руководители Boosta и SEOProfy подчеркнули данный эффект на конференции.
Преимущества от удаления лишних страницы следующие:
- Улучшение поведенческих факторов хоста;
- Улучшение среднего значения кликовых факторов на выдаче. Рекомендованный материал в блоге MegaIndex на тему кликовых факторов по ссылке далее — Белые способы влияния на кликовые поведенческие факторы в поисковой выдаче;
- Усиление актуальных страниц за счет передачи ссылочного веса;
- Повышение позиций в поисковой выдаче;
- Легче выполнять дальнейшие улучшения по сайту.
Если на странице есть трафик или внешние ссылки, следует действовать по описанной выше схеме.
При создании страниц следует фокусироваться на качестве и потенциальном трафике, который будет привлекаться из поисковой выдачи.
Какое ваше мнение на тему удаление страницы, и пробовали ли вы удалить неактуальные страницы с сайта? Напишите в комментариях.
5 способов удалить страницу из поиска Яндекса или Google — Devaka SEO Блог
88.3К просмотров
Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…
Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.
5 способов удаления страниц из поисковых результатов
1. 404 ошибка
Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.
HTTP/1.1 404 Not Found
В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.
Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.
2. Файл robots.txt
Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.
Закрыть раздел администраторской панели от попадания её в индекс поисковиков:
User-Agent: *
Disallow: /admin/
Закрыть определенную страницу от индексации:
User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска
В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.
Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.
3. Мета-тег robots
Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.
<meta name="robots" content="noindex,nofollow" />
Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.
4. Заголовки X-Robots-Tag
Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.
Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.
X-Robots-Tag: noindex, nofollow
В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).
5. Ручное удаление из панели для вебмастеров
Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.
Яндекс: http://webmaster.yandex.ru/delurl.xml
Google: https://www.google.com/webmasters/tools/
Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.
Полезные ссылки по теме
5 советов по созданию практичной 404 страницы
Улучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.
Всё о файле robots.txt
Для тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.
Яндекс: Использование robots.txt
Официальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.
Использование HTTP заголовков X-Robots для скрытого удаления линкопомоек
Пример использования HTTP-заголовка X-Robots-Tag в Apache.
Как удалить страницу из поиска Яндекс и Google?
Как добавить страницу в Яндекс и Google мы уже рассказывали. Но может понадобиться и обратная процедура — удалить страницу из поиска. Это можно сделать вручную или здать автоматической настройки. Что удобнее, быстрее и легче рассказываем в новой заметке.
Ручное удаление
Чтобы оперативно удалить страницу из поиска, необходимо воспользоваться инструментом Яндекс Вебмастера и Search Console: «Удалить URL».
В Яндекс.Вебмастере существует две версии данного инструмента:
- Первый позволяет отправлять на удаление URL любых сайтов. Ограничение — URL необходимо отправлять поштучно.
- Второй доступен только после подтверждения сайта и позволяет отправить на удаление до 500 URL в сутки (отправлять URL можно списком).
Перед тем как использовать данные сервисы, необходимо настроить 404 код ответа удаляемых страниц или запретить от индексации в файле robots.txt.
В течение нескольких дней после использования сервиса, страницы пропадут из выдачи поисковых систем.
Автоматическое удаление страниц
Если страница отвечает любому из трех условий:
- Отдает 404 код ошибки.
- Закрыта от индексации в файле robots.txt.
- Закрыта от индексации мета-тегом robots.
То со временем они удалятся из индекса автоматически. Недосток автоматического метода в том, что удаление страниц может затянуться — требуется время ожидания повторного переобхода поисковыми роботами. А если это внутренняя страница с небольшим количеством входящих ссылок, то произойти это может не скоро.
Именно поэтому рекомендуется использоваться ручные сервисы по удалению страниц из индекса.
#94
Декабрь’18 1751 28#60
Февраль’18 2821 19Удалить или удалить страницу
Есть два способа удалить страницу из поля зрения вашей аудитории. 1) Удалить страницу и 2) Удалить страницу с панели навигации. 1. Удаление страницы
a. Перейдите на страницу, которую хотите удалить
b. Нажмите кнопку Дополнительные действия
c. Выберите Удалить страницу
* Это действие полностью удалит страницу с вашего сайта.
Однако в Сайтах Google есть удобная функция: если материал удален, удален или изменен, владелец может вернуть сайт к предыдущей версии.Для этого просто нажмите кнопку Дополнительные действия и выберите История изменений . Владелец сайта может вернуть сайт к любой предыдущей версии, таким образом восстанавливая удаленные или измененные элементы.
2. Удалите страницу из панели навигации.
а. Нажмите кнопку Дополнительные действия
b. Выберите Edit Site Layout (в верхней части вашего сайта теперь будет отображаться режим редактирования).
г. Щелкните панель навигации, которую хотите отредактировать.Откроется окно редактирования.
e. Убедитесь, что флажок « Автоматически организовать мою навигацию » снят — это даст вам возможность вручную «Добавить страницы» и разместить их в любом порядке.
(Примечание. Если этот флажок установлен, Сайты Google автоматически поместят вашу новую страницу на панель навигации)
f. Выделите страницу, которую хотите удалить, нажмите на символ «удалить» (X). Это приведет к удалению страницы с панели навигации, но сохранит ее, если вы захотите опубликовать ее снова.
г. Сохранить изменения.
YouTube Video
Как правильно удалить страницу с вашего сайта • Yoast
Йост де ВалкЙост де Валк — основатель и директор по продуктам Yoast.Он интернет-предприниматель, который незадолго до основания Yoast инвестировал и консультировал несколько стартапов. Его основная специализация — разработка программного обеспечения с открытым исходным кодом и цифровой маркетинг.
Каждый раз, когда вы удаляете страницу (или сообщение) со своего сайта, вы также удаляете один или несколько URL-адресов. Этот старый URL-адрес при посещении обычно возвращает ошибку «404 не найден», что не очень хорошо для Google или ваших пользователей. Это то, чего вы действительно хотели? Вы можете перенаправить эту удаленную страницу на другую страницу, или, может быть, — если вы действительно хотите, чтобы контент ушел с вашего сайта — на самом деле было бы лучше использовать заголовок 410.В этом посте объясняется, какие у вас есть варианты и как их реализовать.
Знаете ли вы, что у Yoast SEO Premium есть отличный менеджер перенаправления, который упрощает перенаправление удаленных сообщений? Попробуйте!
Перенаправить или полностью удалить страницу?
Первое, что вам нужно решить, это то, есть ли у удаленного вами контента аналог в другом месте на вашем сайте. Подумайте об этом так: если бы я щелкнул ссылку на страницу, которую вы удалили, будет ли на вашем сайте другая страница, которая дает мне информацию, которую я искал? Если это верно для большинства из тех, кто переходит по ссылке, вам следует перенаправить удаленный URL на альтернативную страницу.
В общем, я бы посоветовал вам перенаправить страницу, даже если это принесет пользу лишь небольшой части посетителей. Аргументация проста: если другой вариант состоит в том, чтобы всех ваших посетителей отправляли на страницу «контент не найден», это тоже не лучшая альтернатива…
Создать редирект
Существует несколько типов переадресации, но переадресация 301 — это то, что называется постоянным переадресацией, и это то, что вы должны использовать при переадресации этого URL удаленной страницы на другой URL.Использование перенаправления 301 означает, что Google и другие поисковые системы будут назначать значение ссылки старого URL-адреса URL-адресу, на который вы перенаправляли своих посетителей.
Полное удаление содержимого
Если на вашем сайте действительно нет альтернативной страницы с такой информацией, вы должны спросить себя, лучше ли удалить ее или сохранить и улучшить. Но если вы абсолютно уверены, что хотите его удалить, убедитесь, что вы отправили правильный HTTP-заголовок: заголовок «410 контент удален».
Заголовки 404 и 410 HTTP
Разница между заголовками 404 и 410 проста: 404 означает «контент не найден», 410 означает «контент удален» и, следовательно, является более конкретным. Если URL-адрес возвращает 410, Google точно знает, что вы удалили URL-адрес намеренно, и поэтому он должен удалить этот URL-адрес из своего индекса гораздо раньше.
В нашем плагине Yoast SEO Premium для WordPress есть модуль переадресации, который позволяет вам установить 410 заголовков. Диспетчер перенаправления — идеальный инструмент для работы с перенаправлениями, который автоматически спрашивает вас, что вы хотите делать с URL-адресом, когда вы его удаляете или меняете постоянную ссылку.Конечно, вы можете установить любой тип перенаправления.
Проблема с обслуживанием 410 удаленных заголовков контента заключается в том, что их поддержка Google не полностью. Конечно, он будет быстрее удалять страницы, которые обслуживают 410 из своего индекса, но Google Search Console будет сообщать 410 с ошибками сканирования «Не найдено», как и 404. Мы несколько раз жаловались на это в Google, но, к сожалению, им еще предстоит это исправить.
Сопутствующий ущерб при удалении страницы
Когда вы удаляете одно или несколько сообщений или страниц со своего сайта, часто возникает сопутствующий ущерб.Допустим, вы удалили на своем сайте все сообщения с определенным тегом. Теперь этот тег пуст, URL-адрес его архива также будет давать 404. Даже если вы правильно обработаете все URL-адреса тех сообщений, которые удалили (перенаправив или 410), архив тегов все равно выдаст 404, поэтому вы должны убедиться, что работать с этим URL тоже.
Даже если вы не удалили все сообщения в теге, в архиве тегов теперь может быть 5 вместо 12 сообщений. Если вы отображаете 10 сообщений на странице в своих архивах, страница 2 этого архива больше не будет существовать и, следовательно, выдаст ошибку 404.Это не самые большие проблемы в мире, когда вы удаляете одно или два сообщения, но если вы имеете дело с проблемой Google Panda и из-за этого удаляете лотов плохого контента, создание большого количества таких 404 может занять ваш сайт еще ниже, так что действуйте осторожно!
Подробнее: Какой редирект использовать? »
Какой редирект использовать? • Yoast
Эдвин ТооненЭдвин — специалист по стратегическому контенту.Прежде чем присоединиться к Yoast, он провел годы, оттачивая свое мастерство в ведущем журнале по веб-дизайну Нидерландов.
Как специалист по поисковой оптимизации или владелец веб-сайта, рано или поздно вы обязательно столкнетесь с переадресацией. Каждый раз, когда вы удаляете страницу, меняете структуру URL-адресов или переходите на новый домен, вам придется перенаправлять свои URL-адреса. Смена URL-адресов действительно важна для вашего SEO, но может быть довольно сложной задачей. Вот почему Yoast SEO Premium предлагает менеджер перенаправления. Это значительно упростит перенаправление URL!
Редирект указывает роботам поисковых систем временно или постоянно переходить в другое место для доступа к определенной странице.Выбор неправильного типа перенаправления может негативно повлиять на ваше SEO, поэтому будьте осторожны при выборе. В этом посте объясняются различные типы переадресации и когда их следует использовать.
Зачем нужны редиректы?
В общем, вам следует избегать перенаправлений, но если они вам нужны, применяйте их правильно. Перенаправление URL-адресов является частью регулярного обслуживания вашего веб-сайта. Есть много причин для их использования, но самые распространенные:
Коды состояния HTTP
Чтобы понять, как работают перенаправления и как вы можете влиять на то, что сервер возвращает браузеру, вам необходимо знать коды состояния HTTP.Код состояния HTTP — это установленный номер, который сервер отправляет браузеру после определенного запроса страницы. Эти коды могут включать, например, 200, 301, 404 и 503, и каждый код служит определенной цели. Например, 404 означает, что страница не найдена. 503 означает, что сервер временно отключен для обслуживания или из-за перегрузки.
Если вы хотите поддерживать свой сайт безупречно, вам необходимо знать свои коды состояния HTTP, и вы можете прочитать о них более подробно здесь: Коды состояния HTTP и их значение для SEO.
Типы редиректов
Есть несколько переадресаций, с которыми вы будете сталкиваться ежедневно, так что запомните их:
- 301 Постоянный
- 302 Найдено
- 307 Временное
Это не совсем перенаправления, но все же полезно:
- 410 Контент удален
- 451 Контент недоступен по юридическим причинам
301 Постоянное перенаправление
301 — одно из наиболее распространенных перенаправлений, и вы должны использовать его, если вы хотите навсегда перенаправить удаленную или перемещенную страницу, или если вы что-то изменили в своей структуре постоянных ссылок.Этот код сообщает роботам поисковых систем, что рассматриваемая страница больше не доступна в этом месте и что ее больше не следует индексировать. Если вы неправильно настроили переадресацию, скорее всего, ваши посетители — и роботы-сканеры — увидят сообщение об ошибке 404, а это не то, чего вы хотите.
Поскольку 301 постоянно ведет посетителей со старого URL-адреса на новый, вам следует использовать его только в том случае, если вы уверены, что больше никогда не будете использовать старый URL. Если вы с по хотите снова использовать URL-адрес, вам потребуется временное перенаправление.301 передает все значение ссылки, которое отброшенный URL-адрес накопил за годы, в новый URL-адрес, поэтому он заставляет новый URL-адрес приобретать или сохранять значение. Чтобы узнать, как реализовать 301 редирект с помощью WordPress, прочтите этот пост Джимми или просто воспользуйтесь менеджером перенаправления в Yoast SEO Premium.
302 Найдено
302 — это довольно неоднозначный редирект, который часто используется как временный. Код означает, что запрошенный контент был найден, но находится в другом месте.Не сказано почему. Если вы хотите направлять посетителей на альтернативную страницу при посещении этой конкретной страницы, и вы хотите повторно использовать URL-адрес в будущем, используйте 302.
Поскольку это временное перенаправление, Google ожидает, что что-то вернется позже. Если вы оставите 302 на долгое время, Google начнет рассматривать его как 301 и передавать любое значение, которое имела эта ссылка.
307 Временное
302 часто используются для создания временных перенаправлений, но с появлением HTTP 1.1, 307 заменил его как действительное временное перенаправление. В то время как 302 немного расплывчато, 307 точно указывает, что запрошенный URL был перемещен во временное место и вернется через некоторое время. Поскольку этот запрос может измениться в будущем, запрос следует продолжать с использованием исходного URL-адреса. Используйте это перенаправление, если вы уверены, что перенос является временным и вам понадобится исходный URL позже.
Не совсем перенаправляет, но все еще актуально
Помимо традиционных кодов, вы найдете еще два, которые на самом деле не перенаправляют.Однако они по-прежнему актуальны для повседневной работы по обслуживанию вашего сайта. Вы могли видеть 410 и 451 как ваш сервер, говорящий: Эй, раньше здесь что-то было, но больше нет.
410 Контент удален
страниц с ошибками 404 — одна из самых больших проблем на веб-сайтах, и если вы посмотрите на свои показания в Google Search Console, вы обязательно найдете несколько. Их необходимо исправить, потому что эти ошибки никому не нравятся: Google видит в них признак плохого обслуживания, и они сбивают посетителей с толку.Ошибки 404 часто возникают, когда запрошенная страница или сообщение были удалены с сайта, а URL-адрес не был перенаправлен.
Используйте 301 для перенаправления страниц с ошибками 404 на соответствующую страницу или домашнюю страницу. Однако иногда вы можете предпочесть другой метод: сообщить поисковым системам и пользователям, что эта страница была удалена с перенаправлением 410. Тогда они узнают, что страница не вернется, и поэтому могут удалить ее из индекса.
451 Контент недоступен по юридическим причинам
Если вам когда-либо не повезло, и судья приказал вам удалить страницу или если вы получите уведомление и запрос на удаление, присвойте удаленной странице заголовок 451.Это сообщает поисковым системам, что здесь было сообщение и что вы хотели выполнить этот запрос, но не можете по юридическим причинам. Узнайте, как и зачем делать заголовок 451, если вы когда-нибудь окажетесь в такой ситуации.
REGEX перенаправляет
Если вы профессиональный SEO-специалист и вам нужно выполнять сложные переадресации, возможно, вам понадобится использовать переадресацию REGEX. С обычными вы указываете один исходный URL и целевой URL. С помощью REGEX — регулярных выражений — редиректов вы можете, например, создать один, чтобы переместить целые группы URL-адресов, содержащих ключевое слово, в новое место.Это может сэкономить вам массу времени при работе над масштабным SEO-проектом. Однако вам следует использовать REGEX только в том случае, если вы знаете, что делаете, потому что они могут легко сломать ваш сайт.
Управляйте переадресацией с помощью Yoast SEO Premium
Конечно, вы можете исправить свои перенаправления на сервере или использовать другие инструменты, но, как пользователь Yoast SEO Premium, вы имеете в своем распоряжении лучший инструмент для работы с перенаправлениями. Менеджер перенаправления в Yoast SEO Premium помогает вам установить правильный, и всякий раз, когда вы удаляете или перемещаете страницу, Yoast SEO спрашивает вас, как с ней обращаться: какой у нее 301 или 410? А может 451? Диспетчер перенаправления поддерживает перенаправления 301, 302, 307, 410 и 451, и все это в простом для управления рабочем процессе.
Работа с редиректами
Работа с редиректами — повседневная работа для многих оптимизаторов поисковых систем. В этой статье были рассмотрены различные варианты перенаправления страниц и показано, как и когда их использовать. Но будьте осторожны при выборе! И не 302 весь свой сайт при переходе на новый домен, потому что это вызовет серьезные проблемы в будущем. Подумайте о том, чего вы хотите достичь, а затем выберите наиболее подходящий метод.
Подробнее: Как правильно удалить страницу со своего сайта »
Как удалить веб-страницы без ущерба для вашего поискового рейтинга
Джордж Златин
Google ненавидит перемены.Я знаю, что это может показаться странным для технологической компании, но, по крайней мере, когда речь идет о поисковой системе Google, это абсолютно верно. Когда вы вносите существенные изменения в свой веб-сайт, Google часто наказывает вас снижением рейтинга в краткосрочной перспективе.
Одним из основных изменений, которые наши клиенты обычно не учитывают при обновлении своего веб-сайта, является влияние удаления старых страниц.
Конечно, иногда, когда сайты становятся старыми и ржавыми, вам нужно убить старые страницы.Веб-страницу 10-летней давности часто необходимо либо заменить новой, либо полностью удалить. Итак, давайте посмотрим, как вы можете удалить страницы, минимизируя при этом ущерб вашему с трудом заработанным рейтингом.
Первый вопрос: перенаправить или убить?
Прежде чем удалять какие-либо страницы, вам нужно составить список старых страниц, которые вам не нравятся. Когда у вас есть список, у вас есть два варианта для каждой страницы.
Вы можете перенаправить их.С точки зрения SEO, 301 перенаправление мертвых или удаленных страниц перенесет большую часть капитала этой страницы на новую страницу вашего сайта.Подробнее о редиректах читайте здесь.
Вы можете убить их.Иногда информация на старой странице настолько устарела, что нет новой или релевантной страницы, которая бы точно соответствовала информации на вашей старой странице.
Как только вы решили, что вам нужно удалить некоторые старые страницы, вам нужно принять техническое решение — если вы 410 или 404 старые страницы. Не понимаете, что означают эти термины?
Давайте рассмотрим, что означают эти страницы для вашего веб-сайта:
410 Pages
Хорошее практическое правило: если вы хотите уничтожить старую страницу, вам следует использовать 410. Страница, которая возвращает ответ 410, сообщает поисковым системам, что страница навсегда исчезла. Google удалит страницы с веб-сайта, которые возвращают 410 из своего индекса.
Хотя есть некоторые свидетельства того, что Google может в конечном итоге удалить страницу 404 из своего индекса (подробнее об этом чуть позже), они будут удалять страницу, которая возвращает ошибку 410 быстрее. Подумайте об этом с точки зрения робота Googlebot.
Интернет настолько сложен, что я люблю сканировать его как можно быстрее.Так что я действительно обижаюсь на любого, кто меняет что-то во мне. Но, по крайней мере, когда этот веб-сайт уничтожил некоторые старые страницы, они оказали мне услугу, сказав мне, что страницы исчезли, вместо того, чтобы заставлять меня тратить месяцы на выяснение этого самостоятельно. Так что я не стану их слишком строго наказывать за обновление их сайта.
Примечание: Страницы, которые вы больше не хотите в индексе, должны быть потеряны, прежде чем возвращать 410, т.е. вам следует убедиться, что на них нет ссылок из других источников на веб-сайте.Ситуация, в которой мы чаще всего рекомендуем использовать 410, — это когда вы хотите избавиться от нескольких страниц, которые создают проблему раздувания индекса.
Например, у нас был клиент, который был взломан, позже узнав, что хакер создал тысячи страниц, предназначенных исключительно для ссылок на другие страницы. Как только мы узнали о взломе, мы хотели, чтобы все эти страницы со спамом были окончательно удалены из индекса, поэтому мы сделали это с 410.
404 Страницы
Возможно, вы знакомы с ошибкой 404 — кодом, который приветствует вас всякий раз, когда вы нажимаете на неработающую ссылку.Страницы, которую вы хотели просмотреть, больше нет, поэтому вы не могли попасть на эту несуществующую страницу.
Практическое правило: ошибки 404 — это плохо. Вы же не хотите, чтобы ваш сайт возвращал страницу с ошибкой 404. Однако нереально никогда не ожидать появления ошибки 404, поэтому так важно разработать план действий по ее немедленному устранению. Лучший способ действий для 404 — перенаправить пользователей на следующую лучшую страницу, которая удовлетворяет их поисковым намерениям.
Например, если продукт больше не доступен, возможно, вы можете перенаправить страницу на целевую страницу с более новой версией продукта.Если сопоставимой страницы для перенаправления пользователей нет, перенаправьте их на страницу соответствующей категории.
Последнее средство — перенаправление на домашнюю страницу. Поскольку ошибки 404 неизбежны, вам следует оптимизировать свою страницу 404, чтобы превратить этот плохой пользовательский опыт в хороший. Несколько вещей, которые вы можете сделать, чтобы украсить свою страницу 404, включают:
- Добавление строки поиска
- Ссылки на 5-7 верхних страниц
- Кнопка на главную страницу
- Будьте изобретательны и даже добавьте немного юмора, как в DTC creative 404 page
Заключение
Всякий раз, когда страница больше не существует, мы хотим убедиться, что пользователи не попадают на нее, поскольку это создает неудобства для пользователей.Когда всего несколько страниц возвращают ошибку 404, лучше всего настроить одну переадресацию 301 на следующую применимую страницу.
Но когда у вас есть список из сотен страниц, которые больше не существуют, и вам некуда перенаправить их, кроме домашней страницы, лучший способ удалить их из индекса и уменьшить раздувание индекса — заставить их вернуть 410.
Одна из наиболее распространенных ситуаций, в которых вам нужно перенаправить свои страницы, — это когда вы меняете дизайн своего веб-сайта.Редиректы — это лишь один из кусочков головоломки, когда нужно выйти из редизайна сайта без потери рейтинга.
Как удалить веб-страницу из Google
Это только один из многих советов по поисковой оптимизации, которые я давал на протяжении многих лет. Все мои советы по поисковой оптимизации носят конкретный характер, они не должны занимать слишком много времени для реализации и должны быть непосредственно по делу. Этот совет по поисковой оптимизации, как удалить веб-страницу из Google, связан с удалением страницы или определенного URL-адреса из поисковой системы Google.
Зачем удалять веб-страницу?
Существует несколько различных причин, по которым вам может потребоваться удалить информацию из URL-адреса или статьи. Они могут включать, но не ограничиваются:
- Вопросы конфиденциальности и проблемы конфиденциальности
- Личная информация
- Конфиденциальная информация
- Дезинформация или информация, которая устарела или неверна
- Дубликаты URL-адресов
Иногда вы видите проблему с конфиденциальностью, такую как ваша личная информация или чья-то личная информация, которая появляется в статье или на сайте, и ее следует удалить.Это может быть ваша личная информация или другая информация о вас. Может быть конфиденциальная информация, такая как номера социального страхования, фотографии, адреса, местоположения, данные об автомобиле и т. Д., Которую не следует публиковать. Может быть замешана дезинформация о вас или вашей компании. Или неверная информация, например цены, или отзывы, которые необходимо удалить. И, наконец, веб-сайт или веб-страница могут дублироваться, и их необходимо удалить или деиндексировать. Веб-дизайнеры часто совершают эту ошибку при запуске новых веб-сайтов: «разрабатываемая» или тестовая версия становится общедоступной и ее необходимо удалить.
В этой статье я не собираюсь давать вам логическое объяснение того, почему вы хотите перейти на эту страницу. Я просто сосредоточусь на том, как удалить URL-страницу из поисковой системы Google. Bing.com имеет отдельный инструмент для удаления URL. Теперь я понимаю, что есть много причин для удаления веб-страницы из этой поисковой системы (которые могут включать тот факт, что это дублирующаяся страница или, возможно, даже страница, на которой есть конфиденциальные данные, которые вы не хотите сообщать. на весь мир).Но я собираюсь дать вам несколько вариантов удаления веб-страницы. После того, как я назову каждый вариант, я расскажу вам о нем более подробно.
Имейте в виду, что это обычно делает веб-мастер веб-страницы и кто-то, кто имеет технические знания веб-страниц, чтобы внести изменения на страницу или имеет надлежащее разрешение на удаление страницы.
Используйте собственный инструмент для удаления Google.
Во-первых, вы должны подтвердить свой сайт в Инструментах Google для веб-мастеров, которые теперь называются Google Search Console, чтобы доказать им, что вы действительно являетесь владельцем сайта.Для этого вам понадобится учетная запись Google. Затем войдите в Google Search Console и «добавьте свой сайт». Затем вам нужно будет нажать на ссылку «подтвердить свой сайт», которую они предоставляют. Вам будет предложено либо добавить файл на ваш сервер, либо добавить метатег на ваш сайт. Это нормально, им потребуется подтверждение того, что сайт принадлежит вам. После добавления метатега или файла вы можете подтвердить сайт. Другой вариант — добавить проверочный код в DNS вашего доменного имени. Это более сложно, и вам нужно будет изменить настройки DNS.Я предлагаю это только опытным пользователям. Если у вас есть доступ к Google Analytics, вы также можете подтвердить, что являетесь владельцем сайта.
Во-первых, страницу нужно удалить: она должна быть недоступна и показывать ошибку при доступе. Другой вариант — использовать протокол исключения роботов и запретить индексирование страницы. Поисковые системы могут игнорировать это, но это лучший способ сделать это.
Самый быстрый способ — использовать Google Removal Tool здесь: https: // www.google.com/webmasters/tools/url-removal. Вот другой способ:
После того, как ваше доменное имя будет официально подтверждено в Google Search Console, вам нужно будет сделать следующее:
- Нажмите «Индекс Google», затем «Удалить URL-адреса», как показано ниже:
- Затем, после того как вы нажали «Удалить URL-адреса», вам нужно будет нажать кнопку «временное скрытие»:
- Введите URL-адрес и нажмите «Отправить».
- Теперь вам предоставляется место для ввода URL-адреса.Введите URL-адрес и нажмите «Продолжить».
На данный момент у вас есть несколько вариантов, например:
- временно скрыть и удалить из результатов поиска и удалить из кеша
- удалить только из кеша
- временно скрыть каталог
Обычно я рекомендую первый вариант. Но есть случаи, когда вам нужно выбрать другой вариант. Сколько времени потребуется, чтобы удалить веб-страницу из своего индекса, на самом деле зависит от нескольких факторов, но, как правило, ее следует удалить через несколько дней.Конечно, чтобы удалить веб-страницу из поисковой системы, я бы дал ей неделю на полное удаление. Имейте в виду, что вам нужно будет повторно отправлять этот запрос каждые 90 дней, так как этот запрос действителен только в течение 90 дней.
Однако в конечном итоге вам нужно удалить страницу со своего веб-сайта, удалив ее. Запрос URL-адреса обычно должен возвращать «ошибку 404». Другой вариант — вернуть ошибку «410 Gone». Чтобы удалить веб-страницу, веб-страница не должна существовать. Сообщите поисковой системе, что она навсегда исчезла с ошибкой заголовка сервера 410.
Если вы не являетесь владельцем веб-сайта или у вас нет доступа к нему, удалить страницу будет сложнее. Вам нужно будет связаться с владельцем сайта, чтобы удалить страницу.
Помните, что после удаления страницы с помощью Removal Tool она «длится» всего 90 дней. Затем вам нужно будет снова использовать этот инструмент, чтобы удалить страницу из индекса. Я рекомендую настроить напоминание в календаре для повторной отправки удаления каждые 90 дней.
Другие способы удаления страниц
Вот и другие способы удаления ваших веб-страниц или URL-адресов из индекса Google.
Полностью удалите страницу со своего сайта.
Если вы хотите, чтобы страница просто исчезла полностью, вам сначала нужно удалить страницу с веб-сервера. Затем используйте инструмент для удаления, как я только что описал выше. Конечно, для этого вам понадобится доступ к вашему сайту. Потребуется либо FTP-доступ к вашему сайту, либо, возможно, даже доступ к системе управления контентом, которую вы используете.
Если у вас нет доступа к веб-сайту, с которого вы хотите удалить страницу, вам необходимо связаться с веб-мастером сайта.Следующий вариант — связаться с хостинговой компанией сайта, вы можете найти хостинговую компанию, обычно просматривая данные WHOIS доменного имени, что также является хорошим способом найти владельца сайта. Если они не удалят страницу, возможно, они рассмотрят возможность редактирования страницы, чтобы она «читалась» по-другому или содержала другое содержание или текст. Содержимое, безусловно, может быть обновлено или изменено по вашему усмотрению.
Защита страницы паролем
Если вы поместите идентификатор пользователя и пароль (требуются для просмотра веб-страницы) на веб-странице, то сканеры поисковых систем не смогут использовать этот вход на страницу для ее сканирования.
Добавить тег без индекса на страницу
Поисковые системы, когда они видят на странице тег noindex, обычно не индексируют страницу. Желательно, чтобы вы поместили тег noindex в область заголовка кода на странице, но вы можете попробовать добавить его в другую часть страницы… это тоже должно сработать.
Добавить страницу в файл Robots.txt
На каждом сайте должен быть файл robots.txt, у нашего сайта здесь есть файл robots.txt. Убедитесь, что вы «запретили» сканирование / индексирование.Имейте в виду, что если вы запретите сканирование страницы, они все равно будут отображать эту веб-страницу в индексе — им не разрешено сканировать ее, но они знают о веб-странице. Он по-прежнему может занимать высокие позиции в результатах Google! Если вы хотите удалить страницу, вам действительно нужно РАЗРЕШИТЬ сканирование (не добавлять его в файл robots.txt) и добавить на страницу метатег «noindex», чтобы предотвратить ее индексирование.
Убрать все ссылки на страницу
Если есть ссылки, указывающие на веб-страницу, то, скорее всего, она останется в индексе поисковой системы.Если на вашем веб-сайте есть страницы со ссылками на страницу, которую вы хотите удалить, избавьтесь от этих ссылок. Вы можете легко перейти на Yahoo! и выполните поиск: link: http: //www.hartzer.com/page.html, если page.html — это страница, на которой вы хотите найти ссылки, указывающие на нее. На других веб-сайтах могут быть ссылки на эту страницу, поэтому вы также захотите удалить эти ссылки. Возможно, вам придется попросить других веб-мастеров прекратить ссылаться на вашу страницу.
Как видите, существует несколько вариантов удаления страницы из результатов поиска.Во многих случаях вы можете обнаружить, что лучше выполнить многие из этих действий, чтобы удалить страницу. Конечно, то, что вы сделаете, также будет зависеть от того, сохраните ли вы страницу доступной или просто хотите, чтобы страница «ушла».
Однако самый быстрый способ избавиться от веб-страницы в индексе поисковой системы — это использовать инструмент удаления. Сначала удалите страницу. Он должен иметь ошибку 404 или ошибку «410 пропало», когда вы переходите на страницу или помещаете ее в веб-браузер.Затем удалите URL-адрес с помощью инструмента для удаления. Его следует удалить через несколько часов, а иногда и быстрее. Но подождите день или два, чтобы он удалился.
Текущие ежемесячные услуги
Хотя Hartzer Consulting специализируется на техническом аудите, мы также предоставляем консультационные услуги на условиях предоплаты. Мы всегда предпочитаем начинать все новые проекты с аудита, чтобы выявить проблемы, которые необходимо решить. Свяжитесь с нами сегодня, чтобы узнать больше о наших ежемесячных услугах по поисковой оптимизации и о том, как мы можем помочь вам в достижении ваших целей.
Служба SEO
Каждый раз, когда Hartzer Consulting принимает новых клиентов, особенно когда она ежемесячно предоставляет услуги SEO, первый месяц посвящается аудиту SEO, а второй месяц обычно посвящается реализации того, что было обнаружено в ходе аудита. Это необходимая часть процесса SEO, поскольку интернет-маркетинг не является чем-то вроде шаблона — можно завершить только общий анализ проблем, а этот общий обзор — только начало.
Биллу Харцеру, которому можно доверять
Ищете консультанта по поисковой оптимизации, которому можно доверять? Билл Хартцер служил свидетелем-экспертом по поисковой оптимизации и свидетельствовал в Федеральном суде США, а также давал показания свидетеля-эксперта в других судебных делах.
Как я могу удалить URL-адрес своего веб-сайта из индекса Google?
Чтобы удалить определенный URL (например, страницу http://www.example.com/page4.html) вашего собственного веб-сайта из индекса Google, доступны два варианта.
Вариант № 1: Используйте метаэлемент robots с NOINDEX
Добавьте метаэлемент robots в исходный код страницы, который не должен отображаться в индексе, и установите значение NOINDEX.
При добавлении следующего URL будет удален из индекса:
Вы должны добавить метаэлемент в область
конкретная страница: строка 6: метаэлемент robots со значением NOINDEX в исходном кодеЕсли на странице уже есть метаэлемент robots со значением INDEX, вы можете просто заменить его на NOINDEX.
Готово. Теперь вам просто нужно дождаться, пока нужный URL не будет удален из индекса Google.
При использовании значения NOINDEX мета-роботов URL также будет удален из индекса поисковой системы Microsoft Bing и других поисковых систем, которые реагируют на тег noindex.Вариант № 2: Использование консоли поиска Google
Используя настройку в консоли поиска Google, вы можете легко удалить URL-адрес из индекса Google. Это быстрый, но временный метод. Для постоянного удаления URL-адреса вам необходимо добавить функцию NOINDEX выше или удалить саму страницу с вашего веб-сайта в дополнение к выполнению функции временного удаления.
Если вы еще не используете Google Search Console (GSC), вам следует активировать свой сайт для бесплатной статистики и контроля. Как подключиться к GSC.
Удаление URL-адреса из индекса с помощью Google Search Console
- Войдите в Google Search Console и выберите нужный веб-сайт. В нашем примере мы выбрали asite.com
- Щелкните вкладку «Временные удаления» в верхней части основного окна
- Щелкните «НОВЫЙ ЗАПРОС» в главном окне.(Красная кнопка)
- Теперь вам будет предложено ввести URL-адрес страницы, которую вы хотите удалить, и подтвердить свой выбор, нажав «Далее». Если вы хотите удалить набор страниц, вы можете ввести префикс.
Готово. Теперь вам нужно подождать некоторое время, пока нужный URL не будет удален из индекса Google.
Удаление URL-адреса из индекса BIng
Поисковая система Bing также предоставляет собственные инструменты для веб-мастеров, которые можно использовать для удаления URL-адресов из их индекса.Возможность блокировки индексации URL в инструментах Bing для веб-мастеров (http://www.bing.com/toolbox/webmaster)Удалить информацию из Google | Центр поиска Google
«Получите что-нибудь от Google» для разных людей разные вещи. Мы собираемся объяснить, как запросить удаление информации, но внимательно прочтите информацию ниже .Прежде чем пытаться удалить свою информацию, вы должны ответить на следующие два вопроса:
- Хотите удалить информацию только из поиска Google или из Интернета? Удаление информации из Google не приведет к ее удалению из Интернета, а при удалении информации из Интернета требуется несколько дополнительных шагов для удаления из Google.
- Кто контролирует страницу источника информации? Информация в Google
Результаты поиска берутся из источника (часто, но не всегда, веб-страницы). Тебе нужно
знать источник этого контента и кто контролирует этот источник, чтобы заблокировать или
убери это.
Примеры источников, которые вы контролируете
- Ваши страницы Blogger
- Веб-сайт, которым вы владеете (например, Брэндону принадлежит
www.brandonsbaseballcards.com
) - Сайт Wix или WordPress, который вы запускаете
- Запись в Google Мой бизнес, которую вы создали для своей компании
- Ваш собственный профиль в социальной сети Twitter или Facebook
Примеры источников, которые вы, вероятно, не контролируете
- Рассказ о вас на сайте газеты
- Запись в чужом блоге (даже если это произведение искусства или фотография, которую вы сделали, вы не контролировать страницу, на которой он живет)
- Страница Pinterest, на которой закреплена сделанная вами фотография или ваша фотография
- Статья о вас в Википедии
- Чужой профиль в социальных сетях в Twitter или Facebook.
Возможно, вы захотите получить информацию как из результатов поиска Google, так и из Интернета; ты должны обрабатывать эти шаги отдельно.
Защитите или удалите все варианты URL для контента, который вы хотите hide, потому что во многих случаях разные URL-адреса могут указывать на одну и ту же страницу, например: example.com/puppies
, example.com/PUPPIES
и example.com/petchooser?pet=puppies
. Учиться
как найти правильный URL-адрес для блокировки.Получение информации из результатов поиска Google
Как удалить информацию из результатов поиска Google, зависит от того, контролируете ли вы страница, на которой размещена информация.
Если вам принадлежит контент , но нет страницы , на которой он находится, см. Если вы не управляете страницей; например, если кто-то копирует материалы с вашего сайта на свой без вашего разрешения.Если вы управляете страницей
Если контент находится на веб-сайте, который вы контролируете, или управляется учетной записью, которую вы контролируете (например, на своей странице в Blogger), или вы являетесь проверенный сайт владелец в консоли поиска Google, вот как удалить свой контент из результатов поиска Google.
Если исходная страница больше не существует (или недоступна) в Интернете
Если страницы, с которой была получена информация, больше нет в сети, или она теперь защищена по логину подать URL запрос на удаление. (Требуется, чтобы вы вошли в систему с учетной записью Google.)
Прежде чем делать это, сначала убедитесь, что страница действительно исчезла! Вы можете проверить, открыв в режиме инкогнито в Chrome и пытается перейти на страницу. Если страница недоступна, ее больше нет.Если информация все еще существует в Интернете
Если страница, с которой поступает информация, все еще доступна в Интернете и не
требуется логин или noindex
директиве выполните следующие действия:
- Временно скрыть информацию из поиска Google , заполнив Удаление URL запрос. Это вступает в силу примерно через день, но это только временно (примерно через 90 минут). дней он снова появится в результатах поиска).Вы должны выполнить дополнительные действия, описанные рядом с удалить его из результатов поиска Google навсегда. Вы должны быть подтвержденным владельцем сайта страницу в Search Console для этого . Мы рекомендуем удалить страницу из обоих результаты поиска и кеш в вашем запросе.
- Безвозвратно удалить информацию из результатов поиска Google. К навсегда
удалите свою страницу или файл из поиска Google:
- Заблокируйте доступ к нему , как описано в Get
информация вне сети.
- Добавить
noindex
тег или заголовок на вашу страницу. Важный: При использовании этого метода убедитесь, что ваша страница не заблокирована файлом robots.txt. файл.
ИЛИ - Удалить изображение из результатов поиска с помощью robots.txt, чтобы заблокировать изображение или страницу, на которой он размещен. Опять же, это удаление только изображения; не всю страницу, от результаты поиска. Если вы используете robots.txt страницу, но не изображение, можно появляются в результатах поиска. Чтобы заблокировать страницу хостинга из результатов поиска, вы должны использовать один из двух других техник, упомянутых ранее.
- Заблокируйте доступ к нему , как описано в Get
информация вне сети.
- [ Необязательно ] Удалите или ограничьте доступ к вашей информации. См. Получить информацию из Интернета . Если вы этого не сделаете,
пользователи, у которых есть ссылка, по-прежнему могут получить доступ к вашему контенту. Это также предотвращает доступ к вашей информации
появляется в поисковой системе, которая может не уважать роботов.txt или
noindex
, или от ссылки на веб-сайт.
Если вы не контролируете веб-страницу
Процесс удаления зависит от того, отображается ли информация на странице, где ее нашел Google:
Контент больше не существует на исходной веб-странице
Если контент больше недоступен, вы можете попросить Google удалить его из Google. Результаты поиска с помощью инструмента удаления устаревшего содержимого:
- Этот запрос работает только для страниц и изображений, которых уже были обновлены или удалены. из сети .
- Используйте правильный URL в вашем запросе. Если вы используете неправильный URL, результат не будет удален.
- Добавьте отдельный запрос для каждого URL, найденного в результатах веб-поиска Google и поиске изображений. полученные результаты.
Помните, что Google не владеет Интернетом; мы просто поможем вам найти на нем что-нибудь. если ты не нравится что-то на веб-сайте, которым не владеет Google, мы действительно не можем сделать этот веб-сайт владелец удалите его, мы можем удалить его только из результатов поиска Google (при необходимости).Извини!
Однако, если вы считаете, что имеет место нарушение закона или политики Google, см. Дополнительная информация .
Контент все еще существует на исходной веб-странице
- Свяжитесь с владельцем веб-сайта и попросите его удалить страницу. Не забудьте спросить для удаления всех копий информации со всех своих страниц, а также любых изображений.
- Если вы не можете связаться с владельцем сайта, или он не желает удалять Информация:
- После удаления исходного контента удаляет информацию из Google результаты поиска с помощью кнопки Удалить Инструмент устаревшего содержимого.Вы должны запросить удаление URL-адреса каждой страницы или изображения, которые появляется в результатах поиска Google.
Помните, что Google не владеет Интернетом; мы просто поможем вам найти на нем что-нибудь. если ты не нравится что-то на веб-сайте, которым не владеет Google, мы действительно не можем сделать этот веб-сайт владелец удалите его, мы можем удалить его только из результатов поиска Google (при необходимости). Извини!
Однако, если вы считаете, что имеет место нарушение закона или политики Google, см. Дополнительная информация .
Получить информацию из Интернета
Если вы хотите, чтобы информация была удалена из Интернета (а не только из Google), вам необходимо удалить или заблокируйте страницу.
Если вы удаляете информацию только из Google, но не удаляете и не блокируете исходную страницу, это не будет препятствовать посещению страницы тем, у кого есть ссылка. Люди могут иметь ссылки на ваш страницы, не внесенной в список, потому что они посещали ее ранее, или кто-то отправил ее им, или потому что другие страницы ссылаются на него.
Если вы управляете страницей
- Защитите свой файл или страницу паролем.
- Удалите ваш файл или страницу.
- Для свойств Google:
Если вы не контролируете страницу
Пожалуйста, помните, что Google не владеет Интернетом; мы просто поможем вам найти на нем что-нибудь. если ты не нравится что-то на веб-сайте, которым не владеет Google, мы действительно не можем сделать этот веб-сайт владелец удалите его, мы можем удалить его только из результатов поиска Google (при необходимости).Извини!
Однако, если вы считаете, что имеет место нарушение закона или политики Google, см. Дополнительная информация.
Дополнительная информация
Я возражаю против того, что нашел в поиске Google. Могу я его снести?
Помните, что Интернет — это большое место, и вам может не все нравиться или не со всем соглашаться. что вы видите. Цель Google — определить, какая информация из Интернета актуальна для пользователей. запросы, а не для определения того, является ли этот материал в каком-то смысле неправомерным.
Однако, если вы думаете, что это действительно проблема, вот несколько вариантов:
Как удалить или обновить информацию из Google панель знаний в результатах поиска?
Узнайте, как для обновления панели знаний Google. Помните, что информация на панели знаний может поступать из нескольких источников. Для юридических запросов, глянь сюда.
Как получить видео или опубликовать на YouTube, в Blogger или на других ресурсах Google?
См. Получение информации из Интернета.Почему я не могу использовать robots.txt, чтобы заблокировать свой файл?
Если вы используете на своем веб-сайте файл robots.txt,
вы можете запретить Google сканировать страницу. Однако, если Google найдет ссылку на вашу страницу на другом
site с описательным текстом, мы можем сгенерировать результат поиска на его основе. Если вы включили
тег noindex
на странице, Google его не увидит, потому что Google
должен просканировать (получить) страницу, чтобы увидеть этот тег, но Google не получит вашу страницу, если
есть роботы.txt, блокируя его. Таким образом, вы должны позволить Google сканировать страницу и
см. тег или заголовок noindex
. Звучит нелогично, но
вам нужно позволить Google попытаться получить страницу и потерпеть неудачу (из-за защиты паролем) или посмотреть
тег noindex
, чтобы исключить его из результатов поиска.
Это не относится к изображениям; для изображений robots.txt — это правильный способ заблокировать изображения из результаты поиска.
.