Агент пользователя: * Disallow: / 

Использование этого синтаксиса в файле robots.txt означает, что все поисковые роботы не будут сканировать какие-либо страницы на www.example. com, включая домашнюю страницу.

 Агент пользователя: * Disallow: 

Использование этого синтаксиса в файле robots.txt указывает поисковым роботам просканировать все страницы на www.example.com, включая главную страницу.

 Агент пользователя: Googlebot Запретить: /example-subfolder/ 

Этот синтаксис указывает только сканеру Google (имя пользовательского агента Googlebot) не сканировать любые страницы, которые содержать строку URL www. example.com/example-subfolder/.

 Агент пользователя: Bingbot Запретить: /example-subfolder/blocked-page.html сканирование конкретной страницы по адресу www.example.com/example-subfolder/blocked-page.html. 
 
 Как работает файл robots.txt? 
 
 Поисковые системы выполняют две основные функции: 
 
 
 Просматривают веб-страницы в поисках контента; 
 
 Индексация этого контента, чтобы его можно было предоставить тем, кто ищет информацию. 
 
 
 Для обхода сайтов поисковые системы следуют ссылкам, чтобы перейти с одного сайта на другой — в конечном счете, сканируя многие миллиарды ссылок и веб-сайтов. Такое поведение сканирования иногда называют «пауками». 
 
 После перехода на веб-сайт, но до его сканирования поисковый робот будет искать файл robots.txt. Если он найдет его, сканер сначала прочитает этот файл, прежде чем продолжить просмотр страницы.  Поскольку файл robots.txt содержит информацию о  как  поисковая система должна сканировать, найденная там информация будет указывать дальнейшие действия сканера на этом конкретном сайте. Если файл robots.txt , а не  содержит какие-либо директивы, запрещающие деятельность пользовательского агента (или если на сайте нет файла robots.txt), он продолжит сканирование другой информации на сайте. 
 
 Другие необходимые сведения о robots.txt: 
 
 (более подробно обсуждается ниже) 
 
 
 
 Чтобы найти файл robots.txt, его необходимо поместить в каталог верхнего уровня веб-сайта. 
 
 
 
 Robots.txt чувствителен к регистру: файл  должен иметь  имя «robots.txt» (не Robots.txt, robots.TXT или другое). 
 
 
 
 Некоторые пользовательские агенты (роботы) могут игнорировать ваш файл robots.txt. Это особенно характерно для более гнусных поисковых роботов, таких как вредоносные роботы или скребки адресов электронной почты. 
 
 
 
 Файл /robots. txt является общедоступным: просто добавьте /robots.txt в конец любого корневого домена, чтобы увидеть директивы этого сайта (если этот сайт  имеет  файл robots.txt!). Это означает, что любой может видеть, какие страницы вы сканируете или не хотите, поэтому не используйте их для сокрытия личной информации пользователя. 
 
 
 
 Каждый поддомен в корневом домене использует отдельные файлы robots.txt. Это означает, что и у blog.example.com, и у example.com должны быть свои собственные файлы robots.txt (по адресу blog.example.com/robots.txt и example.com/robots.txt). 
 
 
 
 Обычно рекомендуется указывать местоположение любых карт сайта, связанных с этим доменом, в нижней части файла robots.txt. Вот пример: 
 
 
 
 
 Идентификация критических предупреждений robots.txt с помощью Moz Pro 
 
 Функция сканирования сайта Moz Pro проверяет ваш сайт на наличие проблем и выделяет срочные ошибки, которые могут помешать вам появиться в Google.  Воспользуйтесь 30-дневной бесплатной пробной версией и посмотрите, чего вы можете достичь: 
 
 Начать мою бесплатную пробную версию 
 
 
 Технический синтаксис robots.txt 
 
 Синтаксис robots.txt можно рассматривать как «язык» файлов robots.txt . Есть пять общих терминов, которые вы, вероятно, встретите в файле robots. Среди них: 
 
 
 
  Агент пользователя:  Конкретный поисковый робот, которому вы даете инструкции по сканированию (обычно это поисковая система). Список большинства пользовательских агентов можно найти здесь. 
 
 
 
  Disallow:  Команда, используемая для указания агенту пользователя не сканировать определенный URL-адрес. Для каждого URL разрешена только одна строка «Запретить:». 
 
 
 
  Разрешить  (применимо только для робота Googlebot): команда, сообщающая роботу Googlebot, что он может получить доступ к странице или вложенной папке, даже если ее родительская страница или вложенная папка могут быть запрещены.  
 
 
 
  Crawl-delay:  Сколько секунд сканер должен ждать перед загрузкой и сканированием содержимого страницы. Обратите внимание, что Googlebot не подтверждает эту команду, но скорость сканирования можно установить в Google Search Console. 
 
 
 
  Карта сайта:  Используется для вызова местоположения любой карты сайта XML, связанной с этим URL-адресом. Обратите внимание, что эта команда поддерживается только Google, Ask, Bing и Yahoo. 
 
 
 
 Сопоставление с шаблоном 
 
 Когда дело доходит до фактических URL-адресов, которые нужно блокировать или разрешать, файлы robots.txt могут оказаться довольно сложными, поскольку они позволяют использовать сопоставление с шаблоном для охвата диапазона возможных вариантов URL-адресов. Google и Bing поддерживают два регулярных выражения, которые можно использовать для идентификации страниц или подпапок, которые SEO хочет исключить. Этими двумя символами являются звездочка (*) и знак доллара ($).  
 
 
 * — это подстановочный знак, представляющий любую последовательность символов. 
 
 $  соответствует концу URL-адреса. 
 
 Куда идет файл robots.txt на сайте? 
 
 Всякий раз, когда они заходят на сайт, поисковые системы и другие поисковые роботы (например, поисковый робот Facebook, Facebot) знают, что нужно искать файл robots.txt. Но они будут искать этот файл только в  одном конкретном месте : в основном каталоге (обычно это ваш корневой домен или домашняя страница). Если пользовательский агент посещает www.example.com/robots.txt и   не находит там файл robots, он предполагает, что на сайте его нет, и продолжает сканировать все на странице (и, возможно, даже на всем сайте). Даже если страница robots.txt  существует по адресу , скажем, example.com/index/robots.txt или www.example.com/homepage/robots.txt, она не будет обнаружена пользовательскими агентами, и, следовательно, сайт будет рассматриваться так, как если бы у него вообще не было файла robots.  
 
 Чтобы ваш файл robots.txt был найден,  всегда включайте его в свой основной каталог или корневой домен.  
 
 Зачем вам robots.txt? 
 
 Файлы robots.txt контролируют доступ поисковых роботов к определенным областям вашего сайта. Хотя это может быть  очень  опасно, если вы случайно запретите роботу Googlebot сканировать весь ваш сайт (!!), в некоторых ситуациях файл robots.txt может оказаться очень полезным. 
 
 Некоторые распространенные варианты использования включают: 
 
 
 Предотвращение дублирования контента в поисковой выдаче (обратите внимание, что метароботы часто являются лучшим выбором для этого) 
 
 Сохранение конфиденциальности целых разделов веб-сайта (например, промежуточного сайта вашей инженерной группы) 
 
 Предотвращение отображения страниц результатов внутреннего поиска в общедоступной поисковой выдаче 
 
 Указание местоположения карты (карт) сайта 
 
 Предотвращение индексации поисковыми системами определенные файлы на вашем веб-сайте (изображения, PDF-файлы и т.  д.) 
 
 Указание задержки сканирования, чтобы предотвратить перегрузку ваших серверов, когда сканеры загружают несколько фрагментов контента одновременно 
 
 
 Если на вашем сайте нет областей, к которым вы хотите контролировать доступ агента пользователя, возможно, вам вообще не нужен файл robots.txt. 
 
 
 Проверка наличия файла robots.txt 
 
 Не уверены, есть ли у вас файл robots.txt? Просто введите свой корневой домен, а затем добавьте /robots.txt в конец URL-адреса. Например, файл robots Moz находится по адресу moz.com/robots.txt. 
 
 Если страница .txt не отображается, у вас в настоящее время нет (действующей) страницы robots.txt. 
 
 Как создать файл robots.txt 
 
 Если вы обнаружили, что у вас нет файла robots.txt или вы хотите изменить свой, создать его — простой процесс. В этой статье от Google рассматривается процесс создания файла robots.txt, и этот инструмент позволяет вам проверить, правильно ли настроен ваш файл. 
 
 Хотите попрактиковаться в создании файлов robots? В этом сообщении блога рассматриваются некоторые интерактивные примеры.  
 
 Лучшие практики SEO 
 
 
 
 Убедитесь, что вы не блокируете какой-либо контент или разделы вашего веб-сайта, которые вы хотите сканировать. 
 
 
 
 Ссылки на страницы, заблокированные robots.txt, не будут переходить. Это означает, что 1.) Если на них также не ссылаются другие страницы, доступные для поисковых систем (т. е. страницы, не заблокированные через robots.txt, meta robots или иным образом), связанные ресурсы не будут сканироваться и не могут быть проиндексированы. 2.) Никакой вес ссылок не может быть передан с заблокированной страницы на место назначения ссылки. Если у вас есть страницы, на которые вы хотите передать право собственности, используйте другой механизм блокировки, отличный от robots.txt. 
 
 
 
 Не используйте robots.txt, чтобы предотвратить появление конфиденциальных данных (например, личной информации пользователя) в результатах поисковой выдачи. Поскольку другие страницы могут напрямую ссылаться на страницу, содержащую личную информацию (таким образом, в обход директив robots. txt на вашем корневом домене или домашней странице), она все равно может быть проиндексирована. Если вы хотите заблокировать свою страницу в результатах поиска, используйте другой метод, например защиту паролем или мета-директиву noindex. 
 
 
 
 Некоторые поисковые системы имеют несколько пользовательских агентов. Например, Google использует Googlebot для обычного поиска и Googlebot-Image для поиска изображений. Большинство пользовательских агентов из одной и той же поисковой системы следуют одним и тем же правилам, поэтому нет необходимости указывать директивы для каждого из нескольких сканеров поисковой системы, но возможность сделать это позволяет вам точно настроить сканирование содержимого вашего сайта. 
 
 
 
 Поисковая система кэширует содержимое robots.txt, но обычно обновляет кэшированное содержимое не реже одного раза в день. Если вы изменили файл и хотите обновить его быстрее, чем это происходит, вы можете отправить URL-адрес robots.txt в Google. 
 
 
 
 Robots.
 txt против мета-роботов против x-роботов  
 Так много роботов! В чем разница между этими тремя типами инструкций для роботов? Во-первых, robots.txt — это настоящий текстовый файл, тогда как meta и x-robots — это метадирективы. Помимо того, чем они на самом деле являются, все три выполняют разные функции. Robots.txt определяет поведение сканирования сайта или всего каталога, тогда как meta и x-robots могут определять поведение индексации на уровне отдельной страницы (или элемента страницы). 
 
 
 Продолжайте обучение 
 
 
 Robots Meta Directives 
 
 Каноникализация 
 
 Перенаправление 
 
 Robots Exclusion Protocol 
 
 Руководство для начинающих в SEO. Moz Pro определяет, блокирует ли ваш файл robots.txt доступ поисковой системы к вашему веб-сайту.  Попробуйте >>  
 
 Полное руководство по robots.txt • Yoast 
 
 Файл robots.txt является одним из основных способов указать поисковой системе, где она может и не может находиться на вашем сайте.  Все основные поисковые системы поддерживают основные функции, которые они предлагают, но некоторые из них реагируют на некоторые дополнительные правила, которые также могут быть полезны. В этом руководстве описаны все способы использования robots.txt на вашем веб-сайте. 
 
 Внимание! 
 
 Любые ошибки, допущенные вами в файле robots.txt, могут серьезно повредить вашему сайту, поэтому убедитесь, что вы прочитали и поняли всю эту статью, прежде чем погрузиться в нее. 
 
 Содержание 
  
 
 Что такое файл robots.txt? 
 
 Что делает файл robots.txt? 
 
 Куда мне поместить файл robots.txt? 
 
 Плюсы и минусы использования robots.txt 
 
 Синтаксис robots.txt 
 
 Не блокировать файлы CSS и JS в robots.txt 
 
 Проверка и исправление в Google Search Console 
 
 Подтвердите файл robots.txt 
 
 См. код 
 
  
 Что такое файл robots.txt? 
 
  Директивы сканирования 
  
 Файл robots.txt является одной из нескольких директив сканирования.  У нас есть руководства по всем из них, и вы найдете их здесь. 
 
 Файл robots.txt — это текстовый файл, читаемый поисковыми системами (и другими системами). Файл robots.txt, также называемый протоколом исключения роботов, является результатом консенсуса среди первых разработчиков поисковых систем. Это не официальный стандарт, установленный какой-либо организацией по стандартизации, хотя его придерживаются все основные поисковые системы. 
 
 Базовый файл robots.txt может выглядеть примерно так: 
 
 Агент пользователя: *
Запретить:
Карта сайта: https://www.example.com/sitemap_index.xml 
 Что делает файл robots.txt? 
 Кэширование 
 Поисковые системы обычно кэшируют содержимое файла robots.txt, поэтому им не нужно его постоянно загружать, но обычно они обновляют его несколько раз в день. Это означает, что изменения в инструкциях обычно отражаются довольно быстро.
 Поисковые системы обнаруживают и индексируют Интернет, просматривая страницы. По мере сканирования они обнаруживают ссылки и переходят по ним. Это занимает их от  сайт A  до  сайт B  до  сайт C  и так далее. Но прежде чем поисковая система посетит  любую  страницу в домене, с которым она раньше не сталкивалась, она откроет файл robots.txt этого домена. Это позволяет им узнать, какие URL-адреса на этом сайте им разрешено посещать (а какие нет).
 Подробнее: Бот-трафик: что это такое и почему вы должны о нем заботиться »
 Куда мне поместить файл robots.txt? 
 Файл robots.txt всегда должен находиться в корне вашего домена. Итак, если ваш домен  www.example.com  , сканер должен найти его по адресу  https://www.example.com/robots.txt  .
 Также важно, чтобы ваш файл robots.txt назывался robots.txt. Имя чувствительно к регистру, поэтому сделайте это правильно, иначе оно не будет работать.
 Плюсы и минусы использования robots.txt 
 Плюсы: управление краулинговым бюджетом 
 Общеизвестно, что поисковый паук заходит на веб-сайт с заранее определенным «допуском» на то, сколько страниц он будет сканировать (или сколько ресурс/время, которое он потратит, в зависимости от авторитета/размера/репутации сайта и того, насколько эффективно отвечает сервер). SEO-специалисты называют это  краулинговый бюджет  .
 Если вы считаете, что у вашего веб-сайта проблемы с краулинговым бюджетом, то запрет поисковым системам «тратить» энергию на несущественные части вашего сайта может означать, что вместо этого они сосредоточатся на тех разделах, которые  имеют значение. Используйте настройки очистки сканирования в Yoast SEO Premium, чтобы помочь Google сканировать то, что важно.
 Иногда может быть полезно запретить поисковым системам сканировать проблемные разделы вашего сайта, особенно на сайтах, где необходимо выполнить большую SEO-очистку. После того, как вы прибрали вещи, вы можете впустить их обратно.
 Примечание о блокировке параметров запроса 
 Одной из ситуаций, когда краулинговый бюджет имеет решающее значение, является ситуация, когда ваш сайт использует множество параметров строки запроса для фильтрации или сортировки списков. Допустим, у вас есть десять различных параметров запроса, каждый из которых имеет разные значения, которые можно использовать в любой комбинации (например, футболки разных цветов и размеров). Это приводит к множеству возможных допустимых URL-адресов, и все они могут быть просканированы. Блокировка параметров запроса от сканирования поможет гарантировать, что поисковая система просматривает только основные URL-адреса вашего сайта и не попадет в огромную ловушку для пауков, которую вы в противном случае создали бы.
 Против: не удалять страницу из результатов поиска 
 Несмотря на то, что вы можете использовать файл robots.txt, чтобы сообщить сканеру, куда он не может попасть на вашем сайте, вы  не можете   использовать его, чтобы сказать поиску движок, URL-адреса которого не показывать в результатах поиска – другими словами, его блокировка не остановит его индексацию. Если поисковая система найдет достаточное количество ссылок на этот URL, она включит его; он просто не будет знать, что находится на этой странице. Таким образом, ваш результат будет выглядеть так:
 Если вы хотите надежно заблокировать страницу от появления в результатах поиска, вам нужно использовать мета robots  тег noindex . Это означает, что для того, чтобы найти тег  noindex , поисковая система должна иметь доступ к этой странице, поэтому  не блокирует ее с помощью robots.txt.
 Директивы Noindex 
 Раньше можно было добавить директивы noindex в файл robots.txt, чтобы удалить URL-адреса из результатов поиска Google и избежать появления этих «фрагментов». Это больше не поддерживается (и технически никогда не было).
 Con: не распространяется значение ссылки 
 Если поисковая система не может просканировать страницу, она не может распределить значение ссылки по ссылкам на этой странице. Это тупик, когда вы заблокировали страницу в robots.txt. Любое значение ссылки, которое могло пройти на эту страницу (и через нее), теряется.
 Синтаксис robots.txt 
 WordPress robots.txt 
 У нас есть целая статья о том, как лучше настроить файл robots.txt для WordPress. Не забывайте, что вы можете редактировать файл robots.txt вашего сайта в разделе Инструменты Yoast SEO → Редактор файлов.
 Файл robots.txt состоит из одного или нескольких блоков директив, каждый из которых начинается со строки пользовательского агента. «User-agent» — это имя конкретного паука, к которому он обращается. У вас может быть либо один блок для всех поисковых систем, используя подстановочный знак для пользовательского агента, либо отдельные блоки для определенных поисковых систем. Поисковый паук всегда выберет блок, который лучше всего соответствует его названию.
 Эти блоки выглядят так (не пугайтесь, мы объясним ниже):
 User-agent: * 
 Disallow: / 
 User-agent: Googlebot 
 Disallow: 
 
 User-agent: bingbot 
 Disallow: /not-for-bing/ 
 
 Такие директивы, как  Allow  и  Disallow , не должны учитывать регистр, поэтому вам решать писать их строчными буквами или заглавными буквами. Значения  –  с учетом регистра, поэтому  /photo/  не совпадает с  /Photo/  . Нам нравится писать директивы с большой буквы, потому что это облегчает чтение файла (для людей).
 Директива агента пользователя 
 Первый бит каждого блока директив — это агент пользователя, который идентифицирует конкретного паука. Поле user-agent соответствует пользовательскому агенту этого конкретного паука (обычно более длинному), поэтому, например, наиболее распространенный паук от Google имеет следующий пользовательский агент:
 Mozilla/5.0 (совместимый; Googlebot/2.1; +http ://www.google.com/bot.html) 
 Если вы хотите указать этому сканеру, что делать, относительно простой  User-agent: Googlebot 9Строка 0354 поможет.
 Большинство поисковых систем имеют несколько пауков. Они будут использовать определенный паук для своего обычного индекса, рекламных программ, изображений, видео и т. д.
 Поисковые системы всегда выбирают наиболее конкретный блок директив, который они могут найти. Допустим, у вас есть три набора директив: один для  *  , один для  Googlebot  и один для  Googlebot-News  . Если приходит бот, чей пользовательский агент  Googlebot-Video  , он будет следовать ограничениям  Googlebot 9.0354 . Бот с пользовательским агентом  Googlebot-News  будет использовать более конкретные директивы  Googlebot-News .
 Наиболее распространенные пользовательские агенты для поисковых роботов 
 Вот список пользовательских агентов, которые вы можете использовать в файле robots.txt для соответствия наиболее часто используемым поисковым системам:
 Поисковая система
 Поле
 Агент пользователя
 Baidu
 Общие
  baiduspider 
 Baidu
 Images
  baiduspider-image 
 Baidu
 Mobile
  baiduspider-mobile 
 Baidu
 News
  baiduspider-news 
 Baidu
 Видео
  baiduspider-video 
 Bing
 Общие
  bingbot 
 Bing
 General
  msnbot 
 Bing
 Images & Video
  msnbot-media 
 Bing
 Ads
  adidxbot 
 Google
 Общие
  Googlebot 
 Google
 Изображения
  Googlebot-Image 
 Google
 Mobile
  Googlebot-Mobile 
 Google
 News
  Googlebot-News 
 Google
 Video
  Googlebot-Video 
 Google
 AdSense
  Mediapartners-Google 
 Google
 AdWords
  AdsBot-Google 
 Yahoo!
 Общие
  SLURP 
 Yandex
 Общий
  Yandex 
.
 Дис
. Дис. У вас может быть одна или несколько таких строк, указывающих, к каким частям сайта не может получить доступ указанный паук. Пустая строка 
 Disallow  означает, что вы ничего не запрещаете, чтобы паук мог получить доступ ко всем разделам вашего сайта.
 В приведенном ниже примере блокируются все поисковые системы, которые «прослушивают» файл robots.txt, и не могут сканировать ваш сайт.
 User-agent: * 
 Disallow: / 
 В приведенном ниже примере все поисковые системы могут сканировать весь ваш сайт, пропуская один символ.
 User-agent: * 
 Disallow: 
 В приведенном ниже примере Google не сможет сканировать каталог  Photo  на вашем сайте и все, что в нем содержится.
 Агент пользователя: googlebot 
 Запретить: /Фото 
 Это означает, что все подкаталоги каталога  /Photo  также не будут сканироваться. Это , а не , заблокирует Google от сканирования каталога  /photo , так как эти строки чувствительны к регистру.
 Это  и  заблокирует доступ Google к URL-адресам, содержащим  /Photo  , например  /Photography/  .
 Как использовать подстановочные знаки/регулярные выражения 
 «Официально» стандарт robots.txt не поддерживает регулярные выражения или подстановочные знаки; однако все основные поисковые системы это понимают. Это означает, что вы можете использовать такие строки для блокировки групп файлов:
 Запретить: /*.php 
 Запретить: /copyrighted-images/*.jpg 
 В приведенном выше примере  *  расширяется до любого имени файла, которому оно соответствует. Обратите внимание, что остальная часть строки по-прежнему чувствительна к регистру, поэтому вторая строка выше не блокирует сканирование файла с именем  /copyrighted-images/example.JPG .
 Некоторые поисковые системы, такие как Google, позволяют использовать более сложные регулярные выражения, но имейте в виду, что другие поисковые системы могут не понимать эту логику. Самая полезная функция, которую это добавляет, - это  $  , что указывает на конец URL-адреса. В следующем примере вы можете увидеть, что это делает:
 Disallow: /*.php$ 
 Это означает, что  /index.php  нельзя индексировать, но  /index.php?p=1     можно.  быть. Конечно, это полезно только в очень специфических обстоятельствах и довольно опасно: легко разблокировать то, чего вы не хотели.
 Нестандартные директивы сканирования robots.txt 
 А также  Disallow  и  Директивы User-agent , есть пара других директив сканирования, которые вы можете использовать. Все сканеры поисковых систем не поддерживают эти директивы, поэтому убедитесь, что вы знаете их ограничения.
 Директива allow 
 Хотя в исходной «спецификации» ее не было, в самом начале речь шла о директиве allow. Похоже, что большинство поисковых систем понимают его, и он позволяет использовать простые и очень читаемые директивы, такие как:
 Запретить: /wp-admin/ 
 Разрешить: /wp-admin/admin-ajax. php 
 Единственным другим способом достижения того же результата без директивы  allow  было бы конкретно  запретить  каждый отдельный файл в папке  wp-admin .
 Директива Crawl-delay 
 Crawl-delay является неофициальным дополнением к стандарту, и не многие поисковые системы его придерживаются. По крайней мере, Google и Яндекс им не пользуются, а с Bing непонятно. Теоретически, поскольку поисковые роботы могут быть довольно прожорливыми, вы можете попробовать  .0353 crawl-delay  направление, чтобы замедлить их.
 Строка, подобная приведенной ниже, сообщит этим поисковым системам, как часто они будут запрашивать страницы на вашем сайте.
 crawl-delay: 10 
 Будьте осторожны при использовании директивы  crawl-delay . Установив задержку сканирования в десять секунд, вы разрешаете этим поисковым системам доступ только к 8640 страницам в день. Это может показаться достаточным для небольшого сайта, но не очень для больших сайтов. С другой стороны, если вы почти не получаете трафика от этих поисковых систем, это может быть хорошим способом сэкономить трафик.
 Директива карты сайта для XML-карты сайта 
 Используя директиву  карты сайта , вы можете указать поисковым системам — Bing, Yandex и Google — где найти вашу карту сайта XML. Конечно, вы можете отправить свои XML-карты сайта в каждую поисковую систему, используя их инструменты для веб-мастеров. Мы настоятельно рекомендуем вам это сделать, потому что инструменты для веб-мастеров предоставят вам массу информации о вашем сайте. Если вы не хотите этого делать, добавление строки  карты сайта  в файл robots.txt является хорошей быстрой альтернативой. Yoast SEO автоматически добавит ссылку на вашу карту сайта, если вы позволите ему сгенерировать файл robots.txt. В существующий файл robots.txt вы можете добавить правило вручную через редактор файлов в разделе «Инструменты».
 Карта сайта: https://www.example.com/my-sitemap. xml 
 Не блокировать файлы CSS и JS в robots.txt 
 С 2015 года Google Search Console предупреждает владельцев сайтов не блокировать CSS и JS файлы. Мы давно говорим вам одно и то же: не блокируйте файлы CSS и JS в файле robots.txt. Объясним, почему не следует блокировать эти файлы от робота Googlebot.
 Блокируя файлы CSS и JavaScript, вы запрещаете Google проверять правильность работы вашего веб-сайта. Если вы заблокируете файлы CSS и JavaScript в своем  robots.txt  , Google не может отобразить ваш веб-сайт должным образом. Теперь Google не может понять ваш сайт, что может привести к снижению рейтинга. Более того, даже такие инструменты, как Ahrefs, отображают веб-страницы и выполняют JavaScript. Поэтому не блокируйте JavaScript, если хотите, чтобы ваши любимые SEO-инструменты работали.
 Это идеально согласуется с общим предположением, что Google стал более «человечным». Google хочет видеть ваш сайт таким, каким его видит посетитель, поэтому он может отличить основные элементы от дополнительных. Google хочет знать, улучшает ли JavaScript взаимодействие с пользователем или портит его.
 Проверка и исправление в Google Search Console 
 Google поможет вам найти и исправить проблемы с файлом robots.txt, например, в разделе «Индексирование страниц» в Google Search Console. Просто выберите параметр «Заблокировано robots.txt»:
 Проверьте в Search Console, какие URL-адреса заблокированы вашим robots.txt
 Чтобы разблокировать заблокированные ресурсы, нужно изменить файл  robots.txt  . Вам нужно настроить этот файл так, чтобы он больше не запрещал Google доступ к файлам CSS и JavaScript вашего сайта. Если вы работаете на WordPress и используете Yoast SEO, вы можете сделать это напрямую с нашим плагином Yoast SEO.
 Проверьте файл robots.txt 
 Различные инструменты могут помочь вам проверить файл robots.txt, но когда дело доходит до проверки директив сканирования, мы всегда предпочитаем обращаться к источнику. Google имеет инструмент тестирования robots. txt в своей консоли поиска Google (в меню «Старая версия»), и мы настоятельно рекомендуем использовать его:
 Тестирование файла robots.txt в консоли поиска Google
 Обязательно проверьте свои изменения. тщательно, прежде чем поставить их жить! Вы не будете первым, кто случайно использует robots.txt, чтобы заблокировать весь ваш сайт и попасть в забвение поисковой системы!
 За кулисами синтаксического анализатора robots.txt 
 В июле 2019 года Google объявил, что делает свой синтаксический анализатор robots.txt открытым исходным кодом. Если вы хотите разобраться в гайках и болтах, вы можете увидеть, как работает их код (и даже использовать его самостоятельно или предложить его модификации).
 Йост де Валк
 Йост де Валк является основателем Yoast. После продажи Yoast он перестал быть активным на постоянной основе и теперь выступает в качестве советника компании. Он интернет-предприниматель, который вместе со своей женой Марике активно инвестирует и консультирует несколько стартапов.