Деньги, как известно, имеют различные функции. Одной из них является непрестанное движение денег в обращении, обслуживание процесса обращения. Без выполнения деньгами этой функции торговля была бы невозможна.

Я протестировал инструмент тестирования файла Robots.txt

  1. Разрешить VS Запретить
  2. Тест на User-Agent
  3. Можем ли мы поместить noindex в файл robots.txt?
  4. Подстановочный знак * против $ против ничего
  5. Последняя версия robots.txt
  6. Другие ошибки, которых следует избегать с robots.txt
  7. опрашивать о выполнении задания

Файл robots.txt представляет собой небольшой текстовый файл, расположенный в корне сайта, который в основном позволяет блокировать доступ к определенным URL-адресам. Несмотря на то, что плохая конфигурация легко доступна и управляема даже не разработчиками на общих серверах, она может нанести большой ущерб SEO для сайта.

Несмотря на то, что плохая конфигурация легко доступна и управляема даже не разработчиками на общих серверах, она может нанести большой ущерб SEO для сайта

Именно Google предоставил веб-мастерам инструмент для тестирования файла robots.txt. Вот мои отзывы о следующих тестах.

Разрешить VS Запретить

В общем, мы используем только функцию Disallow, которая используется для запрета сканирования страницы или более сложных форматов URL с помощью REGEX Упрощенный (Регулярные выражения).

Вот два полезных REGEX -файла в файле robots.txt:

  • Подстановочный знак в форме Asterix * - это подстановочный знак, который может заменить последовательность любым знаком.
  • $ Dollars используется для указания строгого конца формата URL

Разрешить является противоположностью Запретить: он сообщает бот поисковой системы, что можно сканировать указанный формат URL. Он используется гораздо реже, чем Disallow, что кажется нормальным, потому что по умолчанию все, что не Disallow, разрешено сканировать, поэтому в Allow.

Поэтому я попытался поместить конфликтующие команды в инструмент тестирования robots.txt, чтобы увидеть, кто победит между Disallow и Allow:

Для всех тестов ниже я использовал следующий URL: site.tld / test / ab / xyz с ботом Googlebot:

> Имеет ли влияние порядок между разрешением и запретом?

Выделенная командная строка (красная или зеленая) - это та, которая занимает другие строки файла.

Выделенная командная строка (красная или зеленая) - это та, которая занимает другие строки файла

Мы замечаем, что порядок между Разрешить и Запретить ничего не меняет и что при равном количестве знаков всегда разрешается Разрешить.

> Таким образом, мы проверим, будут ли изменения в команде, которая вступит во владение:

> Таким образом, мы проверим, будут ли изменения в команде, которая вступит во владение:

Мы замечаем, что заказ с наибольшим количеством знаков вступает во владение

> Но считается ли подстановочный знак * знаком и может ли он влиять на борьбу между разрешением и запретом?

> Но считается ли подстановочный знак * знаком и может ли он влиять на борьбу между разрешением и запретом

Таким образом, подстановочный знак * также будет считаться символом. Это ошибка инструмента или это правда? Это не имеет особого смысла в любом случае ...

> А $, он считается символом подстановки *?

Мы видим, что доллар также считается символом. Таким образом, все знаки, используемые для регулярного выражения, будут подсчитаны, чтобы увидеть, какая команда превосходит другую.

Подводя итог:

  • команда с наибольшим количеством знаков (включая REGEX) в пути URL побеждает другую
  • если в команде одинаковое количество знаков, «Разрешить» побеждает «Отказ»

Тест на User-Agent

User-Agent используется для указания того, к какому роботу сканировать применяются правильные команды, указанные ниже.

Небольшой тест, чтобы увидеть, какие команды вступают во владение в случае противоречия в правилах с Global User Agent * и более конкретно, например, Googlebot

Небольшой тест, чтобы увидеть, какие команды вступают во владение в случае противоречия в правилах с Global User Agent * и более конкретно, например, Googlebot

Наиболее конкретный пользовательский агент (здесь Googlebot) премиум (логический).

Можем ли мы поместить noindex в файл robots.txt?

Я не нашел следов в документации Google по использованию noindex (если у вас есть, я хочу, чтобы вы поделились им в комментариях), но я хотел протестировать noindex в файле robots.txt

Мы видим, что noindex является допустимым кодом, но не только индексом. Таким образом, noindex в файле robots.txt будет по-прежнему приниматься во внимание (если только это не инструмент ошибок).

После этого вы должны быть осторожны, потому что, если этот noindex в файле robots.txt работает, он, вероятно, гораздо менее надежен, чем тег <meta name = "robots" content = "noindex"> в <head> соответствующих страниц или X -Robots-Tag: noindex http header, по той простой причине, что когда робот Google обнаруживает страницу по внешней обратной ссылке, он не обязательно перед robots.txt перед сканированием этой страницы (наконец, насколько мне известно). Если вы уже тестировали, не стесняйтесь делиться комментариями.

Лично я никогда не использую и, вероятно, никогда не использую noindex в robots.txt ... хотя для оптимизации на определенных платформах CMS в Saas, где мы не можем изменить <head>, но только robots.txt, это может быть лекарство

Подстановочный знак * против $ против ничего

Мне также интересно, если это то же самое, чтобы поставить подстановочный знак, доллар или ничего в конце заказа в Disallow:

Мы замечаем, что:

  • Подстановочные знаки и ничего не ставятся в конце возвращаются к одному и тому же: речь идет о тех URL, которые продолжаются или заканчиваются символами в конце строки - например: команды Disallow: / ab и Disallow: / ab * относятся как к URL site.tld / ab как site.tld / abc.
  • Доллар используется для обозначения конца URL, как и ожидалось.

Последняя версия robots.txt

Также есть функция просмотра последних версий файла robots.txt, которая может быть полезна для проверки, есть ли отчет с прошлым падением трафика в Google Analytics или если страницам потребовалось много времени для например, индексировать себя ...

Существует также указание на код HTTP, возвращаемый файлом robots.txt . Просто быстрое напоминание о коде, возвращаемом robots.txt:

  • 200: все в порядке.
  • 301: робот Google будет следовать этому перенаправлению, но он рекомендуется только для перенаправления на основной URL-адрес с WWW или без него или для смены домена. Файл robots.txt должен находиться в корне сайта.
  • 404. Это то же самое, что пустой файл robots.txt: для поисковых систем нет ограничений на сканирование.
  • 500: Нужно быстро исправить, потому что, когда робот Googlebot сканирует robots.txt на 500, появляется ошибка, при которой у сайта возникает проблема, и он больше не (или меньше) сканирует остальную часть сайта, что будет ощущаться при краткосрочном трафике. срок.

Другие ошибки, которых следует избегать с robots.txt

Если файл robots.txt прост в использовании, вы должны быть осторожны, чтобы не допустить ошибок, вредных для вашей поисковой системы. 2 наиболее распространенные ошибки:

  • Оставьте Disallow: /, который не позволит поисковой системе сканировать весь сайт.
  • Оставьте в Disallow формат URL, который мы хотим деиндексировать с мета-индексом (Google не может сканировать эти страницы, он не сможет деиндексировать их) ...

опрашивать о выполнении задания

Инструмент тестирования файла robots.txt очень полезен для проверки того, что некоторые URL-адреса не блокируются файлом robots.txt, который иногда может содержать десятки строк с различными регулярными выражениями, что делает его нечитаемым невооруженным глазом ,

После этих тестов я узнал, что Allow можно использовать для чего-то: если мы запретим сканирование каталога с Disallow, мы можем разрешить сканирование более конкретного URL этого же каталога с помощью Allow.

Что касается дуэли Disallow VS Allow, мы узнаем, что с общим ядром побеждает команда с наибольшим количеством символов, и в случае равенства Allow получает преимущество. Мы также узнаем, что мы можем обмануть добавление других регулярных выражений, которые считаются символами.

Не проведя никакого реального теста на сайтах для этой дуэли «Разрешить против», я не могу сказать, являются ли какие-то результаты ошибками инструмента (инструмент Google глючит? Не невозможно!), Или если все работает правильно.

Если у вас есть опыт обратной связи, я предлагаю вам поделиться комментариями.

Полезные ссылки:

Txt?
Это ошибка инструмента или это правда?
Gt; А $, он считается символом подстановки *?
Txt?
Инструмент Google глючит?
Реклама
Навигация сайта
Реклама
Популярные новости
Хорошая туристическая компания

Наш мир является по своему своеобразию прекрасным и очаровательным. Куда ни кинь свой взгляд, везде присутствуют свои прелести и чудеса, смотря на которые, мы упиваемся их изящностью и прелестью. В

Финансы и бизнес
Чтобы повысить производительность и результативность бизнеса, руководителям и персоналу маркетинга, сбыта, цепочки поставок, производства необходимо понимать конкретную ситуацию, что происходит и куда

Выдача свидетельства государственной регистрации
Вот пожалуй и все, что нужно знать о документах которые Вы получите из налоговой инспекции после регистрации ООО. Процедура государственной регистрации общества с ограниченной ответственностью теперь

Виза в Китай
Виды виз в КНР определяются целью поездки и сроком их действия. В целом это классификация не отличается от перечня виз в другие государства: основными являются туристическая, деловая, учебная, рабочая

Шкафы недорого эконом готовые
После того, как ремонт или отделка закончена приходит время подумать и о мебели. Ну, наверно каждый человек выберет то, что он поставит в своем доме первым: диван, стол, кресло… А почему бы первым не

Рефинансирование ипотеки в Москве 2019
Россельхозбанк в 2018-2019 году проводит рефинансирование кредитов как своих, так и других банков: рассмотрим, процентные ставки и условия перекредитования в Россельхозбанке для физических лиц, бюджетников

Курсы изучения китайского языка
Хотите получить помощь в изучении китайского языка, но не знаете кому можно доверять ? Отвечаю вам товарищи, ещё недавно я был таким же, как вы ровно до того момента, как узнал здешний адрес. Друзья,

Меры государственной поддержки Томской
Не для кого не секрет, что некоторые регионы нашей страны отстают в своем развитии и даже деградируют в социальном и экономическом смысле. На это есть ряд причин объективного и субъективного характера,

Реклама
Облако тегов