Robots.txt для сайту Wordpress! Скачай безкоштовно!

1. зміст:
2. Що таке файл robots.txt і для чого він потрібен?
3. Де знаходиться файл robots.txt і як його створити?
4. 8 популярних помилок, які допускають початківці веб-майстри
5. Правильний і перевірений robots.txt для сайту WordPress
6. Опис значення рядків файлу robots.txt:
7. Ось про всяк випадок парочка класних сервісів для аналізу і перевірки на помилки файлу robots.txt:

Доброго дня колеги! В одній з попередніх статей я пророкував про самостійної seo оптимізації сайту і говорив, що це дуже велика тема і супер детально кожен пункт в рамках 1-2 двох статей розкрити в повній мірі неможливо.

Пам'ятайте таке? Так ось, сьогодні я хочу розкрити по докладніше один з найважливіших пунктів внутрішньої оптимізації веб-ресурсу. Сьогодні будемо говорити про файлі robots.txt для сайту WordPress. Прочитавши статтю від початку і до кінця, ви дізнаєтеся:

зміст:

1. Що таке файл robots.txt і для чого він потрібен?
2. Де знаходиться файл robots.txt і як його створити?
3. 8 популярних помилок, які допускають початківці веб-майстри
4. Правильний і перевірений robots.txt для сайту WordPress
5. Опис значення рядків файлу robots.txt

До речі, для тих товаришів хто не хоче розбиратися в цьому файлі з дивною назвою, а бажає просто взяти готовий і перевірений варіант для свого інтернет-проекту, я дам посилання на скачування свого робочого файлу robots.txt для сайту WordPress.

Я використовую його з 2013 року на всіх своїх веб-ресурсах створених на WP і за весь час він відмінно себе зарекомендував. Природно я намагаюся бути в тренді і при необхідності вношу в нього правки з урахуванням нововведень пошукових систем і seo.

Свій файл я збирав дуже довго, брав шаблони з успішних сайтів, які знаходяться в ТОПі, скачував у блогерів, просив у хлопців на seo форумах, а потім все це аналізував, взяв найкраще з кожного і ось він простий, ефективний, робочий Роботс. Отже, давайте почнемо з визначення.

Що таке файл robots.txt і для чого він потрібен?

Robots.txt - це системний, внутрішній файл сайту, створений в звичайному текстовому блокноті, який представляє з себе покрокову інструкцію для пошукових машин, які щодня відвідують і індексує веб-ресурс.

Кожен web-майстер повинен знати значення цього важливого елемента внутрішньої оптимізації і вміти його грамотно налаштовувати. Наявність даного файлу обов'язкова умова для правильного і якісного seo.

Ще такий нюанс, якщо у вашого сайту є кілька піддоменів, то у кожного з них, в кореневому каталозі на сервері повинен бути свій Роботс. До речі, даний файл є доповненням до Sitemaps (карта сайту для ПС), далі в статті ви дізнаєтеся про це більш детально.

У кожного сайту є розділи, які можна індексувати і які не можна. У Роботс, як раз таки можна диктувати умови для пошукових роботів, наприклад, сказати їм, щоб вони індексували всі сторінки сайту з корисним і продають контентом, але не торкалися до папок движка, до системних файлів, до сторінок з даними акаунтів користувачів і т. д.

Ще в ньому можна дати команду пошуковій машині, дотримуватися певний проміжок часу між одержанням файлів і документів з сервера під час індексування, а також він прекрасно вирішує проблему наявності дублів (копій контенту вашого сайту).

А зараз, я хочу з вами поділитися невеликим секретом, про який, до речі, знають не всі веб-майстри. Якщо ви створили і налаштували robots.txt, то не думайте, що ви володар пошукових роботів, знайте і пам'ятайте, що він дозволяє лише частково управляти індексуванням сайту.

Наш вітчизняний пошуковий гігант Яндекс строго і відповідально дотримується прописані інструкції і правила, а ось американський товариш Гугл, чи не сумлінно до цього ставиться і в легку може проіндексувати сторінки і розділи на яких стоїть заборона, а потім ще й додати в пошукову видачу.

Де знаходиться файл robots.txt і як його створити?

Цей товариш розташовується в кореневому каталозі сайту, для наочності дивіться нижче картинку зі скріншотом мого каталогу на сервері. Якщо ви встановлюєте WordPress на хостингу через функцію «Встановлення програм», про це я розповідав в статті « Як встановити WordPress на хостинг? Повне керівництво по установці! », То файл Роботс створюється автоматично за замовчуванням в стандартному, що не доопрацьованому вигляді.

Створюється він на робочому столі, за допомогою звичайного, текстового блокнота, який має розширення файлу .txt. До речі, рекомендую використовувати прогу Notepad ++ для редагування і створення текстових файлів, дуже зручно.

Закачати на сервер його можна, наприклад, за допомогою ftp використовуючи програми Filezilla або Total Commander. Якщо ви хочете подивитися, як виглядає даний файл на якомусь сайті або на своєму, то наберіть в браузері адресу http: //імя_сайта/robots.txt.

8 популярних помилок, які допускають початківці веб-майстри

1.Путаніца в написанні правил. Мабуть це найпопулярніша помилка в рунеті.

Неправильний варіант:
User-agent: /
Disallow: Googlebot

Правильний варіант:
User-agent: Googlebot
Disallow: /

2. Написання цілого списку папок в одному правилі. Деякі хлопці примудряються зробити заборону індексації папок в одному рядку.

Неправильний варіант:
Disallow: / wp-admin /wp-login.php /xmlrpc.php / wp-includes

Правильний варіант:
Disallow: / wp-admin
Disallow: / wp-includes
Disallow: /wp-login.php
Disallow: /xmlrpc.php

3. Файл Роботс великими літерами. Тут я думаю зрозуміло, завжди пишемо назву тільки маленькими буквами.

Неправильний варіант:
Robots.txt
ROBOTS.TXT

Правильний варіант:
robots.txt

4. Написання порожнього рядка в директиві User-agent

Неправильний варіант:
User-agent:
Disallow:

Правильний варіант:
User-agent: *
Disallow:

5. Неправильно написана посилання в правилі «Host». Потрібно писати лінк без вказівки протоколу http: // і без слеша на кінці /

Неправильний варіант:
User-agent: Yandex
Disallow: / wp-content / plugins
Host: http://www.ivan-maslov.ru/

Правильний варіант:
User-agent: Yandex
Disallow: / wp-content / plugins
Host: www.ivan-maslov.ru

6. Написання довгою ковбаси з перерахуванням кожного файлу. Щоб цього не сталося, просто закриваємо папку від індексації цілком.

Неправильний варіант:
User-agent: Yandex
Disallow: /Brend/Armani.html
Disallow: /Brend/Chanel.html
Disallow: /Tur/Thailand.html
Disallow: /Tur/Vietnam.html
Disallow: /Tur/Egypt.html

Правильний варіант:
User-agent: Yandex
Disallow: / Brend /
Disallow: / Tur /

7. Відсутність в Роботс правила Disallow. За загальноприйнятою стандарту пошукових систем, дана інструкція є обов'язковою, якщо ви не збираєтеся нічого забороняти, тоді просто залиште її порожньою. Ок?

Неправильний варіант:
User-agent: Googlebot
Host: www.ivan-maslov.ru

Правильний варіант:
User-agent: Googlebot
Disallow:
Host: www.ivan-maslov.ru

8. Не вказують слеші в каталогах

Неправильний варіант:
User-agent: Googlebot
Disallow: ivan

Правильний варіант:
User-agent: Googlebot
Disallow: / ivan /

Правильний і перевірений robots.txt для сайту WordPress

А зараз, я пропоную вам ознайомиться вмістом коду файлу Роботс, розібратися в кожній його директиві. а потім завантажити готовий варіант.

User-agent: Yandex Disallow: / wp-admin Disallow: / wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /? S = * Disallow: / * ? * Disallow: / search * Disallow: * / trackback / Disallow: * / * / trackback Disallow: * / feed Disallow: * / * / feed / * / Disallow: * / comments / Disallow: * / comment Disallow: * / attachment / * Disallow: * / print / Disallow: *? print = * Disallow: * / embed * Disallow: / cgi-bin Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / tag Disallow: / category / * / * Allow: / wp-content / uploads Crawl-delay: 5 Host: ivan-maslov.ru Sitemap: http: ///sitemap.xml Sitemap: http: // /sitemap.xml.gz User-agent: Googlebot Disallow: / wp-admin Disallow: / wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /? s = * Disallow: / *? * Disallow: / search * Disallow: * / trackback / Disallow: * / * / trackback Disallow: * / feed Disallow: * / * / feed / * / Disallow: * / comments / Disallow: * / comment Disallow: * / attachm ent / * Disallow: * / print / Disallow: *? print = * Disallow: * / embed * Disallow: / cgi-bin Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / tag Disallow: / category / * / * Allow: / wp-content / uploads User-agent: Mail.Ru Disallow: / wp-admin Disallow: / wp-includes Disallow: /wp-login.php Disallow : /wp-register.php Disallow: /xmlrpc.php Disallow: /? s = * Disallow: / *? * Disallow: / search * Disallow: * / trackback / Disallow: * / * / trackback Disallow: * / feed Disallow : * / * / feed / * / Disallow: * / comments / Disallow: * / comment Disallow: * / attachment / * Disallow: * / print / Disallow: *? print = * Disallow: * / embed * Disallow: / cgi -bin Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / tag Disallow: / category / * / * Allow: / wp-content / uploads User-agent: * Disallow: / wp-admin Disallow: / wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /? s = * Disallow: / *? * Disallow: / search * Disallow: * / tra ckback / Disallow: * / * / trackback Disallow: * / feed Disallow: * / * / feed / * / Disallow: * / comments / Disallow: * / comment Disallow: * / attachment / * Disallow: * / print / Disallow: *? print = * Disallow: * / embed * Disallow: / cgi-bin Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / tag Disallow: / category / * / * Allow: / wp-content / uploads User-agent: Googlebot-Image Allow: / wp-content / uploads / User-agent: YandexImages Allow: / wp-content / uploads / User-agent: Mediapartners-Google Disallow: User-Agent: YaDirectBot Disallow:

>> Завантажити файл robots.txt для сайту WordPress

Опис значення рядків файлу robots.txt:

1. «User-agent: *» - правила, прописані нижче будуть відноситься до всіх пошукових систем і їх роботам, крім Яндекса і Google
2. «User-agent: Yandex» - правила, прописані нижче будуть відноситься до пошуковому гігантові Яндекс і всім його пошуковим роботам (ПР)
3. «User-agent: Googlebot» - правила, прописані нижче будуть відноситься до пошуковому гігантові Google і всім його ПР
4. «User-agent: Mail.Ru» - правила, прописані нижче будуть відноситься до пошуковому гігантові Майл ру і всім його ПР
5. «Disallow:" - умова забороняє індексування
6. «Allow:» - умова дозволяє індексування
7. «*» - зірочка означає допущення абсолютно будь-який і навіть порожній послідовності символів
8. «$» - дає можливість робити виняток для певних файлів і каталогів в правилі
9. «Host: vas-domen.ru» - це правило використовується тільки старим Яндексом і вказує йому головне дзеркало вашого сайту (www.sait.ru або sait.ru)
10. «User-agent: Googlebot-Image» - правила, прописані нижче будуть відноситься конкретно до пошуковому боту Гугла, який займається індексуванням зображень
11. «User-agent: YandexImages» - правила, прописані нижче будуть відноситься конкретно до пошуковому боту Яндекса, який займається індексуванням зображень
12. «User-agent: Mediapartners-Google» - правила, прописані нижче будуть відноситься конкретно до пошуковому боту Гугла, який займається індексуванням сторінок і оголошень з рекламою AdSense. Нагадаю, що ми прописали там «Disallow:" це дозволить підбирати більш релевантні оголошення та уникнути помилок індексування. Якщо ви в майбутньому збираєтеся розміщувати рекламу від Гугла або вже розміщуєте, то прописуйте такі правила відразу, щоб на Вірочку було все ок, а то потім забудете.
13. «User-Agent: YaDirectBot» - правила, прописані нижче будуть відноситься конкретно до пошуковому боту Яндекса, який займається індексуванням сторінок і оголошень з рекламою Яндекс Директ. В іншому все те ж саме, що писав в попередньому пункті.
14. «Sitemap:» - правило, в якому вказується посилання на місце розташування файлу з картою сайту sitemap.xml.
15. «Crawl-delay:» - корисне правило, яке знижує навантаження на сервер, коли ПР дуже часто заходять в гості до вашого сайту, тут ми задаємо час в секундах і говоримо цим невгамовним товаришам, щоб сканували наш веб-ресурс не частіше, ніж 1 раз в 5 секунд.

Ну ось ми і розглянули значення всіх рядків, якщо цієї інформації вам мало, то додатково рекомендую почитати довідку Яндекса. До речі, скачати повністю готовий файл robots.txt для сайту WordPress, можна - тут . Не забудьте поміняти в ньому рядки:

посилання на Sitemap
головне дзеркало web-ресурсу в директиві «Host:"

Після того, як ви зробили всі налаштування і завантажили свій Роботс в кореневу папку сайту, обов'язково перевірте його на помилки, якщо ви завантажили мій варіант, то можете не перевіряти, я вже це зробив, там все чітко

Ось про всяк випадок парочка класних сервісів для аналізу і перевірки на помилки файлу robots.txt:

Перевіряємо robots.txt в інструментах Яндекс Вебмайстер: http://webmaster.yandex.ru/robots.xml
Перевіряємо robots.txt в ІНТСРУМЕНТ Гугла: https://www.google.com/webmasters/tools/robots-testing-tool?hl=ru

Ну і наостанок, хочу звернути вашу увагу на те, що файл robots.txt для сайту WordPress важлива ланка в seo оптимізації, між вашим web-ресурсом і пошуковими роботами. З його допомогою, ви можете впливати на індексацію сайту. Друзі, пам'ятайте про це і використовуйте свій Роботс грамотно, адже в seo не буває дрібниць.

Залишилися питання - пишіть їх в коментах, постараюся відповісти найближчим часом. А які інструкції використовуєте ви в своєму файлі robots.txt з вище перерахованих?

Якщо вам сподобалася стаття, рекомендуйте її своїм друзям і підписуйтесь на розсилку блогу. Побачимося в наступних постах, до зв'язку 😉

З повагою, Іван Маслов