- Що таке файл robots.txt для WordPress і навіщо він потрібен
- robots.txt для WordPress
- Які правила потрібно включити в файл robots.txt для WordPress
- Як створити файл robots.txt для WordPress (3 способи)
- 1. Використання плагіна Yoast SEO
- 2. Застосування плагіна All in One SEO Pack
- 3. Створення та завантаження файлу robots.txt для WordPress по FTP
- Як перевірить WordPress robots.txt і відправити його в Консоль Google Search
- висновок
Щоб бути впевненим, що ваш сайт добре ранжируется в результатах пошукових систем (Search Engine Result Pages - SERPs), вам потрібно зробити його найбільш важливі сторінки зручним для пошуку та індексування "роботомі" ( "ботами") пошукових движків. Добре структурований файл robots.txt допоможе направити цих ботів на сторінки, які ви хочете проіндексувати (і пропустити інші).
У цій статті ми збираємося розкрити такі питання:
- Що таке файл robots.txt і чому він важливий
- Де знаходиться robots.txt для WordPress
- Як створити файл robots.txt
- Які правила повинні бути у файлі robots.txt для WordPress
- Як перевірити файл robots.txt і відправити його в консоль Google Search .
До кінця нашого обговорення у вас буде все необхідне для настройки відмінного файлу robots.txt для вашого сайт на WordPress. Почнемо!
Що таке файл robots.txt для WordPress і навіщо він потрібен
Коли ви створюєте новий сайт, пошукові движки будуть відправляти своїх міньйонів (або роботів) для сканування і створення карти всіх його сторінок. Таким чином, вони будуть знати, які сторінки показувати як результат, коли хто-небудь шукає по належать ключовими словами. На базовому рівні це досить просто.
Проблема полягає в тому, що сучасні сайти містять безліч інших елементом, крім сторінок. WordPress дозволяє вам встановлювати, наприклад, плагіни, які часто мають свої каталоги. Ви не хочете показувати це в результатах пошукової видачі, оскільки вони не відповідають змісту.
Що робить файл robots.txt , Так це забезпечує ряд вказівок для пошукових роботів. Він каже їм: "Подивіться тут, але не заходьте в ці області!". Цей файл може настільки докладним, на скільки ви захочете і його дуже просто створювати, навіть якщо ви не технічний чарівник.
На практиці, пошукові движки все одно будуть сканувати ваш сайт, навіть якщо ви не створите файл robots.txt. Однак, не створювати його є досить нераціональним кроком. Без цього файлу ви залишите роботам для індексації весь контент вашого сайту і вони вирішувати, що можна показувати всі частини вашого сайту, навіть ті, які б ви хотіли приховати від загального доступу.
Більш важливий момент, без файлу robots.txt, у вас буде дуже багато звернень для сканування ботами вашого сайту. Це негативно позначиться на його продуктивності. Навіть якщо відвідуваність вашого сайту ще невелика, швидкість завантаження сторінки - це те, що завжди має бути в пріоритеті і на вищому рівні. Зрештою, є всього кілька моментів, які люди не люблять більше, ніж повільне завантаження сайтів.
robots.txt для WordPress
Коли ви створюєте сайт на WordPress, файл robots.txt створюється автоматично і розташовується в вашому головному каталозі на сервері. Наприклад, якщо ваш сайт розташований тут: yourfakewebsite.com, ви зможете знайти його за адресою yourfakewebsite.com/robots.txt і побачити приблизно такий файл:
User-agent: * Disallow: / wp-admin / Disallow: / wp-includes /
Це приклад найпростішого базового файлу robots.txt. Перекладаючи на зрозумілий людині мову, права частина після User-agent: оголошує, для яких роботів призначені правила нижче. Зірочка означає, що правило універсальне і застосовується для всіх пошукових роботів. В даному випадку файл говорить ботам, що їм не можна сканувати каталоги wp-admin і wp-includes. Змив цих правил полягає в тому, що дані каталоги містять дуже багато файлів, які потребують захисту від загального доступу.
Звичайно ж, ви можете додати більше правил в свій файл. Перш ніж ви це зробите, вам потрібно зрозуміти, що це віртуальний файл. Зазвичай, WordPress robots.txt знаходиться в кореневому (root) каталозі, який часто називається public_html або www (або за назвою імені вашого сайту):
Треба відзначити, що файл robots.txt для WordPress, що встановлюється за умовчанням, не доступний для вас ні з якого каталогу. Він працює, але якщо ви захочете внести зміни, вам потрібно створити ваш власний файл і завантажити його в кореневий каталог в якості заміни.
Ми розглянемо кілька способів створення файлу robots.txt для WordPress за хвилину. А зараз давайте обговоримо, як визначити, які правила потрібно включити в файл.
Які правила потрібно включити в файл robots.txt для WordPress
У попередньому розділі ми бачили приклад генерується WordPress файлу robots.txt. Він включає в себе тільки два коротких правила, але для більшості сайтів їх досить. Давайте поглянемо на два різних файлу robots.txt і розглянемо, що кожен з них робить.
Ось наш перший приклад файлу robots.txt WordPress:
User-agent: * Allow: / # Disallowed Sub-Directories Disallow: / checkout / Disallow: / images / Disallow: / forum /
Цей файл robots.txt створений для форуму. Пошукові системи зазвичай індексують кожне обговорення на форумі. Залежно від того, яка тематика вашого форуму, ви можете захотіти заборонити індексацію. Так, наприклад, Google не буде індексувати сотні коротких обговорення користувачів. Ви також можете встановити правила, що вказують на конкретну галузь форуму, щоб виключити її, і дозволити пошуковим системам обходити інші.
Ви також помітили рядок, яка починається з Allow: / вгорі файлу. Цей рядок говорить ботам, що вони можуть сканувати всі сторінки вашого сайту, окрім встановлених нижче обмежень. Також ви помітили, що ми встановили ці правила як універсальні (із зірочкою), як було в віртуальному файлі WordPress robots.txt.
Давайте перевіримо ще один приклад файлу WordPress robots.txt:
User-agent: * Disallow: / wp-admin / Disallow: / wp-includes / User-agent: Bingbot Disallow: /
У цьому файлі ми встановлюємо ті ж правила, що йдуть в WordPress за замовчуванням. Хоча ми також додаємо новий набір правил, які блокують пошукових роботів Bing від сканування нашого сайту. Bingbot, як можна зрозуміти, це ім'я робота.
Ви можете абсолютно конкретно задавати пошукових роботів окремого движка для обмеження / дозволу їх доступу. На практиці, звичайно, Bingbot дуже хороший (навіть якщо не такий хороший, як Googlebot). Однак, є і багато шкідливих роботів.
Поганою новиною є те, що вони далеко не завжди дотримуються інструкцій з файлу robots.txt (вони ж все-таки працюють як терористи). Слід мати на увазі, що, хоча більшість роботів будуть використовувати вказівки, представлені в цьому файлі, але ви не можете примусити їх це робити. Ми просто добре просимо.
Якщо глибше вникнути в тему, ви знайдете багато пропозицій того, що вирішувати і що блокувати на своєму сайті WordPress. Хоча, з нашого досвіду, менше правил часто краще. Ось приклад рекомендованого виду вашого першого файлу robots.txt:
User-Agent: * Allow: / wp-content / uploads / Disallow: / wp-content / plugins /
Традиційно WordPress любить закривати каталоги wp-admin і wp-includes. Однак, це вже не є кращим рішенням . Плюс, якщо ви додаєте мета теги для своїх зображень з метою просування (SEO), немає сенсу вказувати роботам не відслідковувати вміст цих каталогів. Замість цього, два правила вище забезпечують основні потреби більшості сайтів.
Що міститься в вашому файлі robots.txt буде залежати від особливостей і потреб вашого сайту. Тому сміливо проводите більше досліджень!
Як створити файл robots.txt для WordPress (3 способи)
Як тільки ви вирішили зробити свій файл robots.txt, все що залишилося - це знайти спосіб його створити. Ви можете редагувати robots.txt в WordPress, використовуючи плагін або вручну. У цьому розділі ми навчимо вас застосуванню двох найбільш популярних плагінів для виконання цього завдання і обговоримо, як створити і завантажити файл вручну. Поїхали!
1. Використання плагіна Yoast SEO
Yoast SEO навряд чи вимагає подання. Це найбільш відомий SEO-плагін для WordPress, він дозволяє вам покращувати ваші записи і сторінки для кращого використання ключових слів. Крім цього, він також оцінить ваш контент з точки зору зручності читання, а це підвищить аудиторію шанувальників.
Наша команда є шанувальниками плагіна Yoast SEO завдяки його простоті і зручності. Це відноситься і до питання створення файлу robots.txt. Як тільки ви встановіть і активуєте свій плагін , Перейдіть у вкладку SEO> Інструменти в своїй консолі і знайдіть настройку Редактор файлів:
Натиснувши на це посилання, ви можете редагувати файл .htaccess не залишаючи адмін консоль. Тут же є кнопка Створити файл robots.txt:
Після натискання на кнопку у вкладці буде відображений новий редактор, де ви можете безпосередньо редагувати ваш файл robots.txt. Зверніть увагу, що Yoast SEO встановлює свої правила за замовчуванням, які перекривають правила існуючого віртуального файлу robots.txt.
Після видалення або додавання правил натискайте кнопку Зберегти зміни в robots.txt для вступу їх в силу:
Це все! Давайте тепер подивимося на інший популярний плагін, який дозволить нам виконати цю ж задачу.
2. Застосування плагіна All in One SEO Pack
плагін All in One SEO Pack - ще один прекрасний плагін WordPress для настройки SEO. Він включає в себе більшість функцій плагіна Yoast SEO, але деякі вважають за краще його тому що він більш легкий. Що стосується файлу robots.txt, його створити в цьому плагіні також просто.
після установки плагіна , Перейдіть на сторінку All in One SEO> Управління модулями в консолі. Усередині ви знайдете опцію Robots.txt з добре помітною кнопкою Activate внизу праворуч. Натисніть на неї:
Тепер в меню All in One SEO буде відображатися нова вкладка Robots.txt. Якщо ви натиснете на цей пункт меню, ви побачите налаштування для додавання нових правил в ваш файл, збережіть внесені зміни або видаліть все:
Зверніть увагу, що ви не можете безпосередньо змінювати файл robots.txt за допомогою цього плагіна. Вміст файлу буде неактивним, що видно по сірому фону поля, на відміну від Yoast SEO, який дозволяє вам вводити все, що ви хочете:
Але, так як додавання нових правил дуже проста процедура, то цей факт не повинен засмутити вас. Більш важливий момент, що All in One SEO Pack також включає функцію, яка допоможе вам блокувати "поганих" ботів, її ви можете знайти у вкладці All in One SEO:
Це все, що вам потрібно зробити, якщо ви вибрали цей спосіб. Тепер давайте поговоримо про те, як вручну створити файл robots.txt, якщо ви не хочете встановлювати додатковий плагін тільки для цього завдання.
3. Створення та завантаження файлу robots.txt для WordPress по FTP
Що може бути простіше, ніж створення текстового файлу txt. Все, що вам потрібно зробити, відкрити свій улюблений редактор (як, наприклад, Notepad або TextEdit) і ввести кілька рядків. Потім ви зберігаєте файл, використовуючи будь-яке ім'я і розширення txt. Це буквально займе кілька секунд, тому ви цілком можете захотіти створити robots.txt для WordPress без використання плагіна.
Ось швидкий приклад такого файлу:
Ми зберегли цей файл локально на комп'ютері. Як тільки ви зробили свій власний файл вам потрібно підключитися до свого сайту по FTP . Якщо ви не зовсім розумієте, як це зробити, у нас є керівництво, присвячене цьому - використання зручного для новачків клієнта FileZilla .
Після підключення до свого сайту перейдіть в каталог public_html. Тепер, все що вам потрібно зробити це завантажити файл robots.txt зі свого комп'ютера на сервер. Ви можете це зробити або натиснувши правою кнопкою миші на файлі в локальній FTP навігаторі або простим перетягуванням мишею:
Це займе всього кілька секунд. Як ви бачите, цей спосіб не складніше використання плагіна.
Як перевірить WordPress robots.txt і відправити його в Консоль Google Search
Тепер, коли ваш файл WordPress robots.txt створений і завантажений на сайт, ви можете перевірити його на помилки в Консолі Google Search . Search Console - це набір інструментів Google, покликаних допомогти вам відстежувати те, як ваш контент з'являється в результатах пошуку. Один з таких інструментів перевіряє robots.txt, його ви можете використовувати перейшовши в своїй консолі в розділ Інструмент перевірки файлу robots.txt:
Тут ви знайдете поле редактора, де ви можете додати код свого файлу WordPress robots.txt, і натиснути Надіслати в правому нижньому кутку. Консоль Google Search запитає вас, чи хочете ви використовувати новий код або завантажити файл з вашого сайту. Виберіть опцію, яка говорить Ask Google to Update для публікації вручну:
Тепер платформа перевірить ваш файл на помилки. Якщо буде знайдена помилка, інформація про це буде показана вам.
Ви ознайомилися з декількома прикладами файл robots.txt WordPress, і тепер у вас є ще більше шансів створити свій ідеальний!
висновок
Щоб бути впевненим, що ваш сайт представлений найкращим чином для пошукових роботів варто подбати про те, щоб для них було відкрито необхідний контент. Як ми побачили, добре налаштований файл robots.txt WordPress допоможе показати роботам, яким чином краще взаємодіяти з вашим сайтом. Таким чином, вони стануть у пригоді тим, хто шукає отримати більш релевантний і корисний контент.
Залишилися питання про те, як редагувати robots.txt в WordPress? Напишіть нам в розділі коментарів нижче!
