Як скласти правильний Robots.txt

1. Комплексний підхід завжди краще і економніше зовнішніх посилань!
2. Покрокова інструкція по створенню Robots.txt
3. Коментарі

Ні для кого не секрет, що успішне просування інтернет-ресурсу в пошукових системах цілком і повністю залежить від безлічі факторів. Зараз напевно все подумали про кількість якісних зовнішніх посилань прийнятих просуваються сайтом? На жаль цей фактор з кожним днем ​​чинить все менший вплив на ранжування.

Комплексний підхід завжди краще і економніше зовнішніх посилань!

Не буду приховувати що більшість SEO-компаній і фрілансерів досі активно користуються біржами посилань, і досягають певних успіхів, але сьогодні позитивний результат в просуванні максимально залежить від коректної внутрішньої оптимізації, до якої можна віднести:

• розробку сайту на якісної CMS-системі;
• грамотну структура сайту;
• коректне налаштування файлів, службовців інструкціями для пошукових роботів;
• відсутність дублюючого контенту;
• і багато чого іншого, адже повний список не знає ніхто крім самої пошукової системи.

Для того щоб ресурс був максимально коректно розроблений і готовий до просування, на початковому етапі створення рекомендується залучити SEO-фахівця, який зміг би вберегти надалі від безлічі доробок і недоліків.

У моїй практиці зустрічалося багато сайтів розроблених різними «умільцями», після яких ресурс просто неможливо просувати в пошукових системах без впровадження цілого списку дорогих програмних і SEO-доробок. Але існують і інші сайти, створені на основі популярних CMS-систем, наприклад таких як Joomla або WebAsyst - не самі ідеальні, але їх просування реально втілити в життя за допомогою якісної настройки інструкцій для роботів і оптимізації тематичної частини.

Так давайте і розберемо цю якісну настройку інструкцій, головним пунктом якої є складання правильно файлу robots.txt.

Покрокова інструкція по створенню Robots.txt

Для початку давайте розберемося що таке файл robots.txt, для чого він потрібен і де повинен бути розташований. Отже robots.txt - файл, розташований в кореневій папці сайту формату TXT з набором правил для пошукових роботів, які служать в якості виконуваної інструкції під час індексації сайту.

Щоб зрозуміти які правила в ньому повинні бути і які відсутні, необхідно розібратися в тому, як пошукові боти можуть переміщатися по сторінках і посиланнях (внутрішнім і зовнішнім), скануючи ваш сайт.

Багато SEO-фахівці користуються вже готовими підказками від пошукових систем, а саме переглядають всі проіндексовані сторінки в пошуковій видачі, тим самим вибираючи неякісні або ті, які необхідно заборонити індексувати по їх суб'єктивну думку. Це вірний спосіб, але він не завжди може бути правильним, оскільки не всі сторінки можуть знаходиться в індексі тієї чи іншої пошукової системи, які необхідно закрити.

Як же бути в цьому випадку? Все гранично просто: існує безліч програм і сервісів, наприклад програма Screaming Frog SeoSpider, XEnu або сервіс
mysitemapgenerator.com, за допомогою яких можна Спарс абсолютно всі існуючі url-адреси сайту без урахування поточного robots.txt (в разі, якщо він присутній), після чого з цього списку всі знайдені URL необхідно поділити на дві частини:

сторінки, які повинен індексувати бот;

дублі і службові сторінки, які необхідний заборонити індексувати.

З першого списку url-адрес в подальшому формується карта сайту XML, по другому складаються інструкції забороняють індексування цих сторінок.

наприклад:

Сторінки потрапили до другого список не несуть корисної інформації для користувачів і є службовими, їх необхідно закрити в файлі robots.txt. Для це необхідно скористатися наступними правилами:

1. Для закриття сторінки / login / використовуємо

Disallow: / login /

2. Для закриття другої, можна використовувати кілька правил, наприклад закрити її за цілою url-адресою або за маскою (частина адреси, яка повторюється), якщо в повному списку присутні і інші подібні сторінки, які необхідно також закрити.

Disallow: * route =

Таким чином необхідно перебрати всі сторінки сайту, закривши непотрібні, після чого рекомендується перевірити файл robots.txt в панелі веб-майстрів Яндекс.

Спочатку перевіряємо потрібні нам сторінки:

це необхідно зробити для того, щоб переконається в коректності складеного файлу.

Після того, як ми переконалися в тому, що всі потрібні нам сторінки доступні пошуковому боту, необхідно перевірити той список, який ми хочемо приховати від індексування, попередньо додавши всі «сміттєві» URL адреси у відповідне поле:

це необхідно виконати для того, щоб бути впевненим що, пошуковий робот не буде індексувати сторінки з другого списку.

У нашому випадку файл сформований коректно і готовий для розміщення в кореневій папці сайту.

Ну і нарешті, якщо ви хочете спати спокійно поки пошукові боти подорожують по вашому сайту, після додавання опрацьованого файлу в корінь сайту рекомендується Спарс ще раз все сторінки програмою або сервісом, перерахованими вище, тільки вже з урахуванням існуючого robots.txt. Якщо в сформованому списку не було знайдено жодної сторінки, яку необхідно закрити, значить ваш robots.txt ідеально оптимізований. Залишається тільки залити коректну xml-карту на FTP і повідомити пошуковим системам про список корисних URL адрес в веб-Местер Google і Яндекс.

Підписуйтесь на наш блог, і ви дізнаєтеся ще багато корисних рекомендацій і рішень практичних завданнях в seo-оптимізації!

Коментарі

Коментарі