Заходячи на сайт, пошуковий робот в першу чергу переглядає файл robots.txt. У ньому зазначено набір інструкцій, що визначають поведінку робота - зокрема, доступ до сторінок сайту, дозвіл на їх індексацію.
Одним з параметрів файлу robots.txt є директива Crawl-delay, що задає мінімальну частоту звернення робота до сайту і дозволяє регулювати навантаження від пошукових роботів на сервер.
Налаштовуючи файл robots.txt, власники сайтів зазвичай ставлять значення Crawl-delay відповідно до класичних рекомендаціями, представленими в Інтернеті. Так, якщо цей параметр дорівнює 2, то після скачування ботом однієї сторінки і до початку скачування інший пройде 2 секунди. Мінімальне значення для Яндекса становило 0,1 секунди, проте, останні зміни зробили директиву Crawl-delay неактуальною.
З 22 лютого 2018 року пошукові роботи Яндекса перестали враховувати Crawl-delay. Основною причиною цього стало те, що переважна більшість сайтів зараз знаходяться на потужних серверах, що забезпечують високу швидкість роботи. І присутність пошукових роботів не робить на сервер великого навантаження, не призводить до уповільнення роботи сайту, його доступності користувачам. У той же час облік роботами Crawl-delay уповільнює індексування сторінок сайтів, що не відповідає інтересам їх власників.
Саме тому Яндекс пішов за прикладом Google, вже давно не враховує цю можливість. Швидкість обходу сторінок сайту пошуковими роботами Яндекса тепер не регламентується значенням Crawl-delay, що забезпечує максимально швидку індексацію сторінок сайту. Якщо ж власник сайту все-таки хоче з якихось причин обмежити швидкість обходу, він може це зробити, зайшовши в Яндекс.Вебмайстер, вибравши розділ «Індексування» і налаштувавши необхідним чином інструмент «Швидкість обходу».
Даний інструмент дозволяє встановити швидкість обходу сторінок сайту пошуковими роботами в двох варіантах:
- автоматично;
- вручну.
У першому випадку необхідно вибрати пункт «Довіряти Яндексу» (він включений за умовчанням, це найоптимальніший варіант). Швидкість обходу в цьому випадку буде встановлюватися Яндексом автоматично, з урахуванням аналізу роботи сервера і допустимого навантаження на нього.
Також Ви можете вибрати пункт «Поставити вручну» і переміщенням повзунка встановити необхідну Вам частоту запитів бота до сервера. Пункт Crawl-delay у файлі robots.txt ніякого значення більше не має, тому може бути видалений або залишений як є.
