- 2.1 Сайт закритий від індексації в robots.txt
- 2.2 Сторінки сайту ще не потрапили в пошуковий індекс
- 2.3. Відсутній файл Sitemap.xml
- 2.4. Не вказано головне дзеркало сайту
- 2.5. Присутні дублі сторінок
- 2.6. Неправильно виконані настройки сервера
- 2.7. На сайті є биті посилання
- 2.8. Сайт працює на незахищеному протоколі http
- 2.9. Сайт довго завантажується на робочому столі і Мобайлі
- 2.10. Чи не налаштована переадресація
- 2.11. Чи не налаштовані ЧПУ
- Фільтри пошукових систем за технічні помилки
Часто технічні проблеми стають причиною того, що сайт не може бути коректно проіндексований пошуковими машинами або взаємодію користувачів з сайтом утруднено. Як наслідок, це робить негативний вплив на пошукову видимість.
2.1 Сайт закритий від індексації в robots.txt
Під час робіт над сайтом часто цілі розділи або весь ресурс закривається від індексації. Поки йдуть роботи - пошукові роботи не бачать його і не індексують. Але трапляється, що після закінчення робіт сайт забувають відкрити. Дана проблема може бути неочевидній, так як сам ресурс справно працює.
Рішення: перевірити і виправити файл robots.txt.
Файл robots.txt знаходиться в кореневій папці сайту. Швидше за все провести перевірку файлу за допомогою інструменту в панелі вебмастера Яндекса. Якщо сайт закривався від індексації, у файлі буде прописана директива Disallow.
Директива Disallow в robots.txt
На скріншоті вище сайт повністю закритий від індексації для всіх пошукових роботів. Залежно від потреб можуть закриватися лише певні розділи або сторінки.
Щоб відкрити сайт для індексації, потрібно змінити директиву Disallow на Allow.
Сайт відкритий для індексації
Детальніше про роботу з файлом robots.txt можна почитати тут .
2.2 Сторінки сайту ще не потрапили в пошуковий індекс
Яндекс і Google сканують сайти по-різному, що відбивається на швидкості додавання сторінок в пошуковий індекс. Так, сторінки нових сайтів потрапляють в індекс:
- Яндекс - 2-3 тижні,
- Google - 1 тиждень.
Тому якщо сторінки вашого сайту не видно в пошуковій видачі, можливо, ще занадто рано і пошуковий індекс не оновиться.
Рішення: перевірити наявність сторінок в індексі пошукових систем і прискорити індексацію через панелі Яндекс.Вебмайстер і Google Search Console .
2.3. Відсутній файл Sitemap.xml
Файл Sitemap.xml (карта сайту) містить список URL-адрес всіх сторінок сайту, а також параметри індексації (частота зміни, відносна значимість сторінки). Відсутність даного файлу може уповільнювати процес індексації, особливо молодих ресурсів.
Рішення: перевірити наявність файлу Sitemap.xml, при відсутності створити його і «згодувати» панелям вебмастера Яндекс і Google.
Створити файл можна вручну або за допомогою спеціальних генераторів .
Налаштування в онлайн-генераторі карти сайту XML-Sitemaps
У популярних CMS є вбудовані плагіни генерації файлу Sitemap. Наприклад, для WordPress це плагін Google XML Sitemaps.
Також в файлі Sitemap можна вказати додаткові параметри:
- включити атрибут Last-Modified, щоб пошукові роботи бачили дату останньої зміни сторінки;
- автоматично розрахувати коефіцієнт пріоритетності сторінок: пошукові роботи враховують цей показник і в першу чергу завантажують в індекс найбільш пріоритетні сторінки;
- вказати частоту зміни сторінок: цей атрибут також корисний для пошукових роботів, так як дає їм знати, до якого терміну можна не завантажувати повторно проіндексовані раніше сторінки.
2.4. Не вказано головне дзеркало сайту
Люстерко - це повна або часткова копія сайту, доступна по іншому URL. З точки зору пошукових систем site.ru і www.site.ru - різні адреси. Дзеркала можуть з'являтися при переїзді на новий домен, при зміні назви компанії (і, відповідно, домену сайту) і т.д. Якщо при цьому не вказати пошуковим системам, яке дзеркало є основним, вони можуть вирішити це самостійно. Пошуковики індексують тільки одне з дзеркал, тому якщо вони визначили головним не те дзеркало, основний сайт може втрачати позиції і не просуватися.
Рішення: вказати основне дзеркало сайту в Яндекс.Вебмастер і Google Search Console. Протягом 1,5-2 тижнів пошуковики склеять дзеркала, переіндексіруют сторінки, і в пошуку з'являться потрібний URL.
2.5. Присутні дублі сторінок
Дублі - це сторінки сайту, на яких повністю або частково повторюється контент. До повних дублям - ідентичним за змістом сторінок відносяться: дзеркала сайту (c WWW і без, на http і https), версія для друку, сторінки-синоніми (з GET-параметрами, зі слешем в кінці і без нього), одна і та ж сторінка, доступна за різними URL. До часткових дублям - сторінок зі схожим контентом відносяться: сторінки пагінацію, деревовидні коментарі, картки одного і того ж товару в різних варіаціях.
Наявність дублів на сайті призводить до того, що:
- індексація стає гірше. З метою економії місця в індексі (базі документів) пошукові роботи не включають в нього копії сторінок, через що потрібні сторінки можуть не потрапити в індекс;
- в індекс потрапляє дубль, а не просувається сторінка, в результаті чого бюджет на просування витрачається даремно;
- посилання зі сторонніх ресурсів можуть вести на дублі, а не на основні сторінки, що також погано для просування.
Рішення: виявити наявність дзеркал сайту. Знайти дубльовані сторінки в індексі за випадковим збігом фрагментів URL, а також за випадковим збігом Title і Description.
Як знайти дублі?
- Вручну в рядку пошуку Яндекс і Google за фрагментом URL за допомогою запиту site: {ваш домен} inurl: {фрагмент URL}
- В Яндекс за допомогою звіту «Індексування» - «Сторінки в пошуку» в панелі Яндекс.Вебмастер.
- В Google за допомогою звіту «Індексування відправлених URL» в панелі Google Search Console.
- За збігом Title і Description, вивантаживши все URL сайту за допомогою інструменту «Парсер мета-тегів і заголовків» в SeoPult.
Як прибрати? Одним із прийнятних способів (залежить від характеру дубля):
- зробити переадресацію з дубля на основну сторінку (301 редирект);
- забороною індексації в Robots.txt;
- розмістити в блоці <head ...> ... дублюючої сторінки мета-тег <meta name = "robots" content = "noindex, nofollow" ...>, і роботи не будуть індексувати таку сторінку, а також не будуть переходити по розміщеним на ній посиланнях;
- якщо дубль не можна видаляти (наприклад, якщо це лістинг товарів), можна вказати канонічну (основну) сторінку за допомогою атрибута rel = "canonical" в блоці головної сторінки.
Докладні рекомендації з пошуку дублів і позбавлення від них наведені в цієї статті.
2.6. Неправильно виконані настройки сервера
Кодування сайту не збігається з кодуванням сервера, що може привести до некоректного відображення інформації на сайті.
Обнародувано сторінки не віддають відповідь 200. Відповідь 200 OK - це код відповіді сервера, який означає, що зі сторінкою все в порядку і вона може бути показана користувачеві. Щоб бути в індексі, все обнародувано сторінки повинні віддавати відповідь 200.
Недоступність сервера. Помилки 500, 503, 504 виникають в тому випадку, коли сервер не може виконати запит користувача з технічних причин або через помилки в конфігурації сервера.
Чи не вказані заголовки Expires і Last-Modified - http-заголовки, які вказують на актуальність контенту. Expires повідомляє термін зберігання сторінки в кеші. Last-Modified повідомляє дату останньої зміни сторінки. Запитуючи дату Last-Modified у сервера, і отримуючи відповідну інформацію, робот приймає рішення, піти зі сторінки (якщо вона не оновлювалася), або просканувати новий контент (якщо він змінився, про що говорить дата його зміни).
Рішення: перевірити кодування, відповідь сервера, усунути існуючі проблеми і правильно вказати заголовки.
2.7. На сайті є биті посилання
Биті посилання - це посилання, які ведуть на неіснуючі або віддалені сторінки. Таку велику кількість негативно позначається на поведінці користувачів і оцінці сайту пошуковими машинами.
Рішення: перевірити наявність битих посилань за допомогою панелей для вебмайстрів Яндекса ( виключені посилання ) І Google ( помилки сканування ), Замінити биту посилання на актуальну або налаштувати 301 редирект, створити сторінку 404 в дизайні сайту.
2.8. Сайт працює на незахищеному протоколі http
Сучасні браузери позначають сайти на http як небезпечні. А сайти на https (з встановленим сертифікатом SSL або TLS) отримують більше довіри з боку пошукових систем. Це більшою мірою актуально для майданчиків, де приймаються платежі і зберігаються персональні дані клієнтів.
Рішення: перевести сайт на протокол https.
2.9. Сайт довго завантажується на робочому столі і Мобайлі
Повільне завантаження сторінок може привести до втрати користувачів. Оптимальна промальовування - 1-2 секунди.
Рішення: перевірити швидкість завантаження сторінок в Google PageSpeed Insights , Усунути озвучені в звіті помилки.
Звіт Google PageSpeed Insights
Поради щодо оптимізації сторінок
Що можна зробити:
- стиснути зображення;
- використовувати зображення невеликого розміру там, де не потрібно повнорозмірна картинка;
- прибрати зайвий код;
- перенести файли JavaScript в кінець сторінки, щоб в першу чергу завантажувався основний контент.
Детальніше про те, як підвищити швидкість завантаження сторінок, ми писали тут .
2.10. Чи не налаштована переадресація
Після переміщення сторінок в інший розділ, перенесення цілого сайту або переїзду на https сторінки можуть отримати дублі або перестати існувати, якщо не налаштувати правильну переадресацію.
Рішення: налаштувати 301 редирект. Перевірити коректність редиректу за допомогою інструменту redirect-checker .
2.11. Чи не налаштовані ЧПУ
ЧПУ - «людино-зрозумілі урл», це url-адреси, які відображають вміст сторінки, а не є просто набором символів. Приклад ЧПУ - «https://blog.seopult.ru/category/seotech». ЧПУ дозволяють користувачеві краще орієнтуватися на сайті, так як відображають структуру і вкладеність. Такі посилання легше запам'ятовувати і вводити в адресному рядку.
Рішення: налаштувати ЧПУ в CMS. Наприклад, у випадку з WordPress потрібно в адмін-панелі зайти Установки → Постійні посилання. Відзначити пункт Довільно і вставити конструкцію /% category% /% postname% /. Після цього варто встановити і активувати плагін Cyr to Lat . Він буде переводити кириличні символи на латиницю.
Фільтри пошукових систем за технічні помилки
- Google Panda. Карає за дубльовані сторінки, якщо вони не мають самостійної інформаційної цінності.
- Фільтр за биті посилання. Частина алгоритму ранжирування Google відповідає за якість сторінок і викидає з індексу сторінки, на яких багато битих посилань.
- Песимізація за низьку швидкість завантаження. Google знижує у видачі сайти, які повільно завантажуються. А з липня 2018 року працює фільтр Speed Update - швидкість завантаження буде впливати на ранжирування мобільних сайтів.
Варто відзначити, що багато хто з перерахованих вище технічних помилок на сайті не є явними причинами пессимізації. Однак вони впливають на процес індексації, працездатність ресурсу і оцінку пошуковими системами якості сторінок.
Як знайти дублі?Як прибрати?
