Технічне SEO керівництво по просуванню, індексації та ранжирування

Технічне SEO керівництво по просуванню, індексації та ранжирування

Переклав корисну статтю Paddy Moogan з західного SEO блогу stateofdigital.com - в ній дуже докладно розкривається тема про індексацію контенту сайту і створення сайтів для людей.

Від технічного SЕО можна в ряді випадків відмовитися на користь таких рішень, як створення контенту, робота зі ЗМІ і покупка посилань. Однак я завжди вважав, що існує багато можливостей для збільшення трафіку, дивлячись зсередини, а не зовні. Я вважаю, що одна з найважливіших завдань - це переконатися, що даний веб-сайт в повній мірі підходить для пошукових систем.

Це досить просто - якщо пошукові системи не можуть ефективно сканувати ваш веб-сайт, ви навряд чи зможете зайнятися просуванням. А посилання і SMM не вирішують всі питання.

У цій статті я хочу розглянути деякі з основних моментів, про які вам потрібно знати, коли мова йде про створення доступного для пошукових систем веб-сайту. Доступність веб-сайту означає, що всі основні сторінки будуть проіндексовані і можуть бути ранжовані для ваших цільових ключових запитів.

Щоб зберегти логіку в статті, я б виділив три основні напрямки:

• сканування
• індексування
• ранжування

сканування

Перш за все, вам необхідно переконатися, що всі наші цільові сторінки можуть бути просканувати пошуковими движками. Я кажу «цільові сторінки», тому що можуть бути випадки, коли у вас з'явитися намір активно зупинити сканування певних сторінок. Це я поясню згодом.

В першу чергу давайте подивимося, як нам зробити наш веб-сайт Сканируемое і як знаходити потенційні проблеми.

Гарна архітектура сайту

Гарна архітектура веб-сайту є не тільки зручною для пошукових движків, вона підходить також для користувачів. Коротше кажучи, ви хочете переконатися, що ваші найважливіші сторінки легко виявити в ідеалі за кілька кліків від головної сторінки, і це ефективно з таких міркувань:

• Зазвичай найбільше посилань надходить на вашу головну сторінку і, отже, можна передати на що залишився сайт великий рейтинг PageRank.
• Відвідувачі зможуть швидко знайти ваші основні сторінки - збільшується ймовірність знаходження того, що потрібно, і перетворення їх в ваших покупців.

Спрощена структура сайту буде виглядати так:

Якщо ви володієте сайтом електронної торгівлі, детальні сторінки в цьому прикладі будуть сторінками вашого продукту. Розглянута логічна структура рекомендується для веб-сайтів розміром від невеликого до середнього.

Але що робити, якщо ваш веб-сайт містить мільйони сторінок? Навіть з хорошою структурою категорій ваш основний продукт буде далеким від домашньої сторінки. В цьому випадку вам може знадобитися вирішення питання про впровадження багатогранної навігації, яка може допомогти вам. Багатогранна навігація адаптується до того, що шукає користувач, і видаляє багато непотрібних речей, забезпечуючи легку фільтрацію для знаходження саме того, що потрібно. Найкраще, що можна зробити, - це показати приклад того, що я маю на увазі. На щастя, мої колеги з Madgex написали цю гарну статтю і створили ось такий наочний приклад:

Як ви можете бачити, користувачеві дуже легко відфільтрувати велику кількість інформації швидко, клацаючи по атрибутам, які шукаються. Це хороша технологія для веб-сайтів, так як зазвичай є всі види атрибутів продукту - таких як як розмір, колір, бренд і т.д., які ви можете дозволити користувачеві фільтрувати. Наочним прикладом цього ж рішення з іншим типом веб-сайту є сайт про роботу Reed . Коли ви заходите в категорію, наприклад Accountancy , Фільтри з лівого боку підганяються під цю категорію, так що ви можете фільтрувати вакансії за допомогою атрибутів Accounts Assistant або Credit Controller. Але ви не отримаєте цих опцій, якщо зайдете в категорію Marketing. Саме так великі веб-сайти можуть полегшити користувачам і пошуковим движкам швидкий доступ до віддалених сторінок.

Відносно швидкості сканування тут можна відзначити ще одну особливість. Іноді ви можете захотіти позбутися сторінок глибокої вкладеності і заборонити сканувати і знаходити сторінки з великою кількістю атрибутів. Наприклад, давайте скажемо, що ми продали весь одяг для прогулянок і сконцентрувалися тільки на жакетах. У жакета можуть бути наступні показники:

• колір
• Розмір
• Пол споживача
• бренд
• Ціна
• водостійкість

Також ми знаємо, що ключове словосполучення, - таке як «водостійкі жакети для чоловіків» має досить велику кількість запитів судячи з даних з інструменту добірка ключових слів Adwords. Тому ми хочемо мати таку сторінку, де пошукові системи можуть сканувати, індексувати і ранжувати інформацію для цього ключового слова. Ми можемо переконатися в можливості цього завдяки нашій багатогранної навігації, яка забезпечує простоту і легкість знаходження посилань.

З іншого боку, таке ключове словосполучення, як «чорний чоловічий водостійкий жакет до £ 100» має вкрай малу кількість пошукових запитів. Так що нам представляється можливим припинення сканування та індексування такої сторінки пошуковими движками. Але очевидно, нам би хотілося, щоб сторінка залишилася доступною для користувачів, коли вони застосовують нашу навігацію.

Навіщо про це дбати? Принцип бюджету сканування або дозволу на сканування в цьому повідомленні розглядається, і я буду обговорювати це в наступному розділі. Нижче ми з вами поговоримо про те, як нам припинити сканування та індексування деяких сторінок.

бюджет сканування

Google виділяє бюджет сканування кожному домену. Відповідно до Метом Катс (див. інтерв'ю в якому, зокрема, йдеться про бюджет сканування), цей бюджет визначається орієнтовно рейтингом PageRank, який у вас є. Поки Google прагне знайти необхідний контент, ми використовуємо наявний рівень ресурсів, щоб сканувати розростається павутину. Необхідно призначити пріоритети і бути певним чином виборчим - потрібно, як мінімум, переконатися, що «хороший матеріал» сканується найкращим чином. Я інтерпретую його коментарі, як твердження, що Google буде сканувати та індексувати ваш веб-сайт стільки, скільки зможе. Однак якщо ваш рейтинг PageRank невисокий, то знадобиться чимало часу, щоб досліджувати все і знайти віддалені сторінки на вашому веб-сайті.

контроль сканування

Ми знаємо, що ви можете створити більш якісні посилання на свій веб-сайт, а це може допомогти з вашим рейтингом PageRank. Це те, що нам однозначно необхідно зробити. Але ви можете працювати і над питанням оптимізації свого бюджету сканування, зробивши кілька кроків, щоб акуратно підштовхнути Google на потрібний напрямок, коли відбувається сканування:

• Додайте тег rel = "nofollow" до посилань на малозначущі сторінки, які ви не хочете віддавати Google для сканування.
• Зробіть посилання такими, щоб Google було важко їх обходити, наприклад за допомогою Javascript або AJAX.
• Блокуйте деякі сторінки в своєму файлі robots.txt, щоб Google припинив їх сканування.

Метою всього цього є не контролювання PageRank, а спроба перевірити, які сторінки використовує ваш бюджет сканування. Погано, якщо Google використовує весь свій бюджет сканування на сторінках які не принесуть ніякого трафіку до вас на сайт.

Так само, як rel = "nofollow" і robots.txt, ви можете використовувати МЕТА-теги, щоб проконтролювати, як Google сканує ваш веб-сайт. Вони поміщаються в <head> секції вашої сторінки і можуть зробити багато чого, включаючи:

Пам'ятайте, що названі теги - працюють на рівні сторінок, і вони зачіпають лише саму сторінку. Ще одна важлива деталь, яку потрібно мати на увазі, - це те, що пошукові движки повинні добиратися до самої сторінки, щоб побачити цей тег. Так що якщо ви блокуєте сторінку в robots.txt, то пошукові движки, можливо, ніколи не просканує сторінку та не знайдуть там МЕТА-тега.

Коротке резюме і пояснення:

• Тег rel = "nofollow", який використовується в індивідуальній посиланням, впливає на те, як Google ставиться до цим посиланням. Він не впливає на інші посилання в вашому веб-сайті.
• МЕТА-тег rel = "nofollow" - це уявлення рівня сторінки, яка впливає на всі посилання там, де він поміщений.
• Файл robots.txt може впливати на окремі сторінки, відділи веб-сайту або на весь веб-сайт

А як щодо тега rel = canonical? Він дозволяє власникам веб-сайту визначити канонічну версію сторінки і ключовий скопійований або майже скопійований контент, подаючи пошуковим движкам сигнал про сторінки, які вони можуть або не можуть сканувати, індексувати і ранжувати. У цьому місці вам потрібно відзначити, що даний тег - це не директива, тобто, пошукові движки можуть вибирати методи поводження з тегом і мати можливість ігнорувати його на свій розсуд.

Цей тег може допомогти вам переконатися, що скопійований контент не завадить вашому веб-сайту, і дозволить визначити, що правильний URL бачать користувачі в результатах пошуку. За час сканування було б розумно для тега частіше відводити пошукові движки від сканованих скопійованих сторінок. Але так само, як і МЕТА-тег robots, пошукові движки повинні бути здатні добиратися до сторінки перш, ніж вони зможуть знайти тег.

серверні логи

Якщо вам потрібно отримати більш детальну інформацію про те, яким чином пошукові движки сканують ваш веб-сайт і виявити проблеми, ви можете подивитися серверні лог-файли. Серверна лог-файли будуть записані, коли сторінки будуть просканувати пошуковими системами (і іншими сканерами), так само як і реєстрація відвідувань сайту. Ви можете потім відфільтрувати дані з лог-файлів, щоб знати точно, як саме бот Google сканує ваш веб-сайт. Це може дати вам чітке уявлення про те, які файли просканувати найбільш часто і ретельно, а які - зовсім не просканувати.

Схоже, що це один з кращих індикаторів, що показує, що саме перешкоджає індексації та ранжирування сторінки. Ви можете використовувати всі види аналізу сайту, але, в кінцевому рахунку, якщо ви можете чітко побачити з журналів сервера, що сторінка не сканується, ви отримали відповідь на своє питання. Потім ви можете приступити до виявлення того місця, де може бути проблема, і попрацювати над її вирішенням.

Мені подобається використовувати програму Splunk для аналізу серверних логів. Потрібно багато часу для освоєння, але це безперечно одна з кращих програм, які я використовував.

Наведений нижче малюнок дає нам прекрасний приклад марного витрати бюджету сканування Google на сторінках, які нас не цікавлять:

Індексація

Ви задоволені тим, що пошукові движки коректно сканують ваш веб-сайт. Пора перевірити, як ваші сторінки насправді індексуються, і активно моніторити проблемні позиції.

Найпростіший спосіб переконатися, що Google індексує сторінку правильно, - це перевірити кешовану версію і порівняти її з діючою. Ось три способи, за допомогою яких ви можете зробити це швидко.

1. Запустити пошук Google.
   
2. Клацнути по результатам пошуку Google.
   
3. Скористатися закладкою.

Щоб перевірити кеш сторінки, на якій я перебуваю, я користуюся звичайним Букмарклет на Chrome. Створіть нову закладку в своєму браузері і зробіть в ній таку добавку:

"Javascript: location.href = 'http: //www.google.com/search? Q = cache:' + location.href" (без лапок)

Красиво і просто!

Завдання перевірки кешу сторінки:

• Переконатися, що сторінка кешується регулярно
• Переконатися, що кеш містить весь ваш контент

Якщо тут все в порядку, то ви знаєте, що певна сторінка добре просканувати і проіндексована.

Сегментація карти сайту

Про це писалося вже неодноразово, так що я не буду тут повторювати все. Серйозний аналіз проблеми був проведений в пості SEOmoz щодо карт сайту XML. Коротше кажучи, ідея полягає в створенні декількох xml карт сайту для кількох частин вашого веб-сайту, так ви зможете моніторити індексацію, використовуючи інструментарій Google Webmaster:

Вищевикладений матеріал взято з мого власного облікового запису і показує три карти сайту, які я передав в Google. Хоча наведені тут числа недостатньо вагомі, ви можете переконатися, що цей підхід все-таки допоможе вам виявити проблеми.

статус індексування

Ще одна корисна властивість інструментарію Google Webmaster - це статус індексування. Він дає певне уявлення про те, як Google сканує та індексує ваш сайт, а також про те, скільки сторінок не потрапило в індекс Google. Ось приклад з мого власного звіту:

Сплеск зеленої лінії показує, коли Google збільшив кількість URL, які він класифікував як «невибрані». Це означає, що Google порахував, що сторінки схожі на інші сторінки або містять редирект або низькоякісні. Я уважно розглянув цю проблему і прийшов до висновку, що кривої плагін став причиною появи безлічі дублів URL, на які йде посилання.

Якщо ви постійно додаєте нові сторінки на ваш веб-сайт і бачите поступове збільшення кількості проіндексованих сторінок, то це, можливо, свідчить про те, що вони правильно просканувати і проіндексовані. З іншого боку, якщо ви бачите великий стрибок (яка не очікувався), то це може означати наявність проблем, і пошукові системи не зможуть належним чином дістатися до вашого веб-сайту.

ранжування

Це заключна частина нашої роботи, кілька спірна, що викликає нашу стурбованість! Чи є ранжування наших сторінок таким, яким воно повинно бути? Ми постійно працюємо над тим, щоб позиції наших сторінок підвищувалися, так що я хочу сконцентруватися на цій темі.

Спочатку вам потрібно виявити, на які саме сторінки ви збираєтеся залучити трафік. Можливо, це буде ваша домашня сторінка, категорії, продукт і тематичні сторінки. Існує кілька способів, як ви можете отримати відповідь на це питання в залежності від особливостей вашого веб-сайту:

• Подивіться на кількість URL на вашій мапі сайту (це стосується оновлених конкретних карт сайту)
• Проконсультуйтеся з вашими розробниками, які зможуть дати вам загальне уявлення
• Ви можете також просканувати свій веб-сайт, але це, в першу чергу, стосується всіх доступних сторінок

Відразу ж, коли ви дізнаєтеся шукане число сторінок, вам потрібно перевірити, скільки сторінок мають органічний трафік. Ви можете зробити це, використовуючи програму Google Analytics.

Простий і готовий спосіб зробити це - перейти до цієї схеми.

Переконайтеся, що ви фільтруєте лише відповідно до органічним пошуком, виберіть великий діапазон дат (як мінімум, шість місяців), а потім перейдіть, щоб побачити, скільки сторінок отримали доступ:

Якщо отримане кількість істотно нижче кількості сторінок, яке у вас є насправді, то ви, можливо, втрачаєте потенційний трафік.

Якщо вам потрібно більше раціональна ідея, і ви дійсно хочете побачити, скільки сторінок не відвідується, ви можете експортувати список URL з аналітики в CSV, потім порівняти їх з наявними списком всіх сторінок. Проста програма VLOOKUP повідомить вам, скільки є сторінок, які не отримали трафіку.

Відразу ж, коли у вас буде список сторінок, що не увійшли в трафік, ви маєте можливість ретельніше вивчити причину цього. Ви можете зробити це кількома способами, використовуючи вищеописаний матеріал:

• Створіть спеціалізовану карту сайту, в якій є лише ці URL, і перевірте, як їх індексує Google
• Відфільтруйте свої серверні журнали, щоб включити ці URL і переконайтеся, що вони просканувати
• Перевірте кеш, щоб побачити, кешованими вони