18 причин, по которым ваш веб-сайт не подходит для сканирования: руководство по проблемам сканирования

1. 1. Блокировка страницы от индексации через метатег роботов
2. 2. Нет ссылок
3. 3. Блокировка страниц от индексации через robots.txt
4. 4. Ошибки URL
5. 5. Устаревшие URL
6. 6. Страницы с запрещенным доступом
7. 7. Ошибки сервера
8. 8. Ограниченная емкость сервера
9. 9. Неправильная настройка веб-сервера
10. 10. Ошибки формата
11. 11. Неправильные страницы в карте сайта
12. 12. Плохая внутренняя связь
13. 13. Неправильные перенаправления
14. 14. Низкая скорость загрузки
15. 15. Дубликаты страниц, вызванные плохой архитектурой сайта
16. 16. Использование JS и CSS
17. 17. Флэш-контент
18. 18. HTML-фреймы
19. Делегат Daily Grind, сосредоточиться на действии

Вы действительно много работали над своим сайтом и не можете дождаться, чтобы увидеть его в верхней части поиска, но ваш контент изо всех сил пытается преодолеть препятствие на 10-й странице. Если вы уверены, что ваш сайт заслуживает более высокого рейтинга, проблема может существовать в вашей сканируемость сайта ,

Мы также разбиваем эти проблемы на две категории: те, которые вы можете решить самостоятельно, и те, в которых вы должны привлекать разработчика или системного администратора. Конечно, у всех нас есть разные знания и навыки, поэтому используйте эту классификацию предварительно.

Что мы подразумеваем под «решить самостоятельно»: вы можете управлять кодом страниц вашего сайта и корневыми файлами. Вам также необходимо иметь базовые знания в области кодирования (изменить или заменить фрагмент кода в нужном месте и в правильной манере).

Что мы подразумеваем под «делегировать специалисту»: требуются навыки администрирования сервера и / или веб-разработки.

Проблемы такого типа довольно легко обнаружить и решить, просто проверив ваши метатеги и файл robots.txt, поэтому вы должны сначала посмотреть на них. Весь веб-сайт или некоторые страницы могут оставаться невидимыми для Google по простой причине: сканерам сайта запрещается входить в них.

Есть несколько команд бота, которые будут препятствовать сканированию страницы. Обратите внимание, что наличие этих параметров в файле robots.txt не является ошибкой; При правильном и точном использовании эти параметры помогут сэкономить бюджет сканирования и дать ботам точное направление, которому они должны следовать, чтобы сканировать страницы, которые вы хотите сканировать.

1. Блокировка страницы от индексации через метатег роботов

Если вы сделаете это, поисковый бот даже не начнет просматривать содержимое вашей страницы, переходя непосредственно к следующей странице.

Вы можете обнаружить эту проблему, проверяя, содержит ли код вашей страницы следующую директиву:

<meta name = "robots" content = "noindex" />

2. Нет ссылок

В этом случае сканер сайта будет индексировать содержимое вашей страницы, но не будет переходить по ссылкам. Существует два типа директив, которые не следуют:

• для всей страницы. Проверьте, есть ли у вас

  <meta name = "robots" content = "nofollow">

  в коде страницы - это означало бы, что сканер не может перейти по любой ссылке на странице.

• за одну ссылку. Вот как выглядит фрагмент кода в этом случае:

href = "pagename.html" rel = "nofollow" />

3. Блокировка страниц от индексации через robots.txt

Robots.txt - это первый файл вашего сайта, на который смотрят сканеры. Самое болезненное, что вы можете найти здесь:

Пользователь-агент: *
Disallow: /

Это означает, что все страницы сайта заблокированы от индексации.

Может случиться так, что блокируются только определенные страницы или разделы, например:

Пользователь-агент: *
Disallow: / продукты /

В этом случае любая страница в подпапке «Продукты» будет заблокирована для индексации, и поэтому ни одно из ваших описаний продуктов не будет отображаться в Google.

Нерабочие ссылки всегда вредны для ваших пользователей, но также и для сканеров. Каждая страница, которую поисковый бот индексирует (или пытается проиндексировать), тратит бюджет сканирования. Учитывая это, если у вас много неработающих ссылок, бот будет тратить все свое время на индексацию и не попадет на релевантные и качественные страницы.

Отчет об ошибках сканирования в консоли поиска Google или проверка внутренних неработающих ссылок SEMrush Site Audit поможет вам определить этот тип проблем.

4. Ошибки URL

Ошибка URL обычно вызвана опечаткой в ​​URL, который вы вставляете на свою страницу (текстовая ссылка, ссылка на изображение, ссылка на форму). Убедитесь, что все ссылки введены правильно.

5. Устаревшие URL

Если вы недавно перенесли миграцию веб-сайта, массовое удаление или изменение структуры URL-адреса, необходимо дважды проверить эту проблему. Убедитесь, что вы не ссылаетесь на старые или удаленные URL-адреса со страниц вашего сайта.

6. Страницы с запрещенным доступом

Если вы видите, что многие страницы вашего сайта возвращают, например, код состояния 403, возможно, что эти страницы доступны только зарегистрированным пользователям. Отметьте эти ссылки как nofollow, чтобы они не тратили бюджет на сканирование.

7. Ошибки сервера

Большое количество ошибок 5xx (например, 502 ошибок) может быть сигналом проблем с сервером. Чтобы решить их, предоставьте список страниц с ошибками лицу, ответственному за разработку и обслуживание сайта. Этот человек позаботится об ошибках или проблемах конфигурации сайта, вызывающих ошибки сервера.

8. Ограниченная емкость сервера

Если ваш сервер перегружен, он может перестать отвечать на запросы пользователей и ботов. Когда это происходит, ваши посетители получают сообщение «Время ожидания истекло». Эта проблема может быть решена только вместе со специалистом по обслуживанию веб-сайта, который определит, нужно ли и насколько увеличить емкость сервера.

9. Неправильная настройка веб-сервера

Это сложная проблема. Сайт может быть хорошо виден вам как человеку, но он продолжает выдавать сканерам сообщение об ошибке, поэтому все страницы становятся недоступными для сканирования. Это может произойти из-за конкретной конфигурации сервера: некоторые брандмауэры веб-приложений (например, Apache mod_security) по умолчанию блокируют бота Google и других поисковых ботов. Короче говоря, эту проблему, со всеми связанными аспектами, должен решать специалист.

Карта сайта вместе с robots.txt рассчитывает на первое впечатление для сканеров. Правильная карта сайта советует им индексировать ваш сайт так, как вы хотите, чтобы он был проиндексирован. Давайте посмотрим, что может пойти не так, когда поисковый бот начнет просматривать ваши карты сайта.

10. Ошибки формата

Существует несколько типов ошибок формата, например, недействительный URL или отсутствующие теги (см. Полный список вместе с решением для каждой ошибки, Вот ).

Вы также, возможно, узнали (на самом первом шаге), что файл карты сайта заблокирован файлом robots.txt. Это означает, что боты не могли получить доступ к содержимому карты сайта.

11. Неправильные страницы в карте сайта

Давайте перейдем к содержанию. Даже если вы не являетесь веб-программистом, вы можете оценить релевантность URL-адресов в карте сайта. Внимательно посмотрите на URL-адреса в вашей карте сайта и убедитесь, что каждый из них: релевантный, обновленный и правильный (без опечаток и опечаток). Если бюджет сканирования ограничен и боты не могут перемещаться по всему веб-сайту, указания карты сайта могут помочь им сначала проиндексировать наиболее ценные страницы.

Не вводите ботов в заблуждение спорными инструкциями: убедитесь, что URL-адреса в вашей карте сайта не заблокированы от индексации мета-директивами или robots.txt.

Проблемы этой категории являются наиболее сложными для решения. Вот почему мы рекомендуем вам пройти предыдущие шаги, прежде чем перейти к следующим проблемам.

Эти проблемы, связанные с архитектурой сайта, могут дезориентировать или заблокировать сканеры на вашем сайте.

12. Плохая внутренняя связь

В правильно оптимизированной структуре сайта все страницы образуют неразрывную цепочку, так что сканеры сайта могут легко добраться до каждой страницы.

На неоптимизированном веб-сайте некоторые страницы оказываются вне поля зрения сканеров. Для этого могут быть разные причины, которые вы можете легко обнаружить и классифицировать с помощью Аудит сайта инструмент от SEMrush:

• Страница, которую вы хотите получить, не связана ни с какой другой страницей на сайте. Таким образом, он не может быть найден и проиндексирован поисковыми роботами.
• Слишком много переходов между главной страницей и страницей, которую вы хотите оценить. Обычная практика - переход из 4-х звеньев или меньше, иначе есть шанс, что бот не дойдет до него.
• Более 3000 активных ссылок на одной странице (слишком много работы для сканера).
• Ссылки скрыты в нерасчитываемых элементах сайта: отправка необходимых форм, фреймов, плагинов (прежде всего Java и Flash).

В большинстве случаев проблема внутренней ссылки не является чем-то, что вы можете решить одним махом. Необходим глубокий обзор структуры сайта в сотрудничестве с разработчиками.

13. Неправильные перенаправления

Перенаправления необходимы для перенаправления пользователей на более релевантную страницу (или, лучше, ту, которую владелец сайта считает релевантной). Вот что вы можете пропустить при работе с перенаправлениями:

• Временное перенаправление вместо постоянного: использование перенаправлений 302 или 307 является сигналом для сканеров, чтобы они снова и снова возвращались на страницу, тратя бюджет сканирования. Итак, если вы понимаете, что исходная страница больше не нуждается в индексации, используйте для нее перенаправление 301 (постоянное).

• Цикл перенаправления: может случиться так, что две страницы будут перенаправлены друг на друга. Таким образом, бот зацикливается и тратит впустую весь бюджет сканирования. Перепроверьте и удалите возможные взаимные перенаправления.

14. Низкая скорость загрузки

Чем быстрее загружаются ваши страницы, тем быстрее сканер проходит через них. Каждая секунда важна. И веб-сайт положение в выдаче соотносится со скоростью загрузки ,

использование Google Pagespeed Insights чтобы убедиться, что ваш сайт достаточно быстрый. Если скорость загрузки может сдерживать пользователей, на это может повлиять несколько факторов.

Факторы на стороне сервера: ваш сайт может работать медленно по простой причине - текущей пропускной способности канала больше не достаточно. Вы можете проверить пропускную способность в описании вашего тарифного плана.

Внешние факторы: одна из самых частых проблем - неоптимизированный код. Если он содержит объемные скрипты и плагины, ваш сайт в опасности. Также не забывайте регулярно проверять, что ваши изображения, видео и другой подобный контент оптимизированы и не замедляют скорость загрузки страницы.

15. Дубликаты страниц, вызванные плохой архитектурой сайта

Дублированный контент является наиболее частой проблемой SEO, обнаруженной на 50% сайтов, согласно последним Исследование SEMrush «11 самых распространенных SEO-проблем на месте». Это одна из основных причин, по которой у вас заканчивается бюджет сканирования. Google выделяет ограниченное время каждому веб-сайту, поэтому неправильно тратить его на индексацию одного и того же контента. Другая проблема заключается в том, что сканеры сайта не знают, какой копии доверять больше, и могут отдавать приоритет неправильным страницам, если вы не используете канонические символы для выяснения ситуации.

Чтобы устранить эту проблему, необходимо определить дубликаты страниц и предотвратить их сканирование одним из следующих способов:

16. Использование JS и CSS

Однако в 2015 году Google официально заявил: «Пока вы не запрещаете роботу Googlebot сканировать ваши файлы JavaScript или CSS, мы обычно можем визуализировать и понимать ваши веб-страницы, как современные браузеры . »Это не относится к другим поисковым системам (Yahoo, Bing и т. Д.). Более того, «в целом» означает, что в некоторых случаях правильная индексация не гарантируется.

17. Флэш-контент

Использование Flash - скользкий путь как для удобства пользователя (файлы Flash не поддерживаются на некоторых мобильных устройствах), так и для SEO. Текстовое содержимое или ссылка внутри элемента Flash вряд ли будут проиндексированы сканерами.

Поэтому мы предлагаем просто не использовать его на своем сайте.

18. HTML-фреймы

Если ваш сайт содержит фреймы, есть хорошие и плохие новости, которые приходят вместе с ним. Это хорошо, потому что это, вероятно, означает, что ваш сайт достаточно зрелый. Это плохо, потому что HTML-фреймы чрезвычайно устарели, плохо проиндексированы, и вам нужно как можно быстрее заменить их на более современное решение.

Делегат Daily Grind, сосредоточиться на действии

Это не обязательно неправильные ключевые слова или проблемы, связанные с содержанием, которые держат вас в поле зрения Google. Идеально оптимизированная страница не является гарантией того, что вы получите ее в топе (и вообще в рейтинге), если контент не может быть доставлен в движок из-за проблем с сканируемостью.

Чтобы выяснить, что блокирует или дезориентирует сканеры Google на вашем веб-сайте, вам нужно просмотреть свой домен от супа до орехов. Это тяжелое усилие сделать это вручную. Вот почему вы должны доверять рутинные задачи соответствующим инструментам. Самые популярные решения по аудиту сайтов помогают идентифицировать, классифицировать и определять приоритеты проблем, поэтому вы можете приступить к действиям сразу после получения отчета. Более того, многие инструменты позволяют хранить данные предыдущих аудитов, что позволяет получить полную картину технических характеристик вашего сайта с течением времени.

Есть ли другие проблемы, которые вы считаете критически важными для просматриваемого сайта? Используете ли вы какие-либо инструменты, которые помогают оптимизировать и своевременно решить эти проблемы? Не стесняйтесь делиться своими предложениями в комментариях!

Похожие

Комментарии