Как сканировать большие сайты с помощью Screaming Frog

1. Каковы причины сканирования сайта?
2. Как вы сканируете очень большой сайт?
3. 1. Увеличить ОЗУ компьютера
4. 2. Увеличьте доступность оперативной памяти Screaming Frog
5. 3. Увеличьте скорость ползания кричащей лягушки
6. 4. Сегментируйте веб-сайт на просматриваемые куски
7. 5. Включите целевые каталоги
8. 6. Исключить ненужные URL
9. Дополнительные советы

Одним из самых первых шагов при проведении аудита SEO или подготовке к редизайну сайта является «сканирование» (он же «соскоб») сайта. Сканирование веб-сайта может предоставить важную информацию о потенциальных проблемах и возможных областях улучшения.

Мой персональный инструмент выбора для сканирования сайта: Кричащая лягушка , Программное обеспечение недорогое, простое в использовании и чрезвычайно универсальное. В течение многих лет я оценивал множество других вариантов, но мне еще не удалось найти тот, который действительно конкурирует, когда учитываются все соображения.

Каковы причины сканирования сайта?

Есть много разных вещей, которые вы можете выполнить с помощью Screaming Frog. Ниже приведены некоторые из применений, которые я считаю особенно полезными.

• Создайте список всех URL / страниц на сайте
• Найти 302 перенаправления
• Выполните QA для 301 реализации перенаправления
• Убедитесь, что Google Analytics находится на каждой странице
• Найти неработающие ссылки (внутренние и внешние)
• Найти недостающий мета-контент и атрибуты alt
• Найти дублированный контент
• Найти или проверить содержание схемы
• Найти вредоносное ПО или спам
• Найти медленные страницы загрузки
• Создать карту сайта XML
• Проверьте список URL-адресов PPC

Опять же, это всего лишь небольшой список потенциальных применений для сканирования сайта. Есть еще много вещей, которые вы можете сделать, когда получите полное представление о возможностях Screaming Frog.

Как вы сканируете очень большой сайт?

Настройка Screaming Frog по умолчанию отлично подходит для работы с веб-сайтами с менее чем 10 000 страниц, но что вы делаете, когда сталкиваетесь с сайтом, подобным приведенному ниже?

На изображенном веб-сайте более 3 миллионов проиндексированных страниц, что делает его сканирование, по меньшей мере, сложной задачей. Принимая на сайте такого размера, требуется несколько важных настроек конфигурации Screaming Frog. Ниже приведено руководство по настройке Screaming Frog для сканирования очень больших веб-сайтов.

1. Увеличить ОЗУ компьютера

Этот шаг не является обязательным, но крайне рекомендуется. Программное обеспечение Screaming Frog использует оперативную память для хранения данных во время сканирования веб-сайта. Чем больше оперативной памяти вашего компьютера, тем больше страниц вы можете сканировать. Хорошей новостью является то, что оперативная память стала чрезвычайно недорогой. Для большинства компьютеров карта памяти объемом 8 ГБ стоит около 50 долларов.

Вам нужно будет немного изучить объем оперативной памяти, которую может вместить ваш компьютер, поскольку он варьируется от 4 до 64 ГБ. Как только вы узнаете, сколько ОЗУ вы можете добавить, убедитесь, что вы покупаете карты памяти, совместимые с вашим компьютером.

Установка ОЗУ обычно занимает около 30 секунд. Все, что вам нужно сделать, это выскочить из задней части компьютера и вставить карты памяти в доступные слоты. Возможно, вы захотите выполнить быстрый поиск на YouTube для своей модели компьютера + «Обновление ОЗУ», чтобы найти учебное пособие о том, как выполнить процесс в случае наличия определенных нюансов с вашим компьютером.

Лучшая часть увеличения оперативной памяти - это больше, чем просто возможность сканировать веб-сайты. Если вы похожи на меня и у вас всегда есть ассортимент программ, работающих одновременно, а также перелистывание между 1000 различными вкладками Chrome, вы будете приятно удивлены улучшением повседневной скорости работы компьютера.

2. Увеличьте доступность оперативной памяти Screaming Frog

Настройка по умолчанию для Screaming Frog позволяет ему получить доступ к 512 МБ ОЗУ. Увеличение объема ОЗУ на вашем компьютере не изменит количество страниц, которые вы можете сканировать, пока вы не предупредите программное обеспечение, что оно может использовать больше доступного хранилища.

Для этого сначала нужно открыть папку, в которую была загружена Screaming Frog. Затем используйте текстовый редактор, например «Блокнот», чтобы открыть файл с именем «ScreamingFrogSEOSpider.l4j».

Файл очень прост и содержит только две строки информации. Число, указанное во второй строке, - это то, что вам нужно обновить.

Номер по умолчанию при первом открытии этого файла будет «-Xmx512M». Это означает, что Screaming Frog разрешено использовать 512 МБ (0,5 ГБ) оперативной памяти вашего компьютера. Добавьте 1024 на каждый дополнительный 1 ГБ ОЗУ, к которому у Screaming Frog будет доступ. Например, чтобы выделить 15 ГБ (на снимке экрана выше), просто замените число на «15360» (1024 x 15 = 15360). Не забудьте оставить текст «-Xmx» и «M», который появляется вокруг числа. Затем сохраните файл, и вы должны быть готовы использовать дополнительную оперативную память.

СОВЕТ 1. Я рекомендую выделять как минимум на 3 ГБ меньше общей доступной оперативной памяти веб-сайта. Если вы выделите всю доступную ОЗУ веб-сайта, то при сканировании большого веб-сайта вы сможете заморозить ваш компьютер, как только он приблизится к максимальному объему ОЗУ. Например, если ваш компьютер имеет 16 ГБ ОЗУ, то только Screaming Frog может получить доступ к 13 ГБ. Вы всегда можете уменьшить объем оперативной памяти в этом буфере, если решите, что он больше, чем требуется вашему компьютеру.

СОВЕТ 2. Чтобы проверить, удалось ли вам увеличить объем ОЗУ: перезапустите Screaming Frog, нажмите «Справка», а затем «Отладка». В строке с надписью «Память» ваш новый объем оперативной памяти должен быть указан непосредственно после слова «Макс».

3. Увеличьте скорость ползания кричащей лягушки

Сканирование больших сайтов требует времени, но есть способы ускорить процесс. Чтобы минимизировать время, которое вам потребуется, вам нужно увеличить скорость сканирования на вкладке конфигурации.

Как только вы нажмете «Скорость», появится окно настройки скорости паука. Число, указанное рядом с «Макс. Потоков», определяет, насколько быстро вы можете сканировать веб-сайт.

Увеличение этого числа значительно улучшит время сканирования веб-сайтов. Протестируйте, используя несколько разных максимальных количеств нитей, и посмотрите, как влияет скорость сканирования (например, 10, 50, 100, 200, 500, 1000 и т. Д.)

Стоит отметить, что установка большого количества потоков приведет к увеличению числа http-запросов к серверу, что может повлиять на время ответа веб-сайта. Я никогда не сталкивался с этой проблемой ни с одним из наших клиентов, но не мешало бы обратиться к веб-мастеру сайта, чтобы на всякий случай утвердить скорость сканирования. Другой вариант - отслеживать время отклика и регулировать скорость, если вы заметили какие-либо проблемы.

4. Сегментируйте веб-сайт на просматриваемые куски

Независимо от того, сколько оперативной памяти вы поместите в свой компьютер, всегда будут сайты с слишком большим количеством страниц для сканирования за один сеанс. Чтобы сканировать веб-сайты такого размера, вам нужно разбить их на фрагменты для сканирования.

Первое, что вам нужно сделать, это запустить тестовый обход, чтобы узнать максимальное количество URL-адресов, которые может обработать ваш компьютер. Максимальное количество URL-адресов, которые вы можете сканировать, поможет определить вашу стратегию сегментации. Для справки: по моему опыту, компьютер с 15 ГБ ОЗУ, выделенной для Screaming Frog, может сканировать 600 000-900 000 URL-адресов за сеанс.

После определения максимального количества URL-адресов вам необходимо отобразить веб-сайт, разбив его на дочерние домены или каталоги, количество которых ниже максимального количества URL-адресов. Используйте команду поиска по сайту в Google, чтобы определить количество проиндексированных страниц в каждом разделе (например: «Сайт: http://yourdomain.com/targeted-directory/» ).

Как вы можете видеть на скриншоте выше, этот конкретный каталог включает в себя только 304 000 проиндексированных страниц, хотя на сайте в целом более 3 миллионов.

Важно отметить, что команда поиска по сайту отображает только количество проиндексированных страниц в каталоге. Он не отображает общее количество страниц, которые существуют в каталоге. В каталоге могут существовать страницы, которые в данный момент не проиндексированы. По этой причине создайте себе буфер между максимальным количеством страниц, которое может обработать ваш компьютер, и количеством проиндексированных страниц в разделе, который вы пытаетесь сканировать. Например, если ваш компьютер может обрабатывать около 700 000 страниц при сканировании, попробуйте сегментировать веб-сайт на разделы, содержащие 500 000 или менее проиндексированных страниц. Это даст вам буфер на 200 000 страниц для учета любых неиндексированных страниц.

Совет: Вы можете столкнуться с ситуациями, когда субдомен или каталог имеют больше проиндексированных страниц, чем ваш компьютер может сканировать. Объяснение того, как справиться с такой ситуацией, приведено в разделе 6 данного руководства.

5. Включите целевые каталоги

Следующий шаг в процессе установки - дать Screaming Frog знать, какой именно контент вы хотите сканировать. Для этого вам нужно нажать «Включить» в раскрывающемся списке настроек.

Откроется окно, которое позволяет вам использовать регулярные выражения (регулярные выражения), чтобы ограничить программное обеспечение только для сканирования определенного содержимого. Если вы не знакомы с регулярными выражениями Microsoft имеет довольно хороший список того, для чего может использоваться каждый персонаж.

В приведенном ниже примере показано регулярное выражение, используемое для ограничения сканирования только каталогом / foodscores /.

Важно убедиться, что вы начинаете сканирование со страницы, на которой есть хотя бы одна внутренняя ссылка, указывающая на целевой контент. Если нет, сканирование будет завершено только после одной страницы.

6. Исключить ненужные URL

Функция исключения аналогична функции включения, за исключением того, что, как вы уже догадались, она удаляет разделы, которые вам не нужны в ваших результатах.

Это очень полезно при разбиении веб-сайтов с вложенными каталогами или при разрыве самих каталогов, когда у них больше страниц, чем ваш компьютер может обработать за один обход.

Эта функциональность также чрезвычайно полезна при работе с CMS, которая автоматически генерирует динамические страницы. Если вы начнете сканирование и начнете замечать, что большое количество URL-адресов, в которые вы загружаете файлы, имеют динамические сегменты, такие как «? Search =» или «? Tag =», вы, скорее всего, захотите добавить эти сегменты URL в раздел исключения для очистки. ваши результаты и уменьшить количество ненужных просканированных страниц.

Ниже приведено несколько примеров регулярных выражений функциональности исключения, которую Screaming Frog выделяет на своем веб-сайте.

СОВЕТ: Иногда бывает сложно разбить отдельные каталоги, содержащие больше проиндексированных страниц, чем может справиться ваш компьютер. Для выполнения этой задачи вам потребуется использовать функции включения и исключения.

Одно из возможных решений - разбить каталог по использованию ключевых слов URL. Если большая часть URL-адресов в каталоге содержит определенное ключевое слово, вы можете использовать его в своих интересах. Выполните один обход, включая URL-адреса в каталоге, который содержит целевое ключевое слово, а затем запустите отдельный обход, где вы включаете каталог и исключаете ключевое слово.

Лучшее решение этой проблемы обычно зависит от конкретного веб-сайта, который вы пытаетесь сканировать. Потратьте некоторое время на знакомство с регулярными выражениями. Если вы это сделаете, вы обнаружите много разных вариантов для разбивки больших каталогов на фрагменты для обхода.

Дополнительные советы

Вот несколько дополнительных советов, которые могут быть полезны для настройки Screaming Frog и сканирования больших веб-сайтов.

• Если у вас есть 64-битная машина, убедитесь, что вы загружаете и устанавливаете 64-битную версию Java. Если вы этого не сделаете, вы столкнетесь с ошибкой, показанной ниже.

• Сохраняйте резервные копии сканирования при приближении к максимальному использованию ОЗУ. Например, если ваш компьютер обычно может обрабатывать 700 000 URL-адресов на сканирование, и вы находитесь в процессе сканирования, которое только что прошло 600 000 URL-адресов, рекомендуется приостановить и сохранить его на случай, если из-за высокой загрузки ОЗУ ваш компьютер зависнет. В Screaming Frog есть настройка по умолчанию, которая должна приостанавливать работу программного обеспечения при большом использовании памяти, но я сталкивался с ситуациями, когда это не всегда работает.

• Как отмечалось ранее, чем больше ОЗУ вашего компьютера доступно для Screaming Frog, тем больше URL вы можете сканировать. Это означает, что может быть полезно уменьшить объем оперативной памяти, который требуется другим программам. Если вы используете Chrome и одновременно открываете много вкладок, есть бесплатное расширение под названием «Великая подтяжка» это временно замораживает вкладки, которые вы давно не использовали. Затем он позволяет быстро разморозить вкладки, когда они вам понадобятся снова. Расширение помогает сократить использование памяти Chrome, и я лично считаю его чрезвычайно полезным.

Сканирование огромных веб-сайтов, безусловно, может быть проблемой, но этот процесс жизненно важен для SEO, обслуживания веб-сайтов и в процессе редизайна. К счастью, как только вы завершите реализацию всех вышеперечисленных конфигураций, у вас будет все готово для сканирования сайтов размером с гору Эверест.

У вас есть свои советы по сканированию больших сайтов? Или у вас есть дополнительные вопросы? Не стесняйтесь оставлять свои вопросы и комментарии ниже или обращайтесь ко мне напрямую по адресу: [email protected] или же @BrianRogel

Удачи и счастливого ползания!

Вы прочитали весь этот пост? Если это так, мы впечатлены вашей самоотдачей (давайте будем честными, это довольно длинный пост). Возможно, вы именно тот человек, которого мы ищем. Обязательно ознакомьтесь с нашими открытые позиции и связаться с нами по адресу: [email protected] , Мы с нетерпением ждем от вас!

Похожие

Комментарии