Анализ файла журнала SEO помогает понять поведение сканера на веб-сайте и определить потенциальные возможности технической оптимизации SEO.
SEO без анализа поведения поисковых роботов — это все равно, что летать вслепую. Возможно, вы отправили веб-сайт в поисковую консоль Google и проиндексировали его, но без изучения файлов журнала вы не получите представление о том, правильно ли ваш веб-сайт сканируется или читается ботами поисковых систем.
Вот почему я собрал все, что вам нужно знать, чтобы анализировать файлы журналов SEO и выявлять проблемы и возможности SEO из них.
Оглавление
Что такое анализ файлов журналов?
Анализ лог-файлов SEO — это процесс распознавания схемы взаимодействия ботов поисковых систем с веб-сайтом. Анализ файла журнала является частью технического SEO.
Аудит файлов журналов важен для SEO-специалистов, чтобы распознавать и решать проблемы, связанные со сканированием, индексированием, кодами состояния.
Что такое лог-файлы?
Файлы журнала отслеживают, кто посещает веб-сайт и какой контент они просматривают. Они содержат информацию о том, кто запросил доступ к веб-сайту (также известный как «Клиент»).
Воспринимаемая информация может быть связана с ботами поисковых систем, такими как Google или Bing, или с посетителем веб-сайта. Как правило, записи файла журнала собираются и поддерживаются веб-сервером сайта и обычно хранятся в течение определенного периода времени.
Что содержит файл журнала?
Прежде чем узнать о важности файлов журнала для SEO, важно знать, что находится внутри этого файла. Файл журнала e содержит следующие точки данных:
- URL страницы, которую запрашивает посетитель веб-сайта
- Код состояния HTTP страницы
- Запрошенный IP-адрес сервера
- Дата и время удара
- Данные пользовательского агента (поискового бота), делающего запрос
- Метод запроса (GET/POST)
Файлы журналов могут показаться вам сложными, если вы сначала посмотрите на них. Тем не менее, как только вы узнаете назначение и важность файлов журналов для SEO, вы сможете эффективно использовать их для получения ценной информации о SEO.
Цель анализа лог-файлов для SEO
Анализ файла журнала помогает решить некоторые важные технические проблемы SEO, что позволяет создать эффективную стратегию SEO для оптимизации веб-сайта.
Вот некоторые проблемы SEO, которые можно проанализировать с помощью лог-файлов:
№1. Частота обхода веб-сайта роботом Googlebot
Боты или сканеры поисковых систем должны часто сканировать ваши важные страницы, чтобы поисковая система знала об обновлениях вашего сайта или новом контенте.
Ваши важные страницы продукта или информации должны появиться в журналах Google. Страница продукта для продукта, который вы больше не продаете, а также отсутствие какой-либо из ваших наиболее важных страниц категорий являются индикаторами проблемы, которую можно распознать с помощью файлов журнала.
Как бот поисковой системы использует краулинговый бюджет?
Каждый раз, когда краулер поисковой системы посещает ваш сайт, он имеет ограниченный «краулинговый бюджет». Google определяет краулинговый бюджет как сумму скорости сканирования сайта и потребности в сканировании.
Сканирование и индексация сайта могут быть затруднены, если на нем много URL-адресов с низким значением или URL-адресов, которые неправильно представлены в карте сайта. Сканирование и индексирование ключевых страниц упрощается, если ваш краулинговый бюджет оптимизирован.
Анализ файла журнала помогает оптимизировать краулинговый бюджет, что ускоряет работу по поисковой оптимизации.
№ 2. Проблемы с индексацией для мобильных устройств и статус
Мобильная индексация сейчас важна для всех веб-сайтов, и Google предпочитает ее. Анализ файла журнала покажет вам частоту, с которой Googlebot смартфона сканирует ваш сайт.
Этот анализ помогает веб-мастерам оптимизировать веб-страницы для мобильных версий, если страницы не сканируются должным образом роботом Googlebot для смартфона.
№3. Код состояния HTTP, возвращаемый веб-страницами по запросу
Последние коды ответов, которые возвращают наши веб-страницы, можно получить либо с помощью файлов журнала, либо с помощью параметра запроса на получение и отображение в Google Search Console.
Анализаторы лог-файлов могут найти страницы с кодами 3xx, 4xx и 5xx. Вы можете решить эти проблемы, выполнив соответствующие действия, например, перенаправив URL-адреса на правильные места назначения или изменив код состояния 302 на 301.
№ 4. Анализ действий сканирования, таких как глубина сканирования или внутренние ссылки.
Google оценивает структуру вашего сайта на основе его глубины сканирования и внутренних ссылок. Причинами неправильного сканирования веб-сайта могут быть плохая структура ссылок и глубина сканирования.
Если у вас есть какие-либо трудности с иерархией вашего веб-сайта или структурой сайта, или структурой взаимосвязей, вы можете использовать анализ файла журнала, чтобы найти их.
Анализ файла журнала помогает оптимизировать архитектуру веб-сайта и структуру ссылок.
№ 4. Откройте потерянные страницы
Страницы-сироты — это веб-страницы на веб-сайте, на которые нет ссылок с какой-либо другой страницы. Такие страницы трудно индексировать или отображать в поисковых системах, поскольку их нелегко обнаружить ботам.
Страницы-сироты могут быть легко обнаружены поисковыми роботами, такими как Screaming Frog, и эту проблему можно решить, связав эти страницы с другими страницами веб-сайта.
№ 5. Аудит страниц на предмет скорости и опыта
Опыт страницы и основные веб-жизненные показатели теперь официально являются факторами ранжирования, и теперь важно, чтобы веб-страницы соответствовали рекомендациям Google по скорости страницы.
Медленные или большие страницы могут быть обнаружены с помощью анализаторов файлов журналов, и эти страницы могут быть оптимизированы для скорости страницы, что поможет общему рейтингу в поисковой выдаче.
Анализ файла журнала помогает вам получить контроль над тем, как ваш веб-сайт сканируется и как поисковые системы обрабатывают ваш веб-сайт.
Теперь, когда мы разобрались с основами лог-файлов и их анализа, давайте рассмотрим процесс аудита лог-файлов для SEO.
Как сделать анализ файла журнала
Мы уже рассмотрели различные аспекты файлов журналов и важность SEO. Теперь пришло время изучить процесс анализа файлов и лучшие инструменты для анализа файлов журналов.
Вам потребуется доступ к файлу журнала сервера веб-сайта, чтобы получить доступ к файлу журнала. Файлы можно анализировать следующими способами:
Существуют различные этапы доступа к файлам журнала вручную.
- Соберите или экспортируйте данные журнала с веб-сервера, и данные должны быть отфильтрованы для ботов или сканеров поисковых систем.
- Преобразуйте загруженный файл в читаемый формат с помощью инструментов анализа данных.
- Вручную анализируйте данные, используя Excel или другие инструменты визуализации, чтобы найти пробелы и возможности SEO.
- Вы также можете использовать фильтрующие программы и командные строки, чтобы облегчить себе работу.
Вручную работать с данными файлов непросто, поскольку для этого требуется знание Excel и участие команды разработчиков. Тем не менее, инструменты для анализа файла журнала облегчают работу оптимизаторам.
Давайте рассмотрим основные инструменты для аудита файлов журналов и поймем, как эти инструменты помогают нам анализировать файлы журналов.
Анализатор лог-файлов Screaming Frog
Технические проблемы SEO можно определить с помощью загруженных данных файла журнала и ботов поисковых систем, проверенных с помощью Анализатор лог-файлов Screaming Frog. Вы также можете сделать следующее:
- Активность поискового бота и данные для поисковой оптимизации.
- Узнайте частоту сканирования сайта ботами поисковых систем
- Узнайте обо всех технических проблемах с SEO, а также о внешних и внутренних неработающих ссылках.
- Анализ URL-адресов, которые сканировались меньше всего и больше всего, чтобы уменьшить потери и повысить эффективность.
- Найдите страницы, которые не сканируются поисковыми системами.
- Любые данные можно сравнивать и объединять, включая данные внешних ссылок, директивы и другую информацию.
- Просмотр данных об URL-адресах реферера
Инструмент анализатора файла журнала Screaming Frog можно использовать совершенно бесплатно для одного проекта с ограничением в 1000 строк событий журнала. Вам нужно будет перейти на платную версию, если вам нужен неограниченный доступ и техническая помощь.
JetOctopus
Когда дело доходит до доступных инструментов для анализа журналов, JetOctopus — лучший. Он имеет семидневную бесплатную пробную версию, не требует кредитной карты и подключается в два клика. Частота сканирования, бюджет сканирования, самые популярные страницы и многое другое можно определить с помощью Анализатор логов JetOctopusкак и другие инструменты в нашем списке.
С помощью этого инструмента вы можете интегрировать данные файла журнала с данными Google Search Console, что дает вам явное преимущество перед конкурентами. С помощью этой комбинации вы сможете увидеть, как робот Googlebot взаимодействует с вашим сайтом и что можно улучшить.
В анализаторе журнала сканирования
Ежедневно обрабатывается более 500 миллионов строк журнала. Анализатор журнала сканирования, инструмент, предназначенный для средних и крупных веб-сайтов. Он следит за журналами вашего веб-сервера в режиме реального времени, чтобы убедиться, что ваши страницы правильно индексируются и сканируются.
Oncrawl Log Analyzer соответствует требованиям GDPR и обладает высокой степенью безопасности. Вместо IP-адресов программа хранит все файлы журналов в безопасном и отдельном облаке FTP.
Помимо JetOctopus и анализатора лог-файлов Screaming Frog, Oncrawl имеет еще несколько функций, таких как:
- Поддерживает множество форматов журналов, таких как IIS, Apache и Nginx.
- Инструмент легко адаптируется к вашим требованиям к обработке и хранению по мере их изменения.
- Динамическая сегментация — это мощный инструмент для выявления закономерностей и связей в ваших данных путем группировки ваших URL-адресов и внутренних ссылок на основе различных критериев.
- Используйте точки данных из необработанных файлов журналов для создания действенных SEO-отчетов.
- Файлы журнала, передаваемые на ваше FTP-пространство, могут быть автоматизированы с помощью технического персонала.
- Можно отслеживать все популярные браузеры, включая поисковые роботы Google, Bing, Yandex и Baidu.
OnCrawl Log Analyzer имеет еще два важных инструмента:
SEO-краулер OnCrawl: С помощью Oncrawl SEO Crawler вы можете сканировать свой сайт с высокой скоростью и с минимальными ресурсами. Улучшает понимание пользователем того, как критерии ранжирования влияют на поисковую оптимизацию (SEO).
Данные сканирования: Данные сканирования анализируют все факторы SEO, объединяя данные сканирования и аналитики. Он извлекает данные из файлов сканирования и журналов, чтобы понять поведение сканирования, и рекомендует бюджет сканирования для приоритетного содержания или ранжирования страниц.
Анализатор лог-файлов SEMrush
Анализатор лог-файлов SEMrush — это разумный выбор простого инструмента для анализа журналов на основе браузера. Этот анализатор не требует скачивания и может использоваться в онлайн-версии.
SEMrush представляет вам два отчета:
Страницы: Число просмотров страниц сообщает о взаимодействии поисковых роботов с содержанием вашего веб-сайта. Он дает вам данные страниц, папок и URL-адресов с максимальным и минимальным взаимодействием с ботами.
Действия гуглбота: Отчет об активности робота Googlebot ежедневно предоставляет информацию, связанную с сайтом, например:
- Типы просканированных файлов
- Общий код состояния HTTP
- Количество запросов, сделанных на ваш сайт различными ботами
Логгли от SolarWinds
Логгли SolarWinds проверяет журналы доступа и ошибок вашего веб-сервера, а также еженедельные показатели сайта. Вы можете просматривать данные своего журнала в любой момент времени, и он имеет функции, упрощающие поиск в журналах.
Надежный инструмент анализа файлов журналов, такой как SolarWinds Loggly, необходим для эффективного анализа файлов журналов на вашем веб-сервере для получения информации об успешности или неудаче запросов ресурсов от клиентов.
Loggly может предоставить диаграммы, отображающие наименее часто просматриваемые страницы, и рассчитать среднюю, минимальную и максимальную скорость загрузки страниц, чтобы помочь вам оптимизировать поисковую оптимизацию вашего веб-сайта.
Статистика сканирования консоли поиска Google
Консоль поиска Google упростил работу пользователей, предоставив полезный обзор своей практики. Управление консолью простое. Ваша статистика сканирования будет разделена на три категории:
- Килобайты, загруженные в день: это указывает на килобайты, загружаемые роботами Googlebot при посещении веб-сайта. В основном это указывает на два важных момента: если на графике показаны высокие средние значения, это означает, что сайт сканируется чаще, или это также может указывать на то, что боту требуется много времени для сканирования веб-сайта, и он не легкий.
- Страницы, просканированные за день: показывает количество страниц, которые робот Googlebot просматривает каждый день. Он также отмечает статус активности сканирования, будь то низкий, высокий или средний. Низкая скорость сканирования указывает на то, что веб-сайт не сканируется должным образом роботом Googlebot.
- Время, затраченное на загрузку страницы (в миллисекундах): это время, затраченное роботом Google на отправку HTTP-запросов при сканировании веб-сайта. Чем меньше времени Googlebot будет тратить на запросы, тем лучше будет загрузка страницы, так как индексация будет быстрее.
Вывод
Я надеюсь, что вы получили много полезного из этого руководства по анализу файлов журналов и инструментам, используемым для аудита файлов журналов для SEO. Аудит файлов журнала может быть очень эффективным для улучшения технических аспектов SEO веб-сайта.
Google Search Console и SEMrush Log File Analyzer — это два варианта бесплатного базового инструмента анализа. В качестве альтернативы, проверьте Screaming Frog Log File Analyzer, JetOctopus или Oncrawl Log Analyzer, чтобы лучше понять, как боты поисковых систем взаимодействуют с вашим сайтом; вы можете использовать смешанные премиальные и бесплатные инструменты анализа файлов журналов для SEO.
Вы также можете воспользоваться некоторыми продвинутыми сканерами веб-сайтов для улучшения SEO.