Проверить сайт на наличие 404 ошибки

Разбираемся, как на сайте найти страницы с ошибкой 404: расширения, плагины, приложения и программы

Один из главнейших факторов, который отталкивает пользователя от сайта ,— это появление страниц с ошибкой 404 Not Found. Появление таких ошибок негативно сказывается на отношении к сайту с точки зрения поисковых систем Яндекса и Google.

Во-первых, из-за этого внешние ссылки теряют свой вес, что ухудшает ранжированность и всего сайта.

Во-вторых, теряется вес внутренней перелинковки — особенно при круговой перелинковке — что также снижает трастовый вес других, действующих страниц.

Почему появляется ошибка 404

Наиболее частотный случай появления такой ошибки вызван неправильным вводом адреса страницы со стороны пользователя. Однако здесь ничего нельзя поделать — повлиять на них и научить вводить правильные адреса проблематично. Поэтому, очевидно, стоит сосредоточиться на других вариантах — когда появление 404 ошибки вызвано проблемами на стороне сайта.

Таких проблем может быть две:

1. Страница по каким-либо причинам была удалена;
2. У страницы был изменен URL без настройки редиректа на новый — поэтому абсолютно все внешние ссылки на такую страницу перестали быть рабочими.

Как уже было сказано выше, такие страницы нужно находить и ошибки исправлять. Сделать это можно несколькими способами.

Поиск ошибки 404 через Яндекс Вебмастер

У Вебмастера есть специальный инструмент для поиска ошибок 404. Для этого вам будет достаточно перейти в раздел «Индексирование» → «Статистика обхода»

Поиск ошибки 404 в панели вебмастеров Google

Аналогичная возможность поиска 404 ошибки представлена и у Google. Для этого нужно открыть раздел «Обзор» и перейти там во вкладку «Покрытие». Здесь будут сразу представлены все страницы с ошибкой, которые были найдены поисковой системой.

Необходимо отметить, что это достаточно быстрый и удобный способ поиска страниц с ошибкой 404. Однако ни Яндекс, ни Google не находят их все. Поэтому есть смысл попробовать воспользоваться другими способами.

Поиск ошибки 404 с помощью программы Netpeak Spider

Если у вас уже установлен этот сервис, то вы сможете легко найти все ошибки 404 на вашем сайте. 

Последовательность действий такая:

1. Откройте программу;
2. Во вкладке «Параметры» выберите «Минимум», чтобы искать только 404 ошибку;
3. Нажмите старт.

В полученном отчете будут указаны два параметра:

Это непосредственно сами страницы с ошибкой 404 и, что очень важно, ссылки, которые ведут на такие страницы.    

Поиск ошибки 404 с помощью сервиса Serpstat

1. Пройдите процесс регистрации и добавьте свой сайт в проект;
2. В колонке «Аудит сайта» нажмите «Запустить аудит»;
3. Нажмите «Начать анализ».

После завершения обработки откройте отчет «Код ответа: 4xx». Там вы найдете все страницы с ошибкой 404.

Что делать с ошибкой 404

Порядок действий достаточно прост:

• Все ссылки на страницы с 404 ошибкой нужно заменить на рабочие;
• Если ссылку заменить не получится (например, потому что страница была удалена), то и ссылку нужно просто удалить.

Проверьте, не нужно ли удалить страницу с такой битой ссылкой из индекса поисковых систем, чтобы Яндекс и Google перестали приводить к вам пользователей на несуществующую страницу.

Однако полностью избавиться от появления 404 ошибки у вас не получится — ведь довольно часто ошибка появляется по причине того, что сами пользователи неверно вводят URL.

Однако и здесь вы сможете максимально улучшить опыт использования вашего сайта. Для этого достаточно наполнить страницу с 404 ошибкой полезной информацией:

• Дайте ссылку на главную страницу;
• Выложите другую полезную информацию;
• Дайте доступ к возможности поиска по сайту;
• Если это необходимо, оставьте свои контакты для связи.

Благодаря этому пользователю не захочется убежать сразу же с вашего сайта и начать искать информацию где-нибудь ещё.

Заключение

Ошибка 404 может серьезно повлиять на трафик вашего сайта, поэтому так важно вовремя ее «найти и обезвредить». Посему мы советуем вам регулярно проводить подобные «облавы» — то есть проверки на наличие ошибок. Тем самым вы позитивно повлияете на отношение к вашему сайту как с точки зрения поисковиков, так и пользователей.

Проверка сайта на битые ссылки входит в список постоянных задач веб-мастера. Это не занимает много времени, но если не выполнять анализ, ссылочные связи могут оставаться нарушенными в течение длительного времени.

Не все владельцы сайтов следят за состоянием внутренней оптимизации, и это не дает проекту получить максимально возможные позиции. Качественное SEO состоит из маленьких задач, которые вместе позволяют обойти конкурентов в борьбе за трафик.

1. Что такое чекер неработающих ссылок на сайте?

Чекер битых ссылок — это инструмент, сканирующий страницы сайта и находящий неработающие ссылки. Он проверяет внутренние ссылки на предмет выдачи 404 и генерирует подробный отчет.

404-ошибки периодически возникают на различных сайтах из-за проблем с CMS или неудачным обновлением структуры адресов. Если их не устранить, может пострадать пользовательский опыт.

Представьте, что заходите на страницу для просмотра рецепта и когда кликаете по ссылке в тексте, видите сообщение о несуществующем адресе. Очевидно, что у вас может возникнуть желание воспользоваться другим сайтом.

Плановые проверки, настройки редиректов, отслеживание ключевых слов и другие задачи являются рутиной для веб-мастеров, поэтому они не всегда уделяют им достаточно внимания. Эта ошибка может привести к отрицательным последствиям в выдаче.

Чекер сайта на битые ссылки обычно хорошо справляется с анализом HTML-кода ответа, но лучше применить несколько инструментов поочередно. Благодаря этому можно увеличить точность анализа.

1.1. Что такое битая ссылка (ошибка 404)?

Неработающая ссылка ведет на страницу, которая отсутствует на сайте. Помимо внутренних ссылок, битыми могут быть и внешние ссылки. В этом случае нужно использовать не чекер 404, а инструмент мониторинга обратных ссылок.

Когда роботы поисковиков пытаются сканировать страницу и получают ошибку 404, они сигнализируют об этом в Search Console. Это не критическая проблема, но лучше не давать поисковику дополнительных поводов для снижения рейтинга.

Успешное продвижение в любой нише состоит из множества маленьких шагов. Если не будет хватать хотя бы 1–2 закрытых задач, то проект может не выйти на оптимальный объем трафика. 

1.2. Вредны ли неработающие ссылки для SEO?

Когда у опытных оптимизаторов спрашивают о важности проверки 404-ошибок, ответы могут сильно отличаться. Одни говорят, что битые ссылки сильно вредят внутренней оптимизации, другие утверждают, что ничего критичного в этом нет.

Чтобы разобраться в теме, нужно определиться с последствиями появления 404-ошибок на сайте. Обычно среди типичных проблем называют размывание ссылочного веса, отрицательный пользовательский опыт и нарушение структуры.

В большинстве гайдов по улучшению внутреннего SEO отмечено обязательное удаление битых ссылок, но новичкам не всегда объясняют, почему это важно. Поэтому неудивительно, что они часто игнорируют эту проблему.

Главный вред — это перекрытие путей передачи ссылочного веса. Например, если владелец сайта хочет усилить внутренние страницы, он может перелинковать их с адресами, уже насыщенными SEO-juice. Если в ссылках будет ошибка, вместо улучшения оптимизации сайт получит 404-ошибки.

Значение бесплатной проверки битых ссылок состоит в том, что массовые 404-ошибки приводят к нарушению структуры сайта. Также они зря тратят краулинговый бюджет поисковика, и поэтому важные страницы могут не попасть в индекс.

Еще важно помнить о важности хороших поведенческих факторов. Когда на сайте 30% ссылок ведут на несуществующие страницы, не следует на них рассчитывать. Если алгоритмы заметят увеличение показателя отказов в течение длительного времени, то могут возникнуть проблемы с ранжированием. 

2. Основные причины возникновения битых ссылок

Битые ссылки не возникают ниоткуда. В большинстве случаев они формируются из-за технических проблем в системах управления контентом. К примеру, если установить плагин для создания SEO-friendly URL, его отключение приведет к нарушению структуры.

В таких случаях важна молниеносная реакция. Если быстрее отреагирует Google, то последствия не понравятся владельцу сайта. Тогда на какое-то время трафик может сильно уменьшиться.

Если на проекте регулярно появляются 404-ошибки, нужно найти источник проблемы и разобраться с ним. Лучше сделать работу один раз, чем постоянно удалять по одной ссылке.

2.1. Удаление страниц сайта

Иногда возникает необходимость удалить страницу из-за ее неактуальности или небольшого объема переходов с органической выдачи. Есть мнение, что каждый неинтересный для пользователей адрес имеет нулевую ценность. Соответственно, от нее лучше избавиться. Но с этим согласны не все веб-мастера.

В случае удаления страницы нужно создать редирект по любому релевантному адресу. В этом случае метрики не пострадают и в поисковой консоли Google не будет сообщений.

2.2. Изменение URL страницы

Во многих кейсах появление 404-ошибок связано с изменением адресов. После этого необходимо настроить перенаправление со старого URL на новый, но эта задача выполняется не во всех случаях. На выходе веб-мастер получает битую ссылку.

Лучше действовать так, чтобы необходимости в изменении адреса не было вообще. Важно не торопиться при разработке структуры сайта и тогда все будет хорошо. Для многих CMS есть SEO-модули, которые возьмут на себя всю рутину по технической оптимизации.

2.3. Технический и структурный перевод сайта

Изменение структуры часто выполняется при добавлении языковых версий. В этой ситуации важно правильно настроить редирект и убедиться, что пользователи смогут самостоятельно выбрать регион.

Также необходимо правильно линковать страницы между собой. Если возникает необходимость совместить две языковые версии в контенте, не должно быть 404-ошибок. Обязательно нужно произвести проверку неработающих ссылок после завершения работ.

2.4. Ошибки в написании ссылок

Ошибки в написании могут быть разного формата. Например, в случае смены домена важно настроить постраничный редирект. Если этого не сделать, трафик может не восстанавливаться месяцами.

Исправить несколько 404-ошибок несложно, а вот когда возникли проблемы с переездом, масштаб работы будет гораздо больше. Нужно хотя бы периодически следить за кодами статусов в Search Console Google и устранять проблемы.

2.5. Трансформация сайта

Иногда бывает так, что при масштабном обновлении на сайте появляются сотни или даже тысячи битых ссылок. На 100% оградиться от этого невозможно, поэтому нужно выбрать правильную тактику работы.

Опытные оптимизаторы рекомендуют тестировать изменения на локальном домене, а потом уже публиковать их на основном сайте. Это поможет сохранить трафик и позиции на одном уровне. 

2.6. Переход к другому провайдеру

Проверка неработающих ссылок на сайте после перехода к другому хостинг-провайдеру или изменению CMS — это стандартная задача. Без его выполнения не следует показывать обновленный проект пользователям.

В случае необходимости экстренно изменить хостинг или домен необходимо выполнить онлайн-анализ сразу после обновления исходного кода страниц. Это можно сделать с помощью качественного чекера, а затем использовать плагины для замены адресов.

Функциональные возможности любого веб-ориентированного сервиса для SEO-задач могут закрывать 100% потребностей. Но лучше использовать несколько инструментов, чтобы исключить ошибки.

3. Как проверить сайт на наличие битых ссылок?

В интернете можно найти десятки сервисов, успешно распознающих 404-ошибки и быстро сканирующих страницы. Они экономят много времени на рутине, потому что веб-мастеру пришлось бы искать битые ссылки вручную.

Также будет полезно следить за состоянием внешних ссылок. Например, если ссылка на страницу вашего проекта внезапно исчезла, это минус для него. Нужно связаться с веб-мастером и попросить устранить проблему.

Любой релевантный чекер 404 может быстро найти битую ссылку, но при условии, что веб-сервер работает без сбоев. Если страница не выдает соответствующий код, адреса могут не попасть в отчет сервиса.

Для базовых задач достаточно консоли для веб-мастеров, но всегда лучше иметь под рукой дополнительные инструменты. Роботы Google тоже иногда допускают ошибки, и это может повлиять на общий результат.

3.1. Инструменты SEO-аудита

У каждого веб-мастера собственный набор сервисов, которым он пользуется на постоянной основе. Потому рекомендовать конкретные платформы очень сложно. Но все же можно выделить лидеров среди SEO-чекеров.

С поиском битых ссылок обычно ассоциируются Netpeak Spider, Semrush, Sitechecker и dead link checker. Для больших сайтов можно использовать Screaming Frog или софт от Netpeak. Оба варианта хорошо справляются с заданием.

Поиск неработающих ссылок с помощью десктопного софта выгоден только при периодическом использовании SEO-софта. Оплачивать лицензию только ради проверки 404-ошибок невыгодно.

3.2. Поисковая консоль Google

В поисковой консоли для веб-мастеров можно быстро найти информацию о том, от каких страниц роботы Google получают 404-код. В некоторых случаях данные не точны, но это не распространенная ситуация.

Отчет о несуществующих страницах можно найти в разделе «Покрытие». Если в графе «Error» есть примеры адресов, можно щелкнуть на вкладке и посмотреть, где именно у роботов возникли проблемы со сканированием контента.

Следует учитывать, что 404-страницы и битые ссылки в контенте несколько отличаются. Поэтому спайдеры Google не всегда предоставляют 100% данных по этой проблеме. Лучше использовать внешний инструмент проверки битых ссылок. 

4. Как пользоваться программой для проверки сайта на битые ссылки?

Воспользоваться сервисом или десктопным софтом для проверки проекта на 404-ошибки может веб-мастер с любым уровнем опыта в SEO. Для этого достаточно просмотреть библиотеку знаний и выполнить рекомендации.

Инструментами для Windows или macOS сложнее пользоваться, так как требуется время на установку, активацию и настройку. А в онлайн-сервисах можно провести анализ даже без регистрации.

Выбор между SaaS-платформой и десктопными решениями нужно делать на основе потребностей. Если периодически приходится выполнять задачи по внешней оптимизации, программы могут быть более удобными.

При проверке сайта на битых ссылках важно убедиться, что сканер анализирует все страницы. Лучше собрать список адресов вручную и запустить массовую проверку. Эта функция есть у большинства чекеров.

4.1. Проверка домена

Чтобы новички лучше поняли, как выполнить поиск 404-ошибок, мы подготовили пошаговую инструкцию. В ней нет ничего сложного, но следует выполнять рекомендации в точной последовательности.

Как проверить домен:

1. Откройте интерфейс чекера.
2. Введите адрес в поисковую строку.
3. Выберите вариант анализа.
4. Дождитесь создания отчета.

Скорость создания таблицы с проверенными URL зависит от качества конкретного инструмента. Мы тестировали dead link checker, и он проанализировал 2000 URL за 2 минуты. Это хороший результат.

Дополнительно можно проверить страницы в другом сервисе, чтобы убедиться, что на сайте действительно нет проблем. Также следует ориентироваться на данные Google Search Console и работать с проблемами, если они будут.

4.2. Проверка веб-страницы

Для проверки неработающих ссылок на одной странице необходимо выполнить аналогичные шаги, но выбрать релевантный вариант анализа. Вместо сканирования структуры проекта роботы посмотрят состояние одного адреса.

Обратите внимание, что в отчетах иногда появляются другие коды. Это означает, что у спайдеров есть проблемы с доступом к адресу, но наличие ошибки 404 все равно нужно проверить отдельно.

Ни один сканер не гарантирует 100% точности, особенно, если проверка происходит в режиме ввода одного адреса. Достичь точного результата можно, только если собрать все страницы и проверить их отдельно.

5. Как устранить проблему неработающих ссылок?

Подходов к удалению 404-ошибок много. Каждый из них актуален в определенных условиях, поэтому нужно сначала разобраться с природой возникновения битых ссылок. К примеру, если дело в модуле, его нужно заменить.

Проверка сайта на битые ссылки — это только первый шаг на пути к исправлению ситуации. В каждом случае следует разобраться, что вызывает 404-код, и использовать один из инструментов для устранения проблемы.

К примеру, если страницу удалили и поставили переадресацию, но она не работает, нужно исправить конфигурацию. А если источник проблемы кроется в некорректно работающем плагине, его необходимо заменить.

Также можно просто избавиться от ссылки, если страницы уже нет, а другой адрес для передачи ссылочного веса не удается найти. В этом случае цепочка замкнется, и 404-ошибки не будет.

Некоторые оптимизаторы рекомендуют не тратить много времени на борьбу с каждой отдельной ссылкой, а использовать чекер неработающих ссылок в глобальном масштабе. Устранение источника проблемы позволит массово победить 404-ошибки.

Помимо активной работы с внутренним SEO, владельцам сайтов следует не забывать о важности внешней оптимизации. Если на сайте нет битых ссылок, но качественные бэклинки также отсутствуют, сложно будет выйти на высокие позиции.

Улучшить ситуацию с ссылочным весом поможет PRPosting. В сервисе более 44 000 доноров под разные ниши, гео, языки. Каждый владелец сайта сможет создать список ресурсов в соответствии со своим бюджетом. 

6. Выводы

Поисковик неработающих ссылок является полезным инструментом для всех веб-мастеров. Можно выбрать любой популярный инструмент, но важно правильно его использовать. Найти 404-ошибки легко, а вот удалить их бывает сложно. Поэтому нужно заранее подготовиться к рутине.

Можно долго спорить о вреде битых ссылок, но точно известно, что пользы они не приносят. Лучше не допускать их появления, а не исправлять ситуацию после оповещения в Search Console.

Часто задаваемые вопросы

Что такое чекер неработающих ссылок на сайте (устранение 404-ошибки)?

Это инструмент, анализирующий страницы сайта на наличие битых ссылок. Если ссылка выдает ошибку 404, чекер фиксирует это и показывает информацию в отчете.

Вредны ли неработающие ссылки для SEO?

Они вредны тем, что создают негативный опыт у пользователей и нарушают цепочку передачи ссылочного веса. Критичного в этом ничего нет, но лучше вовремя устранять такие проблемы.

Что приводит к неработающим ссылкам на сайте?

В основном проблема кроется в технических ошибках CMS, модулей или файла .htaccess. Вне зависимости от природы с битыми ссылками нужно бороться.

Сегодня я подготовил для вас материал, в котором я решил собрать свой опыт при работе с ошибками 404. Как проверить и найти ошибки 404 на своем сайте и почему это важно сделать?

Ошибка 404 на сайте означает то, что пользователь обратился к вашему сайту по такому url-адресу, страницы для которого в данный момент не существует.

Обратите внимание, что это не означает, что данной страницы вообще никогда не существовало. Она могла быть создана вами ранее, но позже вы могли переместить ее в другой раздел сайта, поменять ее название или что-то еще и автоматически изменился ее url-адрес. Кроме того, вы могли просто ее удалить.

Все бы ничего, но если на эту страницу были ссылки с вашего сайта, либо с других сайтов или она попадала в ранжирование поисковых систем, все переходы с таких мест на эту страницу, будут выдавать ошибку 404 — страница не найдена.

Как думаете есть ли на вашем сайте такие ошибки?

Признаться честно, я думал, что на моем сайте если такие ошибки и есть, то их не слишком много. Каково было мое удивление и ужас, когда я все настроил, проверил свой сайт и увидел реальную картину с ошибками 404 на своем сайте.

Вот скриншот из системы Яндекс Метрика:

Только за первые несколько дней, мне удалось найти 22 такие страницы.

Как думаете, сколько таких страниц у вас?

Большое количество 404 ошибок на вашем сайте может очень серьезно сказаться на показателях и посещаемости вашего сайта.

 Почему так происходит?

Большое количество 404 ошибок означает для поисковой системы:

+ Автор не следит за своим сайтом.

+ Автор пытается обмануть своих посетителей.

+ На сайте какие-то неполадки.

Зачем поисковой системе давать высокие позиции в поисковой выдаче таким сайтам? Соответственно, доверие поисковых систем к ним довольно серьезно снижается.

Чтобы этого не допускать, нужно постоянно проверять свой сайт на ошибки 404, находить их и устранять.

Как это можно сделать и где посмотреть есть ли они на вашем сайте или нет?

Здесь есть несколько вариантов, как это можно сделать. Давайте рассмотрим самые основные.

Вариант 1. Система Яндекс Метрика.

https://metrika.yandex.ru

Это система веб-аналитики сайта, которая может показать наиболее точную и информативную картину из всех вариантов, которые будут рассмотрены ниже.

Но, основная проблема здесь — это сложность настройки и передачи данных в эту систему.

По умолчанию, Яндекс Метрика не умеет учитывать такие переходы с ошибками 404. Для того, чтобы это стало возможным, необходимо настроить так называемые параметры визитов.

Но, человеку, который плохо разбирается в веб-разработке, сделать это может быть не совсем просто. Если у вас возникли трудности, можете обратиться ко мне, у меня есть специальная услуга по настройке ошибок 404 в системе Яндекс Метрика для вашего сайта.

Услуги веб-аналитики сайта.

Этот способ хорош также тем, что вы можете данные об ошибках 404 как метрики и использовать их при построении отчетов веб-аналитики. Это дает возможность отвечать на такие вопросы как:

1) С каких именно страниц приходили на ваш сайт и натыкались на ошибку 404.

2) Какая доля таких посещений от общего числа визитов

3) Когда именно была зафиксированна ошибка 404.

Вариант 2. Как посмотреть 404 ошибки в Яндекс.Вебмастер?

http://webmaster.yandex.ru

Страницы 404 находятся в разделе «Индексирование – Статистика обхода — Исключенные страницы»

Это хорошо, но таким способом вы можете увидеть не совсем полную информацию о вашем сайте, а только о тех страницах, которые так или иначе попадали в индекс поисковой системы Яндекс.

Вариант 3. Как посмотреть 404 ошибки в Google инструменты вебмастера.

http://www.google.com/webmasters/tools/

Этот способ аналогичен проверки ошибок 404 с помощью Яндекс Вебмастера. Картина здесь будет не совсем полная, но тем не менее, общую информацию вы можете получить.

Ошибки 404 в Google вебмастер можно найти здесь:

«Сканирование – ошибки сканирования».

После того, как вы отследите ошибки 404, на вашем сайте, нужно сделать 301 редирект на то место, где эти страницы на самом деле находятся.

Например, на wordpress это можно сделать с помощью следующего плагина.

Хороших позиций вашему сайту!

Ошибка 404 — это стандартный код ответа HTTP, который говорит о том, что страница не может быть найдена. Ошибка 404 означает, что, хотя сам сервер ответил на запрос, конкретная страница, показывающая ошибку, оказалась недоступна.

Обычно такую ошибку пользователи видят, когда переходят по ссылке, ведущей на несуществующую страницу.

Причины возникновения ошибок 404

Как правило, появление такой ошибки вызывают:

• перемещение страницы сайта без перенаправления старого URL-адреса на новый;
• ссылка на страницу, которая уже удалена;
• неправильное написание URL в адресной строке или ссылке;
• появление большого количества ошибок 404 может быть вызвано вирусной атакой (например, размещением на сайте дорвеев).

Как ошибки 404 влияют на ранжирование сайта?

Хотя ошибки 404 сами по себе не являются фактором ранжирования, они могут отрицательно повлиять на SEO-продвижение.

Даже единичные битые ссылки снижают поведенческие характеристики сайта, вызывая уход посетителей и рост показателя отказов. Это является негативным сигналом для поисковых систем. Официальные источники Яндекса и Google рекомендуют избегать неработающих ссылок на сайте. Большое количество таких ошибок негативно влияет на его ранжирование. Чем больше неработающих ссылок на вашем сайте, тем сложнее будет Google и другим поисковым системам сканировать сайт. Поисковые системы считают, что за состоянием такого веб-ресурса никто не следит, и понижают его позиции в результатах поиска. Страницы, отдающие ответ с ошибкой 404, исключаются из индекса (базы данных поисковой системы).

Полностью избежать возникновения ошибки 404 невозможно, она может возникнуть на любом сайте — где-то поменяли адрес, удалили какой-то раздел или страницу, а ссылки на них осталась. Например, это может произойти при удалении карточек товаров в интернет-магазинах.

Чтобы наличие на сайте таких страниц не привело к ухудшению ранжирования ресурса, они должны быть правильно настроены — давать код ответа 404 (Not Found). Именно такой ответ сообщает поисковому роботу, что данной страницы не существует, и предотвращает ее индексирование.

Страница может выглядеть нормальной, но при этом давать ответ 404 или наоборот — уже несуществующая страница возвращает ответ 200 (страница доступна). Это вводит в заблуждение поисковые системы.

Если вместо кода 404 будет даваться ответ 200, в индекс попадет множество бесполезных страниц, которые будут сканироваться поисковым роботом вместо страниц с качественным контентом.

Лучший способ сделать так, чтобы посетители не попадали на страницу 404 — регулярно проверять наличие на сайте так называемых «битых» ссылок, которые ведут на несуществующие страницы. Это касается как внутренней перелинковки, так и внешних ссылок на другие ресурсы.

Как обнаружить ошибки 404 с помощью сервиса Labrika

Отчет «Ошибки 4хх» вы сможете найти в левом боковом меню в разделе «Технический аудит».

Отчет содержит:

• URL-адрес страницы, которая отдала код ошибки 4xx.
• Информацию о коде ответа страницы.
• Кнопку для проверки HTTP-статуса — при нажатии на неё откроется сервис проверки HTTP-заголовков страниц.

• Список страниц, с которых ведут ссылки на данную страницу с ошибкой 404 — открывается при нажатии на кнопку «Показать».

Как исправить ошибки 404?

Необходимо удалить ссылки на несуществующие страницы или восстановить работоспособность этих страниц. В первую очередь исправляйте важные страницы с ошибками 404 — карточки товаров, страницы услуг и контактов и т. д.

• Самый простой способ исправить ошибки 404 – перенаправление. Если контент переместился, настройте перенаправление на новый адрес. В случае удаления содержимого перенаправьте пользователей на другую релевантную страницу на вашем сайте. По возможности делайте перенаправление на что-то актуальное и полезное, а не просто отправляйте обратно на свою домашнюю страницу.
• Восстановление страницы. Если удаленная страница продолжает пользоваться высоким спросом, и нет другого подходящего контента для переадресации пользователей, рассмотрите возможность восстановления исходной страницы.
• Исправление ссылок. При наличии на вашем сайте неработающих ссылок отредактируйте их так, чтобы ссылки указывали на правильный URL-адрес.
• Если вы безвозвратно удалили содержимое страницы и не планируете заменять его другим связанным контентом, позвольте старому URL-адресу возвращать код ответа 404.
• Создайте информативную страницу ошибки 404. Она должна сообщить пользователю, что документ по этому адресу отсутствует, и предоставить возможность перейти на другие разделы сайта. Иначе посетители могут уйти с веб-ресурса, что приведет к потере трафика и ухудшению поведенческих факторов.

Более подробно об оформлении страницы 404-й ошибки вы можете прочитать в отдельной статье нашего сайта.

Проверка битых ссылок

Введите URL-адрес

Кликнув на ссылку с количеством страниц вы откроете отчет с ссылками которые ведут на несуществующие страницы.

Как найти битые ссылки

Битые ссылки представляют собой URL, которые ведут пользователя на недоступные страницы. При переходе по такой ссылке отображается ошибка. В большинстве случаев, обнаружив битую ссылку на сайте, пользователь прекращает заходить на данный ресурс. Поэтому анализ сайта на наличие битых ссылок — чрезвычайно важная процедура, позволяющая вовремя исправить ошибки и не допустить снижения рейтинга страницы.

Основные причины появления неработающих URL:

• неправильно указан URL страницы;
• структура сайта была изменена;
• файл, на который ведет ссылка, был удален или перемещен;
• срок хранения файла, на который ведет ссылка, истек;
• адреса страниц, на которые ведет ссылка, были изменены;
• ресурс был заблокирован.

Как проверить сайт на наличие битых ссылок

Отчет позволит вам определить страницу донор, откуда проставлена ссылка, и анкор по которому она ссылается. Полученная информация упростит вам исправление или удаление битых ссылок.

С помощью сервиса Saitreport вы можете проверить на битые ссылки любой сайт. Такой способ проверки гораздо быстрее и эффективнее, чем самостоятельный поиск неработающих URL. Воспользоваться сервисом абсолютно просто:

• введите URL в строку анализа;
• запустите проверку;
• дождитесь результата.

Благодаря тщательному анализу, включающему в себя более двухсот параметров ресурса, вы получите удобный отчет со списком битых ссылок. Данный отчет можно выгрузить в формат .csv.

Результаты анализа кодов ответа будут представлены вам в виде ссылающихся страниц с указанием доноров и анкоров таких ссылок. Благодаря проверке битых ссылок на сайте Saitreport вы получите подробную информацию о ссылках, соответствующих коду ошибки 404, и рекомендации по их исправлению. Данные ссылки, в зависимости от причины их появления, можно удалить или исправить.

Заказ поиска битых ссылок на сайте Saitreport позволяет воспользоваться удобным онлайн-сервисом и получить подробные данные о состоянии сайта и угрозе снижения лояльности пользователей. Анализ страниц производится максимально быстро, поэтому вы можете выполнить большой объем работ и проверить до пятидесяти страниц, сэкономив свое время.

Битая ссылка — неработающая, ведет на несуществующую страницу на сайте. При переходе по такой посетитель увидит сообщение об ошибке. (Говоря техническим языком, сервер отправит код ответа 404 «Not found».)

Битые ссылки могут появиться из-за банальной ошибки при написании, а также страниц, которые раньше существовали, а потом были удалены или перенесены.

Вот что Click.ru сообщает при попытке перехода на несуществующую страницу

А вот что отвечает Amazon

Бывает и такой креативный подход (Convert Monster)

Главная проблема в том, что битые ссылки ухудшают поведенческие факторы сайта, влияющие на успех SEO-продвижения. Потому что не все посетители настойчивые и терпеливые: многие могут просто уйти, если возникают сложности с навигацией. К тому же избыток broken links — риск попасть под один из фильтров Google.

Рассказываем о 11 способах найти нерабочие ссылки на сайтах. Дальше дело будет за малым: останется вручную поправить их через панель управления или настроить 301 редирект.

Вебмастеры Яндекса и Google

В отчетах обоих этих официальных инструментов можно увидеть, сколько на сайте сломанных ссылок и где они находятся.

В Google Search Console: «Индекс» → «Покрытие» → «Ошибка 404». В Яндекс.Вебмастере: «Индексирование» → «Статистика обхода», а также «Ссылки» → «Внутренние ссылки».

Пример отчета Яндекс.Вебмастера по удаленным ссылкам

Естественно, этот способ проверки работает, только если есть права доступа к сайту. Чужой ресурс не получится проанализировать таким образом.

Читайте также: 26 полезных функций «Яндекс.Вебмастера»

Системы веб-аналитики

Самые популярные счетчики веб-аналитики тоже могут помочь обнаружить проблемы с работоспособностью ссылок.

Само по себе количество ошибочных переходов (на страницу 404) можно увидеть в отчетах:

• Яндекс.Метрики: «Содержание» → «Заголовки страниц».
• Google Analytics: «Поведение» → «Контент сайта» → «Все страницы» (выбрать параметр «Название страницы»).

Важно: при условии, что 404-страница имеет отличный от других title. Еще она, скорее, будет выделяться и в отчетах «Страницы выхода». Там как раз можно увидеть, насколько битые ссылки ухудшают юзабилити сайта.

В конструкторе Nethouse, например, заголовок 404 страницы по умолчанию выглядит так. По нему можно увидеть нерабочие URL

Кстати, с помощью Click.ru вы можете спарсить метатеги и заголовки с любого сайта. Первые 500 запросов — бесплатно. Дальше от 0,04 р. за запрос.

Отследить, где именно находится битая ссылка, немного сложнее. В Яндекс.Метрике для этого нужно:

1. Создать цель JavaScript-событие с идентификатором типа «error404», название сделать таким же.

2. Добавить в код страницы (XXXXXX — номер счетчика):

<script>
window.onload = function (){
ym(XXXXXX, 'reachGoal', 'error404');
}
</script>

3. Отслеживать в отчетах достижения этой цели по параметру «Страница входа».

Можно будет выбрать группировку по «Страница входа» и добавить метрику — «Целевые визиты» по указанному ID. Отчет покажет страницы, на которых срабатывала ошибка 404.

В Google Analytics можно сделать похожим образом, с помощью событий, или настроить специальный отчет (для этого проще взять шаблон Якова Осипенкова).

Пример отчета по битым внутренним ссылкам. «Страница» как раз показывает URL, который вызвал ошибку. (Для проверки внешних ссылок есть другой шаблон).

Эти фильтры Google Analytics тоже работают только в том случае, если 404-страница имеет уникальный заголовок (title).

Читайте также: 20+ ресурсов для обучения веб-аналитике: блоги, курсы, каналы, сообщества, рассылки

Сервисы комплексного SEO-анализа

Другой способ проверить сайт на битые ссылки — воспользоваться одним из сервисов для SEO-аудита.

Netpeak Spider предлагает найти не только broken links, но и дубли метатегов; проверить код сервера сервера, структуру сайта, редиректы, индексацию и др. Мощная фича: встроенный парсер для извлечения данных с различных ресурсов. Подписка стоит от 15 $ в месяц, есть бесплатный тариф.

Пример аудита от Netpeak Spider

Serpstat анализирует и битые ссылки, и битые картинки. И много чего еще делает: мониторит ссылочную массу, показывает ошибки в заголовках и метатегах, показывает позиции сайта в поисковиках и т. д. Подписка стоит от 55 $ в месяц, есть демо-доступ.

Так выглядит отчет Serpstat по URL с ошибками 404

Screaming Frog SEO Spider сканирует сайт и находит нерабочие ссылки, дубли, ошибки в метаданных, показывает структуру, анализирует редиректы, директивы и др. Лицензия на программу стоит 149 евро в год, однако поиск битых ссылок есть и в бесплатной версии.

Обзор 10 версии Screaming Frog

SEO Analysis & Website Review by WooRank отображает тайтл, дескрипшн и сниппет в Google, проверяет валидность Sitemap, мобильность, юзабилити, структурированные данные — и, конечно, битые ссылки тоже. Это расширение для Chrome, и оно бесплатное. (Правда, в отличие от других, подойдет только для небольших сайтов, так как надо анализировать постранично, вручную).

Оценка ссылок на странице от SEO Analysis & Website Review

Кстати, анализ битых ссылок может входить в функционал сервисов автоматизации рекламы и сквозной аналитики. Например, такая возможность есть у Alytics, Marilyn.

Специализированные инструменты

Вебмастерские, системы веб-аналитики, сервисы комплексного SEO-аудита не подходят — есть более узкие инструменты, заточенные чисто под поиск битых ссылок.

Xenu’s Link Sleuth — старая-добрая программа, проверяет сайты на наличие «сломанных» ссылок. Впрочем проверяет не только ссылки, но и изображения, фреймы, плагины, скрипты. Инструмент полностью бесплатный.

Так выглядит отчет Xenu’s Link Sleuth

Badlinks — онлайн-сервис, который предлагает как разовую, так и регулярную проверку «плохих» ссылок на сайте. Разовая стоит от 50 рублей, регулярная — от 250 рублей в год. Стоимость сильно варьируется, так как зависит от частоты анализа и размера сайта. Бесплатный поиск ограничен 10 страницами.

Так выглядит бесплатный отчет от badlinks.ru (хорошо видно, как всеми силами уговаривают пройти полную платную проверку)

Check My Links — расширение Chrome для поиска нерабочих ссылок на странице. Есть возможность скопировать весь список в буфер обмена, не учитывать ссылки на определенные домены, включить отслеживание nofollow. Инструмент абсолютно бесплатный.

Так выглядят результаты поиска в Check My Links (кстати, еще плагин подсвечивает их на самой странице)

Если работаете с Google Ads, обратите внимание на скрипт, который сканирует все посадочные страницы и сообщает о битых ссылках на почту. О других скриптах и том, как с ними работать, — в блоге Click.ru.

Читайте также: 35+ ресурсов для обучения SEO и развития в профессии