Как найти и исправить ошибки на сайте

Богдан Василенко

SEO-специалист SE Ranking

По каждому запросу поисковая система подбирает релевантные результаты — страницы, подходящие по тематике, и ранжирует их, отображая в виде списка. Согласно исследованиям, 99 % пользователей находят информацию, отвечающую запросу, уже на первой странице выдачи и не пролистывают дальше. И чем выше позиция сайта в топ-10, тем больше посетителей она привлекает.

Перед тем, как распределить ресурсы в определенном порядке, поисковики оценивают их по ряду параметров. Это позволяет улучшить выдачу для пользователя, предоставляя наиболее полезные, удобные и авторитетные варианты.

В чём заключается оптимизация сайта?

Оптимизация сайта или SEO (Search Engine Optimization) представляет собой комплекс действий, цель которых — улучшить качество ресурса и адаптировать его с учётом рекомендаций поисковых систем.

SEO помогает попасть содержимому сайта в индекс, улучшить позиции его страниц при ранжировании и увеличить органический, то есть бесплатный трафик. Техническая оптимизация сайта — это важный этап SEO, направленный на работу с его внутренней частью, которая обычно скрыта от пользователей, но доступна для поисковых роботов.

Страницы представляют собой HTML-документы, и их отображение на экране — это результат воспроизведения браузером HTML-кода, от которого зависит не только внешний вид сайта, но и его производительность. Серверные файлы и внутренние настройки ресурса могут влиять на его сканирование и индексацию поисковиком.

SEO включает анализ технических параметров сайта, выявление проблем и их устранение. Это помогает повысить позиции при ранжировании, обойти конкурентов, увеличить посещаемость и прибыль.

Как обнаружить проблемы SEO на сайте?

Процесс оптимизации стоит начать с SEO-аудита — анализа сайта по самым разным критериям. Есть инструменты, выполняющие оценку определенных показателей, например, статус страниц, скорость загрузки, адаптивность для мобильных устройств и так далее. Альтернативный вариант — аудит сайта на платформе для SEO-специалистов.

Один из примеров — сервис SE Ranking, объединяющий в себе разные аналитические инструменты. Результатом SEO-анализа будет комплексный отчёт. Для запуска анализа сайта онлайн нужно создать проект, указать в настройках домен своего ресурса, и перейти в раздел «Анализ сайта». Одна из вкладок — «Отчёт об ошибках», где отображаются выявленные проблемы оптимизации.

Все параметры сайта разделены на блоки: «Безопасность», «Дублирование контента», «Скорость загрузки» и другие. При нажатии на любую из проблем появится её описание и рекомендации по исправлению. После технической SEO оптимизации и внесения корректировок следует повторно запустить аудит сайта. Увидеть, были ли устранены ошибки, можно колонке «Исправленные».

Ошибки технической оптимизации и способы их устранения

Фрагменты кода страниц, внутренние файлы и настройки сайта могут негативно влиять на его эффективность. Давайте разберём частые проблемы SEO и узнаем, как их исправить.

Отсутствие протокола HTTPS

Расширение HTTPS (HyperText Transfer Protocol Secure), которое является частью доменного имени, — это более надежная альтернатива протоколу соединения HTTP. Оно обеспечивает шифрование и сохранность данных пользователей. Сегодня многие браузеры блокируют переход по ссылке, начинающейся на HTTP, и отображают предупреждение на экране.

Поисковые системы учитывают безопасность соединения при ранжировании, и если сайт использует версию HTTP, это будет минусом не только для посетителей, но и для его позиций в выдаче.

Как исправить

Чтобы перевести ресурс на HTTPS, необходимо приобрести специальный сертификат и затем своевременно продлевать срок его действия. Настроить автоматическое перенаправление с HTTP-версии (редирект) можно в файле конфигурации .htaccess.

После перехода на безопасный протокол будет полезно выполнить аудит сайта и убедиться, что всё сделано правильно, а также при необходимости заменить неактуальные URL с HTTP среди внутренних ссылок (смешанный контент).

У сайта нет файла robots.txt

Документ robots размещают в корневой папке сайта. Его содержимое доступно по ссылке website.com/robots.txt. Этот файл представляет собой инструкцию для поисковых систем, какое содержимое ресурса следует сканировать, а какое нет. К нему роботы обращаются в первую очередь и затем начинают обход сайта.

Ограничение сканирования файлов и папок особенно актуально для экономии краулингового бюджета — общего количества URL, которое может просканировать робот на данном сайте. Если инструкция для краулеров отсутствует или составлена неправильно, это может привести к проблемам с отображением страниц в выдаче.

Как исправить

Создайте текстовый документ с названием robots в корневой папке сайта и с помощью директив пропишите внутри рекомендации по сканированию содержимого страниц и каталогов. В файле могут быть указаны виды роботов (user-agent), для которых действуют правила; ограничивающие и разрешающие команды (disallow, allow), а также ссылка на карту сайта (sitemap).

Проблемы с файлом Sitemap.xml

Карта сайта — это файл, содержащий список всех URL ресурса, которые должен обойти поисковый робот. Наличие sitemap.xml не является обязательным условием, для попадания страниц в индекс, но во многих случаях файл помогает поисковику их обнаружить.

Обработка XML Sitemap может быть затруднительна, если ее размер превышает 50 МБ или 50000 URL. Другая проблема — присутствие в карте страниц, закрытых для индексации метатегом noindex. При использовании канонических ссылок на сайте, выделяющих их похожих страниц основную, в файле sitemap должны быть указаны только приоритетные для индексации URL.

Как исправить

Если в карте сайта очень много URL и её объем превышает лимит, разделите файл на несколько меньших по размеру. XML Sitemap можно создавать не только для страниц, но и для изображений или видео. В файле robots.txt укажите ссылки на все карты сайта.

В случае, когда SEO-аудит выявил противоречия, — страницы в карте сайта, имеющие  запрет индексации noindex в коде, их необходимо устранить. Также проследите, чтобы в Sitemap были указаны только канонические URL.

Дубли контента

Один из важных факторов, влияющих на ранжирование, — уникальность контента. Недопустимо не только  копирование текстов у конкурентов, но и дублирование их внутри своего сайта. Это проблема особенно актуальна для больших ресурсов, например, интернет-магазинов, где описания к товарам имеют минимальные отличия.

Причиной, почему дубли страниц попадают в индекс, может быть отсутствие или неправильная настройка «зеркала» — редиректа между именем сайта с www и без. В этом случае поисковая система индексирует две идентичные страницы, например, www.website.com и website.com.

Также к проблеме дублей приводит копирование контента внутри сайта без настройки канонических ссылок, определяющих приоритетную для индексации страницу из похожих.

Как исправить

Настройте www-редиректы и проверьте с помощью SEO-аудита, не осталось ли на сайте дублей. При создании страниц с минимальными отличиями используйте канонические ссылки, чтобы указать роботу, какие из них индексировать. Чтобы не ввести в заблуждение поисковые системы, неканоническая страница должна содержать тег rel=”canonical” только для одного URL.

Страницы, отдающие код ошибки

Перед тем, как отобразить страницу на экране, браузер отправляет запрос серверу. Если URL доступен, у него будет успешный статус HTTP-состояния — 200 ОК. При возникновении проблем, когда сервер не может выполнить задачу, страница возвращает код ошибки 4ХХ или 5ХХ. Это приводит к таким негативным последствиям для сайта, как:

• Ухудшение поведенческих факторов. Если вместо запрошенной страницы пользователь видит сообщение об ошибке, например, «Page Not Found» или «Internal Server Error», он не может получить нужную информацию или завершить целевое действие.
• Исключение контента из индекса. Когда роботу долго не удается просканировать страницу, она  может быть удалена из индекса поисковой системы.
• Расход краулингового бюджета. Роботы делают попытку просканировать URL, независимо от его статуса. Если на сайте много страниц с ошибками, происходит бессмысленный расход краулингового лимита.

Как исправить

После анализа сайта найдите страницы в статусе 4ХХ и 5ХХ и установите, в чём причина ошибки. Если страница была удалена, поисковая система через время исключит её из индекса. Ускорить этот процесс поможет инструмент удаления URL. Чтобы своевременно находить проблемные страницы, периодически повторяйте поиск проблем на сайте.

Некорректная настройка редиректов

Редирект — это переадресация в браузере с запрошенного URL на другой. Обычно его настраивают при смене адреса страницы и её удалении, перенаправляя пользователя на актуальную версию.

Преимущества редиректов в том, что они происходят автоматически и быстро. Их использование может быть полезно для SEO, когда нужно передать наработанный авторитет от исходной страницы к новой.

Но при настройке переадресаций нередко возникают такие проблемы, как:

• слишком длинная цепочка редиректов — чем больше в ней URL, тем позже отображается конечная страница;
• зацикленная (циклическая) переадресация, когда страница ссылается на себя или конечный URL содержит редирект на одно из предыдущих звеньев цепочки;
• в цепочке переадресаций есть неработающий, отдающий код ошибки URL;
• страниц с редиректами слишком много — это уменьшает краулинговый бюджет.

Как исправить

Проведите SEO-аудит сайта и найдите страницы со статусом 3ХХ.  Если среди них есть цепочки редиректов, состоящие из трех и более URL, их нужно сократить до двух адресов — исходного и актуального. При выявлении зацикленных переадресаций необходимо откорректировать их последовательность. Страницы, имеющие статус ошибки 4ХХ или 5ХХ, нужно сделать доступными или удалить из цепочки.

Низкая скорость загрузки

Скорость отображения страниц — важный критерий удобства сайта, который поисковые системы учитывают при ранжировании. Если контент загружается слишком долго, пользователь может не дождаться и покинуть ресурс.

Google использует специальные показатели Core Web Vitals для оценки сайта, где о скорости говорят значения LCP (Largest Contentful Paint) и FID (First Input Delay). Рекомендуемая скорость загрузки основного контента (LCP) — до 2,5 секунд. Время отклика на взаимодействие с элементами страницы (FID) не должно превышать 0,1.

К распространённым факторам, негативно влияющим на скорость загрузки, относятся:

• объёмные по весу и размеру изображения;
• несжатый текстовый контент;
• большой вес HTML-кода и файлов, которые добавлены в него в виде ссылок.

Как исправить

Стремитесь к тому, чтобы вес HTML-страниц не превышал 2 МБ. Особое внимание стоит уделить изображениям сайта: выбирать правильное расширение файлов, сжимать их вес без потери качества с помощью специальных инструментов, уменьшать слишком крупные по размеру фотографии в графическом редакторе или через панель управления сайтом.

Также будет полезно настроить сжатие текстов. Благодаря заголовку Content-Encoding, сервер будет уменьшать размер передаваемых данных, и контент будет загружаться в браузере быстрее. Также полезно оптимизировать объем страницы, используя архивирование GZIP.

Не оптимизированы элементы JavaScript и CSS

Код JavaScript и CSS отвечает за внешний сайта. С помощью стилей CSS (Cascading Style Sheets) задают фон, размер и цвета блоков страницы, шрифты текста. Сценарии на языке JavaScript делают дизайн сайта динамичным.

Элементы CSS/JS важны для ресурса, но в то же время они увеличивают общий объём страниц. Файлы CSS, превышающие по размеру 150 KB, а JavaScript — 2 MB, могут негативно влиять на скорость загрузки.

Как исправить

Чтобы уменьшить размер и вес кода CSS и JavaScript, используют такие технологии, как сжатие, кэширование, минификация. SEO-аудит помогает определить, влияют ли CSS/JS-файлы на скорость сайта и какие методы оптимизации использованы.

Кэширование CSS/JS-элементов снижает нагрузку на сервер, поскольку в этом случае браузер загружает сохранённые в кэше копии контента и не воспроизводит страницы с нуля. Минификация кода, то есть удаление из него ненужных символов и комментариев, уменьшает исходный размер. Ещё один способ оптимизации таблиц стилей и скриптов — объединение нескольких файлов CSS и JavaScript в один.

Отсутствие мобильной оптимизации

Когда сайт подходит только для больших экранов и не оптимизирован для смартфонов, у посетителей возникают проблемы с его использованием. Это негативно отражается на поведенческих факторах и, как следствие, позициях при ранжировании.

Шрифт может оказаться слишком мелким для чтения. Если элементы интерфейса размещены слишком близко друг к другу, нажать на кнопку и ссылку проще только после увеличения фрагмента экрана. Нередко загруженная на смартфоне страница выходит за пределы экрана, и для просмотра контента приходится использовать нижнюю прокрутку.

О проблемах с настройками мобильной версии говорит отсутствие метатега viewport, отвечающего за адаптивность страницы под экраны разного формата, или его неправильное заполнение. Также о нестабильности элементов страницы во время загрузки информирует еще показатель производительности сайта Core Web Vitals — CLS (Cumulative Layout Shift). Его норма: 0,1.

Как исправить

В качестве альтернативы отдельной версии для мобильных устройств можно создать сайт с адаптивным дизайном. В этом случае его внешний вид, компоновка и величина блоков будет зависеть от размера экрана конкретного пользователя.

Обратите внимание, чтобы в HTML-коде страниц были метатеги viewport. При этом значение device-width не должно быть фиксированным, чтобы ширина страницы адаптировалась под размер ПК, планшета, смартфона.

Отсутствие alt-текста к изображениям

В HTML-коде страницы за визуальный контент отвечают теги <img>. Кроме ссылки на сам файл, тег может содержать альтернативный текст с описанием изображения и ключевыми словами.

Если атрибут alt — пустой, поисковику сложнее определить тематику фото. В итоге сайт не сможет привлекать дополнительный трафик из раздела «Картинки», где поисковая система отображает релевантные запросу изображения. Также текст alt отображается вместо фото, когда браузер не может его загрузить. Это особенно актуально для пользователей голосовыми помощниками и программами для чтения экрана.

Как исправить

Пропишите альтернативный текст к изображениям сайта. Это можно сделать после установки SEO-плагина к CMS, после чего в настройках к изображениям появятся специальные поля. Рекомендуем заполнить атрибут alt, используя несколько слов. Добавление ключевых фраз допустимо, но не стоит перегружать описание ими.

Заключение

Технические ошибки негативно влияют как на восприятие сайта пользователями, так и на позиции его страниц при ранжировании. Чтобы оптимизировать ресурс с учётом рекомендаций поисковых систем, нужно сначала провести SEO-аудит и определить внутренние проблемы. С этой задачей справляются платформы, выполняющие комплексный анализ сайта.

К частым проблемам оптимизации можно отнести:

• имя сайта с HTTP вместо безопасного расширения HTTPS;
• отсутствие или неправильное содержимое файлов robots.txt и sitemap.xml;
• медленная загрузка страниц;
• некорректное отображение сайта на смартфонах;
• большой вес файлов HTML, CSS, JS;
• дублированный контент;
• страницы с кодом ошибки 4ХХ, 5ХХ;
• неправильно настроенные редиректы;
• изображения без alt-текста.

Если вовремя находить и исправлять проблемы технической оптимизации сайта, это поможет в продвижении — его страницы будут занимать и сохранять высокие позиции при ранжировании.

В этой статье мы рассмотрим, как с помощью сервиса Labrika обнаружить и исправить на сайте HTML-ошибки. Информация о таких ошибках будет полезна как для владельца веб-ресурса, который контролирует работу своего SEO-специалиста и хочет знать, какие нерешенные проблемы есть на сайте, так и для оптимизаторов, поскольку им нужно оперативно обнаружить и исправить все изъяны, мешающие продвижению ресурса.

HTML (от англ. HyperText Markup Language) — это язык гипертекстовой разметки, который применяется на каждой веб-странице в интернете и состоит из множества элементов (тегов). Как правило, ошибками в коде HTML являются незакрытые или дублированные элементы, неправильный порядок их расположения, неверные атрибуты или их отсутствие.

На примере ниже в коде страницы присутствует закрывающий тег ссылки </a> без открывающего тега <a>:

Для проверки валидности кода (то есть соответствия стандартам HTML) используются специальные инструменты. Они проверяют:

• Синтаксические ошибки: пропущенные символы, ошибки в написании тегов.
• Нарушения вложенности тэгов: незакрытые и неправильно закрытые теги. По правилам теги закрываются так же, как их открыли, только в обратном порядке.
• Соответствие кода указанному DTD (Document Type Definition): правильность названий тегов, вложенности, атрибутов. Наличие пользовательских тегов и атрибутов.

Как HTML-ошибки влияют на продвижение сайта?

Как отмечал представитель Google Джон Мюллер, валидность кода HTML не является прямым фактором ранжирования, однако критические ошибки в HTML мешают:

• сканированию сайта поисковыми ботами;
• определению структурированной разметки на странице;
• отображению на мобильных устройствах и кроссбраузерности.

В первую очередь наличие ошибок в коде HTML может привести к тому, что часть контента страницы не будет проиндексирована.

О том, что следует использовать действительный HTML, сказано в Рекомендациях Google для веб-мастеров. Среди авторитетных SEO-источников бытует мнение, что фильтр Google Panda может быть наложен на сайт за большое количество таких ошибок (отдельную статью об алгоритме Google Panda вы можете прочитать на нашем сайте).

Официальные источники Яндекса также сообщают, что подобного рода ошибки на сайте нежелательны, а верстка страниц должна соответствовать принятым стандартам.

Почему важно проверять наличие HTML-ошибок?

Ошибки в коде HTML могут быть критическими и несущественными, которые не ведут к серьезным потерям. Что касается критических, то одни из них отрицательно сказываются на функционировании сайта, а другие — на работе поисковых систем.

Современные браузеры автоматически исправляют 99% критических ошибок при загрузке сайта. Однако некоторые из них браузер исправить не может. Например, если тег <а> для создания ссылки не содержит адреса, то браузер не сможет определить, куда её направить. Или в теге <img> для размещения картинки не указан путь к ней, тогда браузер не сможет её подгрузить. Наличие таких ошибок в коде может привести к серьезным последствиям — например, не загрузятся фото товара или не будет работать корзина.

Поисковые системы также автоматически исправляют часть HTML-ошибок, но у них возникает следующая проблема: если браузеры в состоянии потратить несколько секунд на исправление ошибок, то у поисковых роботов нет такой возможности. Им приходится сканировать сотни миллиардов страниц ежемесячно, поэтому боты не могут тратить время на устранение всех ошибок. Некоторые из них поисковые системы игнорируют, а также могут не включать в индекс содержащие их страницы или проиндексировать только часть контента таких страниц.

Веб-мастера и пользователи просматривают сайты в браузере, где большая часть HTML-ошибок исправляется автоматически, и поэтому не придают им большого значения. Зачастую даже разработчики не исправляют элементарных грубых ошибок в разметке. Это приводит к тому, что критические для поисковых систем ошибки остаются на сайтах и могут стать причиной неправильной индексации страниц. В результате бюджеты на продвижение будут потрачены неэффективно, а источник проблемы так и остается неустановленным.

Как обнаружить HTML-ошибки с помощью сервиса Labrika

Labrika проверяет данные ошибки двумя способами:

1. С помощью валидатора W3C, который проверяет наличие всех HTML-ошибок.
2. С использованием валидатора Labrika «Критические ошибки HTML». Он устанавливает только те ошибки, которые могут повлиять на сбор данных поисковыми системами или привести к некорректному отображению сайта и нарушениям в его работе. определяет порядка 15 видов таких ошибок.

Отчет » Критические ошибки HTML» вы сможете найти в левом боковом меню в разделе «Технический аудит».

Актуальные данные в отчете вы сможете увидеть после запуска проверки сайта.

Отчет показывает:

• Страницы, которые содержат критические ошибки HTML.
• Количество и описание критических HTML-ошибок на данной странице.

При клике по их числу осуществляется переадресация на валидатор W3C, в котором вы сможете найти подробную информацию обо всех имеющихся в коде страницы ошибках.

Как исправлять HTML-ошибки?

Критические HTML-ошибки необходимо исправлять в первую очередь, так как поисковые системы могут отреагировать на них отрицательно. Влияние прочих ошибок на продвижение в поиске не доказано.

Если для исправления ошибок требуется передать их список специалисту по верстке, с помощью кнопок в правой части страницы отчета вы можете скачать его данные в формате таблицы Excel или поделиться ссылкой на отчет по HTML-ошибкам с другими пользователями.

После нажатия на значок ссылки появится следующее всплывающее окно:

Кнопка, которая расположена справа от ссылки, позволяет скопировать её в буфер обмена. Отчет по ссылке будет доступен даже тем, кто не имеет аккаунта в Labrika.

Для ускорения работы по исправлению HTML-ошибок можно воспользоваться редакторами, которые автоматически создают закрывающие теги для документов HTML (например, Bluefish, Notepad++).

Как проверить сайт на ошибки и их исправить

21.05.2018

Шутки ради: Тебе не нужно исправлять ошибки на сайте – если у тебя нет сайта.

Содержание:

1. Как найти ошибки на сайте через Яндекс Вебмастер
2. Поиск мусорных страниц и ошибок
3. Продолжаем искать ошибки на сайте
4. Исправляем ошибки: дубликаты страниц
5. Исправляем ошибки: находим и убираем «битые ссылки»
6. Исправляем ошибки: Оптимизация картинок
7. Исправляем ошибки: Два заголовка H1
8. Исправляем ошибки: Отсутствие заполненных мета тегов

Сайты без ошибок и с быстрой скоростью загрузки могут получить ТОП даже без ссылок. Конечно поисковые системы отдают предпочтения сайтам которые хорошо оптимизированы имеют четкую и понятную структуру для поисковых роботов.

О поисковых роботах

У поисковых систем есть специальные роботы которые посещают ваш сайт и скачивают всю информацию о странице и ее данных, а именно заголовок страниц, название статей и других метатегов Их несколько видов и вот самые основные на примере Яндекса:

• YandexBot — основной робот Яндекса, обходит и скачивает всю информацию;
• YandexImages – индексирует картинки для поиска;
• YandexBlogs — робот поиска по блогам исоциальным сетям;
• YandexWebmaster – приходит придобавлении сайта через форуму Веб Мастер;
• YandexPagechecker – проверяет ошибки в разметке сайта;
• YandexFavicons — индексатор фавиконок картинок в браузере

Поисковые роботы ежеминутно и ежедневно проводят обновления своей базы обновляя поисковую выдачу новыми данными и на благодаря им вы получаете более свежую и актуальную информацию, например о свежих новостях. Они сортируют информацию и сохраняют в соответствующий раздел своего сервера по специальным метатегам.

А если там ошибки, то и поисковый робот не может правильно разметить информацию на сайте и понять о чем та или иная страница. Уже исправив ошибки на сайте можно начать получать трафик из поисковой выдачи.

Вот например в рекомендациях от Яндекс написано:

• Необходимо поддерживать четкую внутреннюю ссылочную структуру.
• Использовать карту сайта (sitemap) для роботов.
• Ограничение служебных страниц в robots.txt, а информации в специальные закрывающие от индексации <noindex>.
• Быть внимательнее с движками (CMS) для сайта. Они грузят поиск ненужными техническими страницами и битыми ссылками.

Как найти ошибки на сайте через Яндекс Вебмастер

Чтобы исправить ошибки на сайте их во первых нужно найти =) Для этого добавляем сайт в сервис Яндекс Вебмастер, предварительно зарегистрировав почту на Яндекс .

После чего вам предложат подтвердить права на сайт тремя разными способами, то есть доказать сервису что домен принадлежит вам.

Лично мне проще загрузить файл через FTP клиент (скачать можно тут) поэтому я выбираю этот способ.

После загрузи этого файла на ваш сервер с сайтом нажмите кнопку подтвердить и подождите пока информация обновиться по вашему сайту. Это происходит как за несколько часов так до нескольких дней.

После чего выполняем рекомендации и например как в моем примере заполняем <description> на те которые сам покажет инструмент Яндекс Вебмастер.

Приоритет обязательно отдавайте Фатальным и Критичным ошибкам ведь они на прямую влияют на ранжирование сайта.

Удобство Яндекс Вебмастер заключается в том, что там понятным языком написано что нуждается в доработке, а также предложено решение по исправлению, ну а если появятся вопросы, то задавайте их в комментариях.

Углубляемся в поиск мусорных страниц и ошибок

В Веб Мастере есть замечательная функция и находится она в разделе Индексирование > Статистика обхода.

Тут мы видим все страницы куда заглядывает поисковый робот и какую информацию он скачал для поисковой системы, ошибки, редиректы и прочую нужную информацию.

Внизу с права есть функция выгрузки этих данных для удобства работы в Exel. Выгружаем, открываем, сомотрим.

Чтобы нам не просматривать одни и те же страницы, рекомендую воспользоваться функцией удаление дубликатов а колонке A.

Все технические, информационные, мусорные страницы должны быть запрещены к индексации в robots.txt, но сначала выпишите их в отдельный текстовой документ. О настройке файла robots.txt мы будем говорить в следующей статье (Части 3).

Вот например технические страницы движка WordPress. Это папка /wp-json/ и все что с ней связано, а также страницы /?p=. Такие страницы тянут сайт внизу, так как поисковые системы думают что сайт захламлен техническими данными и за ним никто не смотрит, а значит доверия к ним меньше.

Просмотрите все страницы, выпишите «мусорные» страницы и сохраните в текстовом файле, они нам потребуются позднее.

Продолжаем искать ошибки на сайте

Тут нам уже понадобиться определенный софт, например Netpeak Spider. Очень удобная программа причем «условно» бесплатная. В ней есть 14 дней тестового доступа без ограничения функционала. Эти две недели с «головой» хватит для аудита простого сайта. Вот ссылка https://netpeaksoftware.com/ru/spider

Инструмент позволит найти:

Битые ссылки – то есть ссылки на несуществующие страницы сайта и выдающие ошибку 404 (отсутствие страницы). Ссылки на несуществующие страницы тянут сайт вниз, такая как поисковая система думает что сайтом не занимаются и понижают в выдаче.

• Дубликаты страниц и текста – страницы с дублирующимся контентом плохо или вообще не получают трафик (посетителей). Поиск просто не может понять на какую страницу вести пользователя и иногда исключает из выдаче обе страницы.
• Находит страницы без внутренних ссылок – как известно весь интернет это миллиарды ссылок если с вашей страницы невозможно уйти на другую то образуется «тупик» или по-другому «висячий узел», что негативно влияет на получение трафика на страницу.
• Отсутствие заполненных мета тегов – очень важный инструмент для поискового робота. Именно по ним робот получает информацию о чем ваш сайт или конкретная страница. Нет мета тегов – нет трафика.
• Максимальный размер изображения – скорость загрузки сайта напрямую зависит от его оптимизации, а если картинка или фотография загружается по 20-30 секунд это никуда не годится.
• Одинаковые мета теги Title и H1 – Делайте теги с максимальным вхождением ключевого запроса о котором страница, но все хорошее в меру.  По умолчанию рекомендуемый максимальный размер тега H1 не более 65 символов, а тега title не более 120.

Исправляем ошибки: дубликаты страниц

Дубликаты страниц нужно удалить или поставить с них 301 редирект. Если у вас сайт на движке CMS WordPress то вам поможет плагин «Перенаправления». Скачать вы его можете в админ панели во вкладке Плагины > Добавить новый.

Или сделайте через файл .htaccess, просто добавив в него следящий текст

RewriteCond %{REQUEST_URI} ^/test/$

RewriteRule ^.*$ http://site.ru/new-test/? [R=301,L]

Где в первой строчке /test/ это с какой страницы, а на второй строчке куда переводить.

Исправляем ошибки: находим и убираем «битые ссылки»

Если вы не видите «битые» то есть ведущие на несуществующие страницы ссылки, то это не значит, что поисковой робот их не видит.

Принцип работы поискового робота как раз заключается в переходе по каждой ссылке и получение информации о следующей странице, а если страница не существует то сервер выдает ошибку.

Вывод: сайтом не занимаются. Итог: понижение в выдаче. Результат: Отсутствие посетителей.

Для поиска битых ссылок также можно использовать бесплатную программу Xenu. Она проста в использовании и понятна.

Убираем ссылки на несуществующие страницы. При использовании «дивижка» сайта убрать ссылку не составит труда. Заходим в редактирование страницы с битой ссылкой и убираем ссылку.

Если движок отсутствует, то заходим через FTP доступ на сервер и редактируем страницу вручную. Нам необходимо найти ссылку в коде страницы.

Ссылка имеет вот такой HTML код:

<a href=»ссылка на страницу»>ТЕКСТ ССЫЛКИ</a>

Убираем весть HTML код кроме «ТЕКСТ ССЫЛКИ», тем самым мы уберем ссылку и избавимся от ошибки.

Исправляем ошибки: Оптимизация картинок

Чем быстрее грузится сайт, тем лучше. Для этой проверки есть специальные сервисы, например бесплатные от Google Page Speed Insights. Он не только покажет скорость сайта, но и каждой страницы в отдельности.

В 70% случаев причина медленной загрузки страницы это неоптимизированные картинки, а остальные 30% это скрипты, сервер и само программирование.

Каждую картинку необходимо сделать меньшим объемом и без потеря качества. Для оптимизации можно воспользоваться сервисом https://tinyjpg.com/.

Необходимо загрузить картинку на сервис, а потом скачать оптимизированную картинку и заменить ее на самом сайте.

Готово! И так должно быть с каждой картинкой.

Исправляем ошибки: Два заголовка H1

Этот мета тег на должен быть на странице только один, то есть в коде он должен встречать один раз. Найти его можно открыв HTML код страницы. Если вы используете браузер Chrome делается это комбинациями клавиш  Ctrl + U.

Дальше проверяем саму страницу. Ищем мета тег H1. Нажимаем сочетание клавиш Ctrl+F и вводит в поиск h1 или <h1 если тегу присвоен класс.

Если вы находите более одного тега h1 то это ошибка и ее нужно исправлять.

Скажу сразу, если нет навыков в HTML сайта и знания CSS то рекомендую обратиться к программисту для исправления этой ошибки.

Каждый заголовок имеет свой класс, а соответственно и вид отображения на странице, но можно попробовать заменить в коде h1 на h2. Если это повлияло на отображение сайта, то верните все обратно и обратитесь к программисту. Стоимость таких работ от 200 до 500 рублей.

Исправляем ошибки: Отсутствие заполненных мета тегов

Тут все просто. Заполните данные основываясь на самой информации которую несет страница. Если страница о «как похудеть к лету», то рекомендую делать заголовки и title «цепляющими». Ведь именно title видят пользователи поисковиком.

Чтобы не ломать голову воспользуйтесь контекстной рекламой. Конечно не в прямом смысле, а введите продвигаемый запрос и посмотрите выдачу.

Теперь генерируем например вот так: Как похудеть к лету – 10 килограмм в домашних условиях!

Если у Вас остались вопросы задайте их в комментариях, обязательно отвечу на них, теперь переходим дальше: Продвижение сайта — настройка robots.txt — часть 3

Автор: Аграчев Михаил

IT компания вкладывает средства и людские ресурсы в развитие своего сайта, но это дает слабую отдачу. В чем причина?

Индексирует ли поисковая система все страницы? Не сигналит ли сервер об ошибках? Нет ли дублирующихся страниц? Правильно ли сделана разметка?

Исправляем самые распространенные технические ошибки сайтов вместе с Иваном Ждановичем — основателем и директором агентства Seo House.

В целом спикер интернет-маркетингом занимается уже более 15 лет. Семь из них сосредоточен именно на продвижении на западные рынки.

Основная специализация Ивана Ждановича — SEO и PPC. В его портфолио есть немало кейсов, в которых он со временем выводил IT проект на первое место в весьма конкурентных тематиках. Ведет свой блог, преподает в вузах и регулярно проводит вебинары.

Обратите также внимание на другие статьи Kraftblick.Media по теме:
Как IT компаниям использовать Search Console для SEO-продвижения сайта: ошибки индексирования, удаление страниц, пользовательский опыт, анализ ссылок.
Как IT компании сделать полный технический SEO-аудит своего сайта: самые распространенные ошибки и способы их исправления.
Как IT компании провести A/B тестирование сайта и увеличить конверсию в лиды с помощью Google Optimize [пошаговая инструкция].
Как провести SMM-аудит сайта или блога IT компании.

В этой статье вы прочитаете:

• Ошибка #1. Поисковая система не индексирует страницы
• Ошибка #2. Пользователь получает сообщения об ошибках 301 и 404
• Ошибка #3. Страницы сайта дублируются
• Ошибка #4. Неправильно реализована разметка
• Ошибка #5. Низкая скорость загрузки сайта
• Как влияет техническая оптимизация сайта: на примере кейсов

Ошибка #1. Поисковая система не индексирует страницы

Сегодня хотелось бы обсудить влияние SEO сайта на поисковое продвижение.

Часто разработчики преувеличивают значение технической оптимизации, а SEO-специалисты преуменьшают. Но здесь должна быть золотая середина и отдельный подход для каждого сайта.

Сейчас мы разберем топ-5 популярных ошибок, которые могут затруднять получение хорошего результата в продвижении.

И первая из них — ошибка индексации.

Многие наши клиенты ведут блоги компаний, занимаются наполнением услуг, но никогда не задумываются, а видит ли данный контент поисковая система Google.

А ведь если поисковые роботы не пришли на вашу страницу или пришли, но контент им не понравился, то это губительно будет сказываться на результатах сайта.

Следует помнить, что поисковая система — это коммерческая организация, которая хочет заработать деньги. А хранение данных — это дополнительные мощности серверов и их обслуживание, а значит, и дополнительные траты.

Даже если на молодом сайте добавить суперкрутую статью, поисковая система может проигнорировать ее, посчитав, например, что она не очень полезная, и таким образом сэкономить свои лимиты на обход.

Как посмотреть индексацию сайта?

Поисковая система Google предложила удобную панель Search Console, в которой собраны все важные данные. Пример на изображении ниже:

На изображении видны основные параметры сайта, которые смогут показать состояние и эффективность его работы.

Пример плохой индексации сайта

И сразу хочется привести пример одного проекта, в котором много страниц не проиндексировано.

На изображении видна панель вебмастера сайта услуг, где более 1500 страниц и 602 из них не проиндексированы. Здесь необходимо разбираться, что не так с проектом и в чем его проблема.

Для этого стоит перейти в раздел “Индексирование” -> “Страницы”:

Здесь присутствуют важные пункты “Обнаружена, не проиндексирована” и “Страница просканирована, но пока не проиндексирована”.

Для работы с индексом документов необходимо выгрузить все страницы для вышеперечисленных пунктов и провести анализ контента. А что для этого необходимо сделать?

Первым делом — проверить уникальность текстов при помощи какой-то антиплагиат-программы.

Далее проверить читабельность текста. Он должен помогать пользователю решить проблему. И обязательно проверить форматирование текста. На страницы должны быть изображения, списки и при необходимости таблицы.

Многие клиенты возражают, что “мои страницы качественные, но Google не хочет их индексировать”. Так что же делать?

Поисковая система Google и на это дает ответ. Есть сервис Google Cloud, где можно с помощью программиста и API сервиса отправлять на переиндексацию 200 страниц в день.

Ошибка #2. Пользователь получает сообщения об ошибках 301 и 404

Каждый раз, когда пользователь или поисковый робот хочет перейти на тот или иной сайт, они получают ответы сервера. Часто это код 200. Это значит, что сайт корректно работает и претензий к нему нет.

Но бывает, встречаются и ошибки с кодами ответа сервера 301 и 404.

Код ответа 301

Код ответа 301 означает, что запрашиваемая страница перемещена на другую страницу. Визуально пользователи не видят это перемещение, т.к. оно происходит мгновенно. И в целом это неплохой инструмент для разработчика и веб-мастера, но есть одно но.

Страницы на сайте перемещаются в другой раздел или папку. Изменяется адрес документа, а ссылка на старую страницу остается. Для пользователей это не имеет особого значения, а вот для поисковых роботов это очень даже важно.

Поисковая система выделяет определенные лимиты на каждый сайт, на их основании поисковые роботы и перемещаются по проекту.

Так вот, если ссылка на перемещенный документ не была удалена, то робот будет ходить по ссылкам на каждый документ в независимости от кода ответа сервера.

Т.е. для 301 редиректа будет тратиться уже не один лимит, а два, три или даже пять.

А теперь представим, что на сайте с 1 миллионом страниц существует 100 тысяч 301-х редиректов. А лимитов дано сайту всего 1000 в день.

Только страницы с перенаправлениями поисковые роботы будут обходить более 3 месяцев! А это бесполезные страницы с точки зрения SEO.

Как найти 301 редиректы на сайте? Их можно посмотреть в инструменте Google Search Console в пункте “Страница с переадресацией”:

Также есть хороший платный инструмент Screaming Frog, где можно проанализировать 500 страниц бесплатно и увидеть все ошибки ответов сервера сайта. Аналогом данного инструмента может являться бесплатный сервис Site Analyzer.

Frog дает возможность выгрузить страницы со всеми необходимыми данными. Получив их, владелец сайта может без помощи программиста зайти в администраторскую панель и на каждой странице сайта внести нужные корректировки.

Код ответа 404

Это стандартный код ответа сервера, сообщающий про удаление страницы для пользователя и поискового робота. Данный код полезен при правильном его применении.

При этом на проектах клиентов страницы удаляются, а вот ссылки продолжают размещаться в тексте.

По статистике, пользователь, переходящий по такой нерабочей ссылке, в 62% случаев закрывает сайт, а поиск тратит драгоценные лимиты индексации на несуществующие страницы.

Как найти ссылки 404 страницы? Все удаленные ссылки размещаются в сервисе Search Console:

Для сканирования битых ссылок подойдет инструмент Screaming Frog. Выгрузить все данные и удалить ненужные ссылки сможет владелец сайта.

Важно понимать, что неправильное использование 301 и 404 ответов кода сервера может ухудшать индексацию сайта только в большом процентном соотношении таких ссылок к страницам сайта.

Если у вас на сайте 1000 страниц, а ошибок всего лишь 5, то они никак не навредят вашему проекту и рекомендуется обратить внимание на другие работы по оптимизации проекта.

Ошибка #3. Страницы сайта дублируются

Ошибка #4. Неправильно реализована разметка

Хорошо размеченный документ позволяет правильно понять его структуру и содержание и лучше ранжироваться в поисковой системе Google.

Разметка повышает кликабельность объявлений в поиске пользователей и как следствие — количество продаж.

Как и все технологии, разметка модернизируется, дополняется и устаревает. Некоторые форматы перестают быть актуальными. Итогом всех изменений становятся ошибки на сайте. Где-то поле стоит добавить, а где-то уже необходимо убрать.

Где можно посмотреть ошибки разметки? В Search Console есть соответствующий блок:

Инструмент описывает суть проблемы и предлагает варианты ее решения. Для исправления ошибок разметки необходимо привлекать разработчика или SEO-специалиста.

Владельцем без знания основ HTML не рекомендуется вносить правки в код сайта.

Ошибка #5. Низкая скорость загрузки сайта

Данный пункт могут смотреть только владельцы с медленными сайтами или теми сайтами, которые грузятся более 3 секунд. Если у вас сайт грузится быстрее, то рекомендую обратить внимание на другие пункты и задачи по оптимизации.

Скорость загрузки сайта можно проверить при помощи Вебмастера Яндекс. Он, как и Search Console, бесплатный и имеет много инструментов:

Если вы проверили скорость сайта и она более 3 секунд, то вам стоит посетить следующий сервис от Google Page Speed:

Для улучшения скорости сайта вам потребуется разработчик. Оптимизацию больших изображений может сделать вручную владелец портала, но оптимизацию скриптов лучше доверить программисту, т.к. это повлияет на работоспособность сайта.

Как влияет техническая оптимизация сайта: на примере кейсов

Приведем несколько примеров технической оптимизации ресурсов и результаты поискового трафика из нашей практики.

1. На проекте был проведен технический аудит сайта и исправлены все ошибки. Текстовая оптимизация и другие работы не проводились.

Результат: рост поискового трафика на 284%:

2. На проекте половина созданных страниц отсутствовала в индексе.

После подключения Google API и отправки страниц через сервис Google Cloud поисковый трафик начал расти.

На скрине показан рост кликов в 3 раза из органической выдачи поисковой системы Google:

3. После проведения технической оптимизации на проекте на 16% увеличилось количество кликов и показов.

Здесь были приведены проекты, где техническая оптимизация дала положительные результаты. Но не везде и не всегда она дает хороший рост трафика и позиций.

Нужно приоритизировать задачи по их важности и получению эффекта/прибыли.

Если соотношение технических ошибок невелико и составляет 2% от общей массы страниц, то рекомендуется обратить внимание на другие задачи по SEO-оптимизации.

Но в любом случае не следует забывать, что ваш сайт должен быть удобен и прост для обычного пользователя.

У каждого веб-мастера возникают вопросы при проведении внутренней оптимизации сайта, кстати, я уже писал об основных ошибках при проведение оптимизации. Они связаны в основном с комплексом проводимых работ, и их содержанием. Что в них входит, а что лучше не делать?

Чтобы определить этапы проведения аудита сайта, необходимо помнить о его конечной цели – оптимизации ресурса. Какие ошибки и недоработки требуют больше внимания, а какие меньше?

Мы решили разобраться с этими и другими вопросами для составления комплексного подхода к внутренней оптимизации. Это позволит перераспределить силы на исправление ошибок по уровню приоритетности.

Как составить план проведения аудита?

Комплексное изучение ошибок на сайте включает следующие этапы:

• анализ дизайна десктопной/мобильной версии;
• анализ контента (в том числе старых статей);
• исследование наиболее проблемных областей функционирования ресурса – мета-тегов, скорости загрузки страниц, редиректов, кодов ответа сервера, прочих;

После его проведения необходимо сгруппировать ошибки по уровню приоритетности решения. Это позволит при минимальных временных затратах провести ревизию самых серьезных ошибок.

Главное, о чем стоит помнить – аудит сайта не панацея, и новые ошибки возникают в процессе всего жизненного цикла сайта. Поэтому необходим постоянный контроль ресурса, и его профилактика в виде периодических проверок на наличие недоработок.

Как проанализировать и оптимизировать дизайн?

Дизайн и посты – основная ценность, которую сайт представляет собой пользователю. Причем они эффективно работают только в тандеме, – невозможно сделать популярным сайт с красивым дизайном и отвратительными статьями.

Начнем с дизайна. С каждым годом новые веяния определяют визуальную составляющую миллионов ресурсов. В последнее время преобладает минималистический стиль. Он останется актуальным и в следующем 2017 году, претерпев при этом некоторые видоизменения:

Хаотичность при распределении элементов сетки на странице;

Расположение элементов страницы в табличном порядке отходит в прошлое. Теперь в моде их распределение в уникальном, отчасти случайном порядке. Иногда изображения даже наезжают друг на друга. Таким образом сайт приобретет индивидуальность, чем выделяется на фоне остальных ресурсов.

Включение динамических структур и композиций в формат страниц;

В следующем году на страницах ресурсов появится больше видео- и мини-презентаций.

С целью наибольшего вовлечения пользователей дизайнеры все больше отходят от классического статичного оформления. Они превращают сайты в высокотехнологичные площадки, которые удивляют размахом фантазии.

Монохромность;

Минимализм прогрессирует в различных направлениях. В том числе, и в использовании цветовой гаммы. Многие дизайнеры считают, что однотонные страницы и изображения производят большее впечатление на потенциального клиента.

Использование шрифтов в качестве основных графических элементов.

Текст в своем визуальном выражении становится основным графическим элементом. В противоположность сайтов, которые передают информацию в виде картиноки видео, появляются сайты с исключительно текстовым содержанием.

Далее необходимо определить, насколько сайт отвечает указанным тенденциям. Необходимо взять лист бумаги, и по 10-балльной шкале оценить соответствие сайта каждому из пунктов. Также полезен опрос среди пользователей ресурса по поводу дизайна.

Естественно, чтобы следовать этим трендам, необходим опытный дизайнер с индивидуальным стилем. Если не пожалеть средств на такого специалиста, результат превзойдет сам себя.

Как проанализировать старые статьи и писать крутые новые?

Ценность информации и текстовое наполнение ресурсов играет ключевую роль в его ранжировании в поисковой выдаче. В связи с этим владельцы сайтов изменили свое отношение к статьям и публикациям. Если раньше существовала возможность закупить ссылок и вывести сайт в топ, то сейчас такие действия приведут к немедленным санкциям.

Успешная публикация в наше время соответствует следующим требованиям:

• сейчас хорошо ранжируются лонгриды, поэтому информационная статья – 4500-5000 знаков, пресс-релиз – до 2500;
• прослеживается четкая структура, как минимум – несколько заголовков второго порядка;
• отсутствуют орфографические, стилистические и пунктуационные ошибки;
• наполнение – максимум полезной информации, практические кейсы, примеры;
• разнообразие в контенте – видео, gif-изображения, широкоформатные картинки, flash-анимация, текст;

Следуя этим рекомендациям, веб-мастер без проблем напишет интересную статью. Это повысит интерес пользователей к площадке, и увеличит объем привлекаемого трафика.

Ранее я писал о том, как нужно работать со старыми статьями на сайте.

 Загрузка …

Как проверить наиболее проблемные части сайта?

Чтобы провести доскональный анализ, необходим мощный инструмент проверки. Мы решили воспользоваться Serpstat.

Заходим на главную страницу, переходим в раздел “Список проектов”, кликаем по кнопке “Добавить проект”. Вводим адрес домена (в нашем примере это gold24.ru) и название проекта.

Кликаем по кнопке “Начать аудит сайта”. Выставляем количество одновременных потоков для краулинга – чем их больше, тем быстрее пройдет аудит. Вместе с тем, краулер может быть забанен при большом количестве потоков. Именно для этого включена возможность выбрать User-agent для аудита.

После проведения аудита, сервис перенаправляет нас на страницу раздела “Суммарный отчет”. Он позволяет оценить объем предстоящих работ в глобальном плане. В первую очередь, необходимо обратить внимание на ошибки с высоким уровнем приоритетности.

Далее постепенно решайте задачи среднего приоритета. В нашем примере на сайте практически нет серьезных ошибок, однако систематически допускаются недоработки среднего уровня по приоритетности решения.

По разделам наиболее проблемный – “Мета-теги”, “Индексация страниц” и “Скорость загрузки”.

В разделе “Мета-теги” найденные недоработки представлены более подробно. Если кликнуть по ее названию, и нажать кнопку “Подробнее”, обнаружим страницы с выявленной проблемой.

В нашем случае, к примеру, меньше всего оптимизированы длины title и description.

В разделе “Индексация страниц” сервис рекомендует проверить на правильность присвоение тега noindex 130 страницам. Если он установлен неправильно, страница не принесет пользы – ее не найдут пользователи через поисковую систему.

Переходим в раздел “Скорость загрузки”. Здесь представлены недоработки, которые замедляют загрузку страниц мобильной и десктопной версии сайтов.

Итак, чтобы зарегистрироваться в этом замечательном сервисе SerpStat пройдите по ссылке.

Итоги

Комплексный аудит сайта включает 3 основные направления исследования:

• анализ дизайна;
• исследование контента;
• техническая оптимизация.

Дизайн и текст необходимо соотносить с современными тенденциями. Если шагать с ними в ногу, пользователи по достоинству оценят качество дизайна и полезность контента.

Необходимо постоянно отслеживать действия конкурентов, и вовремя на них реагировать. Они являются отличным источником новых идей для создания контента и улучшения дизайна.

Техническая оптимизация проводится по следующим направлениям:

• коды ответов страниц;
• мета-теги;
• заголовки;
• редиректы;
• индексация страниц;
• перелинковка;
• параметры сервера;
• скорость загрузки страниц сайта.

Все они в разной степени важны для удобства пользования ресурсом и оптимизации для поисковых систем.

Найденные ошибки и недоработки необходимо построить в порядке приоритетности, и начать их незамедлительно решать.

Ошибка 404, либо Error 404 Not Found — ошибка, которая появляется, если браузеру не удалось обнаружить на сервере указанный URL.

Что означает ответ 404

Error 404 Not Found отображается по-разному: «HTTP 404 не найден», «Ошибка 404 Not Found», «404 Страница не найдена». Смысл надписи всегда остаётся тем же: страница отсутствует либо просто не работает. Not Found в переводе означает «не найдено».

Ошибка 404 — классический код ответа по протоколу HTTP. Он свидетельствует, что связь с сервером установлена, но данных по заданному запросу на сервере нет.

Однако если просто ввести в поисковую строку произвольный набор символов, то браузер не покажет ошибку 404 Not Found — появится сообщение, что установить соединение с конкретным сервером невозможно.

Разберёмся в техническом формировании ответа Error 404 Not Found.

Техническая сторона вопроса. При связи по HTTP браузер запрашивает указанный URL и ждёт цифрового ответа. То есть любой запрос пользователя направляется на сервер размещения искомого сайта. Когда браузеру удаётся связаться с сервером, он получает кодированный ответ. Если запрос корректный и страница найдена, отправляется ответ с кодом 200 OK, что соответствует благополучной загрузке. При отсутствии страницы отправляется ответ об ошибке.

Что значит код «404». В ответе 404 первая четвёрка указывает на то, что запрос был чрезмерно длительным или в самом адресе была ошибка. Ноль предполагает синтаксическую неточность. Завершающая цифра кода отображает конкретную причину ошибки — «4» означает отсутствие данной ссылки.

Какие ещё ошибки бывают. Ошибку 404 не нужно путать с другими ответами, которые указывают на невозможность связи с сервером. Например, ошибка 403 сообщает, что доступ к URL ограничен, а ответ «Сервер не найден» свидетельствует, что браузер не смог обнаружить место размещения сайта.

Причины ошибки

Причины, по которым HTTP возвращает ответ 404 Not Found:

• Неверный адрес. К примеру, при ручном наборе пользователь допустил опечатку в адресе либо ссылка ведёт на несуществующую страницу. При этом домен должен быть написан верно. Если пользователь ошибется в названии домена, страница вообще не загрузится (без показа ошибки).
• Битая ссылка. Это нерабочий URL, который никуда не ведёт. Данный вариант иногда возникает при внутренней перелинковке. К примеру, раньше страница существовала, а потом её удалили и забыли убрать ссылку.
• Удалённая страница. Когда пользователь попытается перейти на удалённую с сервера страницу, он также увидит ошибку 404. Ссылка для перехода может сохраниться в браузерных закладках или на сторонних ресурсах.
• Неправильный редирект на страницу с изменённым адресом. Допустим, в процессе редизайна URL изменили, но оставили без внимания связанные ссылки.
• Неполадки на сервере. Это самый редкий вариант.

В большинстве ситуаций ошибка 404 отображается, когда не удаётся обнаружить нужную страницу на доступном сервере.

Возможные последствия для сайта

Нужно ли считать 404 ошибку опасной для сайтов? Кажется, что нет ничего плохого в том, что пользователь не смог открыть одну веб-страницу. Однако если такая ситуация будет повторяться регулярно, это чревато оттоком аудитории. Одни пользователи решат, что сайт вовсе не существует. Другие подумают, что лучше не заходить на сайт, который работает с ошибками. Третьи будут игнорировать ресурс, на котором не смогли получить обещанную информацию.

Поисковые системы относятся к Not Found более лояльно. Например, Google отмечает, что 404 страницы не влияют на рейтинг. Но если при индексации роботы будут находить все больше ошибочных страниц, вряд ли это приведёт к более высокому ранжированию.

Если вы хотите улучшить взаимодействие с посетителями, важно найти и исправить все ошибки 404 на сайте.

Как выявить ошибку

На небольшом ресурсе легко проверить работоспособность ссылок вручную. Но если на сайте сотни и тысячи страниц, без дополнительного софта не обойтись. Есть немало сервисов и программ, позволяющих находить битые ссылки. Рассмотрим некоторые из них.

Search Console Google

Консоль поиска Google позволяет находить страницы с ошибкой 404 за несколько кликов:

1. Войдите в учётную запись Google и перейдите в Search Console.
2. Откройте раздел «Ошибки сканирования» → «Диагностика».
3. Кликните на «Not Found».

Чтобы получить список страниц с ошибками, подтвердите права на ресурс — добавьте проверочную запись TXT в записи DNS регистратора домена. Такая запись не повлияет на работу сайта. Подробнее о процедуре подтверждения, читайте в справке Google.

Яндекс Вебмастер

Сервис для вебмастеров от Яндекса поможет быстро найти все ошибки 404:

1. Откройте Вебмастер после авторизации в Яндекс-аккаунте.
2. Выберите «Индексирование» → «Доступные для поиска страницы» → «Исключённые страницы».
3. В выданном списке выберите фильтр «Ошибка HTTP: 404».

Чтобы использовать Яндекс.Вебмастер, также нужно подтвердить право владения сайтом — добавить метатег в HTML-код главной страницы.

Screaming Frog

Для начала загрузите и установите программу на компьютер. После запуска добавьте URL проверяемого сайта и начните поиск проблем. Неработающие ссылки можно искать даже в бесплатной версии.

SiteAnalyzer

Эта бесплатная десктопная программа позволяет обнаружить технические погрешности на сайте. SiteAnalyzer быстро отыщет нерабочие и несуществующие ссылки.

Как исправить ошибку Not Found

Выбор конкретного решения зависит от причины ошибки:

1. Ссылка ведёт в никуда из-за неверного URL. Для решения проблемы замените ошибочную ссылку на правильный адрес, чтобы сервер отдавал код 200 OK.
2. Битая ссылка. Подобная ситуация не редкость при внутренней перелинковке страниц. К примеру, ссылка есть, а саму страницу давно удалили. Решений два: удалить ссылку или заменить её на другую.

Удалять и менять ссылки вручную удобно только на небольших сайтах. Исправление ошибок на крупных порталах лучше автоматизировать. Например, с помощью специальных плагинов для внутренней перелинковки (Terms Description, Dagon Design Sitemap Generator) и для автоматического формирования адресов страниц (Cyr-To-Lat).

Чтобы ошибки 404 появлялись как можно реже, достаточно соблюдать простые рекомендации:

• Не присваивайте сложные адреса основным разделам сайта. Это снизит число ошибок, связанных с опечатками в URL.
• Не меняйте адреса страниц слишком часто. Это неудобно для пользователей и вводит в заблуждение поисковых роботов.
• Размещайте сайт на надёжном сервере. Это предотвратит ошибки, возникающие из-за неработоспособности сервера.

Мы разобрались, как найти и исправить ошибки Not Found внутри сайта. Но неработающая ссылка может быть расположена и на стороннем ресурсе. Допустим, когда-то на другом сайте разместили рекламную публикацию со ссылкой на определённую страницу. Спустя какое-то время страницу удалили. В этом случае появится ошибка 404. Устранить её можно, связавшись с администрацией ссылающегося сайта. Если же удалить/исправить ссылку нельзя, постарайтесь использовать ошибку с выгодой.

Как сделать страницу 404 полезной

Грамотно оформленная страница с ошибкой Error 404 Not Found — действенный инструмент конвертации посетителей. Ограничений по использованию страницы с ошибкой 404 нет. При этом практически все CMS позволяют настраивать дизайн этой страницы.

Что публиковать на странице 404:

• меню с кликабельными ссылками;
• ссылку на главную страницу;
• анонс последних публикаций;
• контакты для обратной связи.

При оформлении страницы-ошибки желательно опираться на рекомендации поисковиков:

• Яндекс настоятельно рекомендует, чтобы страница контрастировала с основным содержанием сайта — иные цвета, другие графические приёмы либо их отсутствие. Необходимо чётко и понятно объяснить пользователю, что запрошенной страницы не существует и предложить другое решение.
• Google советует придерживаться единого стиля оформления. Но также рекомендует понятно рассказать об ошибке и предложить полезные материалы.

Главное — по возможности отказаться от стандартной страницы 404. Подумайте, как привлечь внимание пользователя. Расскажите ему об отсутствии искомой страницы и предложите взамен что-то полезное или интересное.

Примеры оформления страниц 404

Designzillas

Мультяшная страница креативной студии привлекает внимание и её хочется досмотреть до конца. Если прокрутить страницу, можно увидеть, как из яйца вылупится дракон. При этом на странице есть ссылки на все основные разделы сайта.

Domenart Studio

Веб-студия «Домен АРТ» использует красочную страницу 404, оформленную в единой стилистике ресурса. Заблудившимся пользователям предлагают попробовать ещё раз ввести адрес или перейти в нужный раздел.

E-co

«Эко Пауэр», дистрибьютор производителя источников питания, демонстрирует короткое замыкание как символ ошибки. Посетителям предлагают перейти на главную.

Дом со всем

Компания «Дом со всем», занимающаяся бурением скважин, разместила на странице 404 свои контакты и перечень услуг. Со страницы можно перейти в любой раздел сайта или заказать обратный звонок. С таким наполнением посетителю не нужно искать дополнительную информацию где-то ещё.

Kualo

Страница 404 на веб-хостинге Kualo может заставить пользователя забыть, зачем он сюда пришёл. Увлекательная игра притягивает внимание. В конце игры посетителю предлагают посмотреть сайт хостинга.

Рано или поздно с ошибкой 404 сталкивается большинство сайтов. При регулярной проверке можно своевременно исправить неработающие ссылки, чтобы в ответ пользователи получали код 200 OK. Но для крупного ресурса лучше настроить оригинальную страницу, которая будет отображаться при появлении ошибки Not Found и подскажет посетителям, что делать дальше.

Главные мысли

Поисковые системы любят показывать только качественные ресурсы в своей выдаче. Если на сайте присутствуют технические ошибки, его позиции могут пострадать. Даже одна небольшая, незаметная для обычного пользователя недоработка может стать причиной пессимизации и плохого индексирования страниц. Чтобы сохранять валидность и исправность ресурса, необходимо регулярно проводить технический анализ. В этом помогут сервисы, которые позволяют проверить сайт на ошибки различного характера.

Проверка валидности кода

Markup Validator Service W3C

Самый популярный сервис для проверки ошибок на сайте и оптимизации кода. Его даже рекомендует поисковая система Яндекс.

CSS Validation Service W3C

Валидор CSS-кода от того же разработчика.

Rexswain

Онлайн-сервис, позволяющий проверить код сайта на наличие ошибок. В частности, коды ответов сервера, редиректы, неотображаемые браузером элементы и т.д.

Urivalet

Ещё один онлайн-сервис. Обладает более широким функционалом, чем предыдущий. Анализирует коды ответов сервера, скорость загрузки страниц, ссылочную массу. Показывает сайт глазами поискового робота.

Проверка ссылок

Online Broken Link Checker

Онлайн-проверка ресурса на наличие битых ссылок.

W3C Link Checker

Сервис проверки ссылок.

Web Link Validator

Проверяет гиперссылки на сайте.

Проверка доступности ресурса

FAE Accessibility Test

Простой онлайн-проект, позволяющий проверять доступность (параметр Accessibility) как всего веб-сайта в целом, так и отдельных страниц.

CSS Accessibility Analysis

Проверка доступности CSS-элементов.

WAVE 3.0 Accessibility Evaluator

Оценка доступности страниц сайта. Проверяет только одну страницу в бесплатной версии.

Site Valet 2.0

Анализ доступности с полной проверкой следов и поддержкой XML.

Отображение сайта в разных браузерах

Browser Compatibility Test

Проверяет отображение страниц в различных версиях браузеров Chrome, Mozilla, Opera, Safari и др. Позволяет исправить ошибки сайта, связанные с некорректным отображением на мобильных устройствах.

IE Net Renderer

Проверка отображения сайта в различных версиях браузера Internet Explorer.

Проверка прав WHOIS

Domaintools Whois Lookup

Быстрая и простая онлайн-проверка файла Whois.

Webconfs.com Whois Lookup

Аналогичная проверка сайта от другого разработчика.

Другие проверки

Robots.txt checker by Motoricerca

Позволяет проверить корректность заполнения файла robots.txt, обнаружить и устранить ошибки.

Juicy Studio Image Analyser

Сервис позволяет проверить все изображения на странице в онлайн-режиме.

Juicy Studio Readability Test

Анализирует уровень читаемости контента на указанной странице. Предоставляет лишь приблизительные данные.

Источник

Интернет-медиа про маркетинг и арбитраж трафика

---