Вопрос: Краулер выдал список страниц с ошибкой 404. Как узнать попали они в индекс или нет? Как правильно удалить их с сайта? Оставить как есть и ничего не делать? ПС критично реагирует на страницы с 404-й ошибкой?
Отвечает Айрат Рахимзянов, частный SEO-специалист, автор телеграм-канала «SEO-секретики».
Ошибка 404 – эта ошибка, которая означает, что сервер не смог найти сайт по данному адресу. Ссылки, которые ведут на такие страницы обычно называют «битыми».
Разберёмся, как узнать, попали ли страницы с ошибкой в индекс (вручную, через Топвизор и через Key Collector), как на них реагирует ПС и что делать с этими страницами.
Как узнать попали страницы в индекс или нет
Если страниц немного, то можно проверить вручную. Например, ввести запросы в нужной поисковой системе с операторами.
Для Яндекса это оператор url:, а для Google site:.
Как это выглядит в Яндексе:
В Google:
Инструкция по проверке индексации в Топвизоре
Автоматизировать процесс можно c помощью инструмента «Индексация» в Топвизоре.
Лимитов в Топвизоре нет, можно проводить массовую проверку индексации. Цена проверки одной страницы в одной поисковой системе – 0,06 р.
Откройте настройки и отметьте все поисковые системы, в которых хотите проверить индексацию. В инструменте доступны Яндекс, Google, Bing и Yahoo!. По умолчанию индексация проверяется одновременно в Яндекс и Google:
Загрузите список URL, файл txt, csv, xml, xml.gz или файл Sitemap.xml.
Запустите проверку:
Проверку индексации можно настроить по расписанию, тогда Топвизор сам запустит проверку по требованию и, если нужно, пришлёт отчёт на почту.
Если у вас страниц много, например, несколько тысяч, и установлен Key Collector, то можно автоматизировать процесс и в нём.
Инструкция по проверке индексации в Key Collector
Для этого загрузите аналогичные запросы с операторами и проверьте позиции по своему сайту. Если позиции есть, то это означает, что страница проиндексирована.
Для этого метода должна быть куплена программа Key Collector и должна быть ссылка от сервиса Яндекс.XML (или сервиса xmlproxy.ru) или сервиса xmlriver.com (для Google). Если есть лимиты в Яндекс.XML, то проверка будет бесплатной. Если нет, то эти лимиты нужно купить. Для проверки в Google нужно покупать лимиты, бесплатного способа нет.
Добавляем фразы, нажав на кнопку «Добавить фразы»:
Фразы необходимо добавлять в следующем формате:
Перед получением данных не забудьте скорректировать настройки программы:
Затем во вкладке «Парсинг» выбираем «Анализ позиций» и получаем позиции в поисковой системе Яндекс:
Указываем нужный сайт и начинаем парсинг:
После получения данных видим такую картину:
В результатах цифра 1 значит, что позиция обнаружилась, соответственно страница в индексе. Если нет – не в индексе.
Как удалить страницы с ошибкой 404 с сайта
Страницы с «битыми» ссылками можно обнаружить с помощью инструментов для технического аудита. Например, в Аудите сайта в Топвизоре.
Для этого выберите проект и нажмите на значок Аудита:
Чтобы запустить аудит сайта, необходимо настроить список проверяемых страниц и выбрать поисковые системы.
После того, как вы добавите все необходимые URL, запустите проверку. В разделе «Ссылки» будет видно, битая это ссылка или нет:
Как реагирует ПС на страницы с 404-й ошибкой
ПС реагирует некритично. Однако стоит понимать, что если продвигаемые страницы отдают код ответа 404, то эти страницы не смогут индексироваться и соответственно не будут показываться в поиске.
Битые ссылки могут напрямую влиять на краулинговый бюджет сайта, ведь роботы каждый раз прилагают усилия на обход таких ссылок.
Краулинговый бюджет – это лимит на количество страниц, которые поисковый робот может просканировать в заданный временной промежуток. Если краулер потратит время на сканирование страниц с ошибкой 404, то это может негативно сказаться на сканировании полезных страниц. То есть робот доберётся до них позже. «Проблемы» краулингового бюджета больше касаются только крупных проектов – хотя бы от 100 тысяч страниц. В остальных случаях проблем со сканированием и индексированием страниц сайта не бывает.
Также пользователи, попадая на несуществующие страницы, могут покидать сайт. Это отразится на поведенческих факторах.
Лайфхак: как использовать битые ссылки конкурента вам на руку. Прочитайте этот материал, чтобы понимать, насколько важно устранять все битые ссылки на своем сайте. В противном случае конкуренты смогут использовать эти ссылки в свою пользу.
Если не знаете, у кого спросить, спросите у Топвизора. Мы найдём эксперта, который ответит на ваш вопрос.
Задать вопрос
89.7К
просмотров
Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…
Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.
5 способов удаления страниц из поисковых результатов
1. 404 ошибка
Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.
HTTP/1.1 404 Not Found
В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.
Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.
2. Файл robots.txt
Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.
Закрыть раздел администраторской панели от попадания её в индекс поисковиков:
User-Agent: *
Disallow: /admin/
Закрыть определенную страницу от индексации:
User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска
В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.
Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.
3. Мета-тег robots
Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.
<meta name="robots" content="noindex,nofollow" />
Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.
4. Заголовки X-Robots-Tag
Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.
Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.
X-Robots-Tag: noindex, nofollow
В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).
5. Ручное удаление из панели для вебмастеров
Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.
Яндекс: http://webmaster.yandex.ru/delurl.xml
Google: https://www.google.com/webmasters/tools/
Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.
Полезные ссылки по теме
5 советов по созданию практичной 404 страницы
Улучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.
Всё о файле robots.txt
Для тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.
Яндекс: Использование robots.txt
Официальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.
Использование HTTP заголовков X-Robots для скрытого удаления линкопомоек
Пример использования HTTP-заголовка X-Robots-Tag в Apache.
Добрый день! Как удалить с сайта страницы, которые выдают ошибку 404? Пробовал делать перенаправление 301 с помощью плагина https://www.shop-script.ru/help/5627/301-redirect-… но он не работает, ничего не получается (инструкцию изучали). Пробовал делать редирект через «Сайт» https://support.webasyst.ru/5879/site-redirect/ — получается, работает, но я думаю, что это не совсем правильная переадресация. Гугл консоль обнаружил на сайте около 1000 удаленных страниц и с ними нужно что-то делать : либо переадресацию, либо удалять. Уже около недели пытаемся решить вопрос, но почему-то никто не знает( Как такое может быть?
Как эти страницы удалить или сделать правильную переадресацию? Может кто-то плагин толковый подскажет?
Возможное место для вашей рекламе! Приветствуется серьезный рекламодатель! Пишите на e-mail договоримся…
Удаление страниц не самая лучшая идея.
Сразу вопрос, почему?
Если коротко, то Вы также удаляете один или несколько URL-адресов. Как это, несколько?
А вот так, URL-адрес связан с категориями, тегами, да и картинкой, которая находилась в теле удаленной странице.
Этот старый URL-адрес при посещении обычно возвращает ошибку «404 not found». Что не является лучшей вещью для ваших пользователей или для Google.
Так какие еще варианты у вас есть?
Вы можете перенаправить удаленную страницу или использовать заголовок 410. Это может звучать довольно устрашающе, поэтому давайте рассмотрим ваш выбор и способы его реализации.
Перенаправить или удалить страницу полностью?
Первое, что вам нужно выяснить, есть ли у удаленного контента эквивалент где-то еще на вашем сайте.
Подумайте об этом так.
Если посетитель нажмет на ссылку, которую вы удалили, будет ли на вашем сайте еще одна страница, которая даст ему информацию, которую он искал?
Если это верно, вам следует перенаправить удаленный URL на альтернативную страницу.
В целом, я бы посоветовал вам перенаправить страницу, даже если от этого выиграет лишь небольшая часть посетителей.
Причина проста.
Отправка всех ваших посетителей на страницу «контент не найден 404», это тоже не очень хорошая альтернатива…
Создать редирект.
Существует несколько типов перенаправлений, но перенаправление 301 — это то, что называется постоянным перенаправлением. Это то, что вы должны использовать при перенаправлении URL удаленной страницы на другой URL.
Использование перенаправления 301 означает, что Google и другие поисковые системы назначат значение ссылки старого URL-адреса URL-адресу, на который вы перенаправили своих посетителей.
Redirect 301 /oldpage.html
Redirect 301 /oldpage2.html
Удаление контента полностью.
Если на вашем сайте действительно нет альтернативной страницы с такой информацией. Что тогда?
Однако, вам нужно спросить себя, лучше ли ее удалить или оставить или улучшить страницу. Но если вы абсолютно уверены, что хотите удалить ее. Тогда убедитесь, что вы отправили правильный заголовок HTTP.
А это заголовок «410 контент удален».
HTTP заголовки 404 и 410.
Разница между заголовком 404 и заголовком 410 проста. Заголовок 404 означает «контент не найден», 410 означает «контент удален» и, следовательно, более конкретен.
Если URL возвращает 410, Google точно знает, что вы удалили его специально, и поэтому ему следует удалить этот URL из индекса намного раньше.
Проблема с обслуживанием 410 удаленных заголовков контента заключается в том, что поддержка Google не является полной.
Конечно, он удалит страницы 410, из своего индекса быстрее, но Консоль поиска Google сообщит 410 с ошибками сканирования «Не найдено», как 404.
Народ, уже несколько раз жаловались в Google на это, но, к сожалению, им еще предстоит это исправить.
Побочный ущерб при удалении страницы.
Когда вы удаляете одну или несколько публикаций или страниц со своего сайта, часто возникает побочный ущерб.
Скажем, вы удалили все сообщения на вашем сайте, которые имеют определенный тег. Этот тег теперь пуст, URL-адрес его архива также будет равен 404.
Даже когда вы обрабатываете все URL-адреса тех сообщений, которые вы удалили должным образом (путем перенаправления или 410-й передачи), архив тегов все равно выдаст 404.
Поэтому вы должны убедиться, что разобраться с этим URL тоже.
Даже если вы не удалили все записи в теге, в архиве тегов теперь может быть 5, а не 12 сообщений. Это не самая большая проблема в мире, когда вы удаляете одну или две записи.
Но если вы имеете дело с проблемой Google Panda и удаляете много плохого контента, то создание 404 может занять ваш сайт вниз. Будьте осторожны!
Пример, у вас страницы с некоторым расширением (например,.drf). Ну так случилось! Хочу выпустить заголовок 410 через htaccess. Чтобы непопасть на снижения рангов в поисковике.
RewriteEngine On
RewriteBase /
RewriteRule .dfr$ — [NC,G,L]
RewriteRule ^index.php$ — [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.dfr$
RewriteRule . /index.php [L]
# END WordPress
RewriteRule ^.*.dfr$ — [R=410]
# Not sure if I really need this, but whatever
ErrorDocument 404 default
Однако, сразу Google на это не регирирует. Тормаза у них что ли? Удаление страниц не такая простая затея!
Удачи, Друзья!
Как удалить страницы сайта из поисковой выдачи
На чтение 3 мин Просмотров 1.5к. Опубликовано 10.02.2021
Обновлено 07.02.2021
Содержание
- Для чего удалять страницы из поиска
- Немного про статусы ответов страниц
- Как настроить ошибку 410 gone
- Как проверить ответ сервера
- Удаление страниц из Яндекс
- Удаление страниц из Googole
Часто случается что в поисковую выдачу попадают мусорные страницы, либо просто хотите удалить из поиска определенные страницы сайта. Сегодня разберем как это быстро и правильно сделать.
Для чего удалять страницы из поиска
Лично я на днях провел аудит CTR страниц блога и нашел так сказать бесполезные страницы заточенные под низкочастотные запросы которые имеют мало показов, не лучшие позиции и нулевой CTR. По факту это некачественный контент, который нет смысла оптимизировать и который понижает общее качество сайта.
Смотрите интересную статью: Пошаговый аудит контента — там есть более подробная информация о стратегии удаления некачественного контента и ее обоснование.
Немного про статусы ответов страниц
Сейчас в большинстве CMS при удалении страниц, они начинают отдавать 404 ошибку — страница не найдена. Можно оставить данный ответ — тогда в течении пол года поисковые системы должны удалить данные страницы из поиска автоматически. Но можно ускорить процесс удаления страниц если отдать им вместо 404 статуса, ошибку 410 gone — страница удалена.
Здесь основная разница заключается в том что 404 код не информирует, будет ли отображаться данная страница в будущем или она не появится больше совсем. А 410 код информирует, что страница присутствовала на сайте и теперь удалена.
Как настроить ошибку 410 gone
Сделать это можно несколькими способами:
- Если ошибка 404 отдается при помощи файла 404.php — тогда можно внести туда строчку кода:
header($_SERVER["SERVER_PROTOCOL"] . " 410 Gone");, таким образом все 404 ошибки будут отдавать 410 ответ. - Через файл .htaccess, внеся в него строку типа
RewriteRule ^test/?$ - [R=410,L]— где test адрес страницы. - Через плагины, например для woprdpress есть плагин «Ultimate 410 Gone Status Code» в котором можно как в ручную добавлять страницы, так и массово выгружать из CSV.
Как проверить ответ сервера
Чтобы проверить какой код статуса HTTP отдает удаленная страница, можно воспользоваться бесплатным сервисом checkmy.ru.
Страницы удалили, настроили им ответ 410, теперь осталось подождать (до 2х месяцев чтобы поисковые системы удалили данный контент, либо ускорить процесс скормив их поисковым системам.
Удаление страниц из Яндекс
В Яндекс.Вебмастер есть специальный инструмент: «Удаление страниц из поиска», открываем его закидываем туда URL (не больше 500 в день) и жмем на кнопку удалить.
Удаление страниц из Googole
С гуглом все немного сложнее. В search console есть инструмент Удаления — Временные удаления — который быстро, но временно (на 6 месяцев) удаляет страницы из поиска.
Судя по справке, если у страниц будет 404 или 410 статус ответа, то они будут по истечению пол года удалены навсегда.
Если есть вопросы, спрашивайте!
Алексей
Веб-дизайнер и SEO оптимизатор. Занимаюсь созданием сайтов с 2010 года и их продвижение с 2012 года!
Оцените автора
( Пока оценок нет )