Другой тип ошибки кей коллектор

Поделитесь статьей со своими друзьями:

Key Collector — пожалуй, самое популярное ПО для сбора семантического ядра и проведения семантического анализа. Кей Коллектор — незаменимое орудие в арсенале любого продвинутого маркетолога, рекламщика или SEO-специалиста.

Но некоторое время назад с Key Collector начались проблемы. А точней сказать — не с Key Collector, а Яндекс ужесточил свои правила проверки пользовательских аккаунтов — массовые блокировки аккаунтов, обязательная привязка номера телефона, постоянно появляющаяся капча. Ярче всего эти ужесточения отразились на SEO-специалистах. Совсем недавно огромное количество пользователей программы для парсинга и составления семантики KeyCollector (в том числе и мы) столкнулось с ошибкой «Не удалось распознать формат ответа Яндекс.Wordstat» при парсинге Yandex Wordstat. Проблема связана именно с капчей «Я не робот», которая появляется при сборе семантики вручную через браузер в Wordstat. Проблему не позволяют решить ни старые аккаунты, ни белые ip-адерса, на тотальное замедление скорости парсинга.

Сначала появляется страница с капчей «Я не робот», а следом за ней идёт символьная капча — именно этот формат и не удается распознать Ки Коллектору. Если даже на старых аккаунтах она появлется, что говорить о новорегах. Скорее всего у Яндекса вызывает подозрение количество непрерывных запросов за определенный промежуток времени.

Попытавшись сильнее углубиться в проблему, нам таки удалось оживить парсинг Яндекса — об этом и будет статья.

Приостановка парсинга

Самый простой, но тем не менее, вполне рабочий способ — это банальная приостановка парсинга. Мы использовали древние проверенные аккаунты, чистые IP, а ошибка всё равно появлялась. Приостановка парсинга на несколько часов позволяла возобновить парсинг без ошибок также на несколько часов, после чего ошибка повторялась и мы опять приостанавливали парсинг. Остановка парсинга на ночь — позволяла без проблем продолжать парсинг весь следующий день. Понятно, что с такими перерывами и всего одним аккаунтом много не напарсишь, поэтому ниже мы рассмотрим возможность парсинга сразу с нескольких аккаунтов.

В целом, парсинг небольшого числа запросов в ограниченный промежуток времени на старом аккаунте, скорее всего, не вызовет проблем. Но если прогнозируется парсинг на несколько дней — лучше его делать с перерывами.

Если ситуация такая, что аккаунты прогретые, IP белые, но парсинг даже после остановки не запускается — скорее всего, капча появляется уже при логине в аккаунт. Необходимо отдельно заходить в браузере в каждый аккаунт, переходить в Wordstat, где-то по пути вы встретите капчу. Часто помогает просто в поиске Яндекса или Wordstat вбить какой-нибудь запрос и походить по страницам, где-то на 8-10-й странице вы встретите капчу. После её прохождения, перезапускаем парсинг — и он должен начать работать без ошибок (на какое-то время).

Прогретые аккаунты Яндекса

Это, пожалуй, самый верный способ нормально парсить Wordstat. С одним аккаунтом всё понятно, можно банально в него зайти, покликать по ссылкам в Яндексе. Продемонстрировав поведение реального пользователя так или иначе получится запустить парсинг. Если парсить десятки тысяч, а то и миллионы запросов ежедневно, конечно, потребуется много аккаунтов и прокси под них (1 аккаунт — 1 proxy).

В интернете уже стали появляться предложения о продаже готовых связок из уже прогретых аккаунтов и прокси. В целом, это можно назвать решением, пусть и не самым дешёвым. Идём дальше.

Регистрация аккаунтов

Основное, что нам потребуется для быстрого парсинга Wordstat — это много аккаунтов. Стоит сразу отметить, что не нужно создавать корпоративные аккаунты (т.е. почта@ваш-домен.ру). С одной стороны с ними куда меньше проблем: не нужен номер телефона для регистрации, сама процедура регистрации отнимает меньше времени, не страшны блокировки аккаунтов. Но есть одна ключевая проблема — корпоративные аккаунты не позволят парсить Яндекс Директ.

Для того, чтобы была возможность парсить и Яндекс Директ, и Yandex Wordstat — мы будем регистрировать обычные аккаунты Яндекс Почты. В качестве телефона для активации — можно использовать бесплатные виртуальные номера (Google: «номер для приёма СМС»), либо регистрировать аккаунты на один и тот же номер телефона, с последующей его отвязкой в личном кабинете Яндекс (не забудь установить и записать ответ на контрольный вопрос!).

Прогрев аккаунтов

Прогревать аккаунты можно самостоятельно. Наиболее удобный способ для прогрева — установить отдельный браузер Mozilla Firefox (Mozilla Portable) и создать необходимое количество профилей под каждый Яндекс-аккаунт, чтобы Cookies не перемешивались, а также была возможность к каждому профилю добавить свой прокси. Хочешь что-то найти в Яндексе, посмотреть Погоду/Новости/Картинки/Карты — хватит делать это в приватном режиме, заходи на аккаунт для прогрева и смотри. Одна-две недели и мы получаем прекрасный прогретый аккаунт. Тут важно всегда заходить в этот аккаунт с соответствующим прокси.

Яндекс, конечно, сразу видит разные User-agent у KeyCollector и Mozilla, но хотя бы не блокирует аккаунт полностью. Смена IP может вызвать у Яндекса подозрения, тут и нужно быть готовым вспоминать ответ на контрольный вопрос или искать номер телефона, к которому был привязан аккаунт.

Proxy

В интернете есть огромное предложение различных прокси-сервисов. От дешевых shared-proxy за 30 руб./мес. до приватных и мобильных с динамическим ip. Нужно понимать, что shard-proxy может одновременно с тобой использовать неограниченное количество других пользователей. И среди них могут оказаться такие же сеошники, которые сейчас парсят Яндекс, что может приводить к дополнительным капчам или даже блокировкам. Использование приватных прокси при массовом парсинге выходит довольно накладным занятием. Поэтому, при выборе proxy стоит одновременно протестировать прокси от разных провайдеров и выбрать наиболее эффективный вариант. У нас получалось запускать парсинг и на публичных прокси.

Динамические мобильные прокси (быстрое и универсальное решение)

А что если если сотня аккаунтов и не хочется каждый прогревать или заходить в браузере и искать капчу? На текущий момент динамические мобильные прокси — это наиболее эффективный вариант. Такой подход позволяет проводить парсинг без ошибок и приостановок даже на новорегах (непрогретых аккаунтах) в нормальном режиме. В KeyCollector есть отдельная вкладка с настройками cети, где необходимо установить галочку «Использовать прокси-серверы». IP прокси меняется каждые несколько минут, во время смены периодически можно встретить ошибку «Timeout» (это связано исключительно с качеством сети провайдера). При этом на самих аккаунтах все прочие прокси можно убрать. Не забудьте также убрать галку «Использовать основной IP» при парсинге.

Удовольствие не дешёвое — мобильные прокси, пожалуй, самые дорогие из возможных. Тем не менее, пока что Яндекс довольно лояльно относится к заходам с мобильных ip. Долго ли будет работать такой подход — непонятно. В один прекрасный момент все аккаунты могут пойти в бан. Но пока работает, почему бы не воспользоваться? Это реально самый простой и быстрый способ оживить парсинг на сотнях аккаунтов.

Провайдеров мобильных прокси на рынке хватает, вопрос лишь к качеству их услуг и ценам. Нам повезло с первого раза — воспользовавшись сервисом LTEspace нам удалось сразу же оживить парсинг Key Collector на новых (непрогретых аккаунтах) и вот парсинг идет в несколько потоков без каких-либо ошибок. Настройки тарифа для прокси использовали дефолтные, а ценник составил 650 руб./мес. Возможно, есть более бюджетные варианты. Если удастся их найти и протестировать — обязательно дополним эту статью, так что рекомендуем её сохранить в закладки.

Прочие способы не гарантируют отсутствия капчи.

Подмена Cookies

Если нужно собрать только частотку — помогает парсинг Вордстата, через ЯндексДирект с настроенными куками. Правда, капч там может валиться немереное количество, но они хотя бы автоматически распознаются (например, с помощью сервиса Anti-gate).

Вообще, подмена кук история полезная, но KeyCollector не позволяет задать отдельные наборы кук для разных аккаунтов. Поэтому, подмена кук может работать только при парсинге с использованием одного аккаунта. Простановка куков в аккаунте не гарантирует отсутствие ошибки парсинга, разве что немного увеличивает время до появления капчи.

Браузерный и безбраузерный режимы

В целом, особо на результат не влияет, но в браузерном режиме вы можете увидеть саму капчу и пройти её (например, при логине в аккаунт или переходе на Вордстат). Если увидели капчу, прошли её, а парсинг всё равно выдает ошибку, стоит подождать и перезапустить парсинг через полчаса-час. Как писали выше, капчу можно встретить переходя постранично примерно до 8-10 страницы в поиске.

Режим парсинга

Для новых аккаунтов, естественно, лучше использовать безопасный режим. А вот для прогретых аккаунтов вполне подойдет нормальный. Скорость прямо кардинально не влияет на появление капчи. Разве что вы увидите ошибку чуть быстрее.

Выводы:

Дело вовсе не в обновлении программы, как пишут многие юзеры. Ключевая проблема именно в ужесточении мер проверки аккаунтов Яндексом.

Нам реально помогло оживить старые аккаунты:

• Зайти в старый аккаунт с браузера/включить браузерный режим и пройти капчу;
• Приостанавливать парсинг периодически, или после появления ошибки хотя бы на полчаса-час;
• Дополнительный прогрев старого аккаунта тоже облегчит и значительно увеличит время парсинга до появления капчи.

Новореги/непрогретые аккаунты/большое число аккаунтов:

• Использовать динамические мобильные прокси — пока что этот подход работает (запускается в течение 10 минут).

Послесловие

Каких настроек не хватает, и как KeyCollector мог бы облегчить жизнь своих пользователей:

• вывод в каком-либо виде появляющейся капчи в интерфейс;
• дополнительная настройка автоматического времени парсинга/или времени приостановки для каждого аккаунта;
• разные куки для разных аккаунтов;
• инструмент для подмены user-agent при обращении к Яндексу.

Подписывайтесь на Телеграм: @low_digital

Добрый день всем специалистам, кто привык работать с такой прекрасной программой как кейколлектор.

Скажу сразу, не ожидал я от ИП Люстика и его команды такого, не берусь судить про причины, они указаны, но, на мой взгляд, довольно мутно. Не понятно что все же произошло и на каком этапе сбой.

Суть не в этом, суть в том, что я привык к функционалу КК 3, он меня вполне устраивал, парсинг, сегментация, минусация — все удобно и комфортно. Так же я посмотрел несколько сервисов кто предлагает что то подобное и весьма опечалился. Действительно похожих программ нет.

Но, как мне кажется, промежуточный выход есть, для себя я нашел примерную цепочку действий и продолжаю использовать КК 3.

Вопрос в том, что парсинг не работает и будет ли работать неизвестно.
Т. е. нам необходимо решить проблему парсинга и экспорта семантики в КК 3 для дальнейшей обработки.

Итак, что делаю я.

1. Ставьте плагин WordStarter — с помощью него быстро косим семантику

Покажу на примере сбора семантики для речных круизов

Теперь берем и открываем все папки с вложенными запросами

К примеру папка «речные круизы 2022» — вошли в папку и щелкнули «+ столбцы»
— семантика улетела в правое окно «ключевые фразы»
Т.е. мы все ключи из этой папки собрали
Так же со всех остальных папок.

Потом ключи сегментируем в КК 3.
Вордстартер так же хорош тем, что помечает серым те ключи, которые уже скопированы.
Итак, когда уже вся семантика собрана в ключевых фразах , копируем ее с частотностью в буфер.

Далее, открываем Excel, делаем 2 графы и вставляем семантику с частотностью туда

Получаем такую табличку, столбец с фразами и частотой, для удобства фильтруем семантику по убыванию

Мы подготовили стартовую таблицу с семантикой которую можно экспортировать в КК.

* Важный момент: графе А необходимо присвоить текстовый формат, а графе B числовой

Сохраняемся в формате CSV

Запускаем кейколлектор создаем свой проект и экспортируем CSV файл

Важно, после того как вы нажмете импорт, появится уточняющая табличка в КК.
Необходимо подтвердить, для корректного переноса, что в графе А — фразы, в графе В — частота

Когда все готово, жмем «импортировать»

Семантика прогрузилась, частота тоже

группа с семантикой создана

Дальше работаем со всем функционалом кейколлектор как раньше.
Итого — мы решили основную проблему, проблему парсинга, путем переноса собранного семантического ядра.
Я и раньше сравнивал данные с Вордстата и данные полученные при парсинге КК.
Разница не большая.
Далее все работает в штатном режиме: минусовка. сегментация и группировка

Вполне можно пользоваться даже для больших семантических ядер.Таким способом можно в кейколлектор загнать любую семантику любого размера, главное что бы источник сбора сохранял ее в CSV формате

Затем можно и дальше пользоваться любимым кейколлекторомЕсли информация годная ставьте + в комментах или лайки =)

Здравствуйте, уважаемые читатели.

Сегодня мы решили вам рассказать о программе Кей Коллектор. Очень известная и функциональная утилита, которая применяется при составлении семантического ядра для SEO-продвижения и контекстной рекламы.

Чаще всего Key Collector используется вебмастерами и СЕО-специалистами, но не все знают, как его правильно настроить. В этом материале мы приведем вам подробную инструкцию по настройке этого приложения.

Что такое Key Collector?

Кей Коллектор – это платная утилита, которая повсеместно используется сеошниками и маркетологами. Суть ее состоит в почти полной автоматизации сбора семантического ядра. Приложение тесно интегрировано с Яндекс Директом, Вордстатом, гугловскими сервисами и прочими инструментами, которые поодиночке не выглядят такими практичными.

То есть Key Collector объединяет в себе несколько сервисов, интегрируя их возможности. Это позволяет людям легко и просто парсить запросы с того же Вордстата или Директа, в последствии превращая их во вполне себе обоснованное семантическое ядро.

Как мы уже сказали, чтобы пользоваться программой, ее придется купить.

Разработчики очень сильно заботятся о сохранении лицензии, поэтому каждая отдельная программа привязывается к одному персональному компьютеру с помощью идентификатора жесткого диска. Следовательно, вы не сможете скачать приложение, чтобы использовать его на нескольких машинах – 1 лицензия для 1 компьютера.

В интернете, конечно, есть взломанные версии, которые якобы предоставляют те же возможности, что и оригинал. Однако стоит учитывать, что через пиратское ПО очень часто распространяются вирусы. Если уж вы не хотите покупать Коллектор, то мы бы рекомендовали вам обратить внимание на СловоЁб. Это бесплатное приложение от тех же разработчиков, которое представляет собой урезанный вариант Коллектора.

Теперь давайте более подробно рассмотрим возможности программы. Итак, как заявляют разработчики, с помощью Key Collector мы сможем составить более точное семантическое ядро, не прибегая к помощи сторонних специалистов. Нам лишь нужно правильно настроить все параметры и познать некоторые азы.

Надо сказать, что Key Collector не работает с готовыми базами данных, которые требуют постоянные обновления. Он парсит всю информацию в реальном времени через интернет, подключаясь ко все тем же сервисам: Вордстат, Яндекс Директ, Гугл Адвордс и прочим. Такой подход гарантирует вам актуальность всех ключей, которые вы получите на выходе.

Эта программа поможет вам увидеть наиболее популярные страницы вашего сайта, определить верную стратегию продвижения, основываясь на статистических данных. В конечном итоге вы можете выгрузить всю информацию в удобный формат, например, в таблицу Excel.

Мы уверены, что купить программу определенно стоит. Если понять, как работать, то это может сэкономить существенную часть финансов и времени. Да и проекты с качественной семантикой будут давать больше отдачи, что также является плюсом.

Инструкция по работе и настройке

Общие

Чтобы открыть главное окно настроек, перейдите в “Настройки” – “Парсинг” – “Общие”. Именно там вы увидите основные параметры парсера, которые при необходимости можно легко изменить.

По умолчанию там все и так грамотно настроено, поэтому можно, в принципе, их и не трогать. Но если вы хотите оптимизировать работу программы, то мы предлагаем вам использовать следующий вариант.

Обращаем ваше внимание на пункт “Кол-во повторных попыток…” Будет разумнее увеличить значение до 30 – 90, чтобы в случае каких-то непредвиденных обстоятельств программа могла сама возобновлять работу. Это актуально и для тех пользователей, которые будут работать с десятками тысяч различных запросов, при сбоях сети или каких-то других неполадках.

Yandex.Wordstat

Сейчас Яндекс Вордстат очень ужесточает правила работы. Он не очень жалует Кей Коллектор, поэтому использование такого или любого софта может приравниваться к нарушению правил.

Если ранее парсинг с Вордстата был возможен и без регистрации аккаунта, то теперь придется потратить несколько минут для создания новой почты в Яндексе. Если вы решите прикрутить к Коллектору свой основной аккаунт, то скорее всего его рано или поздно забанят.

Создаем один или несколько аккаунтов Яндекс, идем в “Парсинг” – “Yandex.Direct”. Там мы должны вписать логины и пароли аккаунтов – каждый с новой строчки.

То есть это будет выглядеть так: Логин:Пароль – именно через двоеточие и без пробела.

Каждую пару Логин:Пароль мы прописываем с новой строчки. Учтите, что если вы решите указать несколько десятков аккаунтов, надеясь тем самым повысить продуктивность работы приложения, – вас ждет фиаско. При каждом запуске Коллектор авторизуется во всех аккаунтах последовательно. Если их будет слишком много, то соответственно и времени на окончательный запуск и загрузку будет требоваться больше.

И учтите, в качестве логина надо вписывать именно его, а не почтовый адрес. То есть если вы зарегистрировали textfree@yandex.ru, то в окошке настроек будет только – textfree.

Теперь мы перейдем к настройке самого Вордстата. Для этого в “Парсинге” находим вкладку “Yandex.Wordstat”.

Здесь представлено очень много разных настроек. Все их можно поменять при желании, но стандартная конфигурация также может неплохо работать. На скриншоте ниже представлен неплохой вариант опций, который можно использовать для работы с семантикой.

Какие-либо масштабные изменения необходимы только в случае тонкого составления ядра с учетом каких-то особенных параметров. Опцию “Глубина парсинга” разработчики рекомендуют не трогать – то есть оставить значение 0.

Также стоит учесть вероятность бана по IP. Чтобы избежать этого, ставьте только 1 поток на 1 IP-адрес. И не забывайте про частоту между запросами, рекомендуется установить значения в пределах 20 – 25 000 мс.

Дабы не мучить себя ограничениями, вы можете использовать прокси-сервера. В той же вкладке Yandex.Direct (там, где мы вводили данные от аккаунта) теперь нужно указать немного другую информацию.

Теперь это будет выглядеть так:

#IPПрокси:Порт:ЛогинПрокси:ПарольПрокси:ЛогинЯндекса:ПарольЯндекса

Решетка (#) в начале каждой строки обязательна. Это нужно, чтобы прокси использовалось в любом случае с какими-то отдельными аккаунтами. При отсутствии символа в начале строки потребуются дополнительные настройки прокси в разделе настроек – “Сеть”.

Вы можете использовать раздел “Сеть” для указания статичных данных авторизации для прокси-серверов. Иными словами, вы должны вписать все те же логин и пароль от прокси, но теперь они будут использоваться для всех аккаунтов.

Второй способ может быть актуален для не очень качественных прокси-серверов. Он все так же ограничен одним потоком на один прокси-сервер. Однако в случае бана, вы уже не так сильно пострадаете – можно будет просто разорвать авторизацию и выполнить ее заново.

Там же, в настройках сети, вы можете выбрать дополнительные параметры использования прокси-серверов.

Поисковая выдача и подсказки

Для правильной настройки программы вам придется уделить внимание поисковой выдаче и подсказкам. Ниже мы представим несколько скриншотов с одним из верных вариантов настроек. Вы можете скопировать их себе.

KEI & SERP

С помощью формул KEI вы сможете легко исключить из общей таблицы нерелевантные запросы – те, которые не принесут пользы. Вам нужно будет создать формулу расчета и записать ее в одно из окон.

Как правило, KEI рассчитывается из отношения базовой частотности к частотности в точном вхождении +1. Опытные специалисты могут использовать и другие формулы для поиска ненужных запросов.

Антикапча

Если вы не хотите каждый раз вручную разгадывать символы, которые прилетают к вам при работе программы, то мы рекомендуем вам обратить внимание на сервисы антикапчи. Key Collector поддерживает интеграцию с ними, поэтому вам достаточно просто зарегистрироваться, оплатить подписку и настроить антикапчу в приложении.

Чтобы сделать это, идем во вкладку “Антикапча”. Там мы увидим поля с информацией, которую можно получить в любом русскоязычном сервисе распознавания капчи. Например, Anti-Captcha или RuCaptcha.

После регистрации на сервисе распознавания капчи, вы получите ключ – его нужно вставить в соответствующее окно, например, в RuCaptcha Key. Сохраняем изменения. Теперь ввод символов будет происходить в автоматическом режиме.

Регионы

При работе с парсером Вордстат у вас может появиться необходимость задать какой-то конкретный регион. Программа поддерживает все регионы, которые релевантны для самого Yandex.Wordstat.

В нижней части приложения находим одноименную кнопку.

Далее откроется окно выбора региона. Там мы можем выбрать как один, так и несколько областей, по которым будет осуществляться сбор семантического ядра.

Здесь есть очень много разных регионов, которые можно как сочетать, так и выбрать какой-то отдельный.

Не забывайте, что настройки региона сохраняются только в файле проекта, который вы создаете. Если вы решите поработать над новым проектом, то все собьется. Будьте внимательны с этим вопросом, не допускайте ошибок.

Стоп-слова

С помощью стоп-слов вы сможете задать нежелательные фразы и слова, которые будут игнорироваться при выборке. Это может существенно сократить время сбора семантики, особенно если вы правильно сможете определить эти самые стоп-слова.

Не забывайте, что большое количество стоп-слов также может оказать негативное влияние на работу приложения. В Вордстате есть некоторое ограничение на количество символов в запросе. Это значит, что при подставлении большого количества стоп-слов программа не будет работать корректно.

Сбор семантики

Вот мы и перешли к самому вкусному. Собирать ключи можно из левой и правой колонок Вордстата. Как вы наверняка знаете, в левой показываются запросы с вхождением ключевого слова. В правой же – похожие запросы.

В этом материале мы рассмотрим именно сбор из левой колонки. Итак, нажимаем на красную иконку, после чего у нас открывается такое окно.

Здесь мы можем ввести все ключевые слова, которые нам нужны. Их можно разбить на вкладки и группы. Ключи можно вводить вручную, а можно просто выгрузить из файла.

После нажатия кнопки “Начать сбор” программа начнет свою работу. В зависимости от настроек и количества ключей этот процесс может занять определенное время. Иногда и по несколько часов. В конечном итоге вы получите список всех ключевых слов и фраз из левой колонки Вордстата.

Далее мы можем снять более точную частотность, потому как та, что будет доступна сразу после сбора, – ложная. Не стоит ей доверять и уж тем более делать какие-то выводы.

При сборе из правой колонки порядок действий тот же самый. Только ключей получится больше, в силу того, что в таблицу попадут все “похожие”.

Частотность

После сбора самой семантики, вы можете собрать частотность. Причем базовая частотность не даст нам особо полезной информации, поэтому нас интересует частотности с вхождением конкретных слов (“ “) и с точным вхождением (“!”)

Для сбора всех видов частотностей мы можем использовать одну кнопку.

Съем более точных частотностей позволит вам получить наиболее правильные статистические данные о количестве запросов в Яндексе. Базовая вариация не отражает истинную суть, и чаще всего при составлении семантического ядра она игнорируется.

Именно сбор частотности в конечном итоге позволяет вам кластеризовать семантическое ядро по запросам: ВЧ, СЧ и НЧ. Исходя из этих данных, сеошники могут разделять ключи по группам, создавая для каждой отдельной статьи свою небольшую базу из тайтла и нескольких ключевых слов. Далее эта информация передается копирайтерам для написания статей. Сейчас такой способ является наиболее популярным при работе с информационными сайтами.

Сезонность

Сезонные запросы – это ключи, которые актуальны в какое-то время года или в какое-то конкретное время. Если вы собираете семантику для магазина с пляжными товарами, то вам нужно брать в расчет наибольший спрос, а именно в летнее время.

Сбор сезонности позволит вам определить, какие запросы в какое время пользуются наибольшей популярностью. Чтобы собрать эту информацию с помощью Кей Коллектора, найдите в меню иконок кнопку “Сбор ключевых слов и статистики”.

После завершения процесса на примере графика вы сможете увидеть популярность того или иного запроса в какой-то конкретный месяц.

Вы можете получить данные по неделям, а не по месяцам, как это представлено на скриншоте. Для настройки используйте все ту же кнопку “Сбор ключевых слов и статистики”, она раскрывается, там вы и найдете соответствующий пункт.

При необходимости вы можете посмотреть более подробную информацию. Для этого просто кликните на нужной ячейке.

Другие поисковые системы и рекламные сети

В этой статье мы рассматривали наиболее популярную область применения Коллектора – парсинг с Yandex.Wordstat. Если вы хотите использовать это приложение для сбора семантического ядра с каких-то других поисковых систем или рекламных сетей, то вам также придется настраивать каждый отдельный пункт.

Возможно, в будущем появится отдельная статья о подробной настройке каждого пункта этой замечательной утилиты, но если вам невтерпеж, то вы можете воспользоваться официальным мануалом от разработчиков. В нем достаточно подробно рассматриваются аспекты настройки Adstat Rambler, LiveInternet, Google AdWords и других. Обязательно ознакомьтесь с представленным материалом.

Заключение

Key Collector – сложная, многофункциональная утилита, которую вот так вот просто не освоить. Для более полного понимания чаще всего проходят специальное обучение. На курсах получают уроки по работе с семантикой и навыки по Кей Коллектору или аналогам. Поэтому сразу изучить эту программу полностью не получится.

Необходимый минимум в этой небольшой статье мы вам дали. При помощи модуля Яндекс Вордстат вы сможете осуществлять съем семантического ядра, получать все виды частотностей и использовать это для составления крутых материалов. Имейте в виду, что сбор семантического ядра – работа тяжелая. Она требует серьезного подхода, и ни один инструмент не будет делать за вас абсолютно всю работу.

В случае с Кей Коллектором вам определенно придется покопаться с настройками. Многие пользователи изначально уделяют не так много времени этому, за что впоследствии расплачиваются неправильно составленной семантикой. Не совершайте ошибок, старайтесь уделить должное внимание настройкам и изучению особенностей работы этой утилиты.

До новых встреч!

Добрый день всем специалистам, кто привык работать с такой прекрасной программой как кейколлектор.

Скажу сразу, не ожидал я от ИП Люстика и его команды такого, не берусь судить про причины, они указаны, но, на мой взгляд, довольно мутно. Не понятно что все же произошло и на каком этапе сбой.

Суть не в этом, суть в том, что я привык к функционалу КК 3, он меня вполне устраивал, парсинг, сегментация, минусация — все удобно и комфортно. Так же я посмотрел несколько сервисов кто предлагает что то подобное и весьма опечалился. Действительно похожих программ нет.

Но, как мне кажется, промежуточный выход есть, для себя я нашел примерную цепочку действий и продолжаю использовать КК 3.

Вопрос в том, что парсинг не работает и будет ли работать неизвестно.
Т. е. нам необходимо решить проблему парсинга и экспорта семантики в КК 3 для дальнейшей обработки.

Итак, что делаю я.

1. Ставьте плагин WordStarter — с помощью него быстро косим семантику

Покажу на примере сбора семантики для речных круизов

Теперь берем и открываем все папки с вложенными запросами

К примеру папка «речные круизы 2022» — вошли в папку и щелкнули «+ столбцы»
— семантика улетела в правое окно «ключевые фразы»
Т.е. мы все ключи из этой папки собрали
Так же со всех остальных папок.

Потом ключи сегментируем в КК 3.
Вордстартер так же хорош тем, что помечает серым те ключи, которые уже скопированы.
Итак, когда уже вся семантика собрана в ключевых фразах , копируем ее с частотностью в буфер.

Далее, открываем Excel, делаем 2 графы и вставляем семантику с частотностью туда

Получаем такую табличку, столбец с фразами и частотой, для удобства фильтруем семантику по убыванию

Мы подготовили стартовую таблицу с семантикой которую можно экспортировать в КК.

* Важный момент: графе А необходимо присвоить текстовый формат, а графе B числовой

Сохраняемся в формате CSV

Запускаем кейколлектор создаем свой проект и экспортируем CSV файл

Важно, после того как вы нажмете импорт, появится уточняющая табличка в КК.
Необходимо подтвердить, для корректного переноса, что в графе А — фразы, в графе В — частота

Когда все готово, жмем «импортировать»

Семантика прогрузилась, частота тоже

группа с семантикой создана

Дальше работаем со всем функционалом кейколлектор как раньше.
Итого — мы решили основную проблему, проблему парсинга, путем переноса собранного семантического ядра.
Я и раньше сравнивал данные с Вордстата и данные полученные при парсинге КК.
Разница не большая.
Далее все работает в штатном режиме: минусовка. сегментация и группировка

Вполне можно пользоваться даже для больших семантических ядер.Таким способом можно в кейколлектор загнать любую семантику любого размера, главное что бы источник сбора сохранял ее в CSV формате

Затем можно и дальше пользоваться любимым кейколлекторомЕсли информация годная ставьте + в комментах или лайки =)

25 августа 2022 15:56:35

Разберем ошибку в программе KeyCollector при парсинге Яндекс.Вордстат “не удалось распознать формат ответа Яндекс.Wordstat. Выполним повторную попытку сбора”

При парсинге левой или правой колонки Wordstat возникает ошибка

Появление данной ошибки означает, что ваш аккаунт или аккаунты Яндекс были закапчеваны системой капча “Я не робот”

На данный момент автоматизировать ввод данной капчи не представляется возможным, поэтому мы распишем метод, который поможет  решить данную проблему и без проблем осуществлять парсинг левой и правой колонки Яндекс.Wordstat.

Первым делом необходимо обзавестись аккаунтами Яндекс с привязанными к ним прокси серверами.

Для работ с новыми аккаунтами Яндекс необходимо в настройках парсинга Wordstat

В пункте “Задержка между запросами” установить значение “нормальный режим”

Количество потоков равняется количеству прокси серверов которые вы используете для парсинга

После проверки и установки всех настроек, про которые написано выше можно приступать непосредственно к решению проблемы. Суть решения проблемы заключается в выборе браузерного режима с ручной обработки капчи

Для перехода к данному режиму необходимо провести очистку кэша и куки KeyCollector. Для выполнения данной процедуры необходимо придерживаться следующего алгоритма действий: “Настройки KeyCollector — Сеть — Очистить хранилище cookie/Очистить кеш”

Далее приступаем к следующему шагу. Переходим в “Настройки KeyCollector — Yandex.Wordstat”.  Тут необходимо выбрать следующие настройки: Обработчик “браузерный”

Далее поставить галку “Использовать режим отладки”. Сохраняем данные настройки и перезапускаем KK.

Теперь при парсинге Wordstat с использованием данных настроек обработчик открывает окно браузера

В случае появления ошибки “не удалось распознать формат ответа Яндекс.Wordstat. Выполним повторную попытку сбора” необходимо вручную открыть появившееся окно браузера в KeyCollector

В поисковую строку “Яндекс” ввести любой ВЧ поисковый запрос, например “купить гараж”  и в ручном режиме пролистать страницы выдаче. При пролистывании выдачи Яндекс выдаст капчу “Я не робот” которую необходимо решить. После того как капча будет решена необходимо поставить процесс парсинга на паузу, а затем продолжить его.

С помощью данной инструкции получилось решить проблему с парсингом Яндекс.Вордстат

Key Collector – пожалуй, самое популярное ПО для сбора семантического ядра и проведения семантического анализа. Кей Коллектор – незаменимое орудие в арсенале любого продвинутого маркетолога, рекламщика или SEO-специалиста.

Но некоторое время назад с Key Collector начались проблемы. А точней сказать – не с Key Collector, а Яндекс ужесточил свои правила проверки пользовательских аккаунтов – массовые блокировки аккаунтов, обязательная привязка номера телефона, постоянно появляющаяся капча. Ярче всего эти ужесточения отразились на SEO-специалистах. Совсем недавно огромное количество пользователей программы для парсинга и составления семантики KeyCollector (в том числе и мы) столкнулось с ошибкой “Не удалось распознать формат ответа Яндекс.Wordstat” при парсинге Yandex Wordstat. Проблема связана именно с капчей “Я не робот”, которая появляется при сборе семантики вручную через браузер в Wordstat. Проблему не позволяют решить ни старые аккаунты, ни белые ip-адерса, на тотальное замедление скорости парсинга.

Сначала появляется страница с капчей “Я не робот”, а следом за ней идёт символьная капча – именно этот формат и не удается распознать Ки Коллектору. Если даже на старых аккаунтах она появлется, что говорить о новорегах. Скорее всего у Яндекса вызывает подозрение количество непрерывных запросов за определенный промежуток времени.

Попытавшись сильнее углубиться в проблему, нам таки удалось оживить парсинг Яндекса – об этом и будет статья.

Приостановка парсинга

Самый простой, но тем не менее, вполне рабочий способ – это банальная приостановка парсинга. Мы использовали древние проверенные аккаунты, чистые IP, а ошибка всё равно появлялась. Приостановка парсинга на несколько часов позволяла возобновить парсинг без ошибок также на несколько часов, после чего ошибка повторялась и мы опять приостанавливали парсинг. Остановка парсинга на ночь – позволяла без проблем продолжать парсинг весь следующий день. Понятно, что с такими перерывами и всего одним аккаунтом много не напарсишь, поэтому ниже мы рассмотрим возможность парсинга сразу с нескольких аккаунтов.

В целом, парсинг небольшого числа запросов в ограниченный промежуток времени на старом аккаунте, скорее всего, не вызовет проблем. Но если прогнозируется парсинг на несколько дней – лучше его делать с перерывами.

Если ситуация такая, что аккаунты прогретые, IP белые, но парсинг даже после остановки не запускается – скорее всего, капча появляется уже при логине в аккаунт. Необходимо отдельно заходить в браузере в каждый аккаунт, переходить в Wordstat, где-то по пути вы встретите капчу. Часто помогает просто в поиске Яндекса или Wordstat вбить какой-нибудь запрос и походить по страницам, где-то на 8-10-й странице вы встретите капчу. После её прохождения, перезапускаем парсинг – и он должен начать работать без ошибок (на какое-то время).

Прогретые аккаунты Яндекса

Это, пожалуй, самый верный способ нормально парсить Wordstat. С одним аккаунтом всё понятно, можно банально в него зайти, покликать по ссылкам в Яндексе. Продемонстрировав поведение реального пользователя так или иначе получится запустить парсинг. Если парсить десятки тысяч, а то и миллионы запросов ежедневно, конечно, потребуется много аккаунтов и прокси под них (1 аккаунт – 1 proxy).

В интернете уже стали появляться предложения о продаже готовых связок из уже прогретых аккаунтов и прокси. В целом, это можно назвать решением, пусть и не самым дешёвым. Идём дальше.

Регистрация аккаунтов

Основное, что нам потребуется для быстрого парсинга Wordstat – это много аккаунтов. Стоит сразу отметить, что не нужно создавать корпоративные аккаунты (т.е. почта@ваш-домен.ру). С одной стороны с ними куда меньше проблем: не нужен номер телефона для регистрации, сама процедура регистрации отнимает меньше времени, не страшны блокировки аккаунтов. Но есть одна ключевая проблема – корпоративные аккаунты не позволят парсить Яндекс Директ.

Для того, чтобы была возможность парсить и Яндекс Директ, и Yandex Wordstat – мы будем регистрировать обычные аккаунты Яндекс Почты. В качестве телефона для активации – можно использовать бесплатные виртуальные номера (Google: “номер для приёма СМС”), либо регистрировать аккаунты на один и тот же номер телефона, с последующей его отвязкой в личном кабинете Яндекс (не забудь установить и записать ответ на контрольный вопрос!).

Прогрев аккаунтов

Прогревать аккаунты можно самостоятельно. Наиболее удобный способ для прогрева – установить отдельный браузер Mozilla Firefox (Mozilla Portable) и создать необходимое количество профилей под каждый Яндекс-аккаунт, чтобы Cookies не перемешивались, а также была возможность к каждому профилю добавить свой прокси. Хочешь что-то найти в Яндексе, посмотреть Погоду/Новости/Картинки/Карты – хватит делать это в приватном режиме, заходи на аккаунт для прогрева и смотри. Одна-две недели и мы получаем прекрасный прогретый аккаунт. Тут важно всегда заходить в этот аккаунт с соответствующим прокси.

Яндекс, конечно, сразу видит разные User-agent у KeyCollector и Mozilla, но хотя бы не блокирует аккаунт полностью. Смена IP может вызвать у Яндекса подозрения, тут и нужно быть готовым вспоминать ответ на контрольный вопрос или искать номер телефона, к которому был привязан аккаунт.

Proxy

В интернете есть огромное предложение различных прокси-сервисов. От дешевых shared-proxy за 30 руб./мес. до приватных и мобильных с динамическим ip. Нужно понимать, что shard-proxy может одновременно с тобой использовать неограниченное количество других пользователей. И среди них могут оказаться такие же сеошники, которые сейчас парсят Яндекс, что может приводить к дополнительным капчам или даже блокировкам. Использование приватных прокси при массовом парсинге выходит довольно накладным занятием. Поэтому, при выборе proxy стоит одновременно протестировать прокси от разных провайдеров и выбрать наиболее эффективный вариант. У нас получалось запускать парсинг и на публичных прокси.

Динамические мобильные прокси (быстрое и универсальное решение)

А что если если сотня аккаунтов и не хочется каждый прогревать или заходить в браузере и искать капчу? На текущий момент динамические мобильные прокси – это наиболее эффективный вариант. Такой подход позволяет проводить парсинг без ошибок и приостановок даже на новорегах (непрогретых аккаунтах) в нормальном режиме. В KeyCollector есть отдельная вкладка с настройками cети, где необходимо установить галочку “Использовать прокси-серверы”. IP прокси меняется каждые несколько минут, во время смены периодически можно встретить ошибку “Timeout” (это связано исключительно с качеством сети провайдера). При этом на самих аккаунтах все прочие прокси можно убрать. Не забудьте также убрать галку “Использовать основной IP” при парсинге.

Удовольствие не дешёвое – мобильные прокси, пожалуй, самые дорогие из возможных. Тем не менее, пока что Яндекс довольно лояльно относится к заходам с мобильных ip. Долго ли будет работать такой подход – непонятно. В один прекрасный момент все аккаунты могут пойти в бан. Но пока работает, почему бы не воспользоваться? Это реально самый простой и быстрый способ оживить парсинг на сотнях аккаунтов.

Провайдеров мобильных прокси на рынке хватает, вопрос лишь к качеству их услуг и ценам. Нам повезло с первого раза – воспользовавшись сервисом LTEspace нам удалось сразу же оживить парсинг Key Collector на новых (непрогретых аккаунтах) и вот парсинг идет в несколько потоков без каких-либо ошибок. Настройки тарифа для прокси использовали дефолтные, а ценник составил 650 руб./мес. Возможно, есть более бюджетные варианты. Если удастся их найти и протестировать – обязательно дополним эту статью, так что рекомендуем её сохранить в закладки.

Прочие способы не гарантируют отсутствия капчи.

Подмена Cookies

Если нужно собрать только частотку – помогает парсинг Вордстата, через ЯндексДирект с настроенными куками. Правда, капч там может валиться немереное количество, но они хотя бы автоматически распознаются (например, с помощью сервиса Anti-gate).

Вообще, подмена кук история полезная, но KeyCollector не позволяет задать отдельные наборы кук для разных аккаунтов. Поэтому, подмена кук может работать только при парсинге с использованием одного аккаунта. Простановка куков в аккаунте не гарантирует отсутствие ошибки парсинга, разве что немного увеличивает время до появления капчи.

Браузерный и безбраузерный режимы

В целом, особо на результат не влияет, но в браузерном режиме вы можете увидеть саму капчу и пройти её (например, при логине в аккаунт или переходе на Вордстат). Если увидели капчу, прошли её, а парсинг всё равно выдает ошибку, стоит подождать и перезапустить парсинг через полчаса-час. Как писали выше, капчу можно встретить переходя постранично примерно до 8-10 страницы в поиске.

Режим парсинга

Для новых аккаунтов, естественно, лучше использовать безопасный режим. А вот для прогретых аккаунтов вполне подойдет нормальный. Скорость прямо кардинально не влияет на появление капчи. Разве что вы увидите ошибку чуть быстрее.

Выводы:

Дело вовсе не в обновлении программы, как пишут многие юзеры. Ключевая проблема именно в ужесточении мер проверки аккаунтов Яндексом.

Нам реально помогло оживить старые аккаунты:

• Зайти в старый аккаунт с браузера/включить браузерный режим и пройти капчу;
• Приостанавливать парсинг периодически, или после появления ошибки хотя бы на полчаса-час;
• Дополнительный прогрев старого аккаунта тоже облегчит и значительно увеличит время парсинга до появления капчи.

Новореги/непрогретые аккаунты/большое число аккаунтов:

• Использовать динамические мобильные прокси – пока что этот подход работает (запускается в течение 10 минут).

Послесловие

Каких настроек не хватает, и как KeyCollector мог бы облегчить жизнь своих пользователей:

• вывод в каком-либо виде появляющейся капчи в интерфейс;
• дополнительная настройка автоматического времени парсинга/или времени приостановки для каждого аккаунта;
• разные куки для разных аккаунтов;
• инструмент для подмены user-agent при обращении к Яндексу.

Подписывайтесь на Телеграм: @low_digital

Просмотров:
3 270

Безусловно, вы уже столкнулись с проблемой Key Collector, из-за которой он перестает нормально собирать данные Wordstat и растягивает процесс в десятки и сотни раз. Техническая поддержка предлагает изучать часовые видео Ожгибесова и покупать прокси за тысячи рублей. Но есть способ гораздо лучше и дешевле — 300 рублей, а на тестовом периоде можно собрать бесплатно 5000 запросов.

Не будем ходить вокруг да около — сервис для парсинга запросов

Это абсолютный аналог по парсингу вордстата, даже используются все те же операторы, что в Key Collector. Кроме того, парсинг тысячи запросов здесь происходит за считанные секунды, а после вы просто можете выгрузить результат в файл Key Collector и продолжать работу в привычном интерфейсе — собирать частотность через Direct, кластеризовать и другое.

Все гениальное просто и если у вас в Key Collector все еще существует ошибка «не удалось распознать формат ответа Яндекс.Wordstat», смело используйте данное решение. Всего за 300 рублей вы получите возможность парсить 600 000 запросов в месяц (на практике даже больше), а если требуется больше, то за 2400 руб 8 000 000 фраз.

Этот способ самый лучший, если ваш Key Collector больше не работает как надо. К сожалению, функционал сервиса, отчасти, совпадает функционалом самого КК, поэтому техническая поддержка не предлагает данное решение самостоятельно и даже затирает мои комментарии у постов с вопросами в их группе.

Я, как и многие сейчас, столкнулась с проблемой в Кей Коллекторе при сборе ключей и частоты в журнале сплошные ошибки по типу «23.06.2022 10:55:34: при загрузке ответа от сервиса (Yandex SERP Search Suggestions; «5.180.103.116:49155»; «ConnectFailure») возникла ошибка (HTTP 0; Невозможно соединиться с удаленным сервером). Выполняем повторную загрузку данных…»
Судя по ажиотажу проблема имеет массовый характер, возможно вы уже знаете рецепт?)

Ответ

Key Collector уже дал официальный ответ по этой проблеме – ссылка.

“К сожалению, сейчас мы дошли до состояния, в котором по техническим причинам мы больше не можем гарантировать стабильную работу функций сбора статистики”, — говорится в заявлении.

Функции программы, которые относятся к сбору статистики переходят в статус устаревших и неприоритетных. Увы, никакие “костыли” и специальные решения не помогут.

Остаётся либо вручную собирать статистику, либо использовать другие сервисы по типу:

• Seolib.
• A-parser.
• Word-keeper.
• Keys.so.
• Spywords.
• Serpstat.

Еще по теме:

• Аналоги SEO-инструмента для анализа ссылок ahrefs

Посоветуйте аналог ahrefs для анализа ссылок. Интересует просто не такой дорогой сервис. Ответ Когда мы анализируем ссылочную массу нашего сайта или сайта конкурентов в разных…

• Какие инструменты использовать при написании SEO-отчетов?

Порекомендуйте, пожалуйста, хорошие сервисы для генерации SEO-отчетов, если такие существуют, конечно. Готовить все ручками в вордовском файле или экселе напряжно, когда клиентов становится много. Хочется…

• SEO-расширения для Chrome, которые упрощают работу специалиста

Какие вы бы порекомендовали актуальные и работающие расширения для браузеров, которые вы используете для работы связанной с SEO? Ответ На сегодняшний день Google Chrome является…

• Инструменты для анализа внутренней перелинковки

Можете подсказать инструменты, которые покажут внутреннюю перелинковку на сайте? То есть какая страница на какую ссылается и с каким анкором? Ответ Самый доступный инструмент анализа…

• Сервисы для анализа процента вхождения ключевых слов

Есть ли какие-то специализированные сервисы (инструменты), которые позволяют проанализировать процент вхождения ключей в title, description, h1, h2-h4, внутренние ссылки и в текст страницы? С возможностью…