Как подобрать ключевые слова для сайта автоматически

Чек-лист по выбору парсера

Краткий чек-лист, который поможет выбрать наиболее подходящий инструмент или сервис.

1. Четко определите, для каких задач вам нужен парсер: анализ SEO конкурентов или мониторинг цен, сбор данных для наполнения каталога, съем позиций и т.д.
2. Определите, какой объем данных и в каком виде нужно получать.
3. Определите, как часто вам нужно собирать данные: единоразово или с определенной периодичностью (раз в день/неделю/месяц).
4. Выберите несколько инструментов, которые подходят для решения ваших задач. Попробуйте демо-версии. Узнайте, предоставляется ли техническая поддержка (желательно даже протестировать ее — задать парочку вопросов и посмотреть, как быстро вы получите ответ и насколько он будет исчерпывающим).
5. Выберите наиболее подходящий сервис по соотношению цена/качество.

Для крупных проектов, где требуется парсить большие объемы данных и производить сложную обработку, более выгодной может оказаться разработка собственного парсера под конкретные задачи.

Для большинства же проектов достаточно будет стандартных решений (возможно, вам может быть достаточно бесплатной версии любого из парсеров или пробного периода).

Быстрый парсинг всех ключевых слов и объявлений для указанных доменов

Создайте аккаунт в системе PromoPult (или авторизуйтесь, если у вас уже есть аккаунт). Откройте инструмент «Слова и объявления конкурентов». В блоке «Добавить задачу» укажите домены конкурентов или загрузите их с помощью XLSX-файла.

Блок профессиональных настроек пока не трогаем (мы еще разберем его).

В блоке «Поисковые системы» можно выбрать, в какой поисковой системе проверять домены. По умолчанию это Яндекс и Google. Также по умолчанию стоит галочка на пункте «Результаты на едином листе XLS» — в таблице с результатами данные по всем доменам будут сведены на одном листе.

Если вы проверяете небольшое количество доменов (до 5), можете ничего не менять здесь. Если же доменов больше, уберите галочку с этого пункта. В результатах парсинга под каждый домен будет создан отдельный лист — это удобнее для анализа большого количества данных.

Жмем «Запустить проверку». Система начнет парсинг доменов (в нашем случае на это ушло 5 минут). Если у вас нет времени ждать, вы можете закрыть страницу с инструментом — все работы проводятся в фоновом режиме.

После окончания проверки вам на почту придет уведомление:

Раскройте блок «Список задач» и кликните по пиктограмме Excel-таблицы, чтобы скачать отчет. Также здесь можно удалить отчет или запустить повторный парсинг.

В настройках парсинга есть возможность выбрать отображение отчета: отдельный лист для каждого домена или все на одном листе.

В зависимости от этой настройки отчет будет выглядеть по-разному.

Отчет по каждому домену на разных листах

В нашем примере мы получили именно такой отчет. При скачивании загружается архив с файлами в формате CSV:

Что содержит архив:

Обратите внимание! При парсинге объявления собираются из результатов поисковой выдачи в таком виде, в котором они отображаются. Кроме основного текста и заголовка могут собираться уточнения, быстрые ссылки и другие расширения (если они есть в объявлении)

Данные по доменам на одном листе

При таком способе отображения отчета загружается один XLSX-файл с четырьмя листами. Даже если вы парсите 50 доменов, листов в файле все равно будет четыре. Какие это листы:

• «Слова и объявления». На этом листе собрана семантика по всем конкурентам и тексты объявлений. Данные указаны по каждому региону и поисковой системе. Если доменов много, работать с такой таблицей будет неудобно.
• «Слова». Собраны уникальные ключевики по всем доменам.
• «Исх. настройки». Указаны настройки парсинга.

Яндекс.Вордстат

Wordstat — бесплатный инструмент от Яндекса, который подойдет владельцам блогов и небольших сайтов. Функционал довольно ограничен, поэтому для серьезных сайтов он не пойдет.

Сервис позволяет посмотреть статистику по ключевым словам. Мы можем узнать, какие запросы люди вводили в Яндексе за последний месяц. Также Яндекс.Вордстат показывает:

• похожие ключи;
• количество запросов;
• что еще искали с введенной фразой;
• в каких странах этот ключ наиболее часто ищут;
• историю запросов.

Я лично использую этот сервис для поиска тем для статей и главного ключа. Вордстат позволяет узнать, стоит ли продвигаться по выбранной фразе или же люди такое не ищут.

Давайте разберем функционал на примере:

Запрос вбивается в поле, отмеченное на картинке красной стрелкой. Ниже можно выбрать тип поиска: по словам (сколько людей вводило этот запрос за последний месяц), по регионам (показы в месяц в разных регионах) или историю запроса.

Давайте введем запрос и поищем «по словам»:

Вот такой список мы получаем. Слева — синонимичные запросы. Справа — похожие запросы. К каждому ключу прилагается количество показов в месяц. А сверху над списком есть кнопки для установки фильтра по устройствам.

Если на какой-то из приведенных ключевых запросов кликнуть, то сервис покажет статистику уже по этому слову.

Итак, суммируем.

Плюсы Яндекс.Вордстат: 

• весьма точная статистика,
• похожие запросы, расширяющие семантику,
• поиск по регионам.

Минус Яндекс.Вордстат: cтатистика только по запросам в Яндексе, для Гугла нужно искать отдельно. У Google, кстати, есть свой сервис, называется он Google Trends.

Определение перспективных ключевых фраз

Когда денег на SEO мало (в случае с МСБ это почти всегда так), продвигаться по ядру из тысяч запросов не получится. Придется выбирать самые «жирные» из них, а остальные откладывать до лучших времен.

Один из способов — выбрать фразы, по которым страницы сайта находятся с 5 по 20 позицию в Google. По ним можно быстрее и с меньшими затратами выйти в ТОП-5. Ну и скачок позиций, скажем, с двенадцатой на третью даст намного больше трафика, чем с 100-й на 12-ю (узнать точный прирост трафика вы можете с помощью сценарного прогноза в Data Studio).

Позиции по ключевым фразам в Google доступны в Search Console. Для их выгрузки есть шаблон, описанный в Codingisforlosers.

Для выгрузки ключей из ТОП-20 необходимо:

• создать копию шаблона Quick Wins Keyword Finder (все шаблоны в статье закрыты от редактирования, просьба не запрашивать права доступа — просто создайте копию и используйте ее);
• установить дополнение для Google Sheets Search Analytics for Sheets (для настройки экспорта отчетов из Search Console в Google Sheets);
• иметь доступ к аккаунту в Search Console и накопленную статистику по запросам (хотя бы за пару месяцев).

Открываем шаблон и настраиваем выгрузку данных из Search Console (меню «Дополнения» / «Search Analytics for Sheets» / «Open Sidebar»).

Для автоматической выгрузки на вкладке «Requests»:

• в поле «Verified Site» выбираем сайт (после подтверждения доступа к аккаунту в появится список сайтов);
• в поле «Group By» выбираем «Query» и «Page» (то есть мы будем извлекать данные по запросам и страницам);
• в поле «Results Sheet» обязательно задаем «RAW Data», иначе шаблон работать не будет.

Нажимаем кнопку «Request Data». После экспорт данных на листе «Quick Wins» указаны запросы, страницы, количество кликов, показов, средний CTR и позиция за период. Эти ключи подходят для приоритетного продвижения.

Помимо автоматической выгрузки в шаблоне есть ручной режим. Перейдите на вкладку «MANUAL» и введите данные (ключи, URL и позиции). На вкладке «Quick Wins » будет выборка перспективных запросов.

Виды парсеров по сферам применения

Для организаторов СП (совместных покупок)

Есть специализированные парсеры для организаторов совместных покупок (СП). Их устанавливают на свои сайты производители товаров (например, одежды). И любой желающий может прямо на сайте воспользоваться парсером и выгрузить весь ассортимент.

Чем удобны эти парсеры:

• интуитивно понятный интерфейс;
• возможность выгружать отдельные товары, разделы или весь каталог;
• можно выгружать данные в удобном формате. Например, в Облачном парсере доступно большое количество форматов выгрузки, кроме стандартных XLSX и CSV: адаптированный прайс для Tiu.ru, выгрузка для Яндекс.Маркета и т. д.

Популярные парсеры для СП:

• SPparser.ru,
• Облачный парсер,
• Турбо.Парсер,
• PARSER.PLUS,
• Q-Parser.

Вот три таких инструмента:

• Marketparser,
• Xmldatafeed,
• ALL RIVAL.

Парсеры для быстрого наполнения сайтов

Такие сервисы собирают названия товаров, описания, цены, изображения и другие данные с сайтов-доноров. Затем выгружают их в файл или сразу загружают на ваш сайт. Это существенно ускоряет работу по наполнению сайта и экономят массу времени, которое вы потратили бы на ручное наполнение.

В подобных парсерах можно автоматически добавлять свою наценку (например, если вы парсите данные с сайта поставщика с оптовыми ценами). Также можно настраивать автоматический сбор или обновление данных по расписания.

Примеры таких парсеров:

• Catalogloader,
• Xmldatafeed,
• Диггернаут.

Зачем нужны парсеры

Парсер — это программа, сервис или скрипт, который собирает данные с указанных веб-ресурсов, анализирует их и выдает в нужном формате.

С помощью парсеров можно делать много полезных задач:

Для справки. Есть еще серый парсинг. Сюда относится скачивание контента конкурентов или сайтов целиком. Или сбор контактных данных с агрегаторов и сервисов по типу Яндекс.Карт или 2Гис (для спам-рассылок и звонков). Но мы будем говорить только о белом парсинге, из-за которого у вас не будет проблем.

Где взять парсер под свои задачи

Есть несколько вариантов:

1. Оптимальный — если в штате есть программист (а еще лучше — несколько программистов). Поставьте задачу, опишите требования и получите готовый инструмент, заточенный конкретно под ваши задачи. Инструмент можно будет донастраивать и улучшать при необходимости.
2. Воспользоваться готовыми облачными парсерами (есть как бесплатные, так и платные сервисы).
3. Десктопные парсеры — как правило, программы с мощным функционалом и возможностью гибкой настройки. Но почти все — платные.
4. Заказать разработку парсера «под себя» у компаний, специализирующихся на разработке (этот вариант явно не для желающих сэкономить).

Первый вариант подойдет далеко не всем, а последний вариант может оказаться слишком дорогим.

Что касается готовых решений, их достаточно много, и если вы раньше не сталкивались с парсингом, может быть сложно выбрать. Чтобы упростить выбор, мы сделали подборку самых популярных и удобных парсеров.

Законно ли парсить данные?

В законодательстве РФ нет запрета на сбор открытой информации в интернете. Право свободно искать и распространять информацию любым законным способом закреплено в четвертом пункте 29 статьи Конституции.

Допустим, вам нужно спарсить цены с сайта конкурента. Эта информация есть в открытом доступе, вы можете сами зайти на сайт, посмотреть и вручную записать цену каждого товара. А с помощью парсинга вы делаете фактически то же самое, только автоматизированно.

Как работать с сервисом Kparser

Проект максимально прост, хотя новичкам все же советую ознакомиться с описаниями всех фишек на официальном сайте. На главной странице Kparser увидите форму с заданием основных параметров выборки. Здесь указываете:

• по каким ключами следует искать подсказки (можно использовать несколько с новой строки);
• ресурс для сбора информации: поисковики, Amazon, Youtube и др.
• отмечаете регион;
• задаете язык поиска.

Чтобы активировать продвинутый режим парсинга кликайте по кнопке «Advanced».

В открывшемся окне можете сделать более точный запрос за счет разных параметров:

• добавления цифр и ответов на вопросы;
• дополнительных слов и символов, которые допускаются в выборке;
• глубины парсинга;
• включаемых / исключаемых фраз в результатах.

После завершения работы увидите две таблицы:

Справа находятся все найденные запросы, а слева отображаются слова, что в них встречаются. Получается своего рода группировка ключей, с помощью которой вы сможете выбрать одну из позиций и получить список всех существующих фраз по ней. Также в левой таблице имеется специальная иконка глаза, позволяющая скрыть ненужные элементы. Дальше копируете результаты или импортируете их в CSV файл.

Для просмотра среднего числа запросов в месяц и стоимости клика по Adwords придется приобрести продвинутый Pro аккаунт (его стоимость 40 долларов в месяц). Есть вариант попроще Basic, который не будет содержать никаких ограничений по числу позиций при импорте.

В принципе, можете смело тестировать бесплатную версию Kparser, а потом решить нужен ли вам данный сервис. Однако следует понимать, что это всего лишь инструмент, а не кнопка «бабло». Полученные результаты вам надо грамотно использовать в продвижении: на Amazon, Youtube и т.п.

Интересно, какими подобными веб-проектами для сбора подсказок и ключей вы пользуетесь?

Зачем нужен Kparser?

На официальном сайте найдете несколько полезных статей с описанием способов применения Kparser. Например:

• В Youtube — осуществляет подбор тегов и ключевых слов с «длинным хвостом» для видео, которые бы отлично охарактеризовали ролик и были максимально эффективны с точки зрения продвижения.
• Google — сбор подсказок под SEO и Adwords. Используя совместно сервисы Adwords Keyword Tool и Kparser, вы достигнете лучшего результата по выборке. Причем последний выдает в разы больше информации + доступен всем пользователями.
• Google Search Console — соединение данных из двух инструментов позволит улучшить показатели органического трафа. Собирайте релевантные подсказки для тайтлов/текстов имеющихся страниц либо делайте новые под ключевые запросы с хорошим потенциалом.
• Определяйте минус слова под ваши Adwords и Direct кампании.
• Google Search Trends — ищите трендовые направления для создания актуального контента + формируйте через Kparser фразы с длинным хвостом.
• eBay + Amazon — по аналогии с Youtube и другими нишевыми продуктами  рассматриваемый проект помогает определять релевантные ключи и поднять ваш товар повыше в выдаче.

Советую хорошенько изучить все эти инструкции, т.к. там весьма детально рассмотрены ситуации, в которых Kparser позволит выжать максимум из того или иного сервиса. К сожалению, пока что информация представлена только на английском.

Возьмем к примеру Youtube…

По правилам хорошей оптимизации ролика вам нужно:

• придумать наиболее релевантный ключевой запрос для видео;
• использовать его в имени загружаемого файла, заголовке и других элементах на странице;
• создать хорошее описание с вашими ключевиками и похожими по смыслу фразами;
• добавить запросы в теги, по которым должны находить данное видео;
• напоследок поделитесь роликом во всех своих социальных аккаунтах и, возможно, попросите об этом друзей либо закажите небольшую рекламу — надо постараться сделать своего рода вирусный эффект после публикации.

Теги для видоса — очень важны. Если их не указываете, то получите нулевую оценку параметра vidIQ. С заполненными полями результат явно получше:

Теги добавляются дабы поисковики понимали о чем ваше видео и, соответственно, по каким запросам в Youtube оно будет ранжироваться.

Если у вас новый канал, старайтесь использовать менее конкурентные ключевики с длинным хвостом — так больше шансов побороться за трафик. Популярным авторам есть смысл вклиниться в борьбу по крутым тегам. Найти подходящие варианты вам как раз и поможет текущий инструмент.

Очистка СЯ от «мусора»

Покажем, как это делать в Key Collector.
 

Ключевики, которые содержат ненужные слова

 
Нажимаем вкладку выбора условий фильтрации:
 

 
Задаем условие, как указано на скриншоте, и пишем слова:
 

 
Отмечаем фразы и добавляем в корзину:
 

Повторы слов

 
Аналогично вызываем настройки фильтрации фраз и выбираем такой вариант:
 

Стоп-слова (информационные запросы, города, в которых не действует предложение, «бесплатно», «дешево», субъективные определения и т.д.)

 
Нажимаем этот значок в верхнем меню:
 

 
В окне настроек добавляем фразы (1) и разбиваем по группам (2):
 

 
Далее — выделяем слова в таблице галочкой и добавляем в список стоп-слов.
 

Группы слов

 
Чтобы разбить запросы на группы, на вкладке «Данные» открываем «Анализ групп». В окне выбираем тип «По отдельным словам»:
 

Выбранные группы появятся в основном списке запросов, где можно отсеять все ненужные.
 

Запросы с нулевой частотностью

 
Выбираем следующее условие фильтрации:
 

 
Далее — требования по частоте:
 

 
Можно удалить нецелевые запросы и вручную: копируем ключевики в Word. Заменяем пробел на знак абзаца, чтобы представить все слова из словосочетаний в виде колонки. Переносим обратно в Excel на отдельный лист, сортируем и определяем минус-слова. Затем находим с помощью фильтра фразы с ними и удаляем.

На какие вопросы машинный интеллект не дает ответы

Сбор семантики быстрее и проще с помощью различных сервисов, баз, приложений — благо, выбор есть. Однако нельзя слепо полагаться на автоматизацию. Есть два случая, когда без ручного труда не обойтись.
 
Уже при подборе масок нужно «вытаскивать» синонимы и переформулировки из сайтов заказчика и конкурентов, правой колонки Wordstat, собственных идей и т.д. Мы увидели, что это всё предстоит делать специалисту по контекстной рекламе.
 
Самый трудозатратный и не автоматизируемый процесс — очистка СЯ от «мусора». Готовых минус-списков и данных об отказах из Яндекс.Метрики недостаточно для 100% точности. Приходится смотреть предварительные списки и выявлять смысловое соответствие результатов бизнесу.
 
Особенно это касается сложных продуктов. Например, подготовка сжатого воздуха, или осушка воздуха. Больше расширений можно насобирать по слову «осушка».
 
Но среди результатов в Wordstat в мы можем увидеть и «осушка газа», и «адсорбционная осушка», и «осушка компрессора». Не всегда семантическое соответствие гарантирует смысловое соответствие. Это разные продукты, а значит, разный спрос. Чаще всего выявить и исключить его можно только вручную.
 
Если вы не проверяете результаты парсинга, вы жертвуете полнотой СЯ и точностью будущих рекламных кампаний. Совет: выбирайте оптимальный баланс «трудозатраты — полнота» и делайте полный список минус-слов.

Традиционный софт

Ниже представлена надежная классика среди инструментов для подбора ключевых запросов.

1. Microsoft Office Excel

Excel был и остается самой лучшей программой для сбора семантического ядра и дальнейшей работы с ним. После использования различных кластеризаторов, группировщиков, все в итоге попадает в Excel для дальнейшей доработки.

2. OpenOffice + Скрипт для упрощения классификации запросов от Сергея Кокшарова

OpenOffice — офисный программный пакет с открытым исходным кодом для обработки текстов, электронных таблиц, презентаций, графики, баз данных и многого другого.

Он доступен на многих языках. Хранит все ваши данные в международном формате открытого стандарта, а также может читать и записывать файлы из других распространённых офисных пакетов программного обеспечения. Его можно скачать и использовать совершенно бесплатно для любых целей.

OpenOffice — аналог Microsoft Excel, но в комбинации с макросом от Сергея Кокшарова (Devaka), он превращается в кластеризатор запросов с возможностью дальнейшей быстрой доработки. 

3. Google Sheets

Google Sheets — все чаще используются как альтернатива Excel, но функционал и возможности еще не сопоставимы. Бесплатный функционал, удобный интерфейс и функция автосохранения делает Google Sheets еще привлекательнее для специалистов.

4. XMind

XMind — удобная программа для проектирования наглядной структуры сайта, создания схем перелинковки и mind maps с маркетинговыми стратегиями.

Подходит для платформ: Windows, macOS, Linux, iOS и Android. 

Платная — 39,99$/6 мес., 59,99$/год. Есть тестовая версия.

5. MindMeister

MindMeister — онлайн-сервис для построения структуры сайта. При количестве страниц более 1000, начинает притормаживать. Удобен для использования, когда необходима одновременная работа нескольких членов команды над структурой.

Платная — от 2,49$ до 6,29$ в месяц в зависимости от выбранного тарифного плана.

Есть базовая тестовая версия.

Название	Описание	Тарифы	Trial
Microsoft Office Excel	Программа для создания сводных таблиц	от 69,99$/год (пакет Microsoft Office)	Есть
OpenOffice + Скрипт Devaka	Программа для создания сводных таблиц + кластеризация запросов	Бесплатно	Есть
Google Sheets	Аналог Excel от Google	Бесплатно	Есть
XMind	Программа для проектирования наглядной структуры сайта	39,99$/6 мес., 59,99$/год.	Есть
MindMeister	Онлайн-сервис для построения структуры сайта	от 2,49$ до 6,29$ в месяц	Есть

Классификация семантики

При сборе семантического ядра, важно учитывать какой тип семантики отвечает вашему сайту. Всю семантику можно поделить на:

• коммерческая / информационная;
• геозависимая / геонезависимая;
• сезонная / несезонная;
• высококонкурентная / среднеконкурентная / низкоконкурентная;
   
• Коммерческая семантика — это так-называемая «продающая» семантика с целью конвертировать посетителя сайта в потенциального покупателя / клиента. Зачастую в нее входят такие слова как: купить, цена, заказать, продать, обмен и так далее. Их еще называют транзакционными запросами.  

Информационная семантика — это семантика, у которой нет коммерческой цели, основной целью является рассказать о чем-то / ком-то, например о продукте, товаре или персоне и т.д. Это может быть статья, справочная информация, просто текст — но информационного характера.

Геозависимая семантика — это семантика, которая имеет четкую привязку к конкретному населенному пункту. Например, «стоматологический кабинет “Арника” в Москве». И преимущественно — это коммерческая семантика. Такая семантика нацелена на поисковую выдачу по конкретному городу, а значит при сборе семантического ядра необходимо максимально учитывать ключевые слова именно по этому региону — все остальные населенные пункты игнорировать. 

Геонезависимая семантика  — это преимущественно информационная тематика, без привязки к конкретному населенному пункту. Например, новостные сайты, информационные порталы, статейники, аналитические ресурсы и так далее. То есть, это та семантика, которая не привязана к региону. 

Ваша задача заключается в том, чтобы точно определить какой вид семантики отвечает вашему сайту и по ней собрать семантическое ядро. 

Ядра смешанных типов семантики создавать не рекомендуется — запросы могут не правильно сгруппироваться и вы получите, грубо говоря, кривую структуру.  Если же у вас сайт, на котором планирует несколько типов семантики — рекомендую разместить их на разных разделах и собрать отдельное семантическое ядро под каждый. 

Что такое парсеры для социальных сетей?

Напоследок рассмотрим, что такое парсеры для социальных сетей. Всем известно, что именно там имеется высокая концентрация людей, где указаны практически все необходимые данные.

На страницах пользователи указывают возраст, регион, место проживания. Все это поможет сэкономить кучу времени на социальные исследования, опросы и т.д. На руку Вам сыграет еще, если Вы знаете как добавить сайт в Яндекс Вебмастер, чтобы улучшить эффективность работы.

Так, с помощью парсе можно отсортировать людей по нужным для себя критериям в одно мгновение. Например, выбрать тех, кто подписан на определенные сообщества или у кого ожидается какое-то событие вроде свадьбы, рождения ребенка. Уже выбранной аудитории можно предложить свои услуги или товары.

Парсинг — эффективный инструмент для работы, касающейся обработки данных. С его помощью можно сохранить большое количество времени и потратить его на более важные вещи. А что Вы об этом думаете?

Способ 4. Выгрузка запросов из рекламных кабинетов Google и Яндекса

Этот способ подойдет тем, кто активно рекламируется в Яндекс.Директе и Google Рекламе (а точнее, запускает поисковую рекламу). Если у вас запущены рекламные кампании по ключам в широком соответствии, вы сможете без проблем выгрузить НЧ-запросы, по которым рекламные системы показывают ваши объявления на поиске.

Обратите внимание. Если РК запущены по ключам в точном соответствии, дополнительные НЧ-запросы собрать не получится

Для примера покажем, как выгрузить запросы из кампании в Google Ads.

Заходим в интерфейс Google Ads, открываем нужную кампанию, раздел «Ключевые слова» и переходим на вкладку «Запросы». Выгружаем их в Excel или Google Таблицы с помощью кнопки «Скачать».

Если вы пока что не рекламировались на поиске, запустите тестовую кампанию на неделю. За этот период времени или даже быстрее у вас накопится статистика и вы сможете собрать базовые запросы.

С помощью этого способа вы получаете наиболее актуальные ключевые фразы. Оптимизируйте под них страницы сайта и вы будете на шаг впереди большинства конкурентов: данные в Вордстат поступают с задержкой, поэтому если конкуренты собирают семантику только в нем, ваши запросы будут актуальнее.

После выгрузки запросов из рекламных кампаний проверьте их частотность и выберите подходящие запросы для оптимизации. Также эти запросы вы можете использовать для углубления семантики – воспользуйтесь подборщиком PromoPult (как это делать – описано в предыдущем разделе).