Data Driven SEO - Кластеризация по топам - от теории к практике

Кластеризация по ТОПам – от теории к практике

Олег ШестаковData Driven SEO Москва 2016

Рекламно-консалтинговое агентство RushRush Analytics – сервис поисковой аналитики

Рекламно-консалтинговое агентство Rush

- В SEO с 2008 года- Участвовал более чем в 100 SEO-проектах- Автор стратегий для 20 крупных интернет-магазинов, 3 из

ТОП20 в России- Специализация: E-commerce, проекты с большой семантикой, автоматизация в SEO- Основатель и CTO в Rush Analytics & Founder Rush Agency

Rush Analytics – сервис поисковой аналитики


1. Теория и практика кластеризации по ТОПам2. Источники сбора семантики для качественной семантики3. Маркеры: как готовить, «раскрытие» маркеров, кластеризация маркеров4. Кластеризация облака запросов для построения структуры5. Финализация структуры сайта

О чем сегодня поговорим?



Кластеризация по ТОПам – как это работает?


Таким образом строим матрицы по всему ядру. Точность кластеризации - количество общих URL (!) в ТОПе по двум запросам, необходимое для создания кластера.


Кластеризация по ТОПам – как это работает?



1. Ускорение группировки ключевых слов (в 10-30 раз)2. Выделение мусорных слов в «сложной семантике»3. Разбивка ядра на коммерцию и некоммерцию4. Увеличение релевантности и % вывода ключевых

слов в сложных тематиках

Какие задачи решает кластеризация по ТОПам?



1. Лингвистическая группировка не охватывает синонимы и переформулировки доп. время на обработку ядра

2. Временные затраты на разборы ядра более 10к растут нелинейно

3. Ошибки семантиков могут «похоронить» до 15% запросов

Ускорение группировки ключевых слов



1. Фактически используем готовые данные Яндекса о коммерческости

2. При удовлетворительном качестве выдачи и правильном подборе точности кластеризации – кластера отлично разделяются под листинги и статьи

Разбивка ядра на коммерцию/некоммерцию



1. Во многих конкурентных тематиках даже запросы «цена» и «стоимость» могут не продвигаться на одну страницу

2. Hard – кластеризация отлично показывает как устроено ранжирование в тематике, указывает на нужные типы страниц.

Работа над ВЧ запросами



1. Soft-кластеризация 2. Hard-кластеризация

Какие виды кластеризации по ТОПам существуют?



Назначение: трафиковые проектыРаботаем с большим пулом СЧ – НЧ нет возможности следить за 100% совместимостью запросов

Soft-кластеризация



Назначение: конкурентная позиционкаКрайне важна совместимость запросов

Hard-кластеризация



Алгоритм построения семантики для трафиковых проектов


Создание списка маркерных запросов – «скелет спроса»(Ручные гипотезы + Wordstat)

+Сбор расширений базового спроса – «облака запросов»

(Поисковые подсказки)

Создание финальной структуры сайта (Кластеризация)


Какие источники необходимы и достаточны для построения качественной трафиковой семантики?

Источники сбора семантики



Что важно:1. Используем в большинстве своем для маркеров2. Правильно парсим маркеры 3. Верифицируем словоформы по частотке(вернемся к этому в разделе про маркеры)

Yandex Worstat (старый добрый )



Почему?1. Только реальные запросы пользователей2. Только правильные словоформы (при

правильном парсинге)3. Всегда свежие и трендовые запросы

Поисковые подсказки



А что еще можно использовать?1. Метрика – ДА, можно – но нужно чистить мусор2. Базы данных типа Букварикса и MOAB –

предлагают откровенный треш с 30-87% поддельных (генерированных запросов)

Все? – Да!



Наше исследование качества баз данных ключевых слов












Wordstat и подсказки дают 70-80% того, что нужно для качественной семантики.

Итого:



Маркерные запросы - это запросы, которые четко отвечают продвигаемой странице. Такие запросы обычно имеют значимую частотность по Wordstat и являются средне-частотными (СЧ), или "жирными" низкочастотниками (НЧ), и могут породить "хвост" запросов, например при добавлении слов "купить", "цена", "отзывы".

Маркерые запросы



Одежда - плохой маркерный запрос т.к. слишком широкийКупить коричневые ботинки – хороший маркерный запрос – четко отвечает продвигаемой страницеКупить коричневые броги недорого в спб - слишком узкий запрос и не может породить дочерние

Примеры маркерных запросов



Чтобы собрать максимум подсказок - нам нужно «раскрыть» маркеры:1. Просклонять2. Переставить слова3. Добавить транзакционные добавки

«Раскрытие» маркеров (подготовка к парсингу)



Базовое слово – бетон М300. Раскрывая маркер получаем:1. Бетон М300, Бетон М3002. Купить бетон М300, купить бетон м 300, бетон

М300 купить…..3. Бетон М300 цена, цена бетон М300Для чего?

Пример раскрытия маркера



Подсказки по запросу «купить бетон М300»



Подсказки по запросу «бетон М300 купить»



Если учесть только главную словоформу – мы потеряем до 50% семантики. Факт

Подсказочная выдача совершенно разная



Запрос: стиральные (машины|машинки) (samsung|самсунг) -ремонт -ошибки -отзыв -коды -видео -запчасти –неисправности

Лайфхак по сбору маркеров №1



Запрос: получаем самый частотный порядок слов, «закавычивая запрос» – смотрим на первое слово в левой колонке

Лайфхак по сбору маркеров №2



1. Подсказки гео-зависимы – совершенно разная выдача в МСК и СПБ

2. Подсказки КРАЙНЕ чувствительны к лингвистике (достаточно смены окончания или пробела для получения на 80% другого списка)

3. В Яндексе до 30% фантомных подсказок при «тупом переборе»

Нюансы парсинга поисковых подсказок



1. Подсказки гео-зависимы – совершенно разная выдача в МСК и СПБ

2. Подсказки КРАЙНЕ чувствительны к лингвистике (достаточно смены окончания или пробела для получения на 80% другого списка)

3. В Яндексе до 30% фантомных подсказок при «тупом переборе»

Нюансы парсинга поисковых подсказок



Что есть оптимальная семантика:По аналогии с информационным поиском:Полнота vs/* точность1. Если спарсим мало – потеряем трафик2. Если спарсим слишком много – «закопаемся» в

разборе облака нерелевантных НЧ ключей

Как парсить подсказки для получения оптимальной семантики



Есть несколько вариантов перебора лингвистики:1. Базовое слово, базовое слово + пробел2. Пробел + перебор алфавита [а-я], [a-z], [0-9]3. Комбинации методов

Как парсить подсказки для получения оптимальной семантики



Хардкорный парсинг подсказок для получения всех ключей


Усложним перебор лингвистики:

1. ключевое слово +[а-я]_ +[a-z]_ +[0-9]_2. ключевое слово +[аа-ая, ба-бя] +[aa-az,

ba-bz] +[00-09, 10-19]


Какие фишки еще есть при парсинге подсказок?


1. Важно фильтровать подсказки на лету по стоп словам

2. Если зацепить «вк», «вконтакте», «одноклассники» - разобрать это будет невозможно

3. Для оптимизации нагрузки на парсер – нужно фильтровать дубликаты «на лету»


«Боевая» методология сбора подсказок


1. Берем базовые или «раскрытые» маркеры2. Собираем подсказки Яндекс по словам, словам

+ пробел3. Смотрим на результат и формируем список стоп-

слов4. «На лету» вырезаем стоп-слова, «убивая»

паразитые ветки подсказок


«Боевая» методология сбора подсказок.Часть 2


1. Запускаем парсинг подсказок с переборами алфавита [а-я], [a-z], [0-9] в зависимости от тематики

2. Обязательно метчим стоп-слова и дубликаты3. Получаем конечный список целевых подсказок4. NB: Без предварительного составления списка

стоп-слов не получится чистой семантики


Реализация списков стоп-слов в Rush Analytics



Пост-обработка подсказок и треш-холды


1. Все зависит от тематики. В тематиках «кредиты» и «казино» около 50% спроса – это 6 и боле словные запросы – нужно парсить глубже

2. В тематиках «окна» и «мебель» можно спарсить базовые переборы на 2 уроверь и получить все расширения

3. Зная частотность в тематике можно резать по количеству слов.


1. Кластеризация по частотности Wordstat2. Кластеризация с фиксированными маркерами3. Комбинированный метод 1 + 2

Какие типы кластеризации мы используем?



На самом деле метод не использует Wordstat для связей внутри кластеров 1. На вход подается ключевое слово | Частотность2. Ключевые слова сортируются по убыванию

частотности3. Первое слово признается маркером, привязываем

к нему все что возможно. Итерация повторяется

Кластеризация по Wordstat



Когда используется этот метод?1. Когда структура сайта еще не ясна/проектируется2. Статейные проекты3. Для оценки интентов в тематике

Кластеризация по Wordstat



Кластеризация по Wordstat - Результат



Используем когда уже есть скелет структуры. Точно знаем что хотим куда вести1. На вход подается ключевое слово | 1/0 –

маркер/не маркер2. Берется первый маркер, к нему привязается все

что возможно из облака. Итерация повторяется

Кластеризация с фиксированными маркерами



Кластеризация с фиксированными маркерами – входной файл



Как решить проблему, что «купить» и «цена» в Ecommerce кластеризуются на разные

страницы из-за плохой выдачи?



Кластеризация маркеров


1. Сначала кластеризуем маркеры по WS между собой

2. Получаем группы маркеров, которые могут продвигаться на 1 страницу

3. Привязанное к кластеризованным маркерам облако ведем на 1 страницу


Кластеризация маркеров



Комбинированная кластеризация


1. Сначала запросы из облака привязываются к маркерам

2. Оставшиеся запросы кластеризуются между собой

На выходе получаем:- Семантику для структуры, которую уже знаем- Гипотеза для расширения структуры


Построение структуры на основе кластеризации


Подробнее на: http://www.rush-analytics.ru/faq/kak-sozdat-strukturu-sayta-na-osnove-semanticheskogo-yadra

http://www.rush-analytics.ru/faq/kak-sozdat-strukturu-sayta-na-osnove-semanticheskogo-yadra

http://www.rush-analytics.ru/faq/kak-sozdat-strukturu-sayta-na-osnove-semanticheskogo-yadra


Какие фишки есть в Rush Analytics?


1. 3 метода кластеризации, описанные выше (Soft)2. Автоматическое определение релевантных URL для

кластера + определение кластеров в ТОПе3. Подсветки выдачи для каждого кластера автоматом4. Показываем самый мощный URL конкурента по

кластеру – идем и забираем оптимизацию 5. Скорость – 100к ключевых слов 1-2 часа.

Сами используем в работе каждый день


[email protected] www.facebook.com/shestakov.oleg www.rush-analytics.ru

Ваши вопросыData Driven SEO Москва 2016

mailto:[email protected]

http://www.facebook.com/shestakov.oleg

http://www.rush-analytics.ru/

Marketing

Data Driven SEO - Кластеризация по топам - от теории к практике