Тонкости фильтрации и группировки запросов

Тонкости фильтрации и группировки запросов

26 февраля 2015

Онлайн-марафон «SEO 24/7»

Игорь Бакалов

• В клиентском SEO с 2010 года

• Опыт продвижения: более 60 проектов

• Автор блога http://bakalov.info/

http://bakalov.info/

План доклада:1) Фильтрация навигационных запросов

2) Автоматическая классификация запросов на«информационные» и «коммерческие»

3) Быстрая группировка семантического ядра длясуществующего сайта

Небольшое отступление…Сперва нужно собрать СЯ:

1) Yandex Wordstat, Rambler AdStat, Google KeywordPlanner

2) Подсказки Яндекс, Google, Mail.ru

3) Счетчики Яндекс.Метрики, Google Analytics

4) Базы ключевых слов: Amazing, Пастухов, UP-base, …

5) Анализаторы: SpyWords, SEMrush, Prodvigator, ADVSE, …

Затем выполнить первичную чистку:

1) Чистка дубликатов

2) Чистка по спискам стоп-слов

3) Чистка от запросов с ошибками

4) Чистка от запросов-пустышек

Фильтрация навигационных запросов

Навигационный запрос – это запрос, по которомупользователь ищет конкретную фирму или сайт.

Очень актуально в тематиках:

• кафе, рестораны

• базы отдыха, турбазы

• медицинские клиники

• банки и кредитные брокеры

• гостиницы, отели, хостелы

Частично уже рассматривал данный вопрос:

http://www.youtube.com/watch?v=4KQTlNe9HDw

http://www.youtube.com/watch?v=4KQTlNe9HDw


Определяем витальный сайт по запросу в Yandex.XML.Например, по запросу «русский дом база отдыха»сайт russ-dom.ru:


Общая схема:1) Собрать топ-10 по всему СЯ через Yandex.XML. Разделить запросы на 2

группы: в первой – по XML есть витальные сайты, во второй – нет.

2) Для первой группы – по каждому запросу из топ-10 исключаетсявитальный сайт, затем подсчитывается сколько раз оставшиеся сайтывстречаются в группе. Задается минимальный порог «встречаемости».Формируется «итоговый список» доменов, которые встречаются впервой группе с количеством раз не менее заданного порога.

3) Для второй группы – по каждому запросу оценивается топ-10, еслисайт встречается в «итоговом списке», то он получает «1», если невстречается, то «0». На выходе получаем оценку для каждого запроса,которая характеризует на сколько топ-10 по конкретному запросу извторой группы «похож» на выдачу по запросу, где есть витальныйсайты.


Выгрузка топ-10 по запросам, где есть витальныйсайт (из KeyCollector):


Используя функционал Excel «текст по столбцам» иудалением лишних строк, приводится к виду:

Фильтрация навигационных запросовПодсчитывается сколько раз каждый домен (кромевитальных) встречается в выдаче, выбираются где домены,которые встречаются 3 и более раз:


Для СЯ, которое необходимо проверить выполняется поиск втоп-10 доменов, которые встречаются по витальным запросам:


Пример в тематике «турбазы»

Запросов всего: 3256

Запросов, где по Yandex.XML есть витальный сайт: 222

Порог «встречаемости»: 3

Порог для определения навигационных запросов: 0.3

Запросов прошедших порог: 1444 из 3034 (47.6%)

Ошибочно определенных запросов: 129

Точность: 91%


Примеры правильно определенных запросов («турбазы»):база отдыха ландыш, база отдыха речка, сокол турбаза, турбаза остров, базаотдыха барсучок, база отдыха голд фиш, база отдыха городок, база отдыхадельфин, база отдыха дубровский, база отдыха остров, база отдыха электрон,база отдыха янисъярви, базы отдыха бурная ладога, турбаза барсучок, турбазазаря, турбаза здоровяк, турбаза зоря, турбаза маяк, турбаза полет

Примеры НЕ правильно определенных запросов («турбазы»):турбазы амурской области, турбазы в тверской области недорого, базы отдыхав карманово, базы отдыха городецкого района, базы отдыха кстовский район,базы отдыха на ветлуге, базы отдыха на селигере, базы отдыха на черном море,воротынский район базы отдыха, нижегородские базы отдыха, турбазынижегородской области, турбазы тверской области, тюменские базы отдыха,база отдыха тверская область, базы отдыха семеновский район


Пример в тематике «доставка суши»

Запросов всего: 5786

Запросов, где по Yandex.XML есть витальный сайт: 933

Порог «встречаемости»: 5

Порог для определения навигационных запросов: 0.4

Запросов прошедших порог: 1837 из 4853 (37.9%)

Ошибочно определенных запросов: 270

Точность: 85%


Примеры правильно определенных запросов («суши»):суши ласты меню, окинава суши щукинская, суши маг на пионерской, бенто сушимосква, евразия суши бар цены, империя суши москва, море суши москва, планетасуши меню доставки, ресторан суши таун, суши бар лотос, суши бар япона мама,суши вок ладожская, суши маг гашека, суши сан москва сходненская, суши ситибар, суши шоп время, ямамото суши бар

Примеры НЕ правильно определенных запросов («суши»):суши метро лесная, суши бар коломенская, суши бар на арбате, суши метробольшевиков, суши фрунзенская, доставка суши метро алексеевская, доставкасуши профсоюзная, доставка суши щелковский район, метро молодежная суши,проспект мира суши бар, суши бары москвы, суши бар на гагарина, суши бар наленина, суши бар на щукинской, суши метро автозаводская, суши метроалексеевская, суши метро арбатская, суши метро баррикадная


Пример в тематике «доставка суши»

Из 270 ошибочно определенных запросов:

• 117 по станциями метро

• 25 по районам

• 14 по улицам

• 11 по округам

Как снизить вероятность ошибки?

На начальном этапе выделить все запросы с целевымитопонимами в отдельную группу для ручной фильтрации.

“Информационность” и “Коммерческость” запросов

Задача: есть 100500 запросов, необходимоопределить по каким Яндекс предпочитаетпоказывать информационные сайты, а по какимкоммерческие.

Коммерческий сайт – продает товары и/или услуги

Информационный сайт – ничего напрямую непродает, но может размещать рекламу.


Для коммерческого сайта характерно:

Наличие контактной информации (телефон,физический адрес), обратная связь, возможностьонлайн-заказа, онлайн-консультант и т.д.

Для информационного сайта характерно:

Очень часто отсутствие выше приведеннойинформации, наличие рекламы (контекстной, тизерыи т.д.), возможность прямой рекламы на сайте.


Общий алгоритм:1. Собираем СЯ из 100500 запросов;

2. Получаем по каждому запросу топ-10;

3. Все URL объединяются в один список, удаляются дубли;

4. Каждый URL проверяется на наличие тех, или иных признаков;

5. На основе полученных признаков определяется является лиданный URL коммерческим, или информационным;

6. В зависимости от того, сколько и каких URL в топ-10, получаемитоговую оценку по конкретному запросу.

О том, как всё это сделать на практике, смотрим:

http://www.youtube.com/watch?v=9QKMdcU8yYY

http://www.youtube.com/watch?v=9QKMdcU8yYY


Наличие того, или иного фактора определяется при помощи регулярныхвыражений.

Примеры эвристик:

• Если на странице есть контекстная реклама – это информационныйдокумент;

• Если на странице есть кнопка «Купить» и «Корзина» - это коммерческийдокумент;

• Если на страницы есть форма «Добавить комментарий» и информация«Реклама на сайте» - это информационный документ;

• Если на странице есть ссылка на «Наши услуги», «Прайс», городскойтелефон, онлайн-консультант – это коммерческий документ;

• Если на странице нет «факторов» коммерческого документа – этоинформационный документ.


Тематика «эпиляция», коммерческие ГНЗ запросы:

ЗАПРОС КОММ ГЕО

восковая эпиляция купить материал 1 0

воск для депиляции фирмы 1 0

воск для эпиляции бьюти имидж 1 0

воск для эпиляции в картриджах 1 0

воск для эпиляции где продается 1 0

воск для эпиляции теплый в картридже 1 0

воск для эпиляции beauty image 1 0

все для депиляции заказать 1 0

все для депиляции интернет магазин 1 0

все для депиляции магазин 1 0

эпиляция бедер 0.9 0

эпиляция ног полностью 0.9 0

эпиляция онлайн запись 0.9 0

эпиляция сопрано 0.9 0

эпиляция soprano xl 0.9 0


Тематика «эпиляция», информационные ГЗ запросы:


безболезненная эпиляция зоны бикини эпилятором 0 1

депиляция кремом для беременных 0 1

депиляция усов у девушек 0 1

крем для депиляции беременным 0 1

крем после эпиляции от раздражения 0 1

правильная эпиляция ног эпилятором 0 1

правильная эпиляция эпилятором 0 1

удаление волос навсегда над губой 0 1

эпиляция эпилятором подмышки 0 1

восковая эпиляция беременным 0.1 1

депиляция при беременности воском 0.1 1

крем для эпиляции в зоне бикини 0.1 1

правильная эпиляция воском 0.1 1

сделать эпиляцию сахаром 0.1 1

спрей для обезболивания при эпиляции 0.1 1


Тематика «планшеты», коммерческие ГНЗ запросы:


заказать планшет через интернет недорого 1 0

купить планшет онлайн 1 0

планшет купить онлайн магазин 1 0

планшет купить онлайн недорого 1 0

планшет сони xperia tablet z цена 1 0

заказать бесплатно планшет 0.9 0

купить планшет онлайн в кредит 0.9 0

купить планшет iru p8901g 0.9 0

планшет леново 8000 отзывы цена 0.9 0

планшет 7 дюймов недорого 0.9 0

планшет apple ipad mini цена 0.9 0

планшет apple mini цена 0.9 0

планшет microsoft surface купить 0.9 0

samsung galaxy tab3 планшет цена 0.9 0


Тематика «планшеты», информационные ГЗ запросы :


детский планшет рейтинг 2014 0 1

лучшие планшеты samsung 2014 года 0 1

планшеты рейтинг популярности 0 1

планшет рейтинг 2014 цена качество 0 1

рейтинг дешевых планшетов 0 1

рейтинг планшетов 2015 0 1

купить лучший планшет 2014 года 0.1 1

лучшие планшеты леново топ 10 0.1 1

лучшие планшеты цена качество 0.1 1

лучшие 7 дюймовые планшеты 0.1 1

лучший планшет для дома 0.1 1

планшеты по дешевке 0.1 1

планшет по параметрам 0.1 1

подбор планшета по параметрам 0.1 1

самый дешевый планшет 0.1 1

Группировка СЯ для существующего сайта

Способы группировки семантики:1) Ручная группировка:

• В Excel

• В KeyCollector

2) Автоматические группировщики по SERP:

• seo-case.com

• engine.seointellect.ru

• coolakov.ru

• just-magic.org

• rush-analytics.ru

• semparser.ru

• stoolz.ru


Минусы ручной группировки:

• Долго

• Много ошибок

Минусы автоматической группировки по SERP:

• Получаем группы запросов без привязки к сайту

• Не понятно, под какие группы уже естьпосадочные страницы, а под какие необходимо ихсоздать.


Альтернативный подход:

1) Собрать семантическое ядро для сайта, получитьпо каждому запросу топ-10 выдачи ПС.

2) Для каждой страницы на сайте выбрать 1 запрос,который ее максимально точно описывает. Длявсех этих запросов также получить топ-10 выдачи.

3) Сравнить SERP’ы по «привязанным» запросам сSERP’ами по подобранному семантическому ядру.На основе схожести выдачи привязать запросы изСЯ к страницам сайта.


Общий алгоритм:1) Строится таблица соответствия, в которой указано сколько каждый

запрос (из привязанных к сайту) имеет пересечений по URL’ам скаждым запросом из подобранного семантического ядра.

2) Например, если ключ N из СЯ имеет 10 пересекающихся URL с ключомM привязанному к сайту, то ключ N привязывается к ключу M иудаляется из таблицы.

3) В начале группируются ключи, которые имеют 10 пересекающихся URL,затем 9, 8 и т.д.

На выходе получается таблица, где для каждой группы запросов известноосновное ключевое слово, привязанное к конкретной странице на сайте, атакже дополнительные ключевые слова с указанием значения близости,которое зависит от количество пересечений в топ-10.


Пример реализации: небольшая десктопнаяпрограмма, на вход которой подается 2 файла свыгрузками из KeyCollector:

Что получается на выходе?


Пример группировки в тематике «Айфоны»:


Пример группировки в тематике «Духи»:


Пример группировки в тематике «Насосы»:

Спасибо за внимание!Игорь Бакалов

Подписывайтесь на мой блог:

http://bakalov.info/И добавляйтесь в социальных сетях:

https://www.facebook.com/bakalov.igorhttps://twitter.com/Bakalov_Igor

https://www.youtube.com/user/b7186rft

http://bakalov.info/

https://www.facebook.com/bakalov.igor

https://twitter.com/Bakalov_Igor

https://www.youtube.com/user/b7186rft

Internet

Тонкости фильтрации и группировки запросов