Кластеризация и текстовый анализ

Кластеризация и текстовый анализ

Сложные вопросы реализации и интерпретации

Алексей ЧекушинHead of search tech в Ostrovok

Основатель Just-Magic.org

Who is mr. clustering

True

False

А почему так?

Гипотеза 1: Если N урлов могли быть продвинуты по двум запросам – значит и мы можем.

Гипотеза 2: Качество выдачи за топ-10 быстро падает.

Проблема 1: как выбрать кластер?

Идем от задачи!

Ускорение разбора больших ядер Разделение запросов по типам

Проблема 2: малые группы

39 - Ростов 213 - Москва

© кластеризатор Just-Magic.org

Два вида ошибокОшибка 1го рода:В 1 кластер попалиНесовместимыезапросы.

Ошибка 2го рода:Совместимые запросы попали в разныекластеры.

Решение проблемы 1

Минимизируем ошибку 1го рода

Ошибка 2го рода – как получится

Проблема решена?

Опять идем от задачи!

Постраничное распределение

Маркерный запрос

Просто кластеризация

Метод наибольшей плотности

Проблема решена?

Маркер

Точность и полнота

Точность

Полнота

Подходящие Не подходящие

WTF? Опять этот слайд??!!!111

Маркер

Проблема 3: какой N правильный?

1 2 3 4 5 6 7 8 9 100%

20%

40%

60%

80%

100%

120%

22%

49%

92% 95% 98% 100% 100% 100% 100% 100%

9%

21%

61%

74%

89%97% 100% 100% 100% 100%

Точность кластеризации

Точность - hard Точность - soft

Неужели опять от задачи?

«Трафиковое» продвижение

Soft-метод, порог 4+

«Позиционное» продвижение

Hard-метод, пороги 3 или 4

Текстовый анализ?Гипотеза 1: Существуют «оптимальные» для попадания в топ значения.

Гипотеза 2: Сайты в топе соответствуют «оптимальным» значениям.

Гипотеза 3: Вычисления интервалов допустимо проводить независимо.

Что такое «оптимальное значение»?

1 2 3 4 5 6 7 8 9 1002468

10121416

[пластиковые окна] - вхождение "пластиковые окна"

Окей гугл, как вычислить оптимальные?1) Выбросить все ненужное.

2) Срезать выбросы.

3) Определить диапазон.

Диапазон?

1 2 3 4 5 6 7 8 9 100

5

10

15

20

25

30

35

[купить пластиковые окна] - вхождение [пластиковые окна]

Проблема 4: Сколько вхождений правильно?

© текстовый анализатор Just-Magic.org

А если запросов несколько?

Проблема 5: так сколько вхождений правильно?

1 2 3 4 5 6 7 8 9 1005

101520253035

Вхождения "пластиковые окна"

[пластиковые окна] [купить пластиковые окна]

1 2 3 4 5 6 7 8 9 1005

101520253035

Вхождения "пластиковые окна"

[пластиковые окна] [купить пластиковые окна]

Еще одно решение

Всегда ли это применимо?

Fin

Ваши вопросы?

Связаться со мной:a.chekushin@ostrovok.rua.chekushin@just-magic.org

Попробовать самому (онлайн, бесплатно, без смс): Just-Magic.org