Конференция SEO 2014

Аналитика по санкциям в Яндексе: АГС-40 и текстовые фильтры

25 2014февраля«SEO 2014»

План доклада2

1. > Две задачи: антиспам и ранжирование в Яндексе.

2. Факторы АГС-40: статистическое исследование.

3. Текстовые фильтры: запросозависимые и запросонезависимые санкции.

4. Кейсы по профилактике и снятию санкций для коммерческих сайтов.

Антиспам и ранжирование3

При решении задач антиспама1. Используются факторы, которые не участвуют в ранжировании.

Среди них могут быть:

• CMS-сайта• Скорость прироста контента на сайте• Доля роботизированных запросов• Количество исходящих коммерческих ссылок к числу страниц

в индексе поисковой системы• И другие…

2. Оптимизируются свои метрики.

3. Ищется баланс точности и полноты.

Точность, полнота, F-мера4

Поиск и настройка «оптимального» фильтра

Приоритет полноты5

Нашли 100% сайтов достойных бана/фильтра

Приоритет точности6

Все 100% наказанных сайтов были этого достойны

Выкат новых санкций в поиске7

При выкатывании новых санкций и обновлений

1. Изучается поведение метрик качества поиска (pFound и подобных).

2. Значительные изменения:

• расчет метрик качества

• анализ поведения пользователей на выдаче (пользовательские метрики) с разбиением запросов на группы замер множества показателей по выдаче

pFound в ранжировании8

При обучении формулы максимизируется вероятность того, что человек нашел, что искал.

В СПЕКТРЕ — схожая вероятностная модель, но несколько потребностей пользователя.

План доклада2

1. Две задачи: антиспам и ранжирование в Яндексе.

2. > Факторы АГС-40: статистическое исследование.

3. Текстовые фильтры: запросозависимые и запросонезависимые санкции.

4. Кейсы по профилактике и снятию санкций для коммерческих сайтов.

АГС-4010

Факты об АГС-40

1. Впервые замечен: 1 ноября 2013.

2. Официально анонсирован: 6 ноября 2013. В блоге компании «Яндекс»: http://webmaster.ya.ru/16272

3. Было несколько «волн» наложения санкций.

4. Регулярное обновление базы и выход ряда сайтов из-под санкций.

5. Ссылочными биржами даны различные оценки: от 1% до 20% от всей ссылочной базы.

АГС-40: исследование11

Данные на входе (полная база биржи ссылок)

1. База: 17 744 сайта, при проверке «живых»: 16 442 сайта

2. В каких TLD?

Попали под АГС: всего12

Итого попали под АГС-40

Типичная ситуация

Сайты под АГС: по доменам13

Доля сайтов под АГС с заданной доменной зоной

Сайты под АГС: YACA14

• Среди сайтов под АГС в YACA — 10% • Среди сайтов без АГС в YACA — 25%

Сайты под АГС: DMOZ15

• Среди сайтов под АГС в DMOZ — 3,5% • Среди сайтов без АГС в DMOZ — 19%

Сайты под АГС: YACA + DMOZ16

• Среди сайтов под АГС в YACA+DMOZ — менее 0,25% • Среди сайтов без АГС в YACA+DMOZ — 10%

Сайты под АГС: торговали ссылками17

• Явной зависимости от торговли временными / арендными ссылками — НЕТ!

Общее распределение по CMS18

• Взяты CMS с числом сайтов в группе более 150 штук.• Всего для исследования вышло: 16 103 сайта.

Супер-помощь в определении CMS:

Никулин Павел — SEO-эксперт

www.facebook.com/pavel.nikulin.9

Сайты под АГС: CMS сайта19

1. Есть ли зависимость наложения АГС от типа CMS?2. Bitrix — минимальный процент сайтов попавших под

фильтр АГС (правда и доноров мало).

Сайты под АГС: Яндекс.Директ20

Влияние блоков Яндекс.Директ на АГС:• Наличие Яндекс.Директ — отличный знак!• Попали под АГС порядка 4% сайтов с Яндекс.Директ.

Сайты под АГС: возраст домена21

Есть ли влияние возраста домена на АГС?• Всего исследовалось 8 299 сайта.

Сайты под АГС: тИЦ22

Есть ли влияние показатель тИЦ на АГС?• Всего исследовалось 16 402 сайта.• Зависимость есть, причём почти линейная!

Сайты под АГС: посещаемость23

Есть ли влияние посещаемости сайта на АГС?• Всего исследовалось 6 986 сайтов.• Резкое падение доли сайтов под АГС после 150

посетителей и после 300 посетителей в сутки.

Статистическое исследование АГС24

Выводы

1. Наблюдается корреляция вероятности наложения фильтра АГС с рядом классических SEO-показателей.

2. Выбираем доноры с:

• трафиком от 300 в сутки

• YACA + DMOZ

• с блоками Яндекс.Директ

• Bitrix и UCOZ…

• … тИЦ от 300

Статистическое исследование АГС25

Планируется публикация подробной статьи

со статистическим изучением факторов АГС,

следите за обзорами.

План доклада2

1. Две задачи: антиспам и ранжирование в Яндексе.

2. Факторы АГС-40: статистическое исследование.

3. > Текстовые фильтры: запросозависимые и запросонезависимые санкции.

4. Кейсы по профилактике и снятию санкций для коммерческих сайтов.

Текстовые фильтры27

«Переспам» (портяночный, -20)

Сведения:— внедрен с февраля 2010 года— официально не анонсировался

Проявление:— резкое проседание одного запроса— документ нормально ранжируется по другим запросам— сайт резко растет в выдаче при модификации запроса

Как бороться:— разбавка чистых вхождений— уменьшение объема текста— разбавление «сухого» текста: картинки— проверка входящих ссылок и увеличение числа безанкорных

Сведения:— внедрен с сентября 2011 года— официальный анонс в блоге на ya.ru

Проявление:— резкое проседание всего документа— документ теряет большую часть поискового трафика с Яндекса— документ плохо ранжируется даже по длинным запросам (4-5 слов)

Как бороться:— полная переписка (рерайт) текста— текст = польза для читателя— исправление ошибок (согласований)— удаление избыточных акцентов (<b>, <h1>-<h6> и др.)

«Переоптимизация»

Обнаружение фильтра «Переспам»28

Выполняем следующую последовательность1. Задаем исходный запрос в Яндекс, для примера: [строительство кирпичного дома]

2. Изучаем выдачу: 26 место по запросу (prime-group.ru)

Обнаружение фильтра «Переспам»29

Выполняем следующую последовательность3. Задаем в Яндекс модифицированный запрос: [строительство кирпичного дома] ⇒ [строительство дома кирпичного]

4. Ищем резкий рост сайта по модифицированному запросу (prime-group.ru) — на 10 пунктов и более

Обнаружение фильтра «Переспам»30

Данное поведение сайта

1. С большой долей вероятности свидетельствует о наложении запросозависимого текстового фильтра на документ.

2. Наблюдение за динамикой и анализ анкоров входящих ссылок — дает точный ответ на этот вопрос.

3. (!) Меняются и кликовые поведенческие факторы: это надо учитывать (сравнение относительных колебаний соседний сайтов по запросу).

4. (!) Меняется ряд текстовых факторов учитывающих порядок слов в документе.

План доклада2

1. Две задачи: антиспам и ранжирование в Яндексе.

2. Факторы АГС-40: статистическое исследование.

3. Текстовые фильтры: запросозависимые и запросонезависимые санкции.

4. > Кейсы по профилактике и снятию санкций для коммерческих сайтов.

Снятие портяночного фильтра32

Действия по документу

1. Удаление 1 чистого вхождения.

2. Скрытие 20% текста в <noindex> (лучше удалять, так как <noindex> учитывает только Яндекс).

3. Добавление безанкорных ссылок (сказывается медленно от 1 месяца).

Снятие портяночного фильтра33

Продвигаемый запрос [программа 1с]

Даты наложения фильтра

Даты снятия фильтра

Дожимаем сайт до ТОП-10!

Даты: с 03.07.2013 по 19.11.2013

Снятие переоптимизации34

В одну дату проседают сразу все запросы на страницу, проседание от ≈ 10 до ≈ 25 позиций

Снятие переоптимизации35

Действия по документу

1. Переформатирование контента.

2. Уменьшение текста на 15%.

3. Вычитка текста:

• окончания и согласования фраз

• удаление избыточных вхождений

Полезные ссылки36

1. http://www.pixelplus.ru/poiskovoe_prodvizhenie_sajtov/: продвижение сайтов, статьи, FAQ по SEO.

2. http://www.seonews.ru/analytics/tekstovye-filtry-yandexa-davayte-razlichat/: текстовые фильтры Яндекса.

3. http://www.seonews.ru/analytics/AGS-40-faktory-vliyayushie-na-nalojenie-sanknsiy-so-storony-yandexa/: сводка по АГС-40.

4. http://www.slideshare.net/kakbactam/: презентации и SEO-темы.

5. http://www.youtube.com/user/pixelplusru/videos: бесплатные SEO-видео на YouTube.

Ваши вопросы37

Вопросы слушателей?

Аналитика по санкциям в Яндексе: АГС-40 и текстовые фильтры

25 2014февраля«SEO 2014»

Севальнев Дмитрий