СтуДень, Новосибирск, 24 сентября 2010

Борьба с вирусами и спамом

Cергей ПевцовРуководитель антислужбы

Просто заходишь на сайт, и…

Как раньше распространялись вирусы?

Есть способ лучше!

I you!

Да, но…

Современные вирусы живут в интернете

А-А-А-А-А!!!!!11

johnteshblog.typepad.com

Индивидуальные средства защиты?

Яндекс защищает всех

Информация доступна

uniqid1234.ru

uniqid1234.ru/page1.html 09.03.2010uniqid1234.ru/page2.html 09.03.2010uniqid1234.ru/page3.html 09.03.2010

userid123456

Яндекс помогает веб-мастерам

Как устроена проверка на вирусы?

Всё довольно просто…

100%

совпадение

Сигнатурный анализ

Этот слайд появился в презентации благодаря компании

Поведенческий анализ

allnight.ru

freethinkerry.livejournal.com

Поисковый спам

Поисковый спам – сайты,

страницы или элементы

страниц, предназначенные

для манипулирования

алгоритмами ранжирования

поисковой системы или для

создания бесполезной

нагрузки на ее сервера.

Поисковый спам

качество поиска €

P

$

Как выглядит поисковый спам

Зададим запрос: [вентилируемые железные фасады METEHE]

Как выглядит поисковый спам

Как выглядит поисковый спам

Цикл работы с поисковым спамом

ВЫЯВЛЕНИЕ ПРОБЛЕМЫ

ОБУЧАЮЩАЯВЫБОРКА

ВЫДЕЛЕНИЕПРИЗНАКОВ

МАШИННОЕОБУЧЕНИЕ

УДАЛЕНИЕСПАМА

• доля частиц "ну", "вот", "ведь"• число слов «порно» на странице• доля слов, состоящих более, чем из 7 букв…

Алгоритмы используют: - MatrixNet- gradient boosting- bagging-oblivious trees

- regularization-greedy function approximation- logit boost- …

Выделение признаков

доля частиц "ну", "вот", "ведь"

признак №2, ед.

кол

иче

ство

пр

им

ер

ов

спам

не спам

x<15 x>15не спам спам

Пропускаем много спама и допускаем несколько ошибок.Нужно добавить еще признаков…

Машинное обучение

ПОИСК

Запрет

на бан или

разбан?

да

нет

нет

В W

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

· xxxxxxxxxx

да

нет

В

В1

· xxxxxxxxxx

· xxxxxxxxxx

F

да

В

W

служба поддержки

BF

FM

В

· xxxxxxxxxx

xxxxxxxxxx

xxxxxxxxxx

xxxxxxxxxx

xxxxxxxxxx

РОБОТ

В общем, тут тоже все просто…

Заключение

www.mczone.ru

yarbush.livejournal.com

Найдётся всё,кроме спама