Embed Size (px)
DESCRIPTION
Citation preview
Keyword Trackerで抽出したsplogリストについて
2009年7月30日木曜日
はじめに
✓Keywrod Trackerで収集したブログデータを元に、spamブログ（splog）の抽出、解析を行いました。
✓本日はその結果ならびに傾向をご報告いたします。
2009年7月30日木曜日
アジェンダ
✓はじめに
✓背景
✓splogの定義
✓splog抽出結果と傾向
✓今後の展開について
2009年7月30日木曜日
Keyword Tracker日々投稿されるブログ記事を用いて、その日の話題のワードや、ワードのトレンドを解析するアプリケーション
大手13ブログサービスの新着ブログ記事をクローリングして取得
http://kt.nd-ilab.jp/
2009年7月30日木曜日
ランキング
2009年7月30日木曜日
ワード詳細
出現数の推移
係り受け関係にある動詞／形容詞等
共起語
2009年7月30日木曜日
属性情報ブログサービス別の
投稿比率
性別／世代別／地域別
2009年7月30日木曜日
Keyword Tracker１日あたりのクローリング記事数→約80万～90万記事
意外とspamブログ（以降splogで統一）記事が多いため、splogの記事内容にワードの解析結果が影響を受ける。→splog対策が必要 ノイズとなる記事エントリーを除去することで Keyword Trackerの精度も向上
2009年7月30日木曜日
アジェンダ
✓はじめに
✓背景
✓splogの定義
✓splog抽出結果と傾向
✓今後の展開について
2009年7月30日木曜日
spamの定義
ここでは「自らの利益のために、不
特定多数に対し利益誘導に
つながる行為を行うこと」
とする
2009年7月30日木曜日
splogの種別splogは大別して以下の４種に分類されます。※1
※１『ユーザ適応型Splog フィルタリングのためのユーザ固有Splog 空間の分析』より分類種別を参考
種別 内容 目的
アフィリエイト型記事本文中にアフィリエイト対象の商品サイトへのリンクを大量に貼付
アフィリエイトリンクのクリック、商品購入。
コピー＆ペースト型話題のワード、時事ニュース記事などを含む文章を他サイトから大量に引用（無断借用）し貼付
SEO効果。副次的に広告やサイドバー貼付のアフィリエイトリンクなどのクリックを期待
ワードサラダ型話題のワードを元に、文法的に自然文に見えるが人目では違和感のある文章を貼付
SEO効果。副次的に広告やサイドバー貼付のアフィリエイトリンクなどのクリックを期待
アダルト型アダルトコンテンツを貼付 コンテンツの購入。広告やアフィ
リエイトリンクのクリック。
2009年7月30日木曜日
アフィリエイト型
2009年7月30日木曜日
ワードサラダ＋コピペ型
2009年7月30日木曜日
アダルト型
自粛2009年7月30日木曜日
アジェンダ
✓はじめに
✓背景
✓splogの定義
✓splog抽出結果と傾向
✓今後の展開について
2009年7月30日木曜日
今回採用したアルゴリズム✓リストマッチ（ブラックリスト）
- リンク先に特定のURLが含まれている場合spamと判定- 「利益誘導につながる行為」✓類似文章投稿
- 短期間に、類似内容のブログ記事を複数回投稿した場合にspamと判定。準完全一致検索。
- 「不特定多数に～」✓Bayesian Filter
- 過去にspam判定されたブログ記事と内容が類似している場合にspam判定。いわゆるベイズ推定による判定。
2009年7月30日木曜日
ブラックリスト✓特定の情報商材系サイト、アダルトサイト、buzzプロモーションサイト等のURLをブラックリスト化。✓ブラックリストURLに合致するリンクが存在する文書を
splog判定
✓Keyword Trackerでクロールした記事をHadoopで解析して、出現頻度が高いURLを目視確認し、悪質なものをブラックリスト化しています。
2009年7月30日木曜日
類似文章投稿✓ある期間内に投稿されたブログのうち、内容が類似している文章が複数有る場合splog判定を行う。✓類似検索にはPrefix Filterの手法を適用
- Prefix Filterについては研究レポートを見てください。http://www.slideshare.net/moaikids/prefix-filter-1126120
2009年7月30日木曜日
Bayesian Filter✓過去にブラックリスト、類似文章投稿判定によりsplog判定された記事データを学習データとして、ベイズ推定によりsplog判定を行う。✓今回は多項ナイーブベイズを用いています。✓ベイズについては先月もやったので割愛。
2009年7月30日木曜日
採用しなかったアルゴリズム✓リンク構造の解析
- 間に合わなかった✓ユーザのネットワーク性、グラフ構造の解析
- 間に合わなかった
✓複数のBayesian Filterルールを組み合わせてのAdaBoostingによる判定- 間に合わなかった
2009年7月30日木曜日
splogの種別との対応
種別 ブラックリスト 類似文章 ベイズ
アフィリエイト型 ○ - -
コピー＆ペースト型 △ ○ △（辞書による）
ワードサラダ型 - ○ △（辞書による）
アダルト型 △ - △（辞書による）
2009年7月30日木曜日
2009/07/24～7/26のデータを元に算出
今回抽出できたsplogの比率
1.15%
98.85%
通常 splog
全クロール記事の１％強をsplog判定抽出ルールには ブラックリスト／類似文章投稿／Bayesian Filterを使用
2009年7月30日木曜日
サービスごとのsplog比率2009/07/24～7/26のデータを元に各サービスのspam数／spam比率を算出
0%
3.00%
6.00%
9.00%
12.00%
15.00%
ameblo fc2 yahoo livedoor jugem seesaa yaplogcocolog goo0
3,000
6,000
9,000
12,000
15,000
比率 spam数1%以上
2009年7月30日木曜日
2009/07/24～7/26のデータを元に算出
抽出アルゴリズム別の件数
5%
50%46%
ブラックリスト類似文章ベイズ
ブラックリスト／類似文章での抽出がそれぞれ半数程度。spam記事は日々対象の話題を変えてるので、過去のsplogで使用されたワードとの類似性（ベイズ）では抽出比率が低い？
2009年7月30日木曜日
抽出アルゴリズム別の精度
類似文章の精度が低い（60%強）。他はほぼ100%。
2009/07/24～7/26のデータを元に数百件のデータを無作為に抽出。目視確認によりsplogかそうでないかを判定。
0%
20.00%
40.00%
60.00%
80.00%
100.00%
ブラックリスト 類似文章 ベイズ0
3,000
6,000
9,000
12,000
15,000
精度spam数
2009年7月30日木曜日
類似文章の精度が低い理由✓ユーザの操作ミスにより悪意無く同一の文章が複数回投稿されるケースがある。✓テンプレート化された文章の投稿
2009年7月30日木曜日
ヒューリスティックアプローチによる改善案
✓類似文章の投稿回数に閾値を設ける。- 例：30分以内に類似文章をn件以上投稿したらsplog判定する
✓短すぎる文章は評価しない
2009年7月30日木曜日
ヒューリスティックアプローチによる改善案
2009/07/27のデータを元に算出閾値を２～４に変更して測定
0%
18.00%
36.00%
54.00%
72.00%
90.00%
２ ３ ４0
140
280
420
560
700
精度件数
閾値を上げれば精度は向上するが抽出件数は減るF値も下がる。あまり改善になってない。
2009年7月30日木曜日
Keyword Trackerでの結論✓悪意有無に関わらず、類似の文章を複数回投稿することはノイズとなるので、splog判定を行う事にする。✓該当文書の削除、ブログの削除など厳しい措置が伴う場合は、再現率、F値より適合率（精度）を優先させた方がよい。
✓短すぎる文章は評価しないようにする。
2009年7月30日木曜日
各ブログでの比較アメブロ、fc2、seesaa、yaplog、livedoor、yahoo、yaplogを比較
0%
20.00%
40.00%
60.00%
80.00%
100.00%
ブラックリスト 類似文章投稿 ベイズ(×10)
アメブロ全体平均FC2seesaalivedooryahooyaplog
splogが多いと思われるブログはブラックリストやベイズフィルターでの検出率が高い。
2009年7月30日木曜日
まとめ✓類似文章投稿
- ブログ投稿の性質などから精度は低いが、学習データ無しにノイズを抽出するのには有効な手法
- 類似文章数の閾値により精度の調整は可✓Bayesian Filter
- 学習データの質が高ければ精度も高くなる。- 日々話題の傾向が変わるため、メンテナンスをしないとデータが形骸化する可能性がある。
2009年7月30日木曜日
まとめ✓ブログごとの傾向
- FC２とseesaaはなかなかのレベル- amebloは記事数に比してspamの比率が少ない（絶対数は多い）
- yahooが優秀。ブラックリスト、ベイジアンフィルターではほとんど検知されない
✓もっとspamは多いはずなので、引き続き精度高く多くのsplogを検知したい- でも「日本のブログの30%はspam」というのは言い過ぎだと思う。
2009年7月30日木曜日
アジェンダ
✓はじめに
✓背景
✓splogの定義
✓splog抽出結果と傾向
✓今後の展開について
2009年7月30日木曜日
splog判定APIの公開✓Google App Engine for java(GAE/J)上にsplog判定を行う
APIを公開中。- http://splogapi.appspot.com/splog/(URL)
GETリクエスト時のHTTPステータスコードにより判定- 200：splog- 404：splogではない
- 現在データ蓄積中。ドキュメント作成中。http://splogapi.appspot.com/
2009年7月30日木曜日
splog api
2009年7月30日木曜日
GAE/J
2009年7月30日木曜日
APIを用いたマッシュアップ✓検索結果からsplogと思われる記事を消す／隠す
- greasemonkeyスクリプトで試作予定。- 主なブログ検索サイトを対象にする予定です。- 現在作成中。完成したら公開します。✓他に何かアイデアがあれば教えてください。もしくは何か作ってください。
2009年7月30日木曜日
greasemonkey
2009年7月30日木曜日
splog判定の精度向上✓引き続きがんばります
2009年7月30日木曜日
ご清聴ありがとうございました。
2009年7月30日木曜日
