KOF 2011 bounceHammerによるバウンスメール解析の技術

2011/11/12(Sat) / KANSAI OPEN SOURCE 2011/ bounceHammerによるバウンスメール解析の技術 / Cubicroot Co. Ltd. @azumakuniyuki

bounceHammerによるバウンスメール解析の技術

Cubicroot Co. Ltd.@azumakuniyuki

自己紹介

自己紹介- Azuma, Kuniyuki- @azumakuniyuki- サーバ管理者(*BSD, Linux, 昔はSolarisも)- プログラマ(Perl,/bin/sh, たまにC,R)- 京都市中京区

サーバ管理者- FreeBSD(98) → FreeBSD 4.9→ OpenBSD- NetBSDは未経験- 最近はLinuxが殆ど - CentOS, Fedora, RHEL, Ubuntu

メールサーバ管理者- Sendmail → Postfix → Sendmail(再)- /etc/sendmail.cf - CF(WIDE), cf, m4 - たまにルールセットを書く - 柔軟な処理ができる

プログラマ- Perl (2008年秋からモダンPerlを勉強)- /bin/sh (サーバでの処理は殆ど)- C(学生時代少し) ←殆ど知らない- Java(JDK 1.0, 1.1の頃)- PHP(PHP/FIの頃, 2.0, 3.0)- R(最近、統計処理のため)

Perl- /bin/shで書きにくい場合はPerl- 2008年秋からモダンPerlを勉強 - モダンPerl入門+CPANモジュールガイド- YAPC::Asia- Kansai.pm(→11/26＠京都)

bounceHammer ?

bounceHammer- ばうんすはんまー- バウンスメール解析専用- 配信システムではない- コマンドラインツール+WebUI- Made by Perl, OpenSource!- 2010年春に公開

バウンスメール ?

バウンスメール- エラーで返ってきたメール- 中身はだいたい英語 - 稀に日本語で書いてる- リターンメールとか不達メール

From:- MAILER-DAEMON- Mail Delivery Subsystem- Mail Administrator- Postmaster@...

Subject:- Returned mail: see transcript for …- failure notice- Undelivered Mail Returned to …- Delivery Failure- 配信エラー

バウンスした理由- 宛先不明(User Unknown)- メールボックスいっぱい(Mailbox full)- ドメイン指定拒否(携帯電話)- セキュリティ的な理由(スパム扱い, Virus)- DNS的な理由(逆引きない, SPFの不備)- 不明なホスト(サービス終了, ドメイン違う)- MTA管理者が怒ってる(行儀悪い配信)

メール本文- 英語で書いてる- エラーコードがあればよい- どれも似ている

例) @docomo.ne.jp- Sendmail経由でDoCoMoに送った場合- 本文はほとんど同じ宛先不明ドメイン指定拒否

← エラーコード(D.S.N.)が少し違う →

(reason: 550 Unknown user ****@docomo.ne.jp)

目視で見分ける2011/11/12(Sat) / KANSAI OPEN SOURCE 2011/ bounceHammerによるバウンスメール解析の技術 / Cubicroot Co. Ltd. @azumakuniyuki

バウンスメールの処理

バウンス処理は- 確実にやるべき- 正確にやるべき- 配信数が少なくてもやるべき- メール1通でも送るならやった方がいい

バウンス処理を放置すると- 携帯宛はブロックされる - 遅延が発生する - 配信時間がかかる - メールサーバの負荷上昇- 有効配信数がわからない

放置した事例1- 携帯電話宛の宛先不明が多発 - 消し込み処理やらずに継続配信 - SMTP接続が拒否される(一時的) - 大規模な遅延が発生 - メールサーバの負荷上昇 - 別のIPアドレスでMTA構築(コスト↑)

放置した事例2- 宛先不明やMailbox Fullが多発 - 消し込み処理やらずに継続配信 - SMTP接続が拒否される(128IPs!) - DNSBLに登録された - 解除してもらうまで時間がかかる - 別のIPアドレスでMTA構築(コスト↑)

バウンス処理を実装する- たいへん- パターンが多い ← 正規表現たくさん書く - MTA毎に違う(Sendmail,Postfix,qmail,..) - 宛先毎に違う(Gmail,Yahoo!,Hotmail,…) - エラー毎に違う- 正しく解析すべき

雑に実装した事例- 簡単な一枚スクリプトで実装- エラーメールが返ってきたら無条件で削除 - 宛先不明ならそれでもOK - Mailbox Fullや一時エラーでも削除した - ユーザからクレーム - 「急にメールが来なくなった」

バウンス処理は- 確実にやるべき- 正確にやるべき- 配信数が少なくてもやるべき- メール1通でも送るならやった方がいい

bounceHammer- バウンスメールの解析専用- サーバで動く- コマンドラインツール- WebUI(ブラウザベースの管理画面)- HTTP-API(読み取り専用)- http://example.bouncehammer.jp/

使う利点- バウンスした理由が正確にわかる- バウンス記録を構造化して保存できる- ブラウザベースの管理画面でアドレス管理- メール配信の合理化と健全化- 自前でバウンス処理を実装しなくてよい

できること- バウンスメールの解析- エラーの理由を特定する - 宛先不明・拒否・容量超過(全19種類)- 宛先分類(携帯/スマホ/PC/Webメール)- YAML/JSON/CSVで結果を出力- DB(MySQL,PostgreSQL,SQLite)に保存

役立つ場面- オープンソースのMTAで配信している - Sendmail, Postfix, qmail, Exim, Courier- バウンス処理してない OR 緩い - あまり正確にやっていない- そこそこたくさん配信している - 配信数 > 100/Day

役立つ人々- コンテンツプロバイダ - 通知でメールが飛ぶ- メールマガジンスタンド- メール配信があるところ全部- まだバウンス処理していない人

bounceHammerのユーザ- 携帯向けポータルサイト(含BBS)- SNS(通知関係でメールが飛ぶ)- 転職サイト- オンラインショップ・通販- レンタルサーバ- 海外も少し

@type様- 国内最大級の転職サイト- キャリアデザインセンター様- @type, 女の転職@type- 150万Users(2010冬)- 配信数1200万通/月(2010冬)- 私の年収...

コマンドツールの機能

動作環境- Perl 5.8.8以上といくつかのモジュール- *BSD, Linux, MacOS X- MySQL, PostgreSQL, SQLite(保存用)- Apache(WebUI・管理画面)- IE以外のブラウザ(WebUI・管理画面)

対応MTA- オープンソースのMTA - Sendmail, Postfix, qmail, Exim, Courier - 将来対応→OpenSMTPD, Apache James- 国内携帯電話キャリア - NTT DoCoMo, au by KDDI, SoftBank- ユーザ数の多いWebメール - Gmail, Yahoo!, Hotmail, Facebook, AOL

解析処理(mailboxparser)- UNIX mbox, Maildir/, 複数指定可- STDIN(パイプで)- /etc/aliasesから起動 - bounce: "|mailboxparser --log"- /etc/crontabから定時処理- 解析できなかったものだけ保存(2.7.7から)

解析処理(mailboxparser)UNIX mboxを引数に# bin/mailboxparser /var/mail/hoge

2つのMaildir/を引数に$ bin/mailboxparser ~/Maildir/cur ~/Maildir/new$ cat /var/mail/fuga | bin/mailboxparser

バウンスメール受信と解析・DB保存をリアルタイムに$ tail /etc/mail/aliasesbounce: "| mailboxparser | databasectl --update"

解析結果(mailboxparser)JSON# bin/mailboxparser --format json /var/mail/piyo[ { "bounced": 2, "addresser": "bouncehammer@cubicroot.jp", "recipient": "nanashi-no-gombee@example.jp", "senderdomain": "cubicroot.jp", "destination": "example.jp", "reason": "userunknown", "hostgroup": "reserved", "provider": "reserved", "frequency": 1, "description": { "deliverystatus": "5.1.1", "diagnosticcode": "SMTP; 550 Invalid recipient: <nanashi-no-gombee@example.jp>", "smtpagent": "Sendmail", "timezoneoffset": "+0900" }, "token": "6b15f26a2069e07d3e09cf30a03ac12d" } ]

解析結果(mailboxparser)アスキーテーブル$ bin/mailboxparser --format asciitable ~/Maildir/cur+----+---------------------+-------------------------+-----------------------------------------------------------+---------+-------------+| # | Date | Addresser | Recipient | Stat | Reason |+----+---------------------+-------------------------+-----------------------------------------------------------+---------+-------------+| 1 | 2008/09/18 17:54:04 | user1@example.jp | domain-does-not-exist@example.gov | 5.1.2 | hostunknown || 2 | 2009/04/28 08:17:47 | user2@example.jp | recipient-address-does-not-exist@docomo.ne.jp | 5.1.1 | userunknown || 3 | 2009/03/05 06:28:12 | user3@example.jp | recipient-mailbox-is-full@docomo.ne.jp | 5.2.2 | mailboxfull || 4 | 2008/09/17 22:25:40 | user4@example.jp | message-is-rejected-by-the-domain-fileters@docomo.ne.jp | 5.2.0 | filtered || 5 | 2009/04/28 08:38:49 | user5@example.jp | this-message-excees-limit-5000kb@docomo.ne.jp | 5.3.4 | mesgtoobig || 6 | 2008/12/08 11:04:57 | user@example.co.jp | this-user-does-not-exist-on-the-server@ezweb.ne.jp | 5.0.911 | userunknown |…+----+---------------------+-------------------------+-----------------------------------------------------------+---------+-------------+| | | | Total | 37 | |'----+---------------------+-------------------------+-----------------------------------------------------------+---------+-------------'

解析結果を利用する- 解析結果はYAML(標準)かJSON- CSV出力にも対応(表計算ソフトで眺める)- MTAで利用(access.dbとか)- 配信プログラムで利用(消し込みとか)- サイトでバウンス照合 - 「○月○日に送ったメールはエラーで…」

解析速度(mailboxparser)- Linode (Xeon L5520(4) 2.27GHz)- 512MB Memory- Ubuntu 10.4 LTS- UNIX mbox = 約500通/秒- Maildir/ = 約200通/秒

出力(datadumper)1年以内にバウンスした記録をYAMLで出力$ bin/datadumper --howrecent 1y --format yaml

宛先不明でバウンスした記録をJSONで出力$ bin/datadumper --reason 'userunknown' --format json

携帯電話宛のバウンス記録をCSVで出力$ bin/datadumper --hostgroup 'cellphone' --format csv

Gmail宛のバウンス記録を出力$ bin/datadumper --destination gmail.com

出力結果の利用1配信プログラムいじれない OR MTAに処理させたい# cd /etc/mail

# data dumper --format csv --reason 'userunknown' \> | cut -d, -f3 | grep '@' | sed \> -e 's/^/To:/g' -e 's/$/ DISCARD/g' > ./access

# make map hash access.db < access

出力結果の利用2配信プログラムに解析結果を処理させる$ datadumper > /tmp/bounce.yaml----------------------------------------------------------#!/usr/local/bin/perluse JSON::Syck;my @A = 配信対象のメールアドレス配列;my @B = JSON::Syck::LoadFile("/tmp/bounce.yaml");foreach my $e ( @A ){ unless( grep { $e eq $_->{recipient} } @B ){ バウンスの記録に一致しないので配信する処理; }}

管理画面(WebUI)の機能

ダッシュボード2011/11/12(Sat) / KANSAI OPEN SOURCE 2011/ bounceHammerによるバウンスメール解析の技術 / Cubicroot Co. Ltd. @azumakuniyuki

検索結果2011/11/12(Sat) / KANSAI OPEN SOURCE 2011/ bounceHammerによるバウンスメール解析の技術 / Cubicroot Co. Ltd. @azumakuniyuki

解析テスト2011/11/12(Sat) / KANSAI OPEN SOURCE 2011/ bounceHammerによるバウンスメール解析の技術 / Cubicroot Co. Ltd. @azumakuniyuki

日々の更新記録2011/11/12(Sat) / KANSAI OPEN SOURCE 2011/ bounceHammerによるバウンスメール解析の技術 / Cubicroot Co. Ltd. @azumakuniyuki

English2011/11/12(Sat) / KANSAI OPEN SOURCE 2011/ bounceHammerによるバウンスメール解析の技術 / Cubicroot Co. Ltd. @azumakuniyuki

HTTP-APIの機能

HTTP-API- サイト側でアドレスの状態を確認- ユーザのページに表示させる - 「登録されているメールアドレスは…」 - 拒否設定解除を促す- JSONが読める言語ならなんでもOK

HTTP-APIで照合サイト側プログラムでバウンス照合#!/usr/local/bin/perluse JSON::Syck;use LWP::UserAgent;my $A = 'ユーザのメールアドレス';my $H = 'http://localhost/b.cgi/search/recipient/';my $U = new LWP::UserAgent();my $R = $U->request( HTTP::Request->new( GET => $H.$A ));my $J = JSON::Syck::Load( $R->content() ) || [];

foreach my $e ( @$J ){ 内容を取得; いろいろ処理; }

オープンソース以外のMTA

MTAは多種多様- オープンソースのMTA - ソースコードからエラーのパターンを取得- フリーのWebメールサービス - サンプル収集・帰納的- それ以外のMTAは? - Exchange, Lotus, MailFoundry, - Amazon SES, SendGrid,…

商用MTA・アプライアンス- Exchange, Lotus Notes/Domino, - MailFoundry, McAfee, m-FILTER, - Amazon SES, SendGrid,… 14種類対応- ライセンス販売

11/14(Mon)bouncehammer 2.7.7

Release

KOF 2011 bounceHammerによるバウンスメール解析の技術

Documents

Kof 20150602

Salome-Meca活用研究会 - opencae.or.jp · Salome-Mecaとは OSSの構造解析ソフトウェア・応力解析・熱伝導解析・振動解析・線形・非線形動・静解

KOF Consolidado Clave de Cotización: KOF Trimestre: 2 Año ...€¦ · KOF Consolidado Clave de Cotización: KOF Trimestre: 2 Año: 2020 1 de 104 Información Financiera Trimestral

ANSYSマルチスケール解析ツールのご紹介 · PDF file© 2006CYBERNETSYSTEMSCO.,LTD.AllRightsReserved. マルチスケール解析についてマルチスケール解析とは

（解析版）2014年高考山东卷英语试题解析（精编 …€¦ · Web viewTitle （解析版）2014年高考山东卷英语试题解析（精编版）.doc Subject （解析版）2014年高考山东卷英语试题解析（精编版）.doc

ODF解析ソフトウエアはXRDとEBSDデータの解析が可能 - …helpertex.sakura.ne.jp/Soft/DOC2/AllODF-XRD-EBSD.pdfODF解析ソフトウエアはXRDとEBSDデータの解析が可能

MATLABによる大規模フリートデータ解析 Part2: クラスター編 · 3 ビッグデータの扱いフリートデータ解析サマリーデスクトップPCでの解析

方位解析シリーズアルミニウム方位解析の注意点helpertex.sakura.ne.jp/Soft/DOC2/Aluminum-Rpp.pdf方位解析シリーズアルミニウム方位解析の注意点

TINA 基本操作タャヺテヨ゠ラTINA 基本操作タャヺテヨ゠ラ Spice の3つの基本解析～「DC 解析、過渡解析、AC 解析」 1 iLink ゠アヨヱキ合同会社

スペクトル解析ソフトウエア SCOUT：クイックスタート 3...スペクトル解析ソフトウエアSCOUT：クイックスタート3 スペクトル解析ソフトウエアSCOUT

BIOS/CMOS 解析

トランスクリプトーム解析・プロテオーム解析入門 · トランスクリプトーム解析・プロテオーム解析入門産業技術総合研究所生命情報工学研究センター

αα----SGRSGRSGR解析解析ヂヺラヤヺゴヺジボ …sgr.dai1.jp/a-sgr3/DL/pdf/UG_SGR_DataAnalysis_V16.pdf1 2012.09.27 ゾアアタ株式会社 αα----SGRSGRSGR解析解析ヂヺラ

プロテオーム解析概論...ぶんせき 349 図 2 網羅的プロテオーム解析とフォーカストプロテオーム解析図 3 プロテオーム解析の流れパク質など，特定のタンパク質群に焦点を当てた解析

イメージング機器 - Bio-Rad Laboratories...撮影モード Multi Channel 撮影モード、Single Channel 撮影モード解析モード自動解析モード、マニュアル解析モード、多重染色解析モード

次世代シーケンサーを用いた解析のご紹介

FrontISTRによる弾塑性解析の理論とプログラムの解説時間積 … · 静解析動解析荷重増分解析不要荷重増分解析要直接時間積分固有値解析

バウンスメール解析システム BounceHammer

Usana 产品解析

解析成功ノウハウ９（２）【Medix】解析事例セミナー