Modbuilders 独自ビルド環境について

2012/2/18 mozilla独⾃ビルダー勉強会

独⾃ビルド環境について

by ABE Hiroki aka hATrayflood


⾃⼰紹介・名前：アベヒロキ (@hATrayflood)・職業：⾃宅サーバ管理者・URL：rayflood.org/diary-temp/・住所：⻑野市地元：東部町



まずby ABE Hiroki aka hATrayflood


今回の開催までの流れ



jbを囲む会で@htguardと初対⾯



その勢いでtwitterに



@htguardと@m̲ayakawaが釣れました



@makoto̲katoも釣られてくれるらしい



さすがにotachanと@tete009̲は来れないようで



というわけで(勝⼿に)開催決定



⽇程調整して会場確保してatnd告知



えーとby ABE Hiroki aka hATrayflood


スレ住⼈いる？



本題by ABE Hiroki aka hATrayflood


rayfloodビルド



http://rayflood.org/mozilla/



⽅針by ABE Hiroki aka hATrayflood


ビルド実験が主な目的



公式ビルドでは使わないコンパイラや



サポートしてないコンパイラでビルドできるか



主にVisual StudioExpressでビルドを検証してた



なんでVSExpress？



フリーソフトをビルドするのに⾼価なVS使うのは



なんか⽭盾してないか？



という(どうでもいい)疑問から出発



なのでby ABE Hiroki aka hATrayflood


以下の点には気を配りません



・性能・安定性



特徴by ABE Hiroki aka hATrayflood


Windows、MacLinuxのバイナリをビルドしてます



それぞれのOSで複数のコンパイラでビルドしてます



ほぼ全部のmozilla製品をビルドしてます



⾔語リソース⽇本語/英語中国語(繁体字)



Windows版のみの特徴



gecko-1.9.2からfreetype2でフォント描画



gecko-2.0以降も(⼀応)対応予定サンプルビルド



詳細by ABE Hiroki aka hATrayflood


実際にビルドできたコンパイラ製品別VCバージョン⼀覧



列挙するとby ABE Hiroki aka hATrayflood


vc6, vc71, vc8vc9, vc10



ここまで製品版VC　ここからフリーVC



vc8e, vc9e, vc10esdk60, sdk61sdk70, sdk71gcc-3.4, gcc-4.5ddk, llvm-gcc-4.2



なんかいろいろある



Express版もあるけどWindows SDK付属のVCも使える



ATLやMFCがないので2003 SDKやWDKと組み合わせる



Windows SDKはx64版ビルドも可能(⼀部ヘッダ要修正)



windowsでのgccはgecko-1.9.1以降ビルド不可



WDKにもコンパイラついてるけどダメっぽい(理由はいろいろ)



というわけでby ABE Hiroki aka hATrayflood


フリーなVCでもコア開発に参加できるよ！



PGOは泥沼by ABE Hiroki aka hATrayflood


時間かかるしバグも多い



Linux, Macby ABE Hiroki aka hATrayflood


基本gccとllvm-gccも



Ubuntu 10.04 LTS　gcc-4.1, gcc-4.3, gcc-4.4llvm-gcc-4.2それぞれi386とx86̲64



Ubuntu 11.10　gcc-4.4, gcc-4.5, gcc-4.6llvm-gcc-4.5それぞれi386とx86̲64



x86̲64環境でi386版をビルドしようとするとi386ライブラリが不⾜



なのでi386とx86̲64両⽅のネイティブ環境を⽤意してビルド



llvmはi386のllvm-gcc-4.2だけ他はコンパイルエラー



ビルドが通るのはgecko-1.9.1まで以降はエラー



gcc-4.5, 4.6はPGOできるらしい(未検証)



Mac OS X 10.6　gcc-4.0, gcc-4.2llvm-gcc-4.2



gccはppc, i386, x86̲64llvm-gccはi386, x86̲64



gccはXcode純正llvm-gccはmacports



Xcodeのllvm-gccはコンパイルエラーだった



macportsのでもビルドが通るのはgecko-1.9.1まで以降はエラー



ppc版をビルドする場合はOSX 10.6まで10.7からRosettaが廃⽌された



x86̲64版のビルドはOSが32bit起動でも可能32bit動作のOS上でもx86̲64を実⾏できる



llvm-gccはmozillaには役に⽴たなかったか・・・clangに期待



Intel Cも試してみたいがちょっと⾼いなーしかもWin, Mac, Linuxそれぞれあるし



機器by ABE Hiroki aka hATrayflood


・Windows, LinuxCore i7 2600メモリ12GB ⾃作機



12GBという半端な量はメモリ4本のうち1本がmemtestでエラーのため



・MacC2D T7500 4GBMacbook 2007 Late



コア数by ABE Hiroki aka hATrayflood


Core i7 2600　4コア　+ Hyper Threading　= 8スレッド



C2D T7500　2コア、のみ　= 2スレッド



ビルド物件



firefox, thunderbirdseamonkey, fennecxulrunnerlightning/sunbird



がそれぞれvc10, vc9vc8の32bit/64bitでビルドするとなると



6 x 6 = 36うち、PGOは8



firefoxとseamonkeyのvc10, vc9が32/64でPGOは8つ



ビルド物件が多いのにこれだけのCPUコア数でさばかなれければならない



つまり、いかにCPUコアを消費しつくすかがキモ



・選択肢1makeのオプション-j4で並列コンパイルを指⽰し1つずつ順次ビルド



・選択肢2makeに-j4は使わず4つ同時にビルド



回答by ABE Hiroki aka hATrayflood


→選択肢2makeの-j4では最適化されないプロセスがある



xpidlによる.idlファイルのコンパイルはターゲットが複数でも並列実⾏されない



.exeや.dllのリンクはターゲットが常に1つなので並列実⾏されない



PGOするとxul.dllのリンクに非常に時間がかかるlink.exe⾃体もマルチスレッドで動作してない



複数のアプリを並列でビルドする場合は、時間のかかるPGO対象アプリが優先そうなると今度は



メモリが⾜りない



PGO1つで3〜4GB消費これが4つ同時なので12〜16GBほど必要



link.exeがマルチスレッド実⾏できないがためにメモリで肩代わり・・・



物理メモリがこれより少なくてもswapがあれば実⾏できるが非常に遅い



ただでさえ時間がかかるリンクがさらに何倍も時間がかかる



swapを使わず全て物理メモリ上で実⾏すべき



Hyper Threading



4コア8スレッドだが実際はどうかというと



半分は幻by ABE Hiroki aka hATrayflood


8スレッドのうち4つは幻にすぎません物理コアじゃないから



4つ並列ビルドと8つ並列ビルドでは8つ並列のほうがちょうど2倍遅い



確かに8つ同時ならCPUを使い切れるけどその分遅くなるので



単位時間あたりの処理量で⾒ると4つ同時と変わらない



並列ビルドは物理コア数まで



投⼊by ABE Hiroki aka hATrayflood


並列ビルドするとなるとビルドが終わったら次を投⼊するわけですが



⼿動はありえない



とにかく数が多い並列、という時点で⾃動投⼊以外ない



しかも要件として同⼀ソースツリーを同時に使えない



PGOを優先しつつ余ったスレッドで通常ビルドも実⾏



というやや特殊な条件があるのでmakeでは不⼗分



というわけでそれ⽤に書いたparalelbuild.py



PGOキューとそれ以外のキューの2本PGOワーカーn本とそれ以外のワーカー



ビルドするアプリのリストという構成



ワーカーがキューからビルドするアプリを取り出す



アプリが他のワーカーでビルド中かチェック



ビルド中なら後回しキューにつめ直して再度取り出す



PGOワーカーはPGOキューを優先して取り出す



これでキューが尽きるまでCPUをフルに使い切れる



でも24時間以内に全ビルド完了という目標に届くか不明



今後by ABE Hiroki aka hATrayflood


そろそろ刷新予定



ただしESRのみ



freetype2版は可能なら出す(パッチ的に)



ESRでのビルドももう少しかかりそう



第1陣で旧バージョンが3⽉第2陣でESRが4⽉かもね



vc11の対応はWindows 8が出てから…



・リンク集twitter @hATrayfloodhttp://twitter.com/hATrayfloodmozilla rayflood独⾃ビルドhttp://rayflood.org/mozilla/firefox-4.0.1 freetype2版サンプルビルドhttp://rayflood.org/diary-temp/firefox-4.0.1-rayflood-win32-sdk70.7zバックナンバー freetype2 on fx-3.6 win32http://www.slideshare.net/hATrayflood/modest02-freetype2-on-fx36-win32バックナンバー firefox-3.6.4以降のビルドについてhttp://www.slideshare.net/hATrayflood/modest04-firefox364バックナンバー core i7 2600とfirefox 4.0b9でベンチ測ってみたよhttp://www.slideshare.net/hATrayflood/modest08-core-i7-2600firefox-40b9


Technology

Modbuilders 独自ビルド環境について