Embed Size (px)
Citation preview
OSv malloc(日本語版)Satoru Takeuchi<[email protected]>
はじめに● 本記事はOSv Advent Calendar[1] 21日目の記事● 前提知識
○ OS/OSvについて、参考文献[2]程度の基礎知識○ C++の言語仕様○ 基本的なアルゴリズム、データ構造の知識○ Linux kernelのソースを読んだことがあれば、なおよい
● 調査対象ソースは12/21日現在におけるupstreamのmaster branch[3]○ HEAD commit: f7d3ddd648b38789daa8287626a66863a780f139○ 簡単のため、デバッグ機能やトレース機能、排他制御については無視
● 以後、パス名はOSv ソースコードのトップディレクトリからの相対パス
概要● 定義はcore/mempool.cに存在: ファイルサイズは2K行弱
○ 実装はシンプル○ コメントにも”Our malloc() is very coarse”とか書いてたりする
● 小さなobjectの取得に特化(JVMのためか?)● カーネル空間でもユーザ空間でも全く同じmalloc()を使う
○ それがOSv way○ linux kernelでいうとアプリがkmalloc()を直接呼ぶイメージ
● 実際のobject獲得sizeは2^n >= 8バイト(nは正の整数)に切り上げられる○ 例) 4byte要求すると8byteのobjectを獲得
構成● memory objectのsizeに応じて異なる仕組みを利用
○ <= 1KiB: mempool○ > 1KiB: page allocator
user or kernelmempool
(Linux kernelのsl[auo]bに相当)
memory管理subsystem
page allocator(Linux kernelの
buddy allocatorに相当
malloc()/free()
簡単な実行の流れmalloc(size) - > std_malloc(size, align) (*1) sizeを2^n >= 8 (nは正の整数)バイトに切り上げ if (1KiB以下の獲得 && SMP用初期化後) # 後者はアプリなら常に真 malloc_pools[lg(n)].alloc() # mempoolより割り当て else if (1KiB<size<=4KiBの割り当て) memory::alloc_page() # page allocatorより1pageを割り当て else malloc_larger() # page allocatorより複数pageを割り当て # 3つの中で一番複雑な論理(説明は割愛)
*1) posix_memalign()などによって明にalignmentを指定した場合は、もう少し 込み入った条件分岐をする。詳細はstd_malloc()のコードを参照
1KiB以下の割り当て● 前述のようにmempoolを使用
○ class malloc_pool(class poolを継承)によって管理● 定義: “malloc_pool malloc_pools[]”
○ malloc()で獲得するobject sizeごとに存在するmempool○ 要素数はlg(page size)+1。x86_64ならpage sizeが4KiBなので12+1=13○ それぞれsizeが1,2,4,8,...,4KiB,8KiBのsizeの割り当てに対応
■ 最後の8KiBの要素の必要性がよくわからない...○ アプリが使う範囲ではmempool[11,…,(page_size+1)]は未使用
mempoolのしくみ● slab allocator[4]のOSv版。page size以下の小さなsizeの割り当てに使用
○ class poolによって管理 # えらく汎用的な名前…● 8byteから4KiBまでのsizeのobjectを扱う
○ size <=1KiB: 1page内に複数objectを配置○ 1KiB < size <= 4KiB: 1page内に1object
● MP環境におけるスケーラビリティ向上のためのper-CPU cacheを持つ○ 参照の局所性により、object獲得時に自CPUが最近使用した、つまり
cacheに残っているmemoryを使える可能性が向上○ CPUごとの領域だけ使っている限りは、排他制御不要
● これ以上の詳細は”Memory allocation strategy”で始まるcommentや、ソースコードを参照
page allocatorのしくみ● page sizeのmemory割り当て
○ class page_range_allocatorによって管理● L1, L2という2levelのcacheを持つ
○ L1: per-CPU cache○ L2: global cache
● cacheの下の最下層をglobal page allocatorと呼ぶ
kernel subsystem(mempool含む)
L1 cache(per-CPU cache)
L2 cache(全CPUで共有)
globalpage
allocator
page allocator
page allocator: L1 cache● per-CPUのcache● struct l1を用いて管理
○ cacheするpage数 <=l1::max(512)● 定義: “l1 percpu_l1[<CPU数>]”● UI: 名前が*_localなら、内部で同期獲得/開放しない
○ page獲得: l1::alloc_page{,_local}○ page開放: l1::free_page{,_local}
● L2 cacheとのインターフェイス○ 非同期: per-CPU thread(“page_pool_l1_<cpu>”)を用いる
■ 残数 < l1::max*¼ => 複数pageを獲得■ 残数 > l1::max*¾ => 複数pageを開放
○ 同期: 残数が0, l1::maxになれば、それぞれ同期的に複数pageを獲得/開放
page allocator: L2 cache● 全CPU共通のcache● class l2を用いて管理
○ cacheするpage数は最多でl2::max)● (L1 cacheが使う)UI: 名前が”try_*”なら、内部で同期獲得/開放しない
○ 複数page獲得: l2::{try_,}alloc_page_batch○ 複数page開放: l2::{try_,}free_page_batch
● global page allocatorとのインターフェイス● 非同期: per-CPU thread(“page_pool_l2”)を用いる
○ 残数 < l2::max*¼ => 複数pageを獲得○ 残数 > l2::max*¾ => 複数pageを開放
○ 同期: 残数が0, l2::maxになれば、それぞれ同期的に複数pageを獲得/開放
page allocator: global page allocator
● OSvのメモリ管理subsystem最深部に存在するコンポーネント● systemの生の空きpageを管理● 今回は時間の都合により、説明を割愛
参考文献
1. OSv Advent Calendar2014http://qiita.com/advent-calendar/2014/osv
2. OSvのご紹介 in OSC2014 Tokyo/Fall, Takuya ASADA, Cloudius Systemshttp://www.slideshare.net/syuu1228/osv-in-osc2014-tokyofall
3. OSvのsource codehttps://github.com/cloudius-systems/osv
4. slab allocation at Wikipediahttp://en.wikipedia.org/wiki/Slab_allocation
5. mallocの旅(Glibc編), こさき@ぬまづhttp://www.slideshare.net/kosaki55tea/glibc-malloc
おまけ: OSvのコードを読んでみた感想
● malloc()の実装を読むはずが、結局カーネルのメモリ管理のコードをかなり読むはめに陥った。が、勉強になったのでよしとする
● ソースがコンパクトで、今やすっかり巨大化したLinux kernelに比べると、はるかに読みやすい○ まだまだコード最適化による性能の伸びしろがある○ 息抜き/勉強用に気軽に読めるのでOSの学習にいいかも
● malloc(size)以外にmalloc(size, align)という、posix_memalign()に似た関数もある
アプリにはexportしていないため、kernelのみが使用可能
C++のoverload機能があったからできる。ビバC++
