Memory Virtualization

カーネル/VM探検隊第二回Tsuyoshi OzawaTwitter oza_x86

12009年11月9日月曜日

はじめに



コレ！


誤報です


KVMの内容ないです


今日の内容

仮想マシン上における

メモリの仮想化について

for x86


そもそも仮想化とは

使い手(=OS)から実物と同じに見える

Linux on Real Machine Linux on Virtual Machine


実物を知ろう


実機の仮想アドレスの仕組み

x86 実機におけるお話をします

その後で仮想化(Shadow Page Table)の話


仮想メモリの概要

CPU

PhysicalMemory

VirtualMemory

仮想アドレス物理アドレス

0x1000 0x11000

0x2000 0x12000

... ...


仮想メモリの利点

• 物理メモリより多くのメモリが使える

• プロセス毎にメモリを管理するので、より安全にプロセスが動作


仮想メモリの実現のために必要な

管理情報

• ページテーブル

• メモリアクセスの履歴


ページテーブル

• OSが管理

• バイナリの構造体

• 仮想アドレスを物理アドレスに変換する「表」


0x1000 0x11000

0x2000 0x12000

... ...


ページテーブルの特徴• ページテーブルはプロセスの数だけある

• OSは参照するページテーブルを切り替えながら実行


0x1000 0x11000

0x2000 0x12000

... ...


メモリアクセスの履歴• いつ、どのくらいの頻度でそのアドレスにアクセス?

• スワップイン・スワップアウトに利用

PhysicalMemory

swap inswap out


仮想メモリの実現に使われている

ハードウェア1. ページテーブルの場所を格納するレジスタ CR3

2. アドレス変換を行う MMU

3. キャッシュ TLB CPU

x86の場合はCPU上に載っている MMU

CR3

TLB


ページテーブルの場所を格納するレジスタ

• ページテーブルのアドレスを格納する

• Control Register の 3 番目

CR3


アドレス変換を行うハードウェア

• ページテーブルのエントリを解釈して、物理アドレスへ変換を行う

• Memory Management Unit

MMU


変換のキャッシュ

• Translation Look-aside Buffer

• メモリアクセスの度にページテーブルにアクセスすると遅いメモリアクセスの度にページテーブルへのメモリアクセスが生じる

• CPU内のSRAMに保存しておく

TLB


アドレス変換の仕組み

CR3

TLB

Virtual Address 0xc000312012bit20bit

ページテーブル

PhysicalMemory

1.TLBを見る

2.ページテーブルを参照

3.何番目のページか求める

4.オフセットを計算してアクセス

MMU

実際には3段ページングというのもある


ここまで実物の話


ここからVMの

メモリ仮想化の話


の前に


VMの概要について


VMの概要

• OSが動作できる環境を提供する


VMを管理するための

ソフトウェア

Virtual Machine Monitor

VMM

Hardware


VMMの種類

• 大雑把に分けて3種類のVMMが存在

• Robert P. Goldberg. ,Architectural Principles for Virtual Computer Systems.


Type I VMM

• ハードウェアを直接制御

• Xen, VMware ESX

VMM

Hardware


Type II VMM

• OS 上で動作するプロセスとして動作

• QemuLilyVMBochs

VMM

Hardware

OS

Proc


Hybrid 型 VMM

• Type I + Type II

• 現在の主流

• VMware WorkstationLinux KVM VMM

Hardware

OS

VMMProc


Hybrid 型 VMM

• コレの話がメイン

VMMHardware

OS

VMM


ようやくVMの

メモリ仮想化の話


2つの仮想化の手法

• Shadow Page Table ( SPT )ソフトウェアのみで実装

• Nested Page Table (Extended Page Table)ハードウェアの支援が必要


Shadow Page Table

• ゲストOSのページテーブルの Shadow をホストOS側で作る

• ゲストOSは Shadow を見て動作


SPTの概要

VMMHardware

OS

Hybrid 型VMMで説明します！


SPTの概要

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB


SPTの概要

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

create page table


SPTの概要

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

何らかのタイミングで...


SPTの概要

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

VMMに処理を渡す


SPTの概要

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

VMMはゲストPT を見る


SPTの概要

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

Shadowpage table

create SPT


HostPhysicalMemory

GuestPhysicalMemory

SPTでのメモリアクセス

VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table

ゲストOSがvCR3

に書き込み


HostPhysicalMemory

GuestPhysicalMemory


VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table

HookしてVMMに処理が移る


HostPhysicalMemory

GuestPhysicalMemory


VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table

作ったSPTを実機CR3にロード


これでメモリアクセスが発生すると



VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table Host

PhysicalMemory

GuestPhysicalMemory



VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table


PhysicalMemory

GuestPhysicalMemory

ゲストの視点



VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table


PhysicalMemory

GuestPhysicalMemory

現実


SPTの動作のポイント

• ゲストOSの作ったページテーブルは

メモリアクセス時に見ない• VMMが作ったSPTを見て動作


SPTの実装

• Pre-Validation

• Virtual TLB

• Virtual TLB + Memory Trace


Pre-validation

• CR3 への書き込みをフック

• ゲストの作ったPTを見る

• SPTを全て再構築


Pre-validation

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

create page table


Pre-validation

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

ゲストOSは勝手にPTを作る


Pre-validation

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

CR3への書き込みをフック


Pre-validation

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table



Pre-validation

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table



Pre-validation

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

Shadowpage table

create SPT


HostPhysicalMemory

GuestPhysicalMemory

Pre-validation

VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table




VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table


PhysicalMemory

GuestPhysicalMemory

SPTを見てアクセス


Pre-validationの欠点• プロセス切り替え毎

( CR3 への書き込み毎 ) にSPTを

全て再構築• コンテキストスイッチのオーバヘッドが非常に大きくなる


Virtual TLB

• CR3 に書き込みがあったらSPTの1段目だけを作る

• 残りはTLBミスが起きたところでSPTを作る

• TLBミスが起こると、それを補う「キャッシュ」をVMMが追加


Virtual TLB

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

create page table


Virtual TLB

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

ゲストOSは勝手にPTを作る


Virtual TLB

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

CR3への書き込みをフック


Virtual TLB

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table



Virtual TLB

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table



Virtual TLB

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table

Shadowpage table1st stage

create SPT


Virtual TLB

VMMHardware

OS

CR3TLB

Guest side

Host side

VMvCR3vTLB

Guestpage table


create SPT

VMMはページテーブル

1段目のみを作成


HostPhysicalMemory

GuestPhysicalMemory

Virtual TLB

VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table




Virtual TLBでのメモリアクセス

VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table


HostPhysicalMemory

GuestPhysicalMemory



VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table


HostPhysicalMemory

GuestPhysicalMemory

ページフォールト



VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table


HostPhysicalMemory

GuestPhysicalMemory

ページフォールトハンドラ起動



VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table


HostPhysicalMemory

GuestPhysicalMemory




VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table

2nd stageHost

PhysicalMemory

GuestPhysicalMemory

2段目のページテーブル埋まる



VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table

2nd stageHost

PhysicalMemory

GuestPhysicalMemory

この瞬間表が完成！

(注)ページテーブルの段数はCPUモード固有762009年11月9日月曜日


VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table

2nd stageHost

PhysicalMemory

GuestPhysicalMemory

ゲストOS

メモリアクセス再開



VMMHardware

CR3TLB

OSVM

vCR3vTLB

Guestpage table

Shadowpage table

2nd stageHost

PhysicalMemory

GuestPhysicalMemory

ページがひけて無事アクセスできる


Virtual TLBの問題

• 整合性を保つのにひと工夫必要

• ページテーブルを変更したとき

• ページテーブルを追加したとき

• 作ったSPTは、結局吹き飛ばす


Virtual TLBにおけるフックポイントまとめ

• TLBが無効になったとき

• CR3 に書き込んだとき

• invlpg 命令が発効されたとき

• ゲストOSのコンテキストでページフォールトが生じたとき

• メモリへのアクセス保護例外が発生したとき（PTE変更への対処）


SPTを長生きさせるには

• TLBフラッシュが起きたときにSPTを吹き飛ばさないようにする

• ゲストOSの作ったPTとSPTの整合性がとれていれば可能


Memory Trace

• ゲストOSの作成したPTへのアクセスアクセス保護例外を使ってフック

• ゲストOSで生じたイベントを記録して吹き飛ばすことなくSPTを再現する(Trace)


神は細部に宿り給う• x86特有の問題

• ページテーブルの段数がCPUのモードによって切り替わる

• Linux KVM ではマクロを使ってひな形を用意してコード量を削減


見てみましょう

kvm-88/kernel/x86/paging_tmpl.h


Nested Page Table(Extended Page Table)• ページングの段階をもう一段階増やす

ゲスト仮想アドレス

ゲスト物理アドレス

ホスト物理アドレス

0x1000 0x11000 0x21000

0x2000 0x12000 0x42000

... ...


NPT/EPTの特徴• AMDのCPUではほとんどのCPUでサポートされている

• Intel CPUでは割と最近のCPU(i7以降)で実装された

• VMMの実装がシンプルになる

• SPTより速いとは限らない


まとめ

• VMにおけるメモリの仮想化

• SPT

• Pre-validation

• Virtual TLB

• NPT/EPT


Technology

Memory Virtualization