第二回KVM読書会

KVM読書会第二回

Tsuyoshi Ozawa @ Univ. of TsukubaTwitter oza_x86

2009年8月30日日曜日

本日の内容1. Intel-VTの概要2. KVMの概要(その2)


Intel-VTの概要


プロテクションモデル


リングプロテクションでIntel-VT

1.仮想化の支援機構2.VMを簡単に実装するための CPUの機能

x86の保護モデルと密接な関係がある


x86の保護モデル(リングプロテクション)

数字が低いほど特権レベルが高い( 0 が最強 )

OSはRing 0 で動作

ユーザプログラムはRing3で動く

OSの機能を使いたいときは儀式を行う

Kernel Mode

Ring3 = User Mode

Ring2

Ring1

Ring0


リングプロテクションで保護されているもの

1.命令の発行2.メモリのアクセス


Ring3 から Ring0 へのアクセス

Kernel Mode

Ring3

Ring2

Ring1

Ring0

User Mode


Kernel Mode

Ring3

Ring2

Ring1

Ring0

ここで out 命令

User Mode



Kernel Mode

Ring3

Ring2

Ring1

Ring0


User Mode


ダメ！(例外を発生)


Kernel Mode

Ring3 = User Mode

Ring2

Ring1

Ring0



例外に対応した例外ハンドラが動作する


「VMが動作する」とは？

仮想的なCPU、メモリ、マザーボード etc...

がたくさんある


「VMが動作する」とは？

Kernel Mode

Kernel Mode

実機仮想CPU


どうやって実装するの?


Xen や VMWare のモデル

HyperVisor

Ring3

Ring2

Ring1

Ring0

OSを書き換える

Ring1 = Guest Kerel


Xen や VMWare のモデル

Kernel Mode

Kernel Mode

Hypervirsor on 実機 Guest kernel on 仮想CPU

実は Ring 1Ring 1 とRing 2 は通常使われない


Intel-VT がやっていることも

同じ


Intel-VT の概要

Kernel Mode


Kernel Mode


Intel-VT の概要

Kernel Mode


実は Guest OS 専用モード

Kernel Mode


Intel-VT の概要

Kernel Mode


あるCPUステートじゃないとダメ.

Kernel Mode


Intel-VTの用語


VMX Root Mode

Kernel Mode

Kernel Mode


VMX Root Mode になるための命令

Hypervirsor on 実機

VMXON初期化命令.

A20信号線を無効にするVT用の命令が発効できるようになる

Kernel Mode


VMX Root Mode から戻る命令


VMXOFFVT終了命令.

VT周りの命令が使えなくなる

Kernel Mode


Intel-VTの用語


VMX non Root Mode

Kernel Mode

Kernel Mode


Intel-VTの用語


VMX non Root Mode

VMEntry

Kernel Mode

Kernel Mode


VMEntry を発生させる命令

VMLAUNCHVMRESUME

VMX non Root Modeに移行する


Intel-VTの用語


VMExit

Kernel Mode

Kernel Mode


VMExit を発生させる命令

VMMCALL+その他例外

VMX non Root Modeに移行する


その他例外について

•設定に沿った例外を生じる.RDTSC (時間を読み取る)を発行しただけで例外を発生させるように設定することも可能

•「設定」を保存する場所

VMCS構造体


VMCSのイメージ


Memory

VMCS

Kernel Mode


VMCS構造体とは

Virtual Machine Control Structure

4KB の構造体命令でメモリアドレスをセットする


VMCS構造体とは

•Virtual Machine Control Structure

•4KB の構造体•保存するもの　例外の引き起こす命令の設定　プログラムカウンタの値　各種レジスタの値　VMのメモリ開始位置 etc...


VMCSを設定する命令

Current VMCSを設定

VMPTRST


Kernel Mode

VMPTRSTのイメージ


Memory

VMCSここがVMCSだよ！


Current VMCSをロードする命令

Current VMCSのアドレスを取得

VMPTRLD


Kernel Mode

VMPTRSTのイメージ


Memory

VMCSこの番地にCurrent VMCSあるよ


VMCLEAR

VMCSを初期化する


Kernel Mode

VMCLEARのイメージ


Memory

VMCS初期化して！


VMCSを読み書き

VMREAD/VMWRITE


Kernel Mode

VMWRITEのイメージ


Memory

VMCSココの値はこうして！


Kernel Mode

VMREADのイメージ


Memory

VMCSココの値はこうだよ！


詳細はIntelのマニュアル(英語版)参照


KVMの概要


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


見方


VMXRoot Mode

VMXNonRoot

Mode


ユーザモード

特権モード


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


起動からVMX non Root Modeになるまで


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

KVMのブートはQemuを起動することで

生じる


./qemu -hda disk1.img

(-hda は起動ディスクを指定するオプション)


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

$ ./qemu -hda disk1


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

Qemuの初期化を行う


Qemuの初期化が終わったら


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

IOCTL


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


特権モードに切り替え


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel VTを使って

モード遷移をする準備


VMX non Root Modeに

なるための命令


vmlaunchvmresume


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

vmlaunch / vmresume


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


無事にVMX non root Mode に

なりました


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


次


VMX non Root Modeから

IOのハンドリングまで


そうこうしているうちに


outb %ax が発生したと仮定


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

outb %ax2009年8月30日日曜日

処理がVMX Root Modeに

移る


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel なぜ

ゲストから処理が渡されたのか特定


エミュレーションの場合は


Qemuの助けが必要


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

IOCTLから一旦return


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

どのハードウェアにio命令が来たか

判断


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

エミュレーションを行う


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

結果がメモリ上の

仮想ハードウェアに反映


エミュレーションが終了したら


再度IOCTLを発行して

CPUをゲストに渡す


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

IOCTL


以下略


まとめると...


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

IOCTL センシティブ命令

vmlaunchvmresume


これがおおざっぱなメインループ


今回の説明箇所


outb %ax が発生したと仮定


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


VMX non Root Modeから

IOのハンドリングまで


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


どこから再開するのか


"jne .Llaunched \n\t" __ex(ASM_VMX_VMLAUNCH) "\n\t" "jmp .Lkvm_vmx_return \n\t" ".Llaunched: " __ex(ASM_VMX_VMRESUME) "\n\t"

".Lkvm_vmx_return: "

/* レジスタの復帰 */

...

vmlaunchvmresumeの...


"jne .Llaunched \n\t" __ex(ASM_VMX_VMLAUNCH) "\n\t" "jmp .Lkvm_vmx_return \n\t" ".Llaunched: " __ex(ASM_VMX_VMRESUME) "\n\t"

".Lkvm_vmx_return: "

/* レジスタの復帰 */

...

次の命令


次の命令から再開はいいけど


これから何するの？


out命令のエミュレーション


なぜ out 命令のエミュレーションと特定できるのか？

in 命令かもしれないじゃん.


Intel-VTの機能でモード遷移の原因がわかる


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel なぜ

ゲストから処理が渡されたのか特定


エミュレーションの場合は


Qemuの助けが必要


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

IOCTLから一旦return


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


int kvm_cpu_exec(){ ...461 ret = kvm_vcpu_ioctl(env, KVM_RUN, 0);

478 switch (run->exit_reason) { 479 case KVM_EXIT_IO:481 ret = kvm_handle_io(env, run->io.port,482 (uint8_t *)run + run>io.data_offset,483 run->io.direction,484 run->io.size,485 run->io.count);486 break; case KVM_EXIT_MMIO: .... 続く ...

ここにもどってくる


outbを処理中なので


int kvm_cpu_exec(){ ...

// ここに戻ってくる461 ret = kvm_vcpu_ioctl(env, KVM_RUN, 0);

478 switch (run->exit_reason) { 479 case KVM_EXIT_IO:481 ret = kvm_handle_io(env, run->io.port,482 (uint8_t *)run + run>io.data_offset,483 run->io.direction,484 run->io.size,485 run->io.count);486 break; case KVM_EXIT_MMIO: .... 続く ...

outbが発生したのでここにくる


次にすることは


どの仮想ハードウェアに対する

IOなのかを判断する


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


判断


どうするか


out命令のオペランドで

判断


outb %al


outb %al

ポート番号が入っている


ポート番号で

ルーティング(実機と同じ判断方法！)


int kvm_cpu_exec(){ ...

// ここに戻ってくる461 ret = kvm_vcpu_ioctl(env, KVM_RUN, 0);

478 switch (run->exit_reason) { 479 case KVM_EXIT_IO:481 ret = kvm_handle_io(env, run->io.port,482 (uint8_t *)run + run>io.data_offset,483 run->io.direction,484 run->io.size,485 run->io.count);486 break; case KVM_EXIT_MMIO: .... 続く ... 引数に注目


kvm_handle_iocpu_outb

ioport_write


static void ioport_write(int index, uint32_t address, uint32_t data){ static IOPortWriteFunc *default_func[3] = { default_ioport_writeb, default_ioport_writew, default_ioport_writel }; IOPortWriteFunc *func = ioport_write_table[index][address]; if (!func) func = default_func[index]; func(ioport_opaque[address], address, data);}

ioport_write_tableは関数ポインタのテーブル


デバイスによって処理を分岐できる(実機と同じルーティング方法)


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel


判断


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

エミュレーションを行う


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

結果がメモリ上の

仮想ハードウェアに反映


エミュレーションが終了したら


再度IOCTLを発行して

CPUをゲストに渡す


コードレベルだと


378 static int kvm_main_loop_cpu(CPUState *env) 379 {

394 while (1) { 395 while (!has_work(env)) 396 kvm_main_loop_wait(env, 1000); 397 if (env->interrupt_request & (CPU_INTERRUPT_HARD | CPU_INTERRUPT_NMI)) 398 env->halted = 0; // ここで割り込み処理を行う.

.... 404 } 405 if (!env->halted && !env->kvm_cpu_state.init) {

406 kvm_cpu_exec(env); // ここが本体

} } 413 }


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

IOCTL


以下略


まとめると...


Qemu

KVM

UserProgram

GuestKernel

LinuxKernel

IOCTL

vmlaunch vmresume

センシティブ命令


以上がメインループの概要


質問?


Documents

第二回KVM読書会