LXC - kontener pingwinów

Grzegorz Nosek | Dni Wolnego Oprogramowania, Bielsko-Biała 2012

LXC – kontener pingwinów

Grzegorz Nosek,MegiTeam


Wirtualizacja w kilku słowach

„Mam jeden komputer a chcę kilka”

• taniej niż kilka maszyn• lepsze wykorzystanie sprzętu• lepsza izolacja niż wszystko w jednym systemie








LXC

LinuX Containers• Namespaces – wirtualizacja• CGroups – przydzielanie zasobów• LXC – narzędzia userspace'owe


Namespaces

● drzewiasta struktura, osobna dla każdego rodzaju namespace'ów

● każdy proces ma przypisany zestaw● init_pid_ns, init_net_ns itp.

● manipulacje wymagają CAP_SYS_ADMIN


Namespaces

● clone()● nowy proces, nowe namespace'y

● unshare() (od 2.6.16)● ten sam proces, nowe namespace'y

● setns() (od 3.2)● ten sam proces, istniejące namespace'y


Namespaces

● FS namespace (CLONE_NEWNS)● własne drzewo katalogów● pam_namespace (np. prywatny /tmp)● w połączeniu z pivot_root lepszy chroot() niż

chroot()


Namespaces

● PID namespace (CLONE_NEWPID)● własne ID procesów● własny init (pid=1)● więcej niż jeden pid na proces

– pid w każdym pidns od głównego do obecnego● strace ich nie lubi


Namespaces

● user namespace (CLONE_NEWUSER)● uid1 == uid2?● capabilities

– ptrace, kill, itp.● VFS


Namespaces

● net namespace (CLONE_NEWNET)● własne interfejsy sieciowe● interfejsy fizyczne● macvlan● veth


Namespaces

● IPC namespace (CLONE_NEWIPC)● własna pamięć dzielona SYSV

● UTS namespace (CLONE_NEWUTS)● własna nazwa hosta


CGroups

● cgroupfs● mkdir, rmdir● echo $$ > .../tasks

– w dowolnym momencie


CGroups

● podsystemy montowane wspólnie lub osobno

● maksymalnie jedna dla każdego podsystemu

● zagnieżdżone grupy dziedziczą ograniczenia grup nadrzędnych


CGroups

● cpuset● podzbiór CPU dla procesów z danej grupy● „dedykowany rdzeń dla MySQLa”

● cpuacct● rozliczanie czasu CPU


CGroups

● cpu● sprawiedliwy przydział czasu procesora

– niedawny „magic patch”● limitowanie czasu procesora

– „CFS bandwidth control”– ograniczenie przydzielonego czasu procesora nawet

jeżeli są wolne zasoby


CGroups


CGroups

● memory● ograniczenie pamięci fizycznej● ograniczenie przestrzeni wymiany● ograniczenie pamięci jądra (w drodze)● caveat emptor

– bardzo wrażliwy obszar jądra– nisko latające OOM killery


CGroups

● net_cls● oznacza wychodzący ruch sieciowy klasami tc


CGroups

● devices● ogranicza dostęp do poszczególnych urządzeń

– osobno odczyt, zapis, mknod


CGroups

● blkio● rozliczanie i limitowanie I/O do dysków● proporcjonalne (max. n% całego I/O)● stałe (max. n IOPS, max. n bajtów/sek.)● osobno dla każdego urządzenia


CGroups

● freezer● podobny efekt do kill -STOP całej grupy● jeden z klocków koniecznych do checkpoint-

restore i migracji na żywo


CGroups

● perf_event● perf: monitorowanie wydajności całego systemu● ograniczenie do wskazanej grupy● hic sunt leones


LXC

● zestaw narzędzi integrujących namespace'y i cgroups

● szablony dla popularnych dystrybucji● odpowiednik vzctl i util-vserver


LXC

● lxc-create -n testlxc -t debian● lxc-debian● lxc-fedora● lxc-ubuntu● (...)● lxc-busybox● lxc-sshd


Kolorowe klocki raz jeszcze


LXC

● lxc-sshd● /dev, /lib, /bin, /usr, /sbin dzielone z

gospodarzem● reszta niewidoczna z poziomu kontenera


LXC

● dla LXC wirtualizacja sieci jest opcjonalna, pozostałe są obowiązkowe

● nic nie stoi na przeszkodzie, aby samemu poskładać namespace'y


LXC

● lxc-unshare● najbardziej bezpośrednie narzędzie● tworzy namespace'y i tyle

● pam_namespace● tylko FS namespace

● systemd● PrivateNetwork=yes● InaccessibleDirectories itp.


Pułapki na optymistów

● niekompletna izolacja● sysfs● capabilities (SYS_REBOOT)● LSM (SELinux, Smack)● quoty● urządzenia (devpts zamiast /dev/tty*)



root@precise1:~# lxc-unshare -s PID /bin/bash

root@precise1:~# echo $$

1

root@precise1:~# readlink /proc/$$/exe



root@precise1:~# lxc-unshare -s PID /bin/bash

root@precise1:~# echo $$

1


/sbin/init



root@precise1:~# lxc-unshare -s 'PID|MOUNT' /bin/bash

root@precise1:~# umount /proc && mount /proc


/bin/bash



root@precise1:~# mkdir /sys/fs/cgroup/blkio/slow

root@precise1:~# echo $$ > /sys/fs/cgroup/blkio/slow/tasks

root@precise1:~# echo '253:0 1000000' > /sys/fs/cgroup/blkio/slow/blkio.throttle.write_bps_device

root@precise1:~# dd if=/dev/zero of=zero bs=1M count=500 && rm zero

500+0 records in

500+0 records out

524288000 bytes (524 MB) copied, 6.12093 s, 85.7 MB/s



root@precise1:~# dd if=/dev/zero of=zero bs=1M count=500 oflag=sync && rm zero

500+0 records in

500+0 records out

524288000 bytes (524 MB) copied, 528.348 s, 992 kB/s



root@precise1:~# echo '253:0 1000000' > /sys/fs/cgroup/blkio/blkio.throttle.write_bps_device

root@precise1:~# dd if=/dev/zero of=zero bs=1M count=500 && rm zero

500+0 records in

500+0 records out

524288000 bytes (524 MB) copied, 377.854 s, 1.4 MB/s



# http://blog.bofh.it/debian/id_413

lxc$ cat <<END > /tmp/evil-helper

#!/bin/sh

echo 'hi!' >> /tmp/evil-helper.log

END

lxc$ chmod +x /tmp/evil-helper

lxc# mkdir /sys

lxc# mount -t sysfs sysfs /sys

lxc# echo /var/lib/lxc/test/rootfs/tmp/evil-helper > /sys/kernel/uevent_helper

lxc# echo change > /sys/class/mem/null/uevent

http://blog.bofh.it/debian/id_413



● http://bit.ly/ytouBe – dyskusja o bezpieczeństwie LXC

● https://wiki.ubuntu.com/LxcSecurity

http://bit.ly/ytouBe

https://wiki.ubuntu.com/LxcSecurity


Porównanie

OpenVZ Linux-VServer

LXC


That's all, folks!

Pytania?

Technology

LXC - kontener pingwinów