Кеширование информационных потоков и стратегия оптимизации

маршрутов в распределенных системах кеш-серверов

С.А. Крашаков, Л.Н. Щур

Институт теоретической физики им. Л.Д. Ландау

sakr@chg.ru

Принципы построения систем кеширования

1. Одиночный кеш-сервер (кеширующий прокси)2. Иерархическая система3. Распределенные системы кеш-серверов (cache meshes)4. Кластеры кеш-серверов (proxy arrays)5. «Прозрачное кеширование» ( interception proxy)6. Web-ускоритель, обратный прокси, суррогат (surrogate)

(используются при построения сетей доставки контента – CDN)

Cache-mesh

Протоколы, используемые кеш-серверами

Взаимодействие между кеш-серверами

– Internet Cache Protocol (ICP) (RFC 2186, 2187)

– Hyper Text Caching Protocol (HTCP) (RFC 2756)

– Cache Digest - squid only

– Cache Array Routing Protocol (CARP)

Взаимодействие между элементом сети (маршрутизатор,

L4-коммутатор) и кеш-сервером

– Web Cache Control (Coordination) Protocol (WCCP)

– Network Element Control Protocol (NECP) - proposed draft

Кеширующие прокси-серверы, подерживающие ICP

Harvest (1994) – первый сервер с поддержкой ICP. Прекратил развитие в конце 1995. Потомки – Netcache и Squid.Cached-2(3) (Netcache) – коммерческий потомок Harvest cached, выпускавшийся в 1996-1997 гг. В настоящее время полностью интегрирован в продукты Netcache фирмы Network Appliance.Squid (http://www.squid-cache.org/) (1996)Oops (http://zipper.paco.net/~igor/oops)Wcol: WWW Collector – Prefetching proxy-server for WWW (1994) (http://infonet.aist-nara.ac.jp/products/wcol/)KOTETU (http://infonet.aist-nara.ac.jp/products/kotetu/) – prefetching прокси-сервер, потомок WcolMicrosoft Proxy-server (http://www.microsoft.com) Microsoft Internet Security and Acceleration Server (http://www.microsoft.com/ISAServer/)

Постановка задачи

Можно посылать запросы напрямую или одному из parent.

- Домены не являются компактными, поэтому поддерживать access listпо множеству доменов - практически нереально.- Использование маршрутизации по AS - сложнее в реализации итакже сложно в поддержке.- Маршрутизация изменяется динамически- Загрузка каналов неодинакова во времени

Имеется прокси-сервер в Черноголовке и возможные parents - FREEnet, RSSI, OSI, NLANR. Требуется минимизировать время ожидания пользователей.

Фрагмент netprobe database193.233.46.0 681/ 682 1.0 1.0 www.chg.ru www-cache.chg.ru www.gnu.org.ru ikia.ru.ircache.net 545.4 6.0 sd.cache.nlanr.net 589.3 12.0 pb.cache.nlanr.net 594.0 9.0193.233.32.0 106/ 106 1.0 2.0 fortran.org.ru itp.ac.ru www.itp.ac.ru ikia.ru.ircache.net 343.7 5.9 sd.cache.nlanr.net 1054.7 12.0193.233.36.0 192/ 192 5.1 4.0 www.issp.ac.ru alpclub.ru ikia.ru.ircache.net 235.7 5.8193.232.212.0 383/ 385 62.5 6.0 www.rssi.ru www.rka.ru ikia.ru.ircache.net ikia.ru.ircache.net 3.8 1.0 pb.cache.nlanr.net 212.1 12.0 sd.cache.nlanr.net 293.1 21.0158.250.9.0 4/ 4 101.5 8.0 www.npi.msu.su optics.npi.msu.su www.grammy.ru ikia.ru.ircache.net 23.1 5.0 sd.cache.nlanr.net 213.0 20.0 bo.cache.nlanr.net 297.0 19.0140.221.9.0 12/ 12 200.2 9.0 www.globus.org www.mcs.anl.gov ftp.mcs.anl.gov uc.cache.nlanr.net 8.0 6.0 pb.cache.nlanr.net 12.2 6.0 bo.cache.nlanr.net 27.3 8.0 sd.cache.nlanr.net 67.0 9.0 ikia.ru.ircache.net 258.2 16.0194.94.42.0 46/ 123 230.1 15.0 www.springer.de science.springer.de link.springer.de uc.cache.nlanr.net 131.5 16.0 sd.cache.nlanr.net 193.6 22.0 ikia.ru.ircache.net 210.2 16.0 pb.cache.nlanr.net 1656.6 13.0198.9.9.0 2/ 2 254.5 10.0 www.nas.nasa.gov sv.cache.nlanr.net 1.2 4.0 uc.cache.nlanr.net 48.0 8.0 pb.cache.nlanr.net 55.5 8.0 sd.cache.nlanr.net 108.0 10.0 ikia.ru.ircache.net 262.5 13.5

Поддержка измерений ICMP RTT, netprobe database иICP v2 (с поддержкой ICP_FLAG_HIT_OBJ) появиласьв Squid-1.1.19 (1997)

На сегодня нам неизвестны работы, в которых быпроводилось сравнение эффективности указанныхалгоритмов

Использование данного алгоритма позволяет:• автоматически выбирать кратчайший (в смысле RTT) маршрут до источника информации• обеспечить балансировку загрузки между несколькими каналами связи

Стандартный Squid Модификация

tpd <> tod top + tpd <> tod

Предлагаемая модификация Squid

Допустим, имеется 2 различных стратегии выбора маршрута кеш-сервером

1. Как их можно сравнивать и определить условия, при которых та или иная стратегия будет предпочтительней?2. Будет ли измерения воспроизводимыми или нет ?3. Если да, то какова их точность?4. Или, иными словами, как долго должны проводиться измерения, чтобы получить требуемую точность (например, 5%)

Основные трудности:• естественная периодичность активности пользователей• все элементы сети постоянно меняются, модернизируются, и т.п.• эволюция коннективности как таковой• по каким критериям делать сравнение: TLD? AS? URL?

Эксперимент №1 (январь-февраль 2000)

Отношение средней скорости получения информациис использованием и без использования parent кеш-серверов

для различных доменов

allat au by ca

com de

edu ee fi fr

gov it jp

net nl

nu

org pl

se tw uauk

none

0

1

2

3

4

5

6

7

8

9

10

11

Sp

eed

Rat

io (

Par

ent

/Non

e)

top-level domain name

Cache triangle

100

1000

10000

100000

1000000

Numberofqueries

top-level domain

Число запросов к различным доменам за 3 недели(симметричный треугольник, декабрь 2000)

N = TLD-2.34(5)

ruc

om

ne

tn

um

org ua

de

ed

un

u es uk nl

jp err fr

go

v cz it dk ee cc tw lv ch se to cail

by au

hu

bg

be

ws

sk kz at pl

md kg fi cx br

az tv kr us ge

am no cn pt

gr

sg ro ar lu St

nz si cl sh --

-10

-5

0

5

10

Asy

mm

etry

of t

he

num

ber

of q

uerie

s, in

per

ce

nt

top-level domain

Асимметрия в числе запросов для симметричного треугольника

0,1

1

10

100

1000

10000

100000

Tota

l tra

ffic,

MB

top-level domain

nl cz ca fi pt

Распределение трафика, обслуженного “левым” () и “правым” ()серверами, по доменам (в двойном логарифмическом масштабе)

N = TLD-2.25(16)

ruco

m net

num org ua de edu nu es uk nl jp err fr

gov cz it dk ee cc tw lv ch se to cail

by au hu bg be ws sk kz at pl

md kg fi cx br az tv kr us

-100

0

100

200A

sym

met

ry in

the

tota

l tra

ffic

top-level domain

ruco

m net

num org ua de edu nu es uk nl jp err fr

gov cz it dk ee cc tw lv ch se to cail

by au hu bg be ws sk kz at pl

md kg fi cx br az tv kr us ge am no cn pt gr sg ro ar lu St

nz si cl

0

20

40

aver

age

docu

men

t siz

e, K

B

top-level domain

Средний размер документов в измерении на “симметричном треугольнике”

ruc

om

ne

tn

um

org ua

de

ed

un

u es uk nl

jp err fr

gov cz it dk ee cc tw lv ch se to cail

by au

hu

bg

be

ws

sk kz at pl

md kg fi cx br

az tv kr us ge

am no cn pt

gr

sg ro ar lu St

nz si cl shS

UM

0

10

20

30

40

50

60

70

ave

rage

sp

eed

of d

ocum

ents

top-level domain

Left slave Right slave

Средняя скорость получения документов (кбит/сек) для “симметричного треугольника”

ruco

mnu

m net

org ua de nu es uk

edu

gov nl tw err

se fr cz by jp pl beit

dk ca to cc ch sk tv lv fiau kz ee

il at bg md cx ge br ws -- no lu

am hu kg us za mil az sg int lt

as cn uz ar pt pe gr si hk

0

10

20

30

40

50

aver

age

docu

men

t siz

e, K

B

top-level domain

Using cach-mesh direct

Средний размер документов в эксперименте с “асимметричным треугольником”

ruc

om

nu

mn

et

org ua

de

nu es

uk

ed

ug

ov nl

tw err se fr cz

by jp pl

be it

dk

ca to cc

ch sk tv lv fi

au kz

ee il at

bg

md cx

ge br

ws -- no lu

am hu kg us

za mil

az

sg int lt

as

cn uz ar pt

pe gr si hk

0

10

20

30

ave

rage

spe

ed o

f doc

umen

ts

top-level domain

Left slave --> cache-mesh Right slave --> direct

Средняя скорость получения документов (кбит/сек) для “асимметричного треугольника”

rucom

num

net

org ua

de

es

uk

nu

edu nl kr err

gov jp fr se

be

by tw ca dk it cz pl

to il ee tv cc lv au

ch

sk at lu kz cx

md

am br

hu ie ws fi no hr

int

kg

bg pe ar tr az

sg gr

zaSUM

Non-R

U

0

5

1 0

1 5

2 0

2 5

3 0

3 5

4 0A

ve

rage

tra

ns

fer

spe

ed

, K

Bp

s

Top-level domain

Using cache-mesh Direct

Средняя скорость получения документов (кбит/сек) для “асимметричного треугольника” (после подстройки конфигурации)

ru

com

num

net

org

ua

de

es

uk

nu

edu

nl

kr

err

gov

jp fr se

be

by

tw ca

dk it cz pl

to il

ee tv cc lv au

ch

sk at

lu kz

cx

md

am br

hu ie ws fi no

hr

int

kg

bg

pe ar tr az

sg gr

za

SU

MN

on

-RU

0

2

4

6

8

10

12

14

16

Ca

ch

e-m

esh

/Dir

ect

Top-level domain

Отношение средней скорости получения информациис использованием и без использования parent кеш-серверов

(после подстройки конфигурации “асимметричного треугольника”)

Заключение

1. Предложен модифицированный алгоритм выбора маршрута получения информации в распределенной системе кеш-серверов, который:

- позволяет в среднем повысить скорость получения информации- не требует априори информации о коннективности- гибко подстраивается при нарушениях в маршрутизации- позволяет выравнивать загрузку между разлтчными каналами связи

2. Предложены экспериментальные подходы для сравнительного изучения различных стратегий кеширования и кеш-маршрутизации. Представлены предварительные результаты измерений

3. Показано, что сравнительные измерения весьма полезны для обнаружения неточностей в конфигурации распределенной сети кеш-серверов, выявления узких мест и оптимизации работы сети.

Работа выполнена частично при поддержке РФФИ (гранты 96-07-89226,

98-07-90293, 99-07-90084 и 01-07-90119) и МНТ РФ (проект 5.1.1

НСКТ-НВШ)

http://www.cache.net.ru