Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura

Způsoby využití datových úložišťCESNET

David Antoš

Přehled

I infrastruktura dostupná na CESNETuI služby úložišť podle různých typů použití

I smysl úložiště a zamýšlené použitíI synchronizace a sdílení datI zálohy, archivy, sdílení klasickými metodamiI speciální služby

I správa uživatelů a modely použitíI výhledy rozvoje služebI volitelná témata

I očekávané rychlosti přenosů datI velká data

11. 3. 2015 CESNET Day

Část IInfrastruktura


Infrastruktura

Praha

Liberec

Pardubice

Brno

Olomouc

Ostrava

Opava

NIX

Internet

AMS-IX

SANETACONET

PIONIER

Jihlava

Děčín

PlzeňKarviná

Zlín

České Budějovice

Hradec Králové

GÉANT


Infrastruktura

I celková hrubá kapacita cca 21 PBI Plzeň (od pol. 2012)

I v areálu ZČUI cca 500 TB disků, 4800 TB pásek, 3584 TB SGI COPANI SGI Data Migration Facility, CXFS

I Jihlava (2013)I Krajský úřad JihlavaI 1041 TB disků, 3744 TB pásek, 2934 TB MAID

I Brno (2013)I rektorát VUT BrnoI 498 TB disků, 3500 TB pásek, 2116 TB MAIDI řešení IBM založené na GPFS a TSM


Knihovna v Plzni


Úložiště jsou hierarchická

I vrstvy médií různé kapacity a rychlostiI rychlé disky/pomalejší disky/MAID/páskyI drahý provoz → levnější provoz

I a automatizovaný systém pro přesuny dat mezi nimiI déle nepoužívaná data do pomalejších vrstevI pro uživatele transparentní, resp. téměř transparentní

I přístup k dlouho nepoužitému souboru trvá déleI uživatelům to obvykle nevadí


Zaplnění archivu v Plzni


Část IISlužby datových úložišť – motivace


Smysl externího úložiště

I uživatelé raději drží data na vlastním zařízení. . .I to ale nedává rozumné garance dlouhodobého uchováváníI používají se nevhodná média, chybí systematická péčeI data je lépe uchovávat v živém systému

I konsolidace zdrojů – národní úložiště vědeckých datI umožňuje pořídit zařízení dostatečné velikostiI spravované specializovaným týmemI s možností sdílení dat mezi skupinami uživatelů


Cíl: dlouhodobé uchování dat

I potřeba dlouhodobě uchovávat vědecká data vzrůstáI uchování primárních dat z experimentů a výpočtůI s ohledem na potenciál jejich dalšího využitíI k návratu a revizi publikovaných výsledků

I uchování zajišťujeme na úrovni zachování binárních dat(bitstream)

I správce úložiště nerozumí odborné povaze datI ani nemůže rozhodovat o smysluplnosti jejich archivace

I proto neděláme LTP (Long-Term Preservation)I bitstream je nicméně předpokladem pro uchování dat

I další kopie, geografické repliky, redundance v systému


Organizačně-právní pohled

I data uživatelů zásadně patří uživatelůmI srovnejte s provozními podmínkami komerčních poskytovatelů


Část IIISlužby datových úložišť


Jednorázové zaslání souboru

I FileSender: webová služba pro jednorázový přenos (velkých)souborů

I „velkých“: aktuálně 500 GBI přispíváme i k jeho vývojiI http://filesender.cesnet.czI alespoň jedna strana komunikace musí být oprávněný uživatel

infrastrukturyI autentizace federací eduID.cz

I oprávněný uživatel může nahrát soubor a poslat mu oznámeníI lze poslat komukoli pozvánkuI testovací verze na http://filesender2.cesnet.cz


http://filesender.cesnet.cz

http://filesender2.cesnet.cz

Synchronizace a sdílení dat

I pokud hledáte způsob, jakI synchronizovat data mezi svými počítačiI i mobilními zařízenímiI mít je zároveň dostupná přes webI moci data sdílet

I a přitomI data nejsou příliš velká

I ownCloud


ownCloud

I cloudové úložiště se synchronizací souborůI pro osobní počítače (Windows, Linux, Mac OS X)I mobilní Android, Apple (klient pod 1 Euro)I a webové rozhraní

I data se synchronizují přes úložištěI na počítači jsou i lokálně, na mobilní při otevření

I data lze sdíletI konkrétní osobě nebo „kdo zná odkaz“

I kalendář, kontaktyI registrace federací na http://owncloud.cesnet.czI standardní limit 100 GB na uživatele


http://owncloud.cesnet.cz

ownCloud – počet uživatelů


Klasické možnosti využití úložišť

I zálohyI uživatelé mají primární data u sebeI na úložiště odkládají zálohu pro případ havárieI buď pro zálohování jednotlivých strojůI nebo i agregovaně – IT oddělení zálohuje celou katedru

I archivaceI uživatelé na úložiště odkládají cenná primární dataI data nejsou často využívánaI uživatelé nemají prostředky pro jejich uchováváníI individuální přístup koncových uživatelů vs. „laboratorní archivář“


Klasické možnosti využití úložišť

I sdílení datI distribuovaný tým potřebuje společně pracovat nad většími

objemy dat, případně je zveřejňovatI typicky koncoví uživatelé

I „něco jiného“I distribuce obsahu, jiné speciální aplikace


Standardní přístup k souborům

I pokud chcete připojit souborový systém nebo přenášet souboryI NFSv4 (známé uživatelům MetaCentra)I rsync, scp, FTPSI obvykle autentizované systémem KerberosI existují GUI klienti i nástroje pro příkazovou řádku pro hlavní

platformyI již letos CIFS (známý „síťový disk“ z Windows)I Globus – vysokorychlostní přenosy


Globus

I dříve zvaný GlobusOnlineI „klikací FTP na steroidech“I kopírování velkého objemu datI řízené pomocí webového rozhraníI mezi „koncovými body“ – úložišti podporujícími Globus nebo

lokálním strojem


Jak začít používat souborový přístup

I pokudI chcete využívat souborově orientované protokolyI dostačuje prefabrikovaná politika migrací datI ukládáte jen individuální dataI potřebujete ukládat nejvýše jednotky TB

I tak se jen zaregistrujte na http://du.cesnet.czI vyžaduje to ověření uživatele z akademické instituce

I členství se po roce prodlužujeI jako indikace, že uživatel „ ještě ví o svých datech“

I kódové označení: VO Storage


http://du.cesnet.cz

Jak se stát uživatelem – snadno 2

I pokudI potřebujete (třeba okamžitě) i výpočetní zdrojeI a vyhovují podmínky podobné jako ve VO Storage

I tak se zaregistrujte do MetaCentra nahttp://metavo.metacentrum.cz/

I jestli to nestačí, tak. . .


http://metavo.metacentrum.cz/

Jak se stát uživatelem – snadno 2

I pokudI potřebujete (třeba okamžitě) i výpočetní zdrojeI a vyhovují podmínky podobné jako ve VO Storage

I tak se zaregistrujte do MetaCentra nahttp://metavo.metacentrum.cz/

I jestli to nestačí, tak. . . ale až za chvilku


http://metavo.metacentrum.cz/

Správa uživatelských účtů

I systém PerunI uživatel (osoba) má (ideálně) jedinou identitu v infrastruktuřeI potřebujeme ověření identity a příslušnosti k oprávněné instituci

I proč to? zodpovídáme v projektu za to, komu službyposkytujeme (akademické komunitě), řídíme mnoho různýchslužeb

I na identitu uživatele jsou navázány jednotlivé mechanismypřístupu ke zdrojům

I řízeno členstvím ve virtuálních organizacíchI uživatelé vše řídí přes webové rozhraní


Úložiště pro náročnější

I nestačí VO Storage? založíme vám virtuální organizaci!I VO je skupina uživatelů se společným zájmem, kteří vystupují

jako celekI VO má správce, který

I jedná s poskytovatelem zdrojůI rozhoduje o podmínkách členství jednotlivých uživatelů

I dohoda o poskytování zdrojů mezi VO a správcem zdrojeI popisuje nastavení technických parametrů

I velikost poskytovaného prostoruI použité přístupové protokolyI politika ukládání dat, počty kopií/replik

I VO může využívat různé typy zdrojů11. 3. 2015 CESNET Day

Náročnější požadavky prakticky

I napište nám na [email protected] domluvíme se, co potřebujete

I opravdu to potřebujeme pochopitI kolik dat máte, jak s nimi pracujete, . . .

I připravíme konfiguraci úložištěI založíme virtuální organizaci

I organizační jednotka pro správu uživatelůI pozveme vás do ní a povýšíme na administrátoraI dál si uživatele spravujete sami, vytváříte skupiny, . . .I ukládáte data přes FTP/rsync/NFSv4/...

I my se staráme, aby na se vytvářely jejich repliky, . . .11. 3. 2015 CESNET Day

[email protected]

Stav – shrnutí

I naším dlouhodobým záměrem je spolupracovat se skupinami,které mají velká data

I pomoci s ukládánímI pomoci se zpracováním

I naše úložiště jsou v běžném provozuI zde popsané služby jsou k dispozici

I dva režimy služeb: „přihlašte se“ vs. „napište nám“I pro „napište nám“ služby vždy potřebujeme pochopit záměry

uživateleI vyžaduje komunikaci a jisté úsilí na obou stranách


Výhled

I cílem je udržet úložiště s otevřeným přístupem pro vědeckoukomunitu

I ideové pilíře rozvoje1. technologie a její provoz2. organizace dat (Hadoop, databáze)3. aplikace – analýza velkých dat – včetně schopnosti fungovat jako

testovací prostředí pro takové aplikace4. dlouhodobé uchování dat – poskytnutí nástrojů pro práci

„aplikačního knihovníka“5. Open Access repozitář publikací a dat

I body 2 a 3 v úzké spolupráci s národním gridem MetaCentrum


Kontakty

I http://du.cesnet.czI uživatelská podpora: [email protected]


http://du.cesnet.cz

[email protected]

Documents

Způsobyvyužitídatovýchúložišť CESNET · AMS-IX SANET ACONET PIONIER Jihlav D n í Plze Karviná Zlín eské Bud jovice Hradec Králové GÉANT 11. 3. 2015 CESNET Day Infrastruktura