Ukládání a archivace dat vzniklých digitalizací

v Digitálním archivu

SOA v Třeboni

Vytvořit systém, který bude zaštiťovat postupy spojené s digitalizací archivních materiálů

• vytváření archivních databází a metadat

• kompletní správa datového úložiště

• import snímků z digitalizačních pracovišť

• zpracování snímků

• bezpečné uložení a archivace snímků

• export snímků pro vnější potřeby

• zpřístupnění materiálů uživatelům

Základní cíle projektu

DigiArchiv

ÚLOŽIŠTĚ MHTF (prohlížecí formát)

ÚLOŽIŠTĚ TIFF (archivní formát)

DigiDepot

Přístup uživatelů přes Internet

WWW rozhraní administrace

IMPORT

přidávání nových

materiálů

EXPORT

export uložených

materiálů

D

A

T

A

B

Á

Z

E

EXPORT ARCHIV

export uložených

materiálů ve formě

balíčků do vnějšího

úložiště

Webová aplikace Datové úložiště

Digitalizace snímků digitalizační pracoviště

Import snímků

Zpracování snímků DigiDepot

Datové úložiště DigiDepot

Databáze Databáze metadat DigiArchiv

Export snímků DigiDepot

Potřebné funkce digitálního archivu

Zpřístupňování DigiArchiv

Archivace dat

1. Databáze metadat materiálů

1. Databáze popisů materiálů – DigiArchiv

Digitalizace snímků digitalizační pracoviště

Import snímků

Zpracování snímků DigiDepot

Datové úložiště DigiDepot

Databáze Databáze metadat DigiArchiv

Export snímků DigiDepot

Potřebné funkce digitálního archivu

Zpřístupňování DigiArchiv

Archivace dat

2. Import snímků

3. Zpracování snímků

2. Import snímků – webové rozhraní DigiDepotu

3. Zpracování snímků – webové rozhraní DigiDepotu

Digitalizace snímků digitalizační pracoviště

Import snímků

Zpracování snímků DigiDepot

Datové úložiště DigiDepot

Databáze Databáze metadat DigiArchiv

Export snímků DigiDepot

Potřebné funkce digitálního archivu

Zpřístupňování DigiArchiv

Archivace dat

4. Export snímků

4. Export snímků – webové rozhraní DigiDepotu

Digitalizace snímků digitalizační pracoviště

Import snímků

Zpracování snímků DigiDepot

Datové úložiště DigiDepot

Databáze Databáze metadat DigiArchiv

Export snímků DigiDepot

Potřebné funkce digitálního archivu

Zpřístupňování DigiArchiv

Archivace dat

5. Zpřístupňování materiálů

4. Zpřístupňování materiálů – DigiArchiv

Digitalizace snímků digitalizační pracoviště

Import snímků

Zpracování snímků DigiDepot

Datové úložiště DigiDepot

Databáze Databáze metadat DigiArchiv

Export snímků DigiDepot

Potřebné funkce digitálního archivu

Zpřístupňování DigiArchiv

Archivace dat

Správa datového úložiště

Při vývoji DigiDepotu byly zohledněny především tyto požadavky

• nezávislost na speciálním hardware (DigiDepot přistupuje k úložišti přes standardní systém souborů)

• automatická správa více úložišť (obejití maximální velikosti 2TB volume v operačním systému)

• nulové zásahy ze strany administrátora do systému souborů (práce s originálními snímky bez nutnosti znalosti jejich umístění v datovém úložišti)

• žádný blackbox (data v úložištích ve standardních formátech jsou v případě potřeby dostupná jiným způsobem)

• dodržování standardů (snímky TIFF, popis Dublin Core atd.)

Datové úložiště - DigiDepot

Hardware

• disková pole Petastore Alnico připojená přes optické rozhraní k serveru

• konfigurace RAID6

• rozdělená na volume po 2 TB

Datové úložiště - DigiDepot

Datové úložiště - DigiDepot Princip ukládání originálních snímků

DigiDepot

server

Složka pro import

Data 1 Data 2 Data 3 Data 4 Data 5 Data 6 . . . . . . . .

plná úložiště prázdná úložiště

Složka pro export

Export / Import

vnější archiv

Administrátor

Datové úložiště - DigiDepot On-line zjištění stavu úložišť

Základní funkce DigiDepotu spojené s ukládáním materiálů

• hledání volného úložiště

• konverze snímků a vytváření standardních metadatových souborů

• řešení přesunů dat mezi úložišti

• řešení oprav snímků (mazání, přidávání, přečíslování)

• řešení kontrol snímků (kontrola obsahu na sha1 hash)

• administrátor pracuje pouze se složkami import/export, potřebné vnitřní přesuny realizuje DigiDepot automaticky

Datové úložiště - DigiDepot

Digitalizace snímků digitalizační pracoviště

Import snímků

Zpracování snímků DigiDepot

Datové úložiště DigiDepot

Databáze Databáze metadat DigiArchiv

Export snímků DigiDepot

Potřebné funkce digitálního archivu

Zpřístupňování DigiArchiv

Archivace dat

Archivace dat

Při řešení archivace byly zohledněny především tyto požadavky

• co největší integrace s DigiDepotem

• automatická, pokud možno bezzásahová archivace na páskovou knihovnu

• automatická správa záloh (hlídání změn)

• aplikace mechanizmů kontroly dat na páskách

• 2 sady pásek v geograficky oddělených lokalitách

• možnost automaticky plánovaných kontrol pásek

Archivace dat

Archivace dat Hardware

• pásková knihovna Quantum Scalar i500 připojená přes optické rozhraní k serveru

• 96 slotů, 2 páskové jednotky, robotické podávání

• pásky LTO4 (800GB nekomprimovaně)

• použitý software Netvault Backup (Quest)

Archivace dat Princip původní archivace

DigiDepot

server

Složka pro import

Data 1 Data 2 Data 3 Data 4 Data 5 Data 6 . . . . . . . .

Složka pro export

Export / Import

vnější archiv

Admin

Netvault Pásková knihovna Admin

Původní způsob archivace pouze přes software Netvault nevyhovuje

• nutnost přístupu ke všem úložištím

• úložiště jsou dynamicky přidělována DigiDepotem, pozice materiálu se může změnit => nutno ručně měnit zálohovací joby

• problém s obnovou (pozice materiálu se může změnit)

• nelze kontrolovat obsah pásky (dá se pouze obnovit)

• problém s velkými zálohami – nutnost odzálohovat celý jeden typ materiálu (např. 18 pásek pro matriky)

Archivace dat

Archivace dat Nový princip archivace

DigiDepot

server

Složka pro import

Data 1 Data 2 Data 3 Data 4 Data 5

Složka pro export

Export / Import

vnější archiv

Admin

Netvault

Pásková knihovna

Backup složka

Nový způsob archivace

• přístup Netvaultu pouze k jediné složce „Backup“

• DigiDepot vytváří zálohovací balíčky, ukládá jejich hash do databáze pro kontrolu, automaticky ovládá archivaci do knihovny / obnovu z knihovny

• řešení nezávislé na uložení materiálů v úložištích

• možnost automatické kontroly obsahu pásek

• správa archivace přes webové rozhraní

Archivace dat

Archivace dat Správa záloh z webového rozhraní

Digitalizace snímků digitalizační pracoviště

Import snímků

Zpracování snímků DigiDepot

Datové úložiště DigiDepot

Databáze Databáze metadat DigiArchiv

Export snímků DigiDepot

Potřebné funkce digitálního archivu

Zpřístupňování DigiArchiv

Archivace dat DigiDepot

Podařilo se vytvořit systém, který zahrnuje všechny potřebné funkce pro digitalizaci od ukládání digitalizovaných materiálů a vznik databází metadat po zpřístupnění materiálů badatelům.

Závěr

Děkuji za pozornost

Martin Hankovec