Długoterminowe  przechowywanie  danych  dziedzictwa  kulturowego  w  środowisku  skalowalnych  technologii  ICT  Doświadczenia  projektu  SCAPE      Tomasz  Parkoła  Poznańskie  Centrum  Superkomputerowo-­‐Sieciowe  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Wprowadzenie  •  Długoterminowe  przechowywanie  •  Aktualne  wyzwania  w  zakresie  przechowywania  danych  

•  Projekt  SCAPE  •  Główne  założenia  i  cele  projektu  •  Proces  długoterminowego  przechowywania  •  Weryfikacja  narzędzi  i  rozwiązań  SCAPE  •  Przykładowe  systemy  i  oprogramowanie  •  Informacje  dodatkowe  

•  Podsumowanie  

Agenda  

2  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Zapewnienie  dostępności  materiałów  cyfrowych  w  długiej  perspektywie  czasu  dla  docelowej  grupy  użytkowników  

•  Czynniki  ryzyka  •  Sprzęt  komputerowy:  zmiany  technologiczne  •  Oprogramowanie:  aktualizacje,  wyjście  z  użycia  •  Formaty  plików:  zmiany  w  użytkowanych  formatach  •  Brak  świadomości  problemów  i  wyzwań  związanych  z  przechowywaniem  danych  

•  Brak  aktywnego  planowania  w  zakresie  przechowywania  danych  

Wprowadzenie  

3  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Liczba  obiektów  (zdjęcia  zabytków,  skany  dokumentów)  •  Heterogeniczność  danych  (strony  internetowe,  dane  medyczne)  

•  Rozmiar  i  złożoność  obiektów  (nagrania  wideo,  obiekty  3D)  

•  Automatyzacja  procesu  przy  użyciu  scenariuszy  przechowywania  danych  

•  Monitorowanie  przechowywanych  treści  i  ich  analiza  •  Aktywne  planowanie  procesu  dugoterminowego  przechowywania  danych  

Aktualne  wyzwania  

4  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Zasadniczy  cel  to  opracowanie  skalowalnych  technologii  dla  dużych,  heterogenicznych  i  złożonych  wolumenów  danych  

•  W  szczególności  •  Usługi  planowania  i  wdrażania  zdefiniowanych  w  ramach  instytucji  zasad  przechowywania  danych  

•  Infrastruktura  w  ramach  której  uruchamiane  są  procesy  związane  z  długoterminowym  przechowywaniem  rozbudowanych  wolumenów  danych  

•  Udoskonalenie  i  rozwój  istniejących/nowych  systemów  i  narzędzi  informatycznych  

Projekt  SCAPE  

5  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

6  

Partnerzy  projektu  SCAPE  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).   6  

Proces  przechowywania  danych  w  SCAPE  

7  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Scenariusze  weryfikujące  bazują  na  problemach  i  wyzwaniach  pojawiających  się  w  praktyce  w  czterech  głównych  obszarach  

Weryfikacja  rozwiązań  SCAPE  

8  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

treści  stron  internetowych  

biblioteki/muzea/

repozytoria  cyfrowe  

dane  z  badań  dot.  astrofizyki  

zastosowania  technologii  w  centrach  danych  

9  

Plato  –  planowanie  procesu  przechowywania  danych  

Przykładowe  narzędzia  SCAPE  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Wspiera  podejmowanie  kluczowych  decyzji  w  zakresie  planowania  procesu  przechowywania  danych  

•  Bazuje  na  przeprowadzonych  eksperymentach    

•  Tworzy  uruchamialny  plan  przetwarzania  danych  

C3PO  –  narzędzie  do  analizy  informacji  na  temat  przechowywanych  zasobów  

     •   Analizuje  metadane  techniczne  przechowywanych  plików  (przetwarza  różne  formaty)  

•  Agreguje  i  łączy  informacje  z  wielu  kolekcji  danych  

•  Tworzy  profil  przechowywanych  zasobów  

•  Dostarcza  atrakcyjne  wizualizacje  

Przykładowe  narzędzia  SCAPE  

10  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

Scout  –  zautomatyzowany  system  monitorowania  przechowywanych  danych  

•  Monitorowanie  kolekcji  danych  •  Wykrywanie  i  powiadamianie  o            pojawiających  się  możliwościach            i  zagrożeniach  •  Współdzielenie  informacji  między  instytucjami  •  hgp://openplanets.github.io/scout/  

Przykładowe  narzędzia  SCAPE  

11  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

12  

ToMaR  –  skalowanie  istniejących  narzędzi  

Przykładowe  narzędzia  SCAPE  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Umożliwia  uruchamianie  istniejących  narzędzi  na  dużych  ilościach  danych  

•  Wykorzystuje  klastry  serwerów  korzystających  z  technologii  Map-­‐Reduce  

•  Pozwala  na  tworzenie  procesów  przetwarzania  danych  z  wykorzystaniem  wielu  narzędzi  

13  

Pagelyzer  –  monitorowanie  treści  stron  internetowych  

Przykładowe  narzędzia  SCAPE  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Wykrywa  zmiany  na  stronach  internetowych  

•  Porównuje  wyniki  wyświetlania  stron  na  różnych  przeglądarkach  

•  Oblicza  częstotliwość  archiwizowania  stron  internetowych  

14  

Jpylyzer  –  narzędzie  do  walidacji  plików  JPEG  2000  

Przykładowe  narzędzia  SCAPE  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Zautomatyzowana  walidacja  plików  JP2    •  Umożliwia  potwierdzenie  tego  czy  dany  plik  jest  zgodny  z  formatem  JPEG  2000  

•  Ekstrachowanie  technicznych  informacji  na  temat  plików  JP2  •  Raportuje  o  kluczowych  właściwościach  pliku  

15  

Matchbox  –  detekcja  duplikatów  w  dokumentach  graficznych    

Przykładowe  narzędzia  SCAPE  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Identyfikuje  duplikatów  w  ramach  kolekcji  bez  względu  na  rozmiar  plików,  format,  obcięcia,  obrót  lub  pochodzenie  skanów/grafiki  

•  Może  być  zastosowany  w  przypadku  różnych  typów  dokumentów  (manuskrypty,  nuty,  dokumenty  drukowane)    

16  

xcorrSound  –  porównanie  dokumentów  dziwękowych  

Przykładowe  narzędzia  SCAPE  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  Porównuje  dwa  pliki  dzwiękowe  i  określa  ich  podobieństwo  

•  Wykrywa  podobne  obszary  w  różnych  plikach  

•  Wykrywa  wykorzystanie  krótkich  ścieżek  audio  (np.  dżingli)  w  długich  nagraniach  lub  serii  nagrań  

Wszystkie  narzędzia  SCAPE  udostępnianie  są  na  licencjach  FLOSS    Narzędzia  opracowane  w  SCAPE  są  utrzymywane  przez  •  Open  Planets  Foundalon    

skupia  się  na  rozwiązywaniu  problemów  związanych  z  przechowywaniem  danych  poprzez  angażowanie  szerokiej  społeczności  

•  COPTR    rejestr  narzędzi  przydatnych  w  procesie  przechowywania  danych  

17  

Utrzymanie  narzędzi  i  usług  SCAPE  

This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

•  SCAPE  website:  www.scape-­‐project.eu  •  Blog:  www.openplanetsfoundalon.com/projects/scape    

•  Narzędzia  SCAPE:  hgps://github.com/openplanets/scape    

•  SCAPE  Twiger:  @SCAPEProject,  #SCAPEProject  •  SCAPE  Newsleger:  rejestracja  poprzez  www.scape-­‐project.eu  

 

Podsumowanie  

18  This  work  was  par,ally  supported  by  the  SCAPE  Project.  The  SCAPE  project  is  co-­‐funded  by  the  European  Union  under  FP7  ICT-­‐2009.4.1  (Grant  Agreement  number  270137).  

?