Upload
scape-project
View
164
Download
3
Embed Size (px)
DESCRIPTION
This presentation covers a short introdution to digital preservation issues (risks and challenges), the SCAPE lifecycle, and selected tools.
Citation preview
Długoterminowe przechowywanie danych dziedzictwa kulturowego w środowisku skalowalnych technologii ICT Doświadczenia projektu SCAPE Tomasz Parkoła Poznańskie Centrum Superkomputerowo-‐Sieciowe
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Wprowadzenie • Długoterminowe przechowywanie • Aktualne wyzwania w zakresie przechowywania danych
• Projekt SCAPE • Główne założenia i cele projektu • Proces długoterminowego przechowywania • Weryfikacja narzędzi i rozwiązań SCAPE • Przykładowe systemy i oprogramowanie • Informacje dodatkowe
• Podsumowanie
Agenda
2 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Zapewnienie dostępności materiałów cyfrowych w długiej perspektywie czasu dla docelowej grupy użytkowników
• Czynniki ryzyka • Sprzęt komputerowy: zmiany technologiczne • Oprogramowanie: aktualizacje, wyjście z użycia • Formaty plików: zmiany w użytkowanych formatach • Brak świadomości problemów i wyzwań związanych z przechowywaniem danych
• Brak aktywnego planowania w zakresie przechowywania danych
Wprowadzenie
3 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Liczba obiektów (zdjęcia zabytków, skany dokumentów) • Heterogeniczność danych (strony internetowe, dane medyczne)
• Rozmiar i złożoność obiektów (nagrania wideo, obiekty 3D)
• Automatyzacja procesu przy użyciu scenariuszy przechowywania danych
• Monitorowanie przechowywanych treści i ich analiza • Aktywne planowanie procesu dugoterminowego przechowywania danych
Aktualne wyzwania
4 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Zasadniczy cel to opracowanie skalowalnych technologii dla dużych, heterogenicznych i złożonych wolumenów danych
• W szczególności • Usługi planowania i wdrażania zdefiniowanych w ramach instytucji zasad przechowywania danych
• Infrastruktura w ramach której uruchamiane są procesy związane z długoterminowym przechowywaniem rozbudowanych wolumenów danych
• Udoskonalenie i rozwój istniejących/nowych systemów i narzędzi informatycznych
Projekt SCAPE
5 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
6
Partnerzy projektu SCAPE
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137). 6
Proces przechowywania danych w SCAPE
7 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Scenariusze weryfikujące bazują na problemach i wyzwaniach pojawiających się w praktyce w czterech głównych obszarach
Weryfikacja rozwiązań SCAPE
8 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
treści stron internetowych
biblioteki/muzea/
repozytoria cyfrowe
dane z badań dot. astrofizyki
zastosowania technologii w centrach danych
9
Plato – planowanie procesu przechowywania danych
Przykładowe narzędzia SCAPE
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Wspiera podejmowanie kluczowych decyzji w zakresie planowania procesu przechowywania danych
• Bazuje na przeprowadzonych eksperymentach
• Tworzy uruchamialny plan przetwarzania danych
C3PO – narzędzie do analizy informacji na temat przechowywanych zasobów
• Analizuje metadane techniczne przechowywanych plików (przetwarza różne formaty)
• Agreguje i łączy informacje z wielu kolekcji danych
• Tworzy profil przechowywanych zasobów
• Dostarcza atrakcyjne wizualizacje
Przykładowe narzędzia SCAPE
10 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
Scout – zautomatyzowany system monitorowania przechowywanych danych
• Monitorowanie kolekcji danych • Wykrywanie i powiadamianie o pojawiających się możliwościach i zagrożeniach • Współdzielenie informacji między instytucjami • hgp://openplanets.github.io/scout/
Przykładowe narzędzia SCAPE
11 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
12
ToMaR – skalowanie istniejących narzędzi
Przykładowe narzędzia SCAPE
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Umożliwia uruchamianie istniejących narzędzi na dużych ilościach danych
• Wykorzystuje klastry serwerów korzystających z technologii Map-‐Reduce
• Pozwala na tworzenie procesów przetwarzania danych z wykorzystaniem wielu narzędzi
13
Pagelyzer – monitorowanie treści stron internetowych
Przykładowe narzędzia SCAPE
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Wykrywa zmiany na stronach internetowych
• Porównuje wyniki wyświetlania stron na różnych przeglądarkach
• Oblicza częstotliwość archiwizowania stron internetowych
14
Jpylyzer – narzędzie do walidacji plików JPEG 2000
Przykładowe narzędzia SCAPE
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Zautomatyzowana walidacja plików JP2 • Umożliwia potwierdzenie tego czy dany plik jest zgodny z formatem JPEG 2000
• Ekstrachowanie technicznych informacji na temat plików JP2 • Raportuje o kluczowych właściwościach pliku
15
Matchbox – detekcja duplikatów w dokumentach graficznych
Przykładowe narzędzia SCAPE
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Identyfikuje duplikatów w ramach kolekcji bez względu na rozmiar plików, format, obcięcia, obrót lub pochodzenie skanów/grafiki
• Może być zastosowany w przypadku różnych typów dokumentów (manuskrypty, nuty, dokumenty drukowane)
16
xcorrSound – porównanie dokumentów dziwękowych
Przykładowe narzędzia SCAPE
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• Porównuje dwa pliki dzwiękowe i określa ich podobieństwo
• Wykrywa podobne obszary w różnych plikach
• Wykrywa wykorzystanie krótkich ścieżek audio (np. dżingli) w długich nagraniach lub serii nagrań
Wszystkie narzędzia SCAPE udostępnianie są na licencjach FLOSS Narzędzia opracowane w SCAPE są utrzymywane przez • Open Planets Foundalon
skupia się na rozwiązywaniu problemów związanych z przechowywaniem danych poprzez angażowanie szerokiej społeczności
• COPTR rejestr narzędzi przydatnych w procesie przechowywania danych
17
Utrzymanie narzędzi i usług SCAPE
This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
• SCAPE website: www.scape-‐project.eu • Blog: www.openplanetsfoundalon.com/projects/scape
• Narzędzia SCAPE: hgps://github.com/openplanets/scape
• SCAPE Twiger: @SCAPEProject, #SCAPEProject • SCAPE Newsleger: rejestracja poprzez www.scape-‐project.eu
Podsumowanie
18 This work was par,ally supported by the SCAPE Project. The SCAPE project is co-‐funded by the European Union under FP7 ICT-‐2009.4.1 (Grant Agreement number 270137).
?