Upload
ltp-portal-cz
View
908
Download
2
Embed Size (px)
Citation preview
Řešení pro dlouhodobou archivaci v Národní knihovně
ČRŠárka Hálečková a Tomáš Burda
Správa LTP
• obsahový správce• technický správce• spolupráce s Oddělením pro standardy
Osnova přednášky
• LTP jako součást projektu NDK• hlavní komponenty subsystému LTP LTP Safe Transformační modul a jeho výkonné uzly
(tzv. „muly“) modul úložiště – IBM information archive
Osnova přednášky
• zabezpečení a kontroly• technické detaily• postřehy z praxe, silné a slabé stránky
zvoleného řešení• diskuse
LTP v rámci NDK
• LTP jako součást projektu NDK sdílí hardware (přináší určité problémy)
• sdílení výkonu• sdílení chyb• sdílení diskových polí
má svou míru autonomie• samostatná instance Safe• samostatné LTP WF (včetně samostatné instance
Transformačního modulu)
NDK = LTP + digitalizační WF
NDK
LTP Digitalizační WF
LTP Safe LTP WF
= uživatelské rozhraní AiP Safe, výkonná část Logica/CGI
LTP WF
WF SAFE LTP SAFE
Transformační modul
Mule ESB
IBM informationarchive
LTP Safe• systém pro správu balíčků• transkripce při ingestu (těží z hlavních i
vedlejších mets)• relační databáze (SQL) -> svižná reakce• vlastní LTP WF• přístup k datům – metadata z DB, metadata a
celé balíčky z pásky• verzování balíčků• vztažení balíčků k různým dalším informacím
– dodavatelé, verze standardů
LTP Safe• automatické i manuální kontroly• správa různého typu exportů
– export DIP– export do LTP WF
• přehled o IE• sledování akcí vykonaných nad balíčkem• sledování propojení příbuzných IE
(vícesvazky, periodika)• deaktivace balíčků• automatické statistiky (možnost vlastních)
LTP Safe
Transformační modul
• společný pro WF Safe a LTP Safe(2 instance)
• vykonává akce nad balíčky• skládá se z většího množství vzájemně
integrovaných opensource komponent mule ESB (Master, Slave) procesní plány (Drools Guvnor) JBPM (Java Business Process Management) Task Handler
Transformační modul
JBoss
MQ
Master Mule
Mule Slave
Mule Slave
Mule Slave
Mule Slave
Mule Slave
Safe Aplikační server (správa)
Fronty úkolů (messagequeue)
Hlavní mula komunikuje se Safe a zařazuje/vyzvedává úkoly do/z MQ
Mule ESB• umožňuje vykonávat operace nad balíčky
distribuovaným způsobem• škálovatelnost (možnost rozšiřovat podle potřeby)• muly různě výkonné• muly virtuální a fyzické (pro časově a výpočetně
náročnější operace)• postaveno kompletně na opensource
technologiích• muly můžeme programovat pomocí „procesních
plánů“ (předpisů, jak se mají jednotlivé muly chovat)
Mule ESB
• Mule Master komunikuje s workflow a zařazuje úkoly do front MQ (plánuje operace, které mají být vykonány nad jednotlivými rozpracovanými balíčky)
• z MQ si berou Mule Slave úkoly podlesvých možností
• vykonávané procesy si muly zapisují do logů (zpětná vazba pro správce, např. přiřešení chyb)
IBM Information archive
• systém pro vlastní uložení dat
• komunikace s LTP• ukládání na pásky• důvěryhodný archiv• autonomní systém
Zabezpečení – řešení v NK• 3 sady pásek 1x RW – ukládá se ihned v Hostivaři 2x WORM – uložení se zpožděním
• 1x uložení v Klementinum• 1x odvoz do MZK
• s RW se pracuje, další dvě jsou záložní• systém kontrol kontrola integrity dat → namátková denní automatická
kontrola proti RW, spouští se od 2:00 do 2:30 kontrola pásek prostřednictvím IBM infrmation archive
(kontrola i WORM pásek), 1x za 2 roky export DIP s validací vyvolaný správcem LTP (např. po
opravě)
Technický (IT) pohledna IBM IA
• zálohování vs. archivace• transparentnost vůči aplikační vrstvě• použitá média (obecně, ve vztahu k NDK)• životní cyklus uložených informací médií (kontroly) LTO mechanik produktu jako takového (IA vs. SSAM)
• integrace, logické rozdělení (postřehy z praxe)• další rozvoj (disky, HA, PoC ... ?)
Technický (IT) pohledna NDK TM
• CDM pracovní prostor BAGIT, CDMID založený na UUID rozklad zátěže na bázi HASH
• použitá rozhraní, unikátní způsob integrace open a closed source export/import balíčků služby na straně AiP Safe (webservices a jejich obsluha, podpisy) procesy na straně Transformačního modulu (parametry procesu, utility a
jejich kategorie) synchnonní/asynchronní utility (komponenty BPMN) externí systémy (ALEPH NK/MZK, K4, registr digitaizace, resolver
URN:NBN) vývojové prostředí (SVN, JENKINS)
• procesní konzole, řízení linky, řešení chybových stavů
Modelování procesůNDK TM (ukázka)
Postřehy z praxe(slabé stránky)
• sdílení chyb s digitalizačním WF (zahlcení, odstávky)
• nedostatečná aktualizace šablon vůči vývoji standardů
• case-sensitivita• externí dodavatelé (chybně provázané informace
ve vedlejších mets → do LTP Safe se nenačítajíinformace o zpracování vazba event-agent-object)
• chyby v zanoření úrovně přílohy (příloha čísla, příloha ročníku u periodik → následné problémy při zpřístupnění v systému Kramerius)
Chybné zobrazení informací o zpracování
Postřehy z praxe(silné stránky)
• oddělené metadatové a datové části balíčku na páskách (úspora místa, času, peněz)
• metadatové části i v databázi (vhodné pro rychlé kontroly)
• verzování• distribuovaný systém – snadno rozšiřitelný• kvalitní IBM information archive• specifikace standardů na dobré úrovni
Diskuse
• Máte nějaké otázky?