Upload
others
View
10
Download
0
Embed Size (px)
Citation preview
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Kulturarv i Petabytes
”Det Nationale Bitmagasin”Bjarne Andersen, sektionsleder IT-bevaring
Klaus Kjærgaard, sektionsleder IT-drift
Illustrationer fra digitalbevaring.dk
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Agenda
• Introduktion til Statsbiblioteket• Bitbevaring – er det backup ?• Bitmagasin-projektet• Teknisk infrastruktur på Statsbiblioteket• Bitbevaring som forretningsområde• Spøgsmål
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Statsbiblioteket
• Institution under Kulturministeriet• Ca. 230ÅV – heraf ca. 45ÅV i IT (20%)
• Nationalbibliotek sammen med KB– Statens Mediesamling– Statens Avissamling– Netarkivet (med KB)
• Pligtaflevering
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Digital kulturarv
• Statens Mediesamling– Radio/TV
• ca. 1.150 Tbytes – tilvækst på 350 Tbytes/år
• Netarkivet: • ca. 300Tbytes – tilvækst på 70Tbytes/år
• Statens Avissamling:• Tilvækst på ca. 250Tbytes/år de næste 3 år
• Totalt• Ca. 1.600 Tbytes – tilvækst på 6-700 Tbytes/år
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Bitbevaring – er det backup ?• Vi kræver mere en storage/backup
– Autenticitet• Vi skal kunne garantere at materialet er 100% identisk
– Flere kopier af al materiale• Normalt 3 kopier – fordelt på forskellige teknologier
– Adskilte kopier• På fysisk adskilte lokationer• Organisatorisk adskilt
– Løbende tjek af alle kopier– Løbende migrering til nye systemer
• Trusted repository (ISO 16363)– Kræver god dokumentation af alle facetter / rutiner /
opgaver
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Det Nationale Bitmagasin
• Strategiprojekt i 2008-2009 mellem SA, KB og SB– Finansieret af Kulturministeriet
• Afdækning af overordnede krav– Kilder & mængder– Integritet– Tilgængelighed– Fortrolighed
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Integritet
• Handler primært om sikkerhed
• Men handler ret hurtigt også om økonomi
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Tilgængelighed
• Handler primært om performance
• Men ret hurtigt også om økonomi
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Fortrolighed
• Handler også om sikkerhed
• Kan også blive dyrt• Der kan være lovkrav hos organisationer
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Implementeringsprojektet
• Overordnet arkitektur baserer sig på koncept om ”ben med kopier”
• Mange typer• Flere lokationer
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Arkitektur
• Ben• Koordinerende lag• Protokol• Klienter• Services
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Ben-karakteristika• De enkelte ben
– kender deres eget indhold– har autoritativ og komplet viden om deres eget indhold. – kun kender til deres eget indhold– er ”interne” i forhold til bitmagasinet
• 3 typer af ben– Basal storage – kan være disk, bånd, optiske medier, …..– Processing storage – tilknyttet CPU-kraft til databehandling– Afledt storage – indeholder kun checksummer
• På de 3 institutioner findes der allerede flere forskellige typer
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Koordinerende lag
• Valg faldet på JMS– Java Message Service– Afprøvet Standard– Simpel logik– Klient-libraries i mange teknologier– Asynkron kommunikation
• Konkret bruges ActiveMQ
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Protokol
• Basalt set en XML-besked-definition• Input / Output mellem alle operationer• Hvilke ben kan hvad• Minimums API til fx ben• Sikkerhed vha. certifikater• Collection-settings – per samling• Kan udvides efter behov
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Services
• Status service– Overvåger et bitmagasins komponenter
• Alarm service– Komponenter (fx ben) kan rapportere alarmer
• Integrity service– Tjekker indhold på ben - automatisk
• AuditTrail service– Opsamler information på alle ben om alle
operationer
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Klienter
• Applikationer der snakker med bitmagasin• Snakker altid over det koordinerende lag• Vil blive udviklet til forskellige formål
– Get– Put– AuditTrail– Integrity– Processing– Kommandolinje / Web-services
• Kan udvikles i mange forskellige miljøer
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Det Nationale Bitmagasin
• Tages i brug November 2012 på SB• Open Source projekt
– https://sbforge.org/display/BITMAG• 3 partnere fortsætter samarbejdet
– Udviklingsprojekt– Styregruppe– Ressourcer
• Flere interesser fra både ind- og ud-land
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Teknisk infrastruktur på Statsbiblioteket
Bitbevaring som forretningsområde
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Teknisk infrastruktur på Statsbiblioteket
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Maskinstuen i SkejbyDen ene del af vores magasin befinder sig i vores magasin i Skejby
Vi har en 10 Gbit fiberforbindelse, der forbinder maskinstuen i Skejby med maskinstuen på SB
Argumenterne for Skejby er geografisk og organisatorisk spredning
Kan rumme både on-line, near-line ben og off-line ben
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Magasindele i maskinstuen i SkejbyNitrogenslukning - aspirationsaktiveretBåndrobot fra ADIC segmenteret i 2, så den kan indeholde både off-line ben og produktionsbackup på hhv. LTO5 og LTO3Diske fra EMC
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Oracle SC3000Vores nyeste robot5 TB bånd med løfte om 10 TB Near-line ben
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
BrandslukningenVi valgte nitrogen fordi det er naturligt forekommende og ufarligt for menneskerIltindholdet i luften sænkes til 5%
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Maskinstuen på Statsbiblioteket
Kælderplacering bagved bibliotekets skalsikringKun adgang for udvalgte medarbejdere med kort og pinkodeAPC-kube med varm/kold gadeFrikøling ved temperaturer under 14 graderNitrogenslukningAspirationsalarmeringDiske fra EMC til on-line benSUN-robot LTO3 til off-line benSAN10 Gbit forbindelse til maskinstuen i SkejbyUPS til ca. 40 minutter ved 100%
Statsbiblioteket
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
APC-kubenAlt er skruet i kuben bortset fra robotten
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
BåndrobotL700 opgraderet til LTO3-teknikOff-line ben
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
RumslukningNitrogenbaseret
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
UPSEaton Powerware80 stk. bilbatterier
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Brandskabe til off-line ben5 skabe på Statsbiblioteket3 skabe i Skejby
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Brandskab
Der er 13 hylder med 6 rækker á 15 bånd1170 LTO3- eller LTO5 bånd468 TB ved LTO31755 TB ved LTO5
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Opsummering i principtegning af bitmagasinet
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Bitbevaring som forretningsområde
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Realiseret og prognose for unikke dataVækst
til og med 2010 2011 2012 2013 2014 2015 2016 2017
Radio/TV 790 250 292 307 322 338 355 373Netarkivet 180 75 90 108 130 156 187 224SB andet (musik, eventide, cd, reklamefilm, retro,..) 141 30 30 30 30 30 30 30Aviser 0 100 200 200 260 0 0KB 12 8 8SA 35 20 20LARM De hvide programmer 0 10DR DAT-samling 0 22I alt vækst 1158 415 540 645 682 784 572 627
Akkumuleret
til og med 2010 2011 2012 2013 2014 2015 2016 2017
Radio/TV 790 1040 1332 1639 1961 2299 2653 3026Netarkivet 180 255 345 453 583 738 925 1149SB andet (musik, eventide, retro,..) 141 171 201 231 261 291 321 351Aviser 0 0 100 300 500 760 760 760KB 12 20 28 28 28 28 28 28SA 35 55 75 75 75 75 75 75LARM De hvide programmer 0 10 10 10 10 10 10 10DR DAT-samling 0 22 22 22 22 22 22 22I alt akkumuleret 1158 1573 2113 2758 3439 4223 4794 5421
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
• Der kommer flere og flere eksterne kunder
• Statens Arkiver og Det Kgl. Bibliotek var de første
• Aalborg Stadsarkiv, Københavns Stadsarkiv og Museum Sønderjylland blev de næste
• Lige nu laver vi tilbud til Dansk Filminstitut om at tage 435 TB ind efterfulgt af en årlig tilvækst på 315 TB
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
PrislistePriserne på near-line er faldet, hvilket endnu ikke er afspejlet på vores hjemmeside, hvor dette indhold er sakset fra.http://www.statsbiblioteket.dk/produkter/Facts_Bitbevaring.pdf
KLAUS KJÆRGAARD | BJARNE [email protected] | [email protected]
Spørgsmål