Digitalisering ontrafeld Technische aspecten van digitale reproductie van archiefstukken Mini-symposium25 april 2006

Digitalisering ontrafeld

Technische aspecten van digitale reproductie van

archiefstukken

Mini-symposium 25 april 2006

Context: ontwikkeling Archiefbank

Archiefbank: raadplegen en leveren van Archiefstukken via internet

Kwaliteit en kosten: leesbaar en goedkoop

Primair doel: raadplegen van tekstuele informatie

Kwaliteitseis reproducties: leesbaarheid

Ervaring leert dat klanten een lage prijs belangrijk vinden

Kwaliteit en kosten worden bepaald door:

A. Werkprocessen: organisatie reproductieproces en controle

B. Technische aspecten: kwaliteit en bestandsgrootte

Onderzoek: technische aspecten

Beperking: tekstdocumenten

Gebruikskopieën

Doel en opzet: basiskennis en rekenvoorbeeld

Inzicht verschaffen in technische aspecten: kwaliteit en kosten

Uitleg over algemene begrippen en bestandsformaten

Realistische opties getest: omvangrijk, representatief inventarisnummer

Presentatie

1. Resolutie

2. Kleur

3. Beeldbewerking

4. Compressie

5. Compressie en duurzaamheid

6. Overzicht bestandsformaten

7. Rekenvoorbeeld

8. Conclusies

1. Resolutie

Digitalisering volgens rastertechniek (scanning)

Hoe fijner het raster (oftewel: hoe hoger de resolutie), hoe meer informatie, hoe hoger de detaillering

Resolutie in sterke mate bepalend voor de bestandsgrootte:

Resolutie (A4) Bestandsgrootte

300 dpi 24 Mb

400 dpi 44 Mb

800 dpi 177 Mb

1600 dpi 708 Mb

3200 dpi 2,8 Gb

Resolutie

Voorbeelden

300 dpi

200 dpi

150 dpi

1. Resolutie

Bij 150 dpi: kleine bestanden en nog prima leesbaar

Maar, is het verstandig om hier bij digitaliseren van uit te gaan?

Gebruikskopieën, niet meer dan dat.

Over enkele jaren wellicht met betere technologie opnieuw scannen.

Maar niet voldoende wanneer we ze voor de langere termijn willen bewaren en op basis van deze images in een hogere kwaliteit willen leveren, OCR toe willen passen en/of willen converteren naar betere compressie- en bestandsformaten.

Keuze o.a. afhankelijk van middelen, doelstellingen, aantallen

2. Kleur

Reproductie van kleur kan dus ook gevoel van authenticiteit verhogen

Kleur kan betekenis hebben

Potloodaantekeningen in rood: kleur heeft betekenis

Vergeelde drager: geen betekenis, wel gevoel van authenticiteit

Kleur

Voorbeelden

24 bits

256 kleuren

16 kleuren

8 kleuren (a)

8 kleuren (b)

2. Kleur

Ook met een beperkt aantal kleuren nog een goede reprodictie

Minder informatie, dus kleinere bestandsgrootte

Maar, niet toepasbaar binnen JPEG

3. Beeldbewerking

Bepaalde beeldbewerkingen kunnen de leesbaarheid vergroten

Heeft positieve of negatieve invloed op de bestandsgrootte

Effect meestal onomkeerbaar

Beeldbewerking

Voorbeelden

Verscherpen

Uitstippen

Oppervlakte vervagen

+ 35%

- 12% tot - 40%

tot - 45%

3. Beeldbewerking

Twee opties:

A. Images bewerken en opslaan als gebruikskopieën

B. Onbewerkte images opslaan voor de langere termijn. Vanaf onbewerkte images worden gebruikskopieën gegenereerd

4. Compressie

Methode waarmee de informatie efficiënter beschreven kan worden

Peer Spel Spel Spel

Spel Peer Peer Spel

Spel Spel Peer Peer

Opslaan: 48 letters

P = Peer

S = Spel Woorden coderenCompressie

Effect: bestandsgrootte neemt af

4. Compressie

P S S S

S P P S

S S P P

Opslaan: 12 letters

P = Peer

S = Spel Resultaat

4. Compressie

Twee soorten compressie:

A. Lossless (exact omkeerbaar)

Er gaat geen informatie verloren

B. Lossy (niet exact omkeerbaar)

Bepaalde informatie wordt weggegooid

Lossy compressie

Voorbeelden

JPEG kwaliteit 10 (300 dpi)



JPEG 2000, part 6


Veelgehoorde stelling:

Gecomprimeerde bestanden hebben een grotere kans om corrupt te

raken dan niet gecomprimeerde bestanden. Daarom mag er geen

datacompressie worden toegepast.

Om deze stelling te toetsen is een aantal proeven uitgevoerd:


Proef 1: één bit beschadigd

Alle bestanden waren zonder foutmelding in Photoshop te openen

Op de JPEG en gecomprimeerde TIFF was een smalle streep zichtbaar

Proef 2: 5% van alle bits beschadigd

Alle bestanden behalve TIFF LZW in Photoshop te openen

Dit was niet zichtbaar op de ongecomprimeerde TIFF en JPEG 2000

Beschadiging in alle gevallen zichtbaar

TIFF LZW wel te openen in Gimp (open source applicatie)

Alleen bij JPEG2000 de hele tekst nog te lezen


Conclusies

Stelling “ongecomprimeerde bestanden hebben een grotere kans om corrupt

te raken” is discutabel en meer onderzoek is op z’n plaats

Andere oplossingsrichting: redundantie in opslag

Juist gecomprimeerde bestanden lenen zich hier goed voor

Ontwikkelingen JPEG2000 op de voet volgen

Selectie mogelijke bestands- en compressieformaten

Bestandsgrootte

Formaat Compressie Type Resolutie Kleur Gem 500.000 %

TIFF

PNG

PNG

Lossless 300 dpi 24 bits 12,5 Mb 6,3 Tb 57%

PNG

Lossless 300 dpi 256 6,1 Mb 3,1 Tb 28%

PNG


PNG

Lossless 300 dpi 8 1,6 MB 0,8 TB 7%

PNG

Lossless 300 dpi Zw-wit

JPEG

Kwaliteit 12 Lossy 300 dpi 24 bits 7,5 Mb 3,7 Tb 34%


Kwaliteit 4 Lossy 200 dpi 24 bits


JPEG2000

Part 6 Lossy 300 dpi 24 bits


Bestandsgrootte


TIFF

PNG

JPEG

JPEG2000


Bestandsgrootte


TIFF

Geen Geen 300 dpi 24 bits 22,1 Mb 11 Tb 100%

LZW Lossless 300 dpi 24 bits 15,9 Mb 8 Tb 72%

LZW Lossless 300 dpi 256 8,7 Mb 4,3 Tb 39%

LZW Lossless 300 dpi 16 1,9 Mb 944 Gb 9%


ZIP Lossless 300 dpi 24 bits 14,1 Mb 7,1 Tb 64%

PNG

PNG


PNG


PNG


PNG


PNG


JPEG





JPEG2000



Bestandsgrootte


TIFF







PNG

PNG


PNG


PNG


PNG


PNG


JPEG





JPEG2000



Bestandsgrootte


TIFF







PNG

PNG


PNG


PNG


PNG


PNG


JPEG





JPEG2000Part 6 Lossy 300 dpi 24 bits


Bestandsgrootte


TIFF

Geen Geen 300 dpi 24 bits 22,1 Mb 11 Tb 100%LZW Lossless 300 dpi 24 bits 15,9 Mb 8 Tb 72%





PNG

PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF


LZW Lossless 300 dpi 24 bits15,9 Mb 8 Tb 72%





PNG

PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF







PNG

PNG Lossless 300 dpi 24 bits12,5 Mb 6,3 Tb 57%

PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF







PNG


PNG


PNG


PNG


PNG


JPEG

Kwaliteit 12 Lossy 300 dpi 24 bits7,5 Mb 3,7 Tb 34%

2,1 Mb 1,1 Tb 10%





Bestandsgrootte


TIFF







PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF







PNG


PNG


PNG


PNG


PNG


JPEG



Kwaliteit 4 Lossy 200 dpi 24 bitsKwaliteit 10 Lossy 400 dpi 24 bits



Bestandsgrootte


TIFF







PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF







PNG


PNG


PNG


PNG


PNG


JPEG





JPEG2000 Part 6 Lossy 300 dpi 24 bits


Bestandsgrootte


TIFF


LZW Lossless 300 dpi 24 bits 15,9 Mb 8 Tb 72%LZW Lossless 300 dpi 256 8,7 Mb 4,3 Tb 39%




PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG

PNG Lossless 300 dpi 24 bits 12,5 Mb 6,3 Tb 57%

PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG



Kwaliteit 4 Lossy 200 dpi 24 bits 255 Kb 124 Gb 1,1%




Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG





JPEG2000 Part 6 Lossy 300 dpi 24 bits 120 Kb 59 Gb 0,5%


Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF


LZW Lossless 300 dpi 24 bits 15,9 Mb 8 Tb 72%8,7 Mb 4,3 Tb 39%

1,9 Mb 944 Gb 9%

1,2 Mb 603 Gb 5%


PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF


LZW Lossless 300 dpi 24 bits 15,9 Mb 8 Tb 72%8,7 Mb 4,3 Tb 39%

1,9 Mb 944 Gb 9%

1,2 Mb 603 Gb 5%


PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF






PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF



LZW Lossless 300 dpi 2568,7 Mb 4,3 Tb 39%

LZW Lossless 300 dpi 161,9 Mb 944 Gb 9%



PNG


PNG


PNG


PNG


PNG


JPEG







Bestandsgrootte


TIFF



LZW Lossless 300 dpi 2568,7 Mb 4,3 Tb 39%




PNG


PNG Lossless 300 dpi 2566,1 Mb 3,1 Tb 28%

PNG Lossless 300 dpi 16 2,4 Mb 1,2 Tb 11%

PNG Lossless 300 dpi 81,6 MB 0,8 TB 7%

PNG


JPEG







Bestandsgrootte


TIFF







PNG





PNG


JPEG







Bestandsgrootte


TIFF







PNG





PNG


JPEG







Bestandsgrootte


TIFF





LZW Lossless 300 dpi 8 1,2 Mb 603 Gb 5%ZIP Lossless 300 dpi 24 bits 14,1 Mb 7,1 Tb 64%

PNG




PNG Lossless 300 dpi 8 1,6 MB 0,8 TB 7%

PNG


JPEG







Bestandsgrootte


TIFF






PNG





PNG


JPEG







Bestandsgrootte


TIFF






PNG





PNG


JPEG







Bestandsgrootte


TIFF






PNG





PNG


JPEG







Bestandsgrootte


TIFF






LZW Lossless 300 dpi Zw-wit 134,2 Kb 65,5 Mb 0,6%

PNG





JPEG







Bestandsgrootte


TIFF







PNG





PNG Lossless 300 dpi Zw-wit 100 Kb 48 Gb 0,4%

JPEG







Bestandsgrootte


TIFF







PNG






JPEG







Bestandsgrootte


TIFF







PNG






JPEG







Bestandsgrootte


TIFF







PNG






JPEG






PDF


PDF is geen opslag-, maar een containerformaat

Kan allerlei typen opslagformaten bevatten

Die ook weer als zodanig geïsoleerd kunnen worden

Ideaal leveringsformaat: images gebundeld en (gratis) viewer bevat

standaard raadpleegfuncties zoals inzoomen en printen

Voorbeeld (200 dpi, JPEG kw4)

7. Rekenvoorbeeld

A. Incidentele kosten: productie scan

Prijs scan tussen € 0,10 en € 0,20

Bij productie 500.000 scans (50 meter): € 50.000 - € 100.000

B. Structurele kosten: opslag

Kosten opslag en hosting per Terrabyte per jaar (prijspeil april 2006):

Raid 5, redundante opslag: € 912 (bij afschrijving over 3 jaar)

Hosting: € 588

Totaal: € 1.500

Bestandsformaten en vergelijking structurele kosten

Bestand Per image Bij 500.000

TIFF ongecomprimeerd

TIFF LZW compressie

JPEG 300 dpi, kwaliteit PSD 12



PNG 16 kleuren

PNG 8 kleuren

JPEG2000, part 6

7. Rekenvoorbeeld


TIFF ongecomprimeerd € 0,033 € 16.575

TIFF LZW compressie




PNG 16 kleuren

PNG 8 kleuren

JPEG2000, part 6

7. Rekenvoorbeeld



TIFF LZW compressie € 0,023 € 11.925




PNG 16 kleuren

PNG 8 kleuren

JPEG2000, part 6

7. Rekenvoorbeeld




JPEG 300 dpi, kwaliteit PSD 12 € 0,011 € 5.625



PNG 16 kleuren

PNG 8 kleuren

JPEG2000, part 6

7. Rekenvoorbeeld







PNG 16 kleuren

PNG 8 kleuren

JPEG2000, part 6

7. Rekenvoorbeeld






JPEG 200 dpi, kwaliteit PSD 4 € 0,0003 € 185

PNG 16 kleuren

PNG 8 kleuren

JPEG2000, part 6

7. Rekenvoorbeeld







PNG 16 kleuren € 0,003 € 1.575

PNG 8 kleuren

JPEG2000, part 6

7. Rekenvoorbeeld







PNG 16 kleuren € 0,003 € 1.575

PNG 8 kleuren € 0,002 € 1.200

JPEG2000, part 6

7. Rekenvoorbeeld

Opties bestandsformaten en vergelijking structurele kosten







PNG 16 kleuren € 0,003 € 1.575

PNG 8 kleuren € 0,002 € 1.200

JPEG2000, part 6 € 0,0002 € 87,85

In dit model structurele kosten opslag ongecomprimeerde TIFF binnen een paar jaar gelijk aan kosten productie scans

Conclusie: maak goede afweging tussen kosten voor opslag en afschrijving van incidentele kosten voor productie

7. Rekenvoorbeeld

8. Conclusies

Er is geen dé keuze

Rapport is geen “Evangelie volgens het GAA”

Eerst keuzes maken met betrekking tot duurzaamheid:

Hoe lang moeten de scans bruikbaar blijven? Hoeveel investeren we in

kwaliteit? Leggen we de prioriteit bij kwantiteit of bij kwaliteit?

Hierbij afweging maken tussen doelen, middelen, aantallen en documenttypen.

Niet: ongecomprimeerde TIFF omdat iedereen dat zegt

Kwetsbare charters waarschijnlijk anders dan 500.000 getypte blaadjes

Documents

Digitalisering ontrafeld Technische aspecten van digitale reproductie van archiefstukken Mini-symposium25 april 2006