Udviklingen af databrønden som national infrastruktur
Piet SeidenDBC A/S
DBC – mest kendt for den nationale fælleskatalog – Danbib
Danbib
Disposition
• Tidslinien• Implementation af en databrønd• Service-orienteret arkitektur (SOA)• Open Source – valg og konsekvenser• Testadgang
DBC's implementering af SOA
Databrønd Søgemaskine
Services for søgning, bestilling, ekstra data
Webside App Storskærm
DBC
Primærtandre leverandører
Søgeadgang – webservice
Søgeindekser
Data- og relationslager
Databrønden konceptuelt
Søgeadgang – webservice
Søgeindekser
Data- og relationslager
Databrønden konceptuelt
Databrønden – repository + integrated search
Søgemaskine
Datastore
PostgreSQLadmin metadata
Luceneindholdsregister
Open Source som strategisk valg
• Gode erfaringer (driftsarkitektur baseret på Linux)• Følge digitaliseringsstyrelsens anbefalinger
- Åbne standarder og modularitet- Open Source er ønskelig ved software udviklet til den
offentlige sektor- Serviceorienteret arkitektur (SOA)
• Not for profit – DBC ejes af det offentlige Danmark
Open Source –udfordringerne
• Ingen leverandørsupport• Kompetencer skal opbygges
in-house• Eksempler på udfordringer vi har mødt
- Scalability- Community- Compatibility
Scalability
• Valgt som data- og relationslager pga.- erfaringer fra tilsvarende projekter (Summa fx)- versionering, relationsmodel, web-teknologi
• Komplikationer undervejs- Langsom i/o- Indbygget søgefunktion ubrugelig til vores formål
Relationer mellem indhold persisteres
Soundclip
SubjectDescrip?on
Analysis
Review
Creatordescrip?on
Katalogpost
Work
Manifesta?on
Track/album
OpenUrl
Onlineaccess
Creatorhomepage
HasImage
Emnebeskrivelser
Analyser
Anmeldelser
ForfaPerbeskrivelser
katalogpost
Videresøgning
værk
Forlagets beskrivelse
Online adgang
Scalability
• Løsning- Større ændringer introduceret i Fedora
- RDBMS delvist udskiftet med Lucene-index
- Andre ændringer i kodebasen derudover
• Konsekvens- DBC må vedligeholde sin egen branch af Fedora
Community
• Udgangspunktet: Søgemaskine baseret på Lucene- Compass = Shay Banon‚ stoppet i 2010- Solr – fremstod svagt i 2008; idag merged med Lucene
• DBC skiftede til Solr i 2010 – helt afgørende valg- Velfungerende community; konferencer, kurser, docs- Kommercielle drivkræfter styrker projektet
• Community kan være vægtigere end teknologi
vs
Compatibility
• Det eksterne API – webservices• SOAP
- WSDL- XSD
• Automatisk kodegenering fejler- Standarderne er overholdt, men værktøjerne opgiver...
• Fremover: Ændringer i DBC's services for at gøre det nemmere for 3. part at kode op imod
Status efter 5 år med databrønden
• Datamodellen er tilpasset nye behov- Version 3 lanceres ultimo 2013
• Et etableret community (TING)• Der kommer løbende nye
indholdskilder til
Databrønden – prøv den selv
• Dokumentation og testadgang- http://opensource.dbc.dk