Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Apresentação Defining a Quality Model for Digital

Modelo de Qualidade Bibliotecas Digitais

DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Apresentação

Defining a Quality Model for Digital Libraries

Bárbara Lagoeiro Moreira


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Motivação

• O que seria uma boa biblioteca digital?

• Hipótese: Teoria formal pode ajudar a definir o que é uma boa biblioteca digital:– Formalização de indicadores de

qualidade dentro do modelo 5S.– Contextualização dos indicadores

propostos dentro do ciclo de vida da informação


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Contexto(1/2)

• Para cada conceito principal de bibliotecas digitais, é formalmente definido um número de:– Dimensões de qualidade

• ...e são propostos:– Um conjunto de indicadores

numéricos para estas dimensões.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Contexto(2/2)

Catálogo

Coleção

Objeto Digital

Metadados

Repositório

Serviços

• Accuracy• Completeness• Conformance

• Completeness• Impact Factor

• Completeness• Consistency

• Acessibility• Pertinence• Preservability• Relevance

• Similarity• Significance• Timeliness

• Completeness• Consistency

• Composability• Efficiency• Effectiviness• Extensibility

• Reusability

• Reliability

IndicadoresNuméricos


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais – Acessibility (1/3)

• Um objeto digital é acessível por um ator da biblioteca, se:– Ele existe nas coleções da biblioteca;– É possível recuperá-lo pelo

repositório– Ele não apresenta restrições de

acesso:• Por metadados (rights)• Ou, se existe política restritiva, esta não

restringe a comunidade a que pertence o ator, ou o ator em particular.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA


• A Accessibility de um objeto “dox” por um ator “acx”, é dado por:– 0, se dox não pertence a nenhuma

coleção da biblioteca– Do contrário:

• Acc = (z e streams de do r(acx)) / |streams(dox)|

– r(acx):• 1, se z não tem restrições de acesso, ou

se tem, não proíbe acx

• 0, do contrário.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA


• Exemplo: Virginia Tech’s ETD:

Letter Unrestricted Restricted Mixed Acessibility for users not in VT

A 164 50 5 Mix(0.5,0.5,0.167,0.1875,0.6)

•Unrestricted: acessibilidade = 1, para todos•Restricted: acessibilidade = 1 para VTcm, e 0 para fora de VTcm•Mixed: exemplo: 5 dos 6 capítulos(streams) do 3o documento misto são disponíveis só para VTcm. A acessibilidade para fora da VTcm é 1/6 = 0.167.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais – Pertinence(1/2)

• Depende muito do ator: Relação entre a informação que um objeto digital carrega e a necessidade de informação de um ator. Definições:– Inf(doi) = informação de um objeto digital

– IN(acj) = necessidade de informação de um ator

– Contextjk = fatores que podem impactar sobre o julgamento de pertinência por acj no tempo k (ex: lugar, história de interação do ator, tarefa em questão...)


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais – Pertinence(2/2)

• Pertinence(doi, acj): Inf(doi) IN(acj) Contextjk

• Definida como:– 1, se Inf(doi) é julgada como

informativa, em relação a IN(acj) no contexto Contextjk;

– 0, de outra forma

• Muito subjetiva! Depende do usuário.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais – Preservability(1/3)

• Reflete o estado do objeto, que pode variar em relação a mudanças de:– HW (novas tecnologias de gravação)– SW (nova versão de SW que cria o

objeto)– formatos padrão (novos padrões para

representar imagens)– e processos (migração).


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA


• Preservability de um objeto pode ser afetada por:– sua obsolescência: objeto obsoleto é difícil de

migrar, pode ser definida como custo da migração do objeto.

– pela fidelidade do processo de migração: reflete a distorção do processo de migração, pode ser definida como inverso da distorção do objeto, causada pelo processo

• Preservability(doi,dl)= (fidelidade na migração(doi ,formatx,,formaty), obsolescência(doi,dl)).


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA


• Exemplo:– 1.000 imagens, em TIFF versão 5,– Migração para JPEG 2000.– Custo de migração: ferramenta de

$500,00 + 20 horas de trabalho, a $66,6 a hora.

– Compressão: distorção de 9 por imagem.

– Preservability = (1/9, ($500 + 20*$66,6)/1.000) = (0,11, $1,83) (f,o)


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais – Relevance (1/2)

• Contexto: relevância de um objeto em relação a uma consulta, ou um perfil, dentro do contexto de um serviço (Busca, recomendação).

• Relevância é uma relação entre a representação de um documento e a representação de uma necessidade de informação. != de Pertinência!!


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais – Relevance (2/2)

• Relevance(doi, q) é definida como:

– 1, se doi é julgado como relevante para q, por um juiz externo

– 0, do contrário

• Relevância pode ser estimada, tendo como base propriedades dos streams do objeto digital. Ex: Medida do cosseno.

• Define uma noção objetiva, diferente de Pertinência.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais - Significance

• Pode ser vista como:– Relevância– Em termos absolutos, calculada pelo

# de citações de um documento.

• Exemplo: ACM – DL– Mais citado/significante

• Computer Programming Art, CACM, 1974, 279 citações.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais - Similarity

• Reflete o quão relacionados são 2 objetos.

• Define-se a Similaridade em relação a:– Conteúdo (Bag-of-words)– Organização interna (Okapi, medida do

cosseno) – Citações (cocit, bibcoup, Amsler)

• Pode ser usada em serviços de classificação automática


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Objetos Digitais - Timeliness

• Representa atualização do objeto:– (data atual ou última atualização da

coleção) – (data da última citação), se o objeto foi citado

– (data atual ou ultima atualização da coleção) – (data da criação ou publicação), se o objeto nunca foi citado


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Esp. de Metadados – Accuracy (1/2)

• A Accuracy de uma especificação de metadados é dada pelo somatório do grau de accuracy de seus atributos.

• O grau de Accuracy de um atributo “a” se refere á proximidade do valor “v” de “a” de um valor “v’” definido como correto para “a”.

• Regras devem ser definidas: valor correto e proximidade deste valor.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Esp. de Metadados – Accuracy (2/2)

• Exemplo de regras:– Grau de accuracy para atributo título:

é 1 se não conter informação sobre autores; do contrário é 0.5.

– Grau de accuracy para atributo sumário: é 0 se contiver frases como “Title from *”, “Includes bibliographical references”; é 0 se for igual a “Thesis” ou “Dissertetion”; do contrário é 1.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >>Esp.de Metadados-Completeness(1/2)

• Grau com o qual os valores estão presentes de acordo com o padrão de metadados. Ou está presente, ou não.

• Completeness(msx) = 1 - (# de atributos

ausentes na msx/ total de atributos do

schema ao qual a msx segue)


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >>Esp.de Metadados-Completeness(2/2)

• Exemplo: Especificações de Metadados da NDLTD Union Archives, de acordo com o padrão de metadados DC (15 atributos)

00. 10. 20. 30. 40. 50. 60. 70. 80. 91

GWUD LSU

VTETD

MIT

UBC

PHYSNET

VTINDIV

VANDERBILT

NCSU

USASK

PITT HKU

HUMBOLT

OCLC

BGMYU

DRESDEN

VIENNA

GATECH

ETSU USF

MUENCHEN

UTENN

CCSD

WATERLOO

NSYSU

LAVAL

UPSALLA

CALTECH

UCL

WagUniv


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >>Esp.de Metadados–Conformance(1/3)

• A Conformance de uma especificação de metadados é dada pelo somatório da conformidade de seus atributos

• O valor de um atributo está em conformidade com o “schema”, se ele pertence ao domínio de valores definido para o atributo (string, date, number).

• Conformidade do atributo é 1, se obedece os requisitos, e 0 do contrário.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA


• Cardinally Conformance: definição mais forte:– Valor do atributo deve obedecer

domínio definido no esquema.– Cada atributo deve aparecer ao

menos uma vez, se este está definido como obrigatório no esquema.

– Um atributo não pode aparecer mais de uma vez, se este estiver definido sem a possibilidade de repetição.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA


• Exemplo: ETD Union Archive:– padrão de metadados EDT-MS:

– (6 atributos obrigatórios, domínio de dc.type:{“Collection”,“Dataset”,“Event”, “Image”, “InteractiveResource”, “Software”, “Sound”, “Text”, “PhysicalObject”, “StillImage”, ”MovingImge”, “Eletronic Thesis or Dissertation”}).

0. 75

0. 8

0. 85

0. 9

0. 95

1

GWUD

LSU

VTETD

MIT

UBC

PHYSNET

VTINDIV

VANDERBILT

NCSU

USASK

PITT

HKU

HUMBOLT

OCLC

BGMYU

DRESDEN

VIENNA

GATECH

ETSU

USF

MUENCHEN

UTENN

CCSD

WATERLOO

NSYSU

LAVAL

UPSALLA

CALTECH

UCL

WagUniv


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Coleção – Completeness (1/2)

• Uma coleção completa contém todos os objetos digitais existentes que deveria conter.

• Mais fácil de estimar para coleções baseadas em outras (harvesting).

• Completeness(Cx)= |Cx| / |coleção ideal|


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Coleção – Completeness (2/2)

• Exemplo: ACM Guide, considerado boa aproximação para coleção ideal de computação.

Coleção Grau de Completeness

ACM Guide 1

DBLP 0.652

CITIDEL 0.467

IEEE-DL 0.168

ACM-DL 0.146


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Coleção – Impact Factor

• Impact Factor CIF: # de citações ou links para objetos digitais da coleção em questão.

• Imapct factor eCIF: elimina auto-citações.

• Exemplo: – ACM-DL (referência) e DBLP (inclui ACM-

DL).

ACM-DL DBLP

CIF 223.198 369.557

eCIF ------ 146.359


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Catálogo – Completeness

• A completeza de um catálogo(DMc) é definida por:– Completeness(DMc) = 1 – (# de

objetos digitais sem esp. de metadados / tamanho da coleção)

• Exemplo: – Apenas 103, dos 4.446 registros de

um catálogo são extraídos: – 1-(4.446 -103)/4.446 = 0.023


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Catálogo – Consistency

• A consistência de um catálogo é definida como:– 0,se houver pelo menos um conjunto

de especificação de metadados atribuído a mais que um objeto digital.

– 1, do contrário.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Repositório – Completeness

• Um repositório completo contém todas as coleções que deveria conter.

• Completeness(Rx)= # de coleções em Rx| / # ideal de coleções

• Exemplo:– ACM Guide, como repositório de referência,

considerando 11 de suas coleções, temos que a completeza do repositório da CITIDEL(ACM, IEEE, NCTRL, NDLTD-CS), pode ser definida por: 4/11 = 0.36


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Repositório – Consistency

• Se um repositório armazena coleções com seus catálogos de metadados correspondentes, então, a consistência do repositório pode ser definida como:– 1, se a consistência de todos os

catálogos, em relação às suas coleções descritas for 1.

– 0, do contrário.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Serviços - Extensibility

• Serviço A estende o serviço B, se A inclui o comportamento de B e potencialmente inclui sub-fluxos condicionais de eventos. Serv = conjunto de serviços; SM = conjunto de “gerentes” que executam os serviços:– Macro-Extensibility(Serv) = # de serviços

que são “estendidos”/ # total de serviços

– Micro-Extensibility(Serv) = # de linhas de código dos “gerentes” que executam serviços ”estendidos”/ total de linhas de código dos “gerentes”.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Serviços – Reusability (1/2)

• Serviço A reusa o serviço B, se o comportamento de A incorpora o comportamento de B. Serv = conjunto de serviços; SM = conjunto de “gerentes” que executam os serviços:– Macro-Reusability(Serv) = # de serviços

que são “reusados”/ # total de serviços

– Micro-Reusability(Serv) = # de linhas de código dos “gerentes” que executam serviços ”reusados”/ total de linhas de código dos “gerentes”.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Serviços – Reusability (2/2)

• Exemplo:SM Component LOC

ImplemetingLOC Reused

Total LOC

1 Yes - 1650 1650

2 No 100 - 100

3 Yes - 700 700

4 No 200 - 200

5 No 50 - 50

6 No 1800 - 1800

7 No 550 - 550

8 No 250 - 250

Total: 2950 2350 5300

Macro-Reusability= 2/8 = 0.25, Micro-Reusability = 2350/5300 = 0,44


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Serviços – Effectiviness

• Quão bom foi o resultado?

• Normalmente está relacionado a serviços de satisfação de informação.

• Medidas mais comuns: Precisão, Revocaçãol, F1, 10-precision, R-Precision


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Serviços – Efficiency (1/2)

• Diferença entre tempo de requisição e tempo de resposta:– t(e) é o tempo em que ocorre um

evento e

– eix e efx são os eventos inicial e final do service sex .

– Para o serviço sex, efficiency é definida como:

• Efficiency(sex) = t(efx) - t(eix)


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Serviços – Efficiency (2/2)

• Exemplo:– Serviço de indexação:

• 0.40 GB/hora

– Serviço de Busca: • 1.2 segundos/consulta


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Serviços – Reliability (1/2)

• Indica a probabilidade com a qual um serviço não falhará durante um dado período de tempo.– Reliability(sex) = 1 – (# de falhas/ #

de acessos a sex )


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Dimensões >> Serviços – Reliability (2/2)

• Exemplo: Serviços da CITIDEL

Serviço # falhas/#acessos reliability

Busca 73/14.370 0,994

Navegação 4.130/153.369 0,973

Requisição 1.569/318.036 0,995

Busca Estruturada

214/752 0,66

Contribuição 0/980 1


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Qualidade e o Ciclo de Vida da Informação• Informação nas bibliotecas digitais

está contida nos objetos digitais e suas especificações de metadados.

• Assim, as dimensões de qualidade propostas para esses 2 conceitos, podem ser conectadas ao ciclo de vida da informação nas bibliotecas digitais.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Qualidade e o Ciclo de Vida da Informação• Tais conexões podem ser

utilizadas para determinar:– Quando e onde pode-se medir,

avaliar e aprimorar as questões de qualidade

– Como problemas de qualidade podem ser prevenidos, detectados e eliminados.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Qualidade e o Ciclo de Vida da Informação

AuthoringModifying

OrganizingIndexing

Storing

Archiving

NetworkingAccessing

Filtering

Creation

DistributionUtilization

Significance

Similarity

Pertinence

AccuracyCompletenessConformance

Seeking

SearchingBrowsingRecommending

Relevance

Timeliness

Accessibility

Accessibility

Inactive

Active

Discard

RetentionMining

Semi-Active

Preservability

Timeliness

Preservability

Describing


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Avaliação

• 3 biblitecários, com experiência prática com bibliotecas digitais.

• Pontos levantados:– Foco definido sobre bibliotecas digitais, não

bibliotecas traditionais – Alguns indicadores pode ter uso mais

teórico que prático em alguns contextos– Gostaram da estratégia minimalista – Interessante e potencialmente útil para

aprendizado e avaliação.


DIMENSÕES

CONTEXTO

MOTIVAÇÃO

CICLO DE VIDA

AVALIAÇÃO

REFERÊNCIA

Referência

• Arcabouço teórico sobre dimensões de qualidade para avaliar bibliotecas digitais

• Streams, Structures, Spaces, Scenarios, and Societies: A Formal Framewrok for Digital Libraries and Its Applications: Defining a Quality Model fopr Digital Libraries (Capítulo 8)

Documents

Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Apresentação Defining a Quality Model for Digital