Assessment Methods for Assessment Methods for Information Quality Information Quality

CriteriaCriteria Felix NaumannFelix Naumann Claudia RolkerClaudia Rolker

(Año 2000)(Año 2000)

AgendaAgenda► IntroducciónIntroducción► ObjetivosObjetivos► Relaciones y características entre clases y factoresRelaciones y características entre clases y factores► Métodos de evaluaciónMétodos de evaluación

- Accuracy vs. Practicality- Accuracy vs. Practicality- Valores unitarios y rangos- Valores unitarios y rangos

- Evaluando Subject-Criteria- Evaluando Subject-Criteria- Evaluando Object-Criteria- Evaluando Object-Criteria- Evaluando Process-Criteria- Evaluando Process-Criteria

► Confianza en métodos de evaluación de IQConfianza en métodos de evaluación de IQ► ConclusiónConclusión► CriticasCriticas► PreguntasPreguntas

IntroducciónIntroducción► Problema de la baja calidad de los datosProblema de la baja calidad de los datos► Ausencia de métodos de evaluación en la mayoría de Ausencia de métodos de evaluación en la mayoría de

los proyectoslos proyectos

► Evaluar la correctitud de la calidad de IQ es difícil:Evaluar la correctitud de la calidad de IQ es difícil: Criterios son subjetivos-su evaluación no es automáticaCriterios son subjetivos-su evaluación no es automática Las fuentes de inf. no publican los metadataLas fuentes de inf. no publican los metadata Gran cantidad de datosGran cantidad de datos Cambio sorpresivo en el contenidoCambio sorpresivo en el contenido

ObjetivosObjetivos

► Nueva clasificación: assessment-orientedNueva clasificación: assessment-oriented

► Se divide en tres clases:Se divide en tres clases: Subject-CriteriaSubject-Criteria Object-CriteriaObject-Criteria Process-CriteriaProcess-Criteria

► Influenciadas por tres factores:Influenciadas por tres factores: El usuarioEl usuario La fuente de la informaciónLa fuente de la información El proceso de consultaEl proceso de consulta

Relaciones y CaracterísticasRelaciones y Características

Assessment ClassAssessment Class IQ CriterionIQ Criterion Assessment MethodAssessment Method

Subject CriteriaSubject Criteria BelievabilityBelievability User experienceUser experience

Concise representationConcise representation User samplingUser sampling

InterpretabilityInterpretability User samplingUser sampling

RelevancyRelevancy Continuous user assessmentContinuous user assessment

ReputationReputation User experienceUser experience

UnderstandabilityUnderstandability User samplingUser sampling

Value-AddedValue-Added Continuous user assessmentContinuous user assessment

Object CriteriaObject Criteria CompletenessCompleteness Parsing, samplingParsing, sampling

Customer SupportCustomer Support Parsing, contractParsing, contract

DocumentationDocumentation ParsingParsing

ObjectivityObjectivity Expert inputExpert input

PricePrice ContractContract

ReliabilityReliability Continuous assessmentContinuous assessment

SecuritySecurity ParsingParsing

TimelinessTimeliness ParsingParsing

VerifiabilityVerifiability Expert inputExpert input

Process CriteriaProcess Criteria AccuracyAccuracy Sampling, cleansing techniquesSampling, cleansing techniques

Amount of dataAmount of data Continuous assessmentContinuous assessment

AvailabilityAvailability Continuous assessmentContinuous assessment

Consistent representationConsistent representation ParsingParsing

LatencyLatency Continuous assessmentContinuous assessment

Response timeResponse time Continuous assessmentContinuous assessment

Métodos de evaluación para criterios de Métodos de evaluación para criterios de IQIQ

► Dos cualidades deseables en estos métodos son: Dos cualidades deseables en estos métodos son: exactitud y practicidadexactitud y practicidad

► Cualidades en conflictoCualidades en conflicto► ExactitudExactitud

Subject-CriteriaSubject-Criteria Object-CriteriaObject-Criteria Process-CriteriaProcess-Criteria

► PracticidadPracticidad Subject-CriteriaSubject-Criteria Object-CriteriaObject-Criteria Process-CriteriaProcess-Criteria

Valores unitarios y rangosValores unitarios y rangos

Para evaluar correctamente se debe estar de acuerdo en Para evaluar correctamente se debe estar de acuerdo en una unidad de medida del criterio y en un rango dentro una unidad de medida del criterio y en un rango dentro del cual se encuentran los valoresdel cual se encuentran los valores

► Subject-Criteria (Difícil)Subject-Criteria (Difícil)► Object-Criteria (Pto. de vista del experto)Object-Criteria (Pto. de vista del experto)► Process-Criteria (Gral. bien definido)Process-Criteria (Gral. bien definido)

Evaluando subject-criteriaEvaluando subject-criteria

Cuando evaluamos S-C esto es especialmenteCuando evaluamos S-C esto es especialmenteimportante para:importante para:

Proveer al usuario una definición exacta del criterio que ellos Proveer al usuario una definición exacta del criterio que ellos están evaluandoestán evaluando

Dar el rango de valoresDar el rango de valores Proporcionar ejemplos al usuarioProporcionar ejemplos al usuario

Métodos para evaluar subject-criteria:Métodos para evaluar subject-criteria: Experiencia del usuarioExperiencia del usuario Muestreo de usuariosMuestreo de usuarios Evaluación continua del usuarioEvaluación continua del usuario

Evaluación de object-criteriaEvaluación de object-criteria

►Pueden ser evaluados automáticamentePueden ser evaluados automáticamente►Métodos para evaluar subject-criteria:Métodos para evaluar subject-criteria:

ContratoContratoAnálisisAnálisisMuestreoMuestreoEntrada expertaEntrada expertaEvaluación continuaEvaluación continua

Evaluando process-criteriaEvaluando process-criteria

►Métodos para evaluar process-criteriaMétodos para evaluar process-criteriaTécnicas de limpieza (Cleansing)Técnicas de limpieza (Cleansing)Evaluación continuaEvaluación continuaAnálisisAnálisis

Confianza en los métodos de evaluación Confianza en los métodos de evaluación de IQde IQ

► Confianza basicaConfianza basica► Confianza en subject-criteriaConfianza en subject-criteria (Baja)(Baja)

Asesores de tipo 1Asesores de tipo 1 (Ej.: gerente)(Ej.: gerente) Asesores de tipo 2Asesores de tipo 2 (Ej.: jefe de proyecto)(Ej.: jefe de proyecto)

► Confianza en object-criteriaConfianza en object-criteria (Gral. alta)(Gral. alta) ContratoContrato (Alta)(Alta) Análisis de contenidoAnálisis de contenido (Alta si evaluamos según criterio facility) (Alta si evaluamos según criterio facility) MuestreoMuestreo (Alta y Baja) (Alta y Baja) ExpertosExpertos (Baja)(Baja) Evaluación continuaEvaluación continua (Baja y Alta)(Baja y Alta)

► Confianza en process-criteriaConfianza en process-criteria Técnicas CleansingTécnicas Cleansing (Baja por técnicas de ajuste)(Baja por técnicas de ajuste) Evaluación continuaEvaluación continua (Análogo a Object-Criteria)(Análogo a Object-Criteria) AnálisisAnálisis (Análogo a Object-Criteria)(Análogo a Object-Criteria)

► Fuente generales de baja confianzaFuente generales de baja confianza

CONCLUSIONESCONCLUSIONES-Se presento una clasificación Se presento una clasificación propia orientada a la evaluación.propia orientada a la evaluación.- No importa el método que se utilice No importa el método que se utilice y cual sea el criterio medido, nunca y cual sea el criterio medido, nunca se va a obtener un valor exacto. Se se va a obtener un valor exacto. Se puede obtener una aproximación con puede obtener una aproximación con cierto error.cierto error.

CRITICASCRITICAS

►(+) Tiene un enfoque innovador (para la época) (+) Tiene un enfoque innovador (para la época) con respecto a otras investigaciones que se con respecto a otras investigaciones que se vienen realizando en el área, las cuales no tienen vienen realizando en el área, las cuales no tienen como meta evaluar la calidad de la información como meta evaluar la calidad de la información sino mejorarla.sino mejorarla.

►(-) Al ser la propuesta tan amplia en cuanto a la (-) Al ser la propuesta tan amplia en cuanto a la cantidad de métodos de evaluación no se trata en cantidad de métodos de evaluación no se trata en profundidad ninguno de estos. profundidad ninguno de estos.

►PREGUNTASPREGUNTAS