View
5
Download
0
Category
Preview:
Citation preview
Assessment Methods for Assessment Methods for Information Quality Information Quality
CriteriaCriteria Felix NaumannFelix Naumann Claudia RolkerClaudia Rolker
(Año 2000)(Año 2000)
AgendaAgenda► IntroducciónIntroducción► ObjetivosObjetivos► Relaciones y características entre clases y factoresRelaciones y características entre clases y factores► Métodos de evaluaciónMétodos de evaluación
- Accuracy vs. Practicality- Accuracy vs. Practicality- Valores unitarios y rangos- Valores unitarios y rangos
- Evaluando Subject-Criteria- Evaluando Subject-Criteria- Evaluando Object-Criteria- Evaluando Object-Criteria- Evaluando Process-Criteria- Evaluando Process-Criteria
► Confianza en métodos de evaluación de IQConfianza en métodos de evaluación de IQ► ConclusiónConclusión► CriticasCriticas► PreguntasPreguntas
IntroducciónIntroducción► Problema de la baja calidad de los datosProblema de la baja calidad de los datos► Ausencia de métodos de evaluación en la mayoría de Ausencia de métodos de evaluación en la mayoría de
los proyectoslos proyectos
► Evaluar la correctitud de la calidad de IQ es difícil:Evaluar la correctitud de la calidad de IQ es difícil: Criterios son subjetivos-su evaluación no es automáticaCriterios son subjetivos-su evaluación no es automática Las fuentes de inf. no publican los metadataLas fuentes de inf. no publican los metadata Gran cantidad de datosGran cantidad de datos Cambio sorpresivo en el contenidoCambio sorpresivo en el contenido
ObjetivosObjetivos
► Nueva clasificación: assessment-orientedNueva clasificación: assessment-oriented
► Se divide en tres clases:Se divide en tres clases: Subject-CriteriaSubject-Criteria Object-CriteriaObject-Criteria Process-CriteriaProcess-Criteria
► Influenciadas por tres factores:Influenciadas por tres factores: El usuarioEl usuario La fuente de la informaciónLa fuente de la información El proceso de consultaEl proceso de consulta
Relaciones y CaracterísticasRelaciones y Características
Assessment ClassAssessment Class IQ CriterionIQ Criterion Assessment MethodAssessment Method
Subject CriteriaSubject Criteria BelievabilityBelievability User experienceUser experience
Concise representationConcise representation User samplingUser sampling
InterpretabilityInterpretability User samplingUser sampling
RelevancyRelevancy Continuous user assessmentContinuous user assessment
ReputationReputation User experienceUser experience
UnderstandabilityUnderstandability User samplingUser sampling
Value-AddedValue-Added Continuous user assessmentContinuous user assessment
Object CriteriaObject Criteria CompletenessCompleteness Parsing, samplingParsing, sampling
Customer SupportCustomer Support Parsing, contractParsing, contract
DocumentationDocumentation ParsingParsing
ObjectivityObjectivity Expert inputExpert input
PricePrice ContractContract
ReliabilityReliability Continuous assessmentContinuous assessment
SecuritySecurity ParsingParsing
TimelinessTimeliness ParsingParsing
VerifiabilityVerifiability Expert inputExpert input
Process CriteriaProcess Criteria AccuracyAccuracy Sampling, cleansing techniquesSampling, cleansing techniques
Amount of dataAmount of data Continuous assessmentContinuous assessment
AvailabilityAvailability Continuous assessmentContinuous assessment
Consistent representationConsistent representation ParsingParsing
LatencyLatency Continuous assessmentContinuous assessment
Response timeResponse time Continuous assessmentContinuous assessment
Métodos de evaluación para criterios de Métodos de evaluación para criterios de IQIQ
► Dos cualidades deseables en estos métodos son: Dos cualidades deseables en estos métodos son: exactitud y practicidadexactitud y practicidad
► Cualidades en conflictoCualidades en conflicto► ExactitudExactitud
Subject-CriteriaSubject-Criteria Object-CriteriaObject-Criteria Process-CriteriaProcess-Criteria
► PracticidadPracticidad Subject-CriteriaSubject-Criteria Object-CriteriaObject-Criteria Process-CriteriaProcess-Criteria
Valores unitarios y rangosValores unitarios y rangos
Para evaluar correctamente se debe estar de acuerdo en Para evaluar correctamente se debe estar de acuerdo en una unidad de medida del criterio y en un rango dentro una unidad de medida del criterio y en un rango dentro del cual se encuentran los valoresdel cual se encuentran los valores
► Subject-Criteria (Difícil)Subject-Criteria (Difícil)► Object-Criteria (Pto. de vista del experto)Object-Criteria (Pto. de vista del experto)► Process-Criteria (Gral. bien definido)Process-Criteria (Gral. bien definido)
Evaluando subject-criteriaEvaluando subject-criteria
Cuando evaluamos S-C esto es especialmenteCuando evaluamos S-C esto es especialmenteimportante para:importante para:
Proveer al usuario una definición exacta del criterio que ellos Proveer al usuario una definición exacta del criterio que ellos están evaluandoestán evaluando
Dar el rango de valoresDar el rango de valores Proporcionar ejemplos al usuarioProporcionar ejemplos al usuario
Métodos para evaluar subject-criteria:Métodos para evaluar subject-criteria: Experiencia del usuarioExperiencia del usuario Muestreo de usuariosMuestreo de usuarios Evaluación continua del usuarioEvaluación continua del usuario
Evaluación de object-criteriaEvaluación de object-criteria
►Pueden ser evaluados automáticamentePueden ser evaluados automáticamente►Métodos para evaluar subject-criteria:Métodos para evaluar subject-criteria:
ContratoContratoAnálisisAnálisisMuestreoMuestreoEntrada expertaEntrada expertaEvaluación continuaEvaluación continua
Evaluando process-criteriaEvaluando process-criteria
►Métodos para evaluar process-criteriaMétodos para evaluar process-criteriaTécnicas de limpieza (Cleansing)Técnicas de limpieza (Cleansing)Evaluación continuaEvaluación continuaAnálisisAnálisis
Confianza en los métodos de evaluación Confianza en los métodos de evaluación de IQde IQ
► Confianza basicaConfianza basica► Confianza en subject-criteriaConfianza en subject-criteria (Baja)(Baja)
Asesores de tipo 1Asesores de tipo 1 (Ej.: gerente)(Ej.: gerente) Asesores de tipo 2Asesores de tipo 2 (Ej.: jefe de proyecto)(Ej.: jefe de proyecto)
► Confianza en object-criteriaConfianza en object-criteria (Gral. alta)(Gral. alta) ContratoContrato (Alta)(Alta) Análisis de contenidoAnálisis de contenido (Alta si evaluamos según criterio facility) (Alta si evaluamos según criterio facility) MuestreoMuestreo (Alta y Baja) (Alta y Baja) ExpertosExpertos (Baja)(Baja) Evaluación continuaEvaluación continua (Baja y Alta)(Baja y Alta)
► Confianza en process-criteriaConfianza en process-criteria Técnicas CleansingTécnicas Cleansing (Baja por técnicas de ajuste)(Baja por técnicas de ajuste) Evaluación continuaEvaluación continua (Análogo a Object-Criteria)(Análogo a Object-Criteria) AnálisisAnálisis (Análogo a Object-Criteria)(Análogo a Object-Criteria)
► Fuente generales de baja confianzaFuente generales de baja confianza
CONCLUSIONESCONCLUSIONES-Se presento una clasificación Se presento una clasificación propia orientada a la evaluación.propia orientada a la evaluación.- No importa el método que se utilice No importa el método que se utilice y cual sea el criterio medido, nunca y cual sea el criterio medido, nunca se va a obtener un valor exacto. Se se va a obtener un valor exacto. Se puede obtener una aproximación con puede obtener una aproximación con cierto error.cierto error.
CRITICASCRITICAS
►(+) Tiene un enfoque innovador (para la época) (+) Tiene un enfoque innovador (para la época) con respecto a otras investigaciones que se con respecto a otras investigaciones que se vienen realizando en el área, las cuales no tienen vienen realizando en el área, las cuales no tienen como meta evaluar la calidad de la información como meta evaluar la calidad de la información sino mejorarla.sino mejorarla.
►(-) Al ser la propuesta tan amplia en cuanto a la (-) Al ser la propuesta tan amplia en cuanto a la cantidad de métodos de evaluación no se trata en cantidad de métodos de evaluación no se trata en profundidad ninguno de estos. profundidad ninguno de estos.
►PREGUNTASPREGUNTAS
Recommended