Métodos Estadísticos para Pruebas de Aptitud mediante comparaciones entre

laboratorios ISO 13528:2005(E)

Dr.C. Ing. Luis S. Jova Carrero

Objetivos de las Pruebas de Aptitud *

• Determinación del funcionamiento de los laboratorios en la realización de mediciones o ensayos específicos.

• Monitorear el desenvolvimiento continuo de los laboratorios.

* Ver ISO/IEC Guía 43-1 para completa descripción.

Propiedades Estadísticas del Funcionamiento de un Laboratorio

• Errores de medición (“bias”)*• Estabilidad en los resultados*• Reproducibilidad de los resultados**

•Definido en ISO 3534-1, ISO 3534-2 e ISO 5725-3** Definido en ISO 57253

Determinación de Errores de Medición “bias”

• Evaluación con materiales de referencia, si estuvieran disponibles y según ISO 5725-4

• Pruebas de Aptitud por comparación entre laboratorios, si se conoce la estabilidad y repetitividad de los resultados y según ISO 13528:2005 (E)

Determinación de la Estabilidad en los resultados obtenidos

• Repetición de los ensayos en muestras conservadas.• Hacer mediciones regulares en un material de referencia

ajeno o propio.• Graficando los estimados de error, en tablas de control.

Determinación de la Repetitividad

• Graficando los rangos de las mediciones duplicadas en Tablas de Control*

* Ver ISO 5725-6 para más detalles

Métodos Estadísticos para Pruebas de Aptitud mediante comparaciones entre laboratorios

Nomenclatura• Comparación entre laboratorios: organización, desenvolvimiento y

evaluación de pruebas o mediciones en un mismo o similar articulo a valorar por 2 o más laboratorios de acuerdo con condiciones predeterminadas.

• Prueba de aptitud: determinación del desenvolvimiento en pruebas del laboratorio por medio de comparaciones entre laboratorios.

• Valor asignado (X): valor atribuido a una cantidad particular y aceptado por convención al tener una incertidumbre apropiada para un propósito dado.

Métodos Estadísticos para Evaluaciones de Aptitud mediante comparaciones entre

laboratorios

Nomenclatura• Desviación estándar (σ ̂): medida de la dispersión, basada

en la información disponible.• Puntuación (z): medición estandarizada del error del

laboratorio que se calcula usando el valor asignado (X) y la desviación estándar (σ̂).

• Coordinador: organización o persona responsable de la coordinación de todas las actividades en la operación de un esquema de prueba de aptitud.

Directrices Estadísticas para el diseño e interpretación de la Prueba de Aptitud

Señales de acción y advertencia• Toman cuerpo a partir del análisis de los datos obtenidos en la

prueba de aptitud mediante sencillos métodos numéricos y gráficos.• No son usados para invalidar laboratorios en la realización del

método de medición bajo estudio a menos que se conciba un criterio con tal motivo.

• Si la desviación estándar (σ̂) para la determinación de aptitud esta basada en un rendimiento (resultante de un modelo general, de un experimento de precisión o de datos obtenidos de un ciclo de prueba de aptitud), el criterio utilizado solo dará señales de acción con resultados excepcionales para merecer investigación y acción correctiva.

Directrices Estadísticas para el diseño e interpretación de la Prueba de Aptitud

• El coordinador deberá tener conocimiento de las principales fuentes de variabilidad.

Acciones Correctivas• Revisar si los técnicos entienden y siguen las instrucciones en la medición.• Revisar si las instrucciones están correctas.• Revisar la calibración de los equipos y composición de los reactivos.• Sustitución de equipos y reactivos sospechosos.• Pruebas comparativas con otro laboratorio.

Directrices para limitar la incertidumbre (μₓ) del valor asignado (X).

• La incertidumbre estándar (μₓ) dependerá del método de calculo, el número de laboratorios (si se obtiene por pruebas en varios laboratorios) y otros factores.

• La desviación estándar (σ̂) se usa para calcular el magnitud de los errores de laboratorio encontrados en la prueba de aptitud.

Directrices para limitar la incertidumbre (μₓ) del valor asignado (X).

Resultado Valoración Causas Acciones del Coordinador

μₓ >> σ̂ Posibles señales de acción y/o advertencia no estarán relacionadas a problemas internos del laboratorio.

Inexactitud en la determinación del valor asignado (X).

Establecer correctamente (X) y (μₓ).

μₓ ≤ 0,3 σ ̂ La incertidumbre (μₓ) es insignificante. -

No se requiere incluir (μₓ) en el análisis del resultado.

μₓ > 0,3 σ̂ La incertidumbre (μₓ) no es insignificante. -

Calcular (X) de modo que (μₓ) sea insignificante.Usar (μₓ) en el análisis de los resultados e informarlo a los participantes.

Directrices para seleccionar el número de replicas

El número de replicas deberá ser escogido como:

σᵣ/√n ≤ 0,3 σ ̂ (1)

donde: σᵣ: desviación estándar de las replicas, establecida a priori en experimento

entre laboratoriosn: numero de replicas*0,3: factor que implica no más de un 10 % de contribución de desviación

estándar

* Todos los laboratorios deben llevar a cabo igual número de replicas y tener similar repetitividad.

Directrices para seleccionar el numero de replicas

• Si la inequidad expresada en (1) no se cumple, el coordinador deberá incrementar el numero de replicas o, de lo contrario, los resultados de la prueba de aptitud deben ser interpretados con precaución. Si todos los laboratorios no tienen igual repetitividad, el coordinador debe usar el valor típico de la desviación estándar de la repetitividad y cada laboratorio comprobara que cumple la inequidad (1) con dicho valor o debe modificar el procedimiento de medición convenientemente.

Homogeneidad y Estabilidad de las muestras

La comprobación de homogeneidad y estabilidaden las muestras esta regulada en el Anexo B* de laNorma e Incluye:1. Procedimientos para una comprobación de

homogeneidad y estabilidad.2. Criterios de evaluación de homogeneidad y estabilidad.3. Fórmulas para comprobación de homogeneidad.

* Ver Anexo B para mas detalles

Métodos de medición definidos operacionalmente.

• El resultado de la medición esta definido por el procedimiento a seguir. Si un participante usa un método diferente al empleado en el cálculo del valor asignado entonces sus resultados podrían mostrar errores, aun sin fallas en su ejecución.

• Si los participantes pueden escoger libremente entre diferentes métodos o si el método no es especificado, el consenso puede ser logrado mediante:

a. Establecer el valor asignado mediante un método estandarizado, utilizado rutinariamente por los participantes, e instruir a los laboratorios el uso del mismo durante la prueba de aptitud.

b. Valores separados de (X) se obtendrán para cada método usado.

Reporte de los Datos

• El resultado no debe ser redondeado más allá de σᵣ/2.• Los participantes deben presentar los valores reales

de sus resultados aun cuando sean negativos. El valor cero no será aceptado para análisis.

Periodo de validez de los resultados

Si el resultado se obtiene una vez es valido por una vez, si el laboratorio logra una historia de resultados satisfactorios en muchas rondas puede utilizarlos para demostrar que es capaz de obtener datos confiables consistentemente.

Determinación del valor asignado (X) y su incertidumbre estándar (μₓ)

• Es responsabilidad del Coordinador.• El método escogido debe ser consultado con expertos

técnicos.• El Coordinador deberá preparar un informe con

detalles de cómo (X) fue calculado.• Se recomienda el uso de métodos estadísticos

robustos. Métodos que incluyan la determinación y remoción de valores extremos podrían también usarse si tienen base estadística y son reportados.

Determinación del valor asignado (X) y su incertidumbre estándar (μₓ)

Valor Asignado (X)

Usos Incertidumbre Estándar (μₓ)

Limitaciones

Formulación: se calcula desde las masas usadas.

Calcular proporción de los constituyentes o de alguna adición.

Se estima mediante la combinación de las incertidumbres.

Material base deberá estar realmente libre del material adicionado o se conoce con exactitud su cantidad.Componentes homogéneamente mezclados.Todas las fuentes de errores están identificadas.No interacción entre los componentes y la matriz.

Valores de Referencia Certificados: se usa valor en el Certificado.

Material utilizado es un material de referencia certificado (CMR).

Se usa el valor reflejado en el Certificado.

El método puede ser caro.

Valor Asignado (X) Usos Incertidumbre Estándar (μₓ)

Limitaciones

Valores de Referencia (RM). Valor asignado es obtenido de su calibración vs el de referencia certificado.

Un lab. es designado para obtener el valor asignado a partir de un material de referencia y un material de referencia certificado por un método adecuado.

Se obtiene a partir de las μₓ del material de referencia y del material referencia certificado .

Se asume que no hay interacción entre los materiales usados y las condiciones de la prueba.

Valores consensuados por labs expertos: X es el promedio robusto (x*) de los resultados reportados.

Los laboratorios expertos pueden o no ser parte del esquema de prueba de aptitud.

Se calcula a partir de las μₓ de cada lab. Experto o de la desviación estándar robusta (s*).

Podría haber un error desconocido en los resultados del grupo de labs. expertos y la incertidumbre podría no ser fiable.

Determinación del valor asignado (X) y su incertidumbre estándar (μₓ)

Determinación del valor asignado (X) y su incertidumbre estándar (μₓ)

Valor asignado (X) Usos Incertidumbre Estándar (μₓ)

Limitaciones

Valor consensuado por los participantes: X es el promedio robusto (x*) de los resultados calculado usando el algoritmo A en Anexo C.

Útil con un método de medición definido operacionalmente.

μₓ=1,25 x s*/√p

s*: desviación estándar robusta

Podría no haber verdadero consenso entre los participantes.El uso de una metodología defectuosa podría provocar un error que no estaría reflejado en la incertidumbre estándar.

Comparación de los valores asignados

• El promedio robusto (x*), obtenido en cada ronda de esquema de prueba de aptitud, deberá ser comparado:

a) valor asignado (X) obtenido de los métodos de formulación, valor de referencia certificado y valor de referencia.

b) Valor de referencia obtenido en un laboratorio competente en los casos que se use los métodos de valor consensuado.

• La incertidumbre estándar se calcularía como:√(1,25s*)/p +μₓ²s*: desviación estándar robusta

p: número de laboratorios

Comparación de los valores asignados

• Si la diferencia (x*-X) es más del doble de su incertidumbre podría deberse, entre otros, a: errores en el método de medición; errores en los resultados de los laboratorios expertos o errores en varios labs cuando se usa la media del consenso robusto como valor asignado.

Valores perdidos

• Ocurre cuando algún laboratorio no puede reportar todas las mediciones por ejemplo porque alguna se corrompió y no pueda ser repetida.

Valores perdidos

Mediciones reportadas del número total de replicas (n)

Acciones

0,59 n El promedio y la desviación estándar se incluirá en los cálculos como si se hubieran reportado todas las mediciones

< 0,59 n Sus resultados no deben usarse en cálculos que afecten a otros laboratorios pero si para calcular su propio desenvolvimiento estadístico

Determinación de la desviación estándar (σ̂)• Métodos:a) General: Se escoge valor requerido para objetivo especifico o cumplir requerimiento

de alguna legislación.b) Por percepción: Se escoge valor que corresponde a un desenvolvimiento deseado. Si

ɸ ˂ 0,5 el valor escogido no es realista con la reproducibilidad del método usado.c) Modelo general: Ej. Modelo de Horwitz.d) A partir de los resultados de un experimento de precisión.e) A partir de los datos obtenidos en una ronda de esquema de prueba de aptitud.

• Comparación de valores de precisión obtenidos en una prueba de aptitud con valores establecidos. El coordinador debe calcular estimados de las desviaciones estándar de repetividad y reproducibilidad del método de medición usando el método robusto descrito en ISO 5725-5

Calculo del desenvolvimiento estadístico• Métodos reportados:a) Diferencias porcentuales (D%).b) Rangos y porcentajes de rangos.c) Puntos z.d) Números En.e) Puntos zˈ.f) Puntos zeta (ζ)g) Puntos Ez.h) Puntos de desenvolvimiento combinado.i) Histogramas: De los puntos z; de los errores del laboratorio, etcj) Gráficos de Barra para los errores estandarizados de los laboratorios: Youden Plot;

Prueba de correlación de rangos; Grafico de repetividad de las desviaciones estándar y Muestras fraccionadas.

k) Métodos gráficos para los puntos de desenvolvimiento combinado para varios ciclos de un esquema de prueba de aptitud: Tabla de control de Shewhart; Tabla de control Cusum; Grafico de errores estandarizados vs Promedio y Grafico de Puntos.