diseÑo de los programas de ensayos de aptitud lic. marcela murphy responsible del laboratorio de...

69
DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo de la Calidad INTI-Lácteos

Upload: bolivar-caceres

Post on 28-Jan-2016

230 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD

Lic. Marcela MurphyResponsible del Laboratorio de Ensayos de Aptitud

Coordinación de Aseguramiento Externo de la CalidadINTI-Lácteos

Page 2: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Concepto de Diseño del Ensayo de Aptitud

Diseño = núcleo del Ensayo de Aptitud

“Concepción original de un objeto u obra destinado a la producción en serie” (Real Academia Española)

Es el punto de partida del Ensayo de Aptitud

Es el marco Referencial que contiene objetivos y criterios fundamentales del Desarrollo del Ensayo de Aptitud

Page 3: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

ISO/IEC 17043 : 2010

EVALUACION DE LA CONFORMIDADREQUISITOS GENERALES PARA LOS ENSAYOS DE APTITUD

En esta Norma se especifican los requisitos generales para el desarrolloy la operación de los Programas de Ensayos de Aptitud.

Son requisitos generales para todos los tipos de Programas de Ensayos de Aptitud.

Norma ISO/IEC 17043:2010

Page 4: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

ILAC G13 Guía para los requisitosde competencia de Proveedores de EA

ISO 13528 – Métodos estadísticospara aplicar en EA por ComparacionesInterlaboratorio

IUPAC Technical Report 2006Protocolo Armonizado para EA de Laboratorios de Química Analítica

ISO/IEC 17043:2010

Normas y Guíascomplementarias

Proveen detalles que complementan la Norma ISO 17043

Especificación Técnica ISO/TS 22117Microbiología de Alimentos – RequisitosEspecíficos y Guía para EA por ComparacionesInterlaboratorio

Norma ISO/IEC 17043:2010

Page 5: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Vocabulario clave (referido al diseño): Términos y Definiciones

Comparación Interlaboratorio: organización, realización y evaluación de mediciones o ensayos sobre el mismo ítem o ítems similares, por dos o más laboratorios de acuerdo a condiciones predeterminadas.

Ensayo de Aptitud: evaluación de desempeño de los participantes con respecto a criterios previamente establecidos mediante comparaciones interlaboratorios.

Ítem de ensayo de ensayo de aptitud: muestra, producto, artefacto, material de referencia, parte de un equipo, patrón de medida, conjunto de datos u otra información utilizada en un ensayo de aptitud.

Page 6: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Vocabulario clave (referido al diseño): Términos y Definiciones

Programa de ensayos de aptitud: ensayos de aptitud diseñados y operados en una o más rondas para un área específica de ensayo, medida, calibración o inspecciones.

Ronda de ensayo de aptitud: secuencia completa única de distribución de ítems de ensayo de aptitud, y evaluación y comunicación de resultados de los participantes.

Coordinador: una o más personas responsables de organizar y gestionar todas las actividades Incluidas en la operación de un programa de ensayos de aptitud

Page 7: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Vocabulario clave (referido al diseño): Términos y Definiciones

Método estadístico robusto: método estadístico insensible a pequeñas desviaciones de la hipótesis de partida de un modelo probabilístico implícito (reemplazo por valores más próximos al valor asignado)

Desviación estándar para la evaluación de la aptitud: medida de dispersión utilizada en la evaluación de los resultados de un ensayo de aptitud, basada en la información disponible.

Valor asignado: valor atribuido a una cualidad particular de un ítem de ensayo de aptitud.

Valor atípico (outlier): observación en un conjunto de datos que no parece concordar con los restantes datos de dicho conjunto (puede originarse a partir de una población diferente o ser resultado de un registro incorrecto o de otro error).

Page 8: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Diseño de Ensayos de Aptitud

El desarrollo y la operación del Ensayo de Aptitud debe estar a cargo de Proveedores que tengan competencia y acceso al conocimiento y experiencia correspondiente al tipo particular de ítem de ensayo de aptitud

Demostración de competencia Técnicaen el ensayo: ISO 17025

Diseño del Ensayo de Aptitud

Page 9: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Diseño del Ensayo de Aptitud

Diseño de Ensayos de Aptitud

Definido en el Punto 4 de la ISO 17043 – Requisitos Técnicos

La etapa de diseño requiere el aporte de expertos técnicos, estadísticos y un coordinador del esquema. El EA debe ser diseñado para evitar cualquier

confusión sobre sus objetivos

Page 10: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Diseño: INTI Lácteos desarrolló un diseño como documento independiente por Programa de Ensayo de Aptitud, aplicable a las distintas Rondas. Dicho diseño constituye un marco referencial. para la aplicación del Programa en

particular. El diseño es revisado y actualizado (si corresponde) en cada Ronda.

Involucra una planificación detallada, un detalle de la preparación de los ítems de ensayo, criterios de homogeneidad y estabilidad apropiados, diseño estadístico apropiado para cumplir con los objetivos del programa y documentar el procedimiento para determinar los Valores asignados.(ISO 17043:2010)

Diseño del Ensayo de Aptitud

Diseño de Ensayos de Aptitud

Page 11: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Items del Diseño del Ensayo de Aptitud

ITEMS DEL DISEÑOEj: Programa Leche en Polvo

INTI-Lácteos

a) Tipo de material (matriz LP)

b) Frecuencia (semestral)

c) Procesamiento estadístico (consenso/outliers/z-score)

d) Instrucciones enviadas a los participantes (ofertas, protocolos, etc.)

e) Contenido de los reportes (características Informe Final)

f) Comunicaciones a los clientes (Oferta, aviso de envío de muestras,Protocolos y planillas de resultados, modificaciones de las condicionespactadas en la Oferta)

Page 12: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

a) Tipo de material Semejante al utilizado rutinariamente por los laboratorios participantes (matriz y rango de concentración)

Homogéneo y estable (define procedimiento y criterios de aceptación de los test. Metodologías empleadas. Cantidad mínima de muestras a ensayar)

Cálculo de la cantidad de muestra a enviar (necesaria para realizar el/los ensayo/s de acuerdo al diseño del EA (ej. duplicado y un analista). Ej:

Parámetro Masa aprox Duplicado

Humedad 3g 6g

Acidez 8g 16g

Total 11g 22g

Contemplar proceso de homogeinizaciónContenido aprox final por envase: 35g

Riesgos en su manipulación: aclarar en Protocolo de Tratamiento

b) Frecuencia: ej. semestral

Items del Diseño del Ensayo de Aptitud

Page 13: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

c) Procesamiento estadístico

Criterios de eliminación de datos previo al tratamiento (outliers, estabilidad, errores en unidades, simplificados, no promediables, etc.)

Criterios de resultados que ingresan a cálculo de VA (ej resultados provenientes de distintas metodologías de ensayo, cumplimiento de repetibilidad de las normas analíticas empleadas)

Tratamiento de resultados que no se tratan estadísticamente

Elección de forma de cálculo del VA y criterios de aceptación del VA calculado (patrón de dispersión aleatorio de distintas Metodologías, µ, VA)

Evaluación de desempeño (Ej. Metodología z-score)

Items del Diseño del Ensayo de Aptitud

Page 14: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

d) Instrucciones enviadas a los participantes

Protocolo de Tratamiento de muestras

► Identificación de la/s muestra/s y ensayos. Cantidad de determinaciones (ej. duplicados)

► Instrucciones, en el caso que aplique, de preparación de la muestra.

► Recomendaciones generales (refrig., homog., etc)

► Recomendación específica en caso de que el material conlleve riesgos

► Fecha o período en que se deben realizar los ensayos. Fecha límite de recepción de resultados

► Fax y/o mail de recepeción de resultados

Items del Diseño del Ensayo de Aptitud

Page 15: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

d) Instrucciones enviadas a los participantes

Planilla de Resultados

► Fecha y condiciones de recepción de la muestra

► Campos para volcar resultados por parámetro y para cada duplicado y/o analista. Indicación de unidades y cantidad de cifras decimales

► Contacto y teléfono del participante remitente

► Fecha límite de recepción de resultados, fax y/o mail de recepeción de resultados

Items del Diseño del Ensayo de Aptitud

Page 16: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

e) Contenidos de los reportes

►VA y su incertidumbre. Sistemática de su obtención

►Valores que toma el parámetro para cada límite del z-score. Desvío estándar utilizado para su cálculo

►Valores obtenidos por todos los participantes y las metodologías de análisis utilizadas con su correspondiente Z-score

►Gráficos

► Datos sobre homogeneidad y estabilidad de la muestra

►Listado alfabético de participantes (pactado con el cliente)

►Resumen general de la Ronda

Items del Diseño del Ensayo de Aptitud

Page 17: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

f) Comunicaciones a los clientes

►Oferta Guía, Planilla de inscripción

►Aviso recordatorio de envío de muestras. Contacto en caso de no recibir en tiempo y forma

►Publicación del VA

Items del Diseño del Ensayo de Aptitud

Page 18: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Resumiendo …

El punto de partida del Ensayo de Aptitud

El marco Referencial que contiene objetivos y criterios fundamentales del Desarrollo del Ensayo de Aptitud

El diseño es

Concepto de Diseño del Ensayo de Aptitud

Page 19: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Dentro del Diseño la Norma requiere:

1) Una Planificación 2) Procedimientos para asegurar la adecuada

preparación de los ítems de ensayo de aptitud

3) Establecer criterios de homogeneidad y estabilidad

4) Desarrollar un diseño estadístico

5) Documentar el procedimiento para determinar los valores asignados

Diseño del Ensayo de Aptitud

Page 20: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

La Norma ISO 17043 requiere una Planificación documentada

con varios de los ítems ya contemplados en el diseño del Programa.

Planificación del Ensayo de Aptitud

Page 21: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

INTI-Lácteos interpreta la Planificación como una “foto instantánea” correspondiente a una Ronda en particular de un Programa

La Planificación del Programa no se debe subcontratar

Planificación del Ensayo de Aptitud

Page 22: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Planificación (Norma ISO 17043. Punto 4.4.1)

El proveedor de ensayos de aptitud debe identificar y planificar aquellos procesos que afectan directamente la calidad del programa de ensayos de aptitud y debe asegurar que se llevan a cabo de acuerdo con procedimientos descritos.

El proveedor de ensayos de aptitud no debe subcontratar la planificación del programa de ensayos de aptitud

Planificación del Ensayo de Aptitud

Page 23: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Planificación

Consiste en una “foto” de una Ronda determinada

Incluye fechas previstas de todos las etapas a cumplir y

firma de los responsables de la ejecución, cuando corresponda

Los procedimientos que sean comunes a todas las Rondas (ej.: test de homogeneidad) pueden estar referenciados a losdocumentos que los contengan (ej. Planes de calidad,

procedimientos, instructivos)

Planificación del Ensayo de Aptitud

Page 24: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Actividad Fecha Responsable/alterno

Ejecutó(firma y fecha)

Observaciones

Envío de la Oferta 1º semana de agosto 2011

Verificación de insumos

Hasta el 01/09/2011

Test de homogeneidad

Antes del 30/09/2011

Resulta más operativo colocar

fechas aprox

Responsable del Lab de

Ensayos Físicos Químicos

Se puede referir, por ejemplo al Procedimiento

o un instructivo que el laboratorio tenga

documentado

Ejemplo de documento de Planificación

Planificación del Ensayo de Aptitud

Page 25: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Puntos de la Planificación

El proveedor de ensayos de aptitud debe documentar un plan antes del inicio del programa de ensayos de aptitud que trate los objetivos, el propósito y el diseño básico del programa de ensayos de aptitud incluyendo la siguiente información y, cuando corresponda, los motivos para su selección o exclusión:

a) el nombre y la dirección del proveedor de ensayos de aptitud;

b) el nombre, la dirección y lugar de trabajo del coordinador y de cualquier otro miembro del personal que participe en el diseño y operación del programa de ensayos de aptitud;

c) las actividades a subcontratar y los nombres y direcciones de los subcontratistas que participan en la operación del programa de ensayos de aptitud;

d) los criterios que se deben satisfacer para la participación;

PUNTOS QUE DEBE CONTENER LA PLANIFICACION

Page 26: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

e) el número y tipo de participantes previstos en el programa de ensayos de aptitud;

f) la selección del(los) mesurando(s) o la(s) característica(s) de interés, incluyendo información sobre qué tienen que identificar, medir o ensayar los participantes en la ronda específica de ensayos de aptitud;

g) una descripción del rango de valores o características, o ambos, que se espera obtener para los ítems de ensayos de aptitud;

h) las principales fuentes potenciales de errores involucrados en el área de los ensayos de aptitud ofrecidos;

i) los requisitos para la producción, el control de la calidad, almacenamiento y la distribución de los ítems de ensayos de aptitud;

Puntos de la Planificación

Page 27: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

j) precauciones razonables para prevenir la connivencia entre los participantes o la falsificación de resultados y los procedimientos a emplear si se sospecha de la existencia de connivencia o falsificación de resultados;

k) una descripción de la información que se suministrará a los participantes y el cronograma correspondiente a las diversas fases del programa de ensayos de aptitud;

l) para los programas continuos de ensayos de aptitud, la frecuencia o las fechas en las que se deben distribuir los ítems de ensayos de aptitud a los participantes, las fechas de vencimiento para la devolución de los resultados por los participantes y, cuando corresponda, las fechas en las que los participantes llevarán a cabo los ensayos o las mediciones;

Puntos de la Planificación

Page 28: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

m) cualquier información sobre métodos o procedimientos que los participantes necesiten utilizar para preparar el material de ensayo y realizar los ensayos o las mediciones;

n) los procedimientos a utilizar para determinar la homogeneidad y estabilidad de los ítems de ensayos de aptitud y, cuando corresponda, para determinar su viabilidad biológica;

o) la preparación de cualquier formato de informe normalizado que utilizarán los participantes; (Protocolos y planillas de resultados)

p) la descripción detallada del análisis estadístico a utilizar;

q) el origen, la trazabilidad metrológica y la incertidumbre de medida de los valores asignados;

r) los criterios para la evaluación del desempeño de los participantes;

Puntos de la Planificación

Page 29: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

s) la descripción de los datos, informes provisorios o información a devolver a los participantes;

t) la descripción del grado en que se harán públicos los resultados de los participantes y las conclusiones basadas en los resultados del programa de ensayos de aptitud; y

u) las acciones a tener en cuenta en el caso de pérdida o daño de los ítems de ensayos de aptitud.

Puntos de la Planificación

Page 30: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Items del Ensayo de Aptitud

La Norma ISO 17043 requiere un procedimiento para asegurar la adecuada preparación de los ítems de

Ensayo de Aptitud.

Page 31: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Preparación de los ítems de ensayos de aptitud

El proveedor de ensayos de aptitud debe establecer e implementar procedimientos para asegurarse que los ítems de ensayos de aptitud se preparan de acuerdo con el plan descrito en la Planificación (la planificación refiere a los diferentes procedimientos o instructivos de preparación de muestras que contemplan adquisición, recolección, preparación, manipulación, almacenamiento; cumpliendo con los requisitos reglamentarios y éticos pertinentes)

Importante: preparar un número suficiente de ítems de ensayos de aptitud para que permita reponer cualquier ítem que se haya perdido o dañado durante la distribución o que se prevé sea utilizado después que los resultados del programa de ensayos de aptitud hayan sido evaluados. Estos usos pueden incluir ayudas para la formación de los participantes o utilizarlos como material de referencia. (muestras stock)

Items del Ensayo de Aptitud

Page 32: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Es conveniente que los ítems de ensayo coincidan en términos de matriz, mesurandos y concentración tanto como sea posible con el tipo de ítems o material de ensayo de rutina.

Items del Ensayo de Aptitud

Preparación de los ítems de ensayos de aptitud

Page 33: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

En los Programas de Ensayo de Aptitud en los que se exija a los participantes preparar el ítem de ensayo el Proveedor debe emitir instrucciones para su preparación.

Items del Ensayo de Aptitud

Preparación de los ítems de ensayos de aptitud

Page 34: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Homogeneidad y Estabilidad de los ítems de ensayo

La Norma ISO 17043 requiere un establecer criterios de homogeneidad y estabilidad apropiados para

asegurar que cada participante reciba ítems de ensayo de aptitud comparables.

Page 35: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Homogeneidad y Estabilidad

Se deben establecer los criterios para una adecuada homogeneidad y estabilidad, los cuales deben basarse en el efecto que tendría la

ausencia de éstas sobre los resultados y la evaluación del desempeño de los participantes.

Homogeneidad y Estabilidad de los ítems de ensayo

Se debe asegurar que cada participante reciba ítems de ensayos de aptitud comparables, y que estos ítems permanezcan estables a lo largo

del ensayo de aptitud. Para lograrlo es necesario una planificación, fabricación y transporte cuidadosos y se requiere la realización de

ensayos para confirmarlo, siempre que sea posible

Page 36: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Concepto de material suficientemente homogéneo

Los materiales preparados para los EA y otros estudios interlaboratorio son usualmente heterogéneos en cierto grado pesar de los grandes esfuerzos que se realizan para asegurar la homogeneidad.

Cuando un lote de material es fraccionado para distribuir a varios laboratorios, las unidades presentan diferencias en la composición entre ellas. Cuando se habla de suficiente homogeneidad en los materiales a distribuir, se busca demostrar que esa variación en la composición es insignificante en relación a la variación introducida por las mediciones hechas por los participantes.

Un criterio a utilizar es que la desviación estándar entre muestras (Ss) sea menor que el 30% del desvío estándar target con que se evaluará el desempeño de los Laboratorios (ISO 13528).

Homogeneidad y Estabilidad de los ítems de ensayo

Page 37: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

En algunos casos, los materiales que no son suficientemente homogéneos o estables son la mejor opción disponible; en estos casos aún pueden ser útiles como ítems de ensayo de aptitud, siempre que las incertidumbres de los valores asignados o la evaluación de los resultados tomen en cuenta este hecho (véase B.3.1.3 y el anexo B de la Norma ISO 13528:2005).

En la Guía ISO 34, la Guía ISO 35 y la Norma 13528 se tratan con mayor detalle las cuestiones relativas a la homogeneidad y estabilidad.

Concepto de material suficientemente homogéneo

Homogeneidad y Estabilidad de los ítems de ensayo

Page 38: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

¿¿ ??

Criterios para la elección del parámetro a analizar para Homogeneidad

Conocer las principales razones de la inhomogeneidad (ej. Llenado de botellas, calentamiento de botellas, mezclado durante el llenado,

requerimientos del envase primario y del embalaje, condiciones ambientales, manipulación durante la preparación y dispensado)

¿Existe un parámetro presente en bajas concentraciones lo cuallo vuelva sensible al mezclado?

Homogeneidad y Estabilidad de los ítems de ensayo

¿Existe algún componente sensible al calor que pueda versecomprometido en algunas muestras por calentamiento desigual?

Testeo del parámetro más sensible a los procesos de preparación de la muestra:

Page 39: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Se deben documentar e implementar los procedimientos para la evaluación de la homogeneidad y estabilidad

►Normalmente se debe realizar la evaluación de la homogeneidad después que los ítems de ensayo de aptitud hayan sido embalados en su forma final y antes de su distribución a los participantes, salvo que, por ejemplo, los estudios de estabilidad indiquen que se deberían almacenar a granel.

►Se puede demostrar la homogeneidad antes de realizar el embalaje cuando sea razonable esperar que éste no influya.

►En algunas ocasiones, la determinación de homogeneidad no se puede realizar antes de la distribución por razones prácticas, técnicas o logísticas. (Caso microoganismos)

Homogeneidad y Estabilidad de los ítems de ensayo

Page 40: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

La determinación analítica (ensayo) que se le realiza a las muestras es la misma que la realizada en la prueba de homogeneidad (mismo

método de ensayo, mismo operador, mismo equipo)

El ensayo de estabilidad se realiza en la misma fecha o posterior al tiempoLímite que se le ha establecido a los participantes para realizar el ensayo.

Homogeneidad y Estabilidad de los ítems de ensayo

Page 41: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Para el caso de ensayos cualitativos el 100% de los resultados, tanto para homogeneidad como para estabilidad deben coincidir con el resultado

asignado por formulación.

Homogeneidad y Estabilidad de los ítems de ensayo

Page 42: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

En los casos en que la determinación de la homogeneidad y estabilidad no sea factible, el proveedor de ensayos de aptitud debe demostrar que los procedimientos utilizados para reunir, producir, embalar y distribuir los ítems de ensayos de aptitud

son suficientes para el propósito de éste. (Olvido de estabilidad)

Homogeneidad y Estabilidad de los ítems de ensayo

Page 43: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Diseño Estadístico

La Norma ISO 17043 requiere desarrollar un diseño estadístico basado en la naturaleza de los datos.

Page 44: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Diseño estadístico: El diseño estadístico abarca el proceso de planificar, recolectar, analizar y comunicar los datos (resultados cuali o

cuantitativos) del programa de ensayos de aptitud.

Diseño Estadístico

Page 45: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Al diseñar un análisis estadístico, el proveedor de ensayos de aptitud debe considerar cuidadosamente lo siguiente:

a) la exactitud (veracidad y precisión), así como la incertidumbre de medición requerida o esperada para cada mesurando o característica en el ensayo de aptitud.

b) el número mínimo de participantes en el programa de ensayos de aptitud necesario para lograr los objetivos del diseño estadístico; en los casos en que el número de participantes sea insuficiente para lograr estos objetivos o para producir un análisis estadísticamente significativo de resultados, el proveedor de ensayos de aptitud debe documentar y proporcionar a los participantes detalles de los enfoques alternativos utilizados para evaluar el desempeño de los participantes; (FIL 135, ISO IUPAC CITAC Guide 2010)

Diseño Estadístico

Page 46: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

c) la importancia de las cifras significativas (aquellas en la que el último dígito es incierto o que no tiene significancia física o química y tiene que ver con las incertidumbres de medición –hasta dónde se puede medir experimentalmente-) para el resultado informado incluyendo el número de posiciones decimales; (La ISO 17043 recomienda instruir a los participantes el número de cifras significativas a modo de convención para evaluarlos en iguales condiciones). Ej CECALAIT

d) el número de ítems de ensayos de aptitud a ensayar o medir y el número de repeticiones de ensayos, calibraciones o mediciones que se llevarán a cabo sobre cada ítem de ensayo de aptitud o para cada determinación; (por tratarse de un ensayo de aptitud INTI Lácteos considera que se deben realizar el número de repeticiones que establece la normativa analítica y sugerida por el Proveedor)

Diseño Estadístico

Page 47: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

e) los procedimientos utilizados para establecer la desviación estándar para la evaluación de la aptitud u otros criterios de evaluación; (ISO 13528)

En el caso del z-score:

Valor prescripto (SR de la Norma)

Estimado resultante de Rondas anteriores

Estimado resultante de un modelo estadístico (H)

Resultado de experimento de precisión

Desviación estándar robusta basada en los resultados de los participantes

x – xa

Diseño Estadístico

Page 48: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

f) los procedimientos que se utilizarán para identificar o tratar los valores fuera de límite, o ambos; (Valores atípicos / Grubbs / Cochran/ repetibilidad del método / mediana – outliers groseros)

Ejemplos: errores como unidades incorrectas, errores en el punto decimal, o resultados correspondientes a un ítem de ensayo diferente: Se deben eliminar del conjunto de datos, no deben ingresar a los test de outliers o métodos robustos.

Los valores outliers que surgen de la aplicación de los test estadísticos para su detección deben seguir evaluándose dentro del programa, dándoseles una evaluación de desempeño.

Diseño Estadístico

Page 49: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

g) cuando corresponda, los procedimientos para la evaluación de los valores excluidos del análisis estadístico; y (INTI-Lácteos: no evalúa resultados excluídos sí los transcribe a título informativo en el informe final. Ej. Análisis realizado fuera del período de estabilidad, no promediables, más o menos repeticiones que las solicitadas, diferentes unidades a las solicitadas)

Poner informe de ejemplo

Page 50: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

La Norma ISO 17043 requiere documentar el procedimiento para determinar los Valores Asignados.

Page 51: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Valores asignados

Existen varios procedimientos para establecer Valores Asignados

Se detallan a continuación los procedimientos más comunes, en un orden tal que resulta en un orden creciente de la incertidumbre del valor asignado

Page 52: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

1) Valores conocidos: determinados por una formulación específica del ítem (ej ATB)2) Valores de Referencia Certificados3) Valores de Referencia determinados por análisis junto con un Material de Referencia

Patrón4) Valores consensuados por participantes expertos5) Valores consensuados por los participantes

Page 53: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

1) Valores conocidos

Determinados por una formulación específica del ítem, ej. Antibióticos (µg/kg)

El valor deriva del cálculo de las masas usadas

Se calcula la incertidumbre utilizando todos los pasos gravimétricos y volumétricos y la pureza de las sustancias

VENTAJAS: incertidumbre generalmente baja trazable al SI

DESVENTAJAS: puede estar más débilmente unido a la matriz que en el caso de las muestras de rutina, la dificultad para analizarlo puede menorQue se absorba o reaccione con otros constituyentes de la matriz.

Page 54: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

2) Valores de Referencia Certificados

Se usa como VA el valor del certificado y su incertidumbre

VENATAJAS: presenta trazabilidad y baja µ

DESVENTAJAS: caro puede no existir en la matrizseleccionada para EA

Page 55: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

3) Materiales de Referencia

Se prepara un material de referencia y se lo analiza en condiciones de repetibilidad con un material de referencia certificado.El VA deriva de una calibracion contra el valor de CRM y la µ se calcula combinando la µ del CRM y la µ de las mediciones

VENTAJAS: trazable a SI a través del CRMBaja µ Mas barato que el CRM

DESVENTAJAS: Que no exista CRM de La matriz seleccionada

Page 56: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

4) Consenso de los laboratorios expertos

Se usan sus resultados para estimar la media

VENTAJAS: Fácil de realizar Bajo costo

DESVENTAJA: Criterios de Selección de laboratorios expertos

Page 57: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

5) Consenso de los laboratorios participantes

Se usan los resultados de los participantes para estimar la media

VENTAJAS: Fácil de realizar Bajo costo

DESVENTAJA: Puede no existir consensoPuede estar sesgado por un método en particular.

Page 58: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Valores asignados en caso de resultados cualitativos

Estos Valores asignados tienen que determinarse por medio de un juicio experto o de formulación.

El Proveedor puede utilizar un valor consensuado (acuerdo de un % mayoritario predeterminado de respuestas (Ej 80% -tener cuidado con el nivel de experiencia de los participantes)

No están contemplados en la Norma ISO 13528 ni en el Protocolo Armonizado-IUPAC

Page 59: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

El Proveedor debe tener una política relativa a la divulgación de los Valores Asignados

Ejemplo INTI-Lácteos“El Centro INTI- Lácteos da a conocer el valor asignado o el resultado esperado después que loslaboratorios participantes hayan enviado los resultados de sus ensayos. Por lo tanto el laboratorioparticipante recién conoce el valor asignado cuando se publica en la web www.redelac.gob.ar ocuando recibe el informe de resultados,El Centro INTI- Lácteos no acepta resultados de los participantes luego que dio a conocer el valorasignado o el resultado esperado a través del Informe de Resultados.”

Page 60: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Estadísticos de desempeño

El propósito es medir la desviación respecto al valor asignado

Estadístico de Desempeño para resultados cuantitativos

Estadístico de Desempeño para resultados cualitativos

Page 61: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Estadístico de Desempeño para resultados cuantitativos

1) La diferencia, D, se calcula utilizando la ecuación

x X

siendo x el resultado del participante y X el valor asignado.

Estima es sesgo del laboratorio

Page 62: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Estadístico de Desempeño para resultados cuantitativos

2) La diferencia %, se calcula utilizando la ecuación

siendo x el resultado del participante y X el valor asignado.

Estima el sesgo del laboratorio, pero se independiza del VA

( )100x X

X

Page 63: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Estadístico de Desempeño para resultados cuantitativos

3) z-score, se calcula utilizando la ecuación

siendo x el resultado del participante y X el valor asignado.

x X

z

donde es la “desviación estándar de la evaluación de aptitud”.

Page 64: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Estadístico de Desempeño para resultados cuantitativos

4) Los valores de zeta ( ) se calculan utilizando la siguiente ecuación:

2 2

lab asig

x X

u u

donde es la incertidumbre estándar del laboratorio participante y

es la incertidumbre estándar del valor asignado.

Page 65: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Estadístico de Desempeño para resultados cuantitativos

2 2n

lab ref

x XE

U U

donde lo que intervienen son las incertidumbres expandidas y el valor asignado es aportado por un laboratorio de referencia.

NOTA 1 Las fórmulas en las ecuaciones (4) y (5) son correctas sólo si x y X son independientes.

5) Los números En se calculan utilizando la ecuación:

Page 66: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Estadístico de Desempeño para resultados cualitativos (datos categóricos) y semi-cuantitativos (datos ordinales)

Para los datos cualitativos (también llamados datos “categóricos”) la técnica apropiada es comparar el resultado de un participante con el valor asignado. Si son idénticos, el desempeño es aceptable.

Si no son idénticos, se necesita un juicio experto para determinar si el resultado es apto para su uso previsto.

Page 67: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Estadístico de Desempeño para resultados cualitativos (datos categóricos) y semi-cuantitativos (datos ordinales)

No es apropiado calcular estadísticas descriptivas para los datos ordinales, aún cuando los resultados sean numéricos (reacciones químicas +1, +2, +3 ó 1:pobre, 2:satisfactorio, 3:muy bueno.

Esto se debe a que los números no están en una escala de intervalos; es decir, la diferencia entre 1 y 2, en cierto sentido objetivo, puede no ser la misma que la diferencia entre 3 y 4, de modo que no se pueden interpretar los promedios y las desviaciones estándar.

Se recomienda utilizar estadísticas específicas tales como el rango o las estadísticas de orden, diseñados para datos ordinales.

Page 68: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Entorno

Page 69: DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo

Dirección(Código Postal) LocalidadProvincia, PaísTeléfonoE-mail

Mes de Año