0 de 11

SECCION METROLOGIA AMBIENTAL Y DE ALIMENTOS SUBDEPARTAMENTO DE METROLOGIA Y BIOTECNOLOGIA

DEPARTAMENTO DE SALUD AMBIENTAL

PROTOCOLO DE ORGANIZACIÓN DE ENSAYOS DE APTITUD

PEEC Microbiología de Alimentos

PEEC Química Ambiental y de Alimentos

1 de 11

INDICE

Página

Introducción………………………………………………………………………………….2

Aseguramiento de la Calidad……………………………………………………………….2

Organización del PEEC QAA y MA.……………………………………………………….3

Etapas………………………...……………………………………………………………….4

Participantes…………..……...……………………………………………………………….5

Subcontratación……………………………………………………………………………….6

Evaluación estadistica..……...……………………………………………………………….6

Informe…………………………………………………………………………………………9

Terminología……………………………………………………………….……………….…10

2 de 11

INTRODUCCION

EL Programa de Evaluación Externa de la Calidad (PEEC), es un programa de ensayos de aptitud dirigido a los Laboratorios de Ensayo del área química ambiental y de alimentos (QAA), y microbiología de alimentos (MA). Este programa es proveido por el Departamento de Salud por la Sección Metrología Ambiental y de Alimentos, siendo el proceso organizado y Coordinado por el Área de Coordinación de Ensayos de Aptitud. El siguiente protocolo tiene como objetivo presentar el sistema de organización de las rondas a los laboratorios interesados en participar en los ensayos de aptitud PEEC. El PEEC se inició en el año 1996, con tres evaluaciones correspondientes a: yodo en sal, nitritos en vienesas y toxina paralizante en moluscos. Desde esa fecha, ha continuado aumentando en forma gradual su oferta de rondas de evaluaciones, diversificando analitos y matrices. En Chile, los laboratorios de ensayos que participan en esta área se distribuyen a lo largo de todo el país, permitiendo tener a través de los informes de evaluación una radiografía general de la situación país, en las diversas áreas de ensayo involucradas. Los informes de cada ronda PEEC son muchas veces requeridos por los organismos públicos (SAG, SERNAPESCA, SEREMI de Salud, entre otros) y acreditadores para evaluar el desempeño de los laboratorios de ensayo.

ASEGURAMIENTO DE CALIDAD El Sistema de Gestión para estos ensayos de aptitud, está basado actualmente en la NCh-ISO 17043. Contando en el proceso de implementación del sistema de calidad con la asesoría técnica dos organismos internacionales: LGC standards del Reino Unido en el área de microbiología y Swedish National Food Administration (NFA) en el área química, organismo dependiente del Ministerio de Agricultura, Alimentación y Pesca de Suecia. El programa cuenta con un comité de consultores externos constituido por profesionales del ISP, Organismos públicos y privados el cual es presidido por Coordinador de los Ensayos de Aptitud PEEC del Departamento de Salud Ambiental del Instituto de Salud Pública. Este comité sesiona 2 veces al año, con el fin de colaborar en la elaboración del programa anual PEEC, establecer nuevas áreas de desarrollo y resolver inquietudes de los laboratorios participantes. ORGANIZACIÓN DEL PEEC QAA y MA Las rondas de ensayo de aptitud PEEC QAA y MA, corresponden a ensayos de intercomparación con una frecuencia anual para cada subprograma. Estos subprogramas pueden ser de tipo: Cuantitativos:

En el cual el objetivo es cuantificar uno o más mensurandos del ítem de ensayo de aptitud. Dentro de este tipo se encuentran las rondas del PEEC MA de Enumeración de Microorganismos, y del PEEC QAA: caracterización de ResPel, determinación de biotoxinas marinas, determinación de aniones en aguas y macronutrientes de alimentos.

Cualitativos:

• El objetivo de estos es identificar o describir una o más características del ítem de ensayo de aptitud. Se informan sobre una escala absoluta u ordinal. Dentro de este tipo se encuentran las rondas de detección de microorganismo patógenos

3 de 11

Cada Ronda de los Subprograma cuenta con una codificación alfanumérica única, las de microbiología de alimentos se inicia con MAOX y en las de química ambiental y de alimentos como SPX. El Área de Coordinación de Ensayos de Aptitud PEEC del Departamento de Salud Ambiental, desarrolla el Programa Anual de los programas PEEC QAA y MA, el cual es publicado en la página Web del Instituto de Salud Pública de Chile (http://www.ispch.cl/ensayos-de-aptitud). El Proceso de adscripción en las rondas se inicia con antelación al inicio del programa anual, la información para este proceso así como instrucciones de confidencialidad entre otros es publicada en la página Web del instituto de Salud pública de Chile (http://www.ispch.cl/ensayos-de-aptitud). La Sección Ventas del ISP, recepciona los formularios de adscripción y pagos de los interesados hasta la fecha de plazo estipulada, esta información esta publicada en la página Web del Instituto de Salud Pública de Chile (http://www.ispch.cl/ensayos-de-aptitud). La Sección Metrología Ambiental y de Alimentos, en particular el Área de Coordinación de Ensayos de Aptitud recibe a través de la Sección Ventas las fichas de adscripción aceptadas. A cada participante adscrito se le asigna un número único (Código Interno del Laboratorio-CIL) para el Programa PEEC MA y/o Programa PEEC QAA en el cual se ha adscrito. El Director Técnico del laboratorio participante recibe por correo certificado una carta con timbre de agua en la cual se indica el CIL y el programa de rondas en cual se ha adscrito. El CIL deberá ser utilizado por el laboratorio para el prueba de ensayo y el tratamiento de los resultados, con el fin de preservar la confiabilidad y confidencialidad de su participación durante el desarrollo y resultados del ensayo de aptitud. Los ítems de ensayo de aptitud son adquiridos para la mayoría de las rondas organizadas por el ISP, excepto para: Toxina paralizante en mariscos, colorantes hidrosolubles, ciertos analitos del análisis proximal, flúor en aguas. En estos casos particulares es evaluada la homogeneidad y estabilidad del material, a fin de asegurar su estabilidad durante el desarrollo de la ronda de ensayo de aptitud. Los ítems de ensayo de aptitud se distribuyen de manera simultánea con un periodo de tiempo definido para su análisis. Las muestras son enviadas a los laboratorios participantes en la fecha establecida en el programa, en las condiciones de embalaje, almacenamiento, seguridad e identificación que aseguren la integridad del ítem. En el caso de aquellos envíos aéreos, estos son despachados de acuerdo a las instrucciones entregadas por la Unidad de Despacho y Gestión de Cámaras de Frío del ISP. En el caso de los laboratorios Internacionales, el envió de los ítems de ensayo se realiza de acuerdo a las instrucciones de encomienda de ensayos de aptitud a los laboratorios internacionales adscritos al PEEC del área Ambiental y de Alimentos. Información publicada en la página Web del Instituto de Salud Pública de Chile (http://www.ispch.cl/ensayos-de-aptitud). La recepción de las muestras de ensayos de aptitud por parte de los laboratorios participantes debe ser comunicada al Área de Coordinación de Ensayos de Aptitud del Departamento de Salud Ambiental, a través de la hoja acuso recibo (que corresponde a la validación del ítem de ensayo). En el protocolo del ensayo de aptitud se entregan instrucciones sobre condiciones de almacenamiento, manipulación del material, etc. Esta información debe ser leída por el participante antes de iniciar el trabajo analítico. Los participantes realizan el análisis del ítem de ensayo y el reporte de sus resultados de acuerdo a lo indicado en el protocolo de cada subprograma que acompaña a cada ronda. El Coordinador de los Ensayos de Aptitud, procede a realizar la evaluación estadística de los datos de acuerdo a lo establecido para cada programa y el tipo de ronda cualitativa o cuantitativa. Realizando la evaluación de desempeño de los participantes, el coordinador realiza el informe preliminar el cual es enviado por email al Director Técnico de los laboratorios participantes de acuerdo al programa anual y cronograma. Respecto de este informe preliminar los laboratorios participantes pueden dentro de un plazo establecido realizar sus alcances y observaciones en relación a errores de transcripción u omisiones involuntarias por parte del Coordinador de los

4 de 11

Ensayos de Aptitud. Estos comentarios serán evaluados por el Coordinador de los Ensayos de Aptitud y si se estima necesario se corregirá lo indicado. El informe final será publicado en el centro de documentación de la página Web del Instituto de Salud Pública de Chile (http://www.ispch.cl ), para lo cual el cliente deberá colocar el código de la ronda (MA0X o SPX) en el buscador de contenidos de la página principal de la Web. Cualquier Queja, reclamo o sugerencia que desee realizar el cliente debe hacerla a través de la Oficina de Informaciones Reclamos y Sugerencias de la Institución OIRS (http://www.ispch.cl/oirs/index.htm). Una vez publicado el informe final los laboratorios participantes podrán realizar una solicitud de apelación, La Sección Metrología Ambiental y de Alimentos a través del Área de Coordinación de los Ensayos de Aptitud asume la corrección de cualquier fallo atribuible a errores suyos, para realizar la solicitud de apelación el Director Técnico del laboratorio participantes deberá ponerse en contacto con el Coordinador del Ensayo de Aptitud PEEC. De acuerdo al Sistema de gestión de calidad, se realizará una evaluación de los antecedentes disponibles. La resolución a esta solicitud será comunicada al Director Técnico del laboratorio. ETAPAS El programa se organiza de acuerdo a las siguientes etapas:

Etapa 1 Programa Anual:

Diseño y planificación del Publicación de Programa PEEC QAAy MA

Etapa 2 Invitación:

Publicación en la página Web para participar. Invitación vía e-mail a los clientes

Etapa 3 Adscripción:

Recepción de formularios de adscripción y pagos de los laboratorios. Asignación del CIL.

Etapa 4 Envió:

Distribución simultanea de ítems de ensayo a participantes

Etapa 5 Recepción de los resultados:

Se recepcionan de los participantes e información sobre el método

Etapa 6 Análisis de Resultados:

Evaluación y comparación de los resultados reportados por los participantes. Este proceso incluye la evaluación estadística y de

desempeño.

Etapa 7 Informe de Resultados:

Envío de informe preliminar a participantes. Publicación en Web Informe Final de la Ronda.

Etapa 8 Retroalimentación:

Encuesta Anual

5 de 11

PARTICIPANTES En el Programa de Ensayos de Aptitud PEEC del Departamento de Salud Ambiental, pueden participar Laboratorios Públicos y privados.

Los laboratorios de ensayo que podrían participar en el PEEC deberían tener las siguientes características:

Laboratorios de Ensayo del área de Microbiología de Alimentos y/o Aguas.

Laboratorios de Ensayos del área de Bromatología

Laboratorios de Ensayos del área Ambiental.

Laboratorios de Ensayos Nacionales o Internacionales Acreditados y/o con Reconocimiento por la Autoridad competente, en las áreas que abarcan los Subprogramas PEEC.

Las rondas de ensayo de aptitud PEEC están preferentemente dirigidas al siguiente grupo:

Laboratorios del Ambiente por SEREMIs de Salud o Laboratorios Reconocidos por SEREMIs de Salud del país.

Laboratorios Acreditados por SERNAPESCA.

Laboratorios Acreditados por el SAG.

Laboratorios Bromatológicos Reconocidos por los SEREMIS de Salud.

Laboratorio de Servicios de Salud

Laboratorios de Residuos Peligrosos de la Red RESPEL.

Laboratorios de Ensayos Públicos Nacionales.

Laboratorios de Ensayos Nacionales e Internacionales pertenecientes a la RILAA.

En este sentido, los laboratorios deberán presentar su adscripción y pago dentro de los plazos establecidos, en el orden de recepción de las fichas de adscripción y de acuerdo a las características señaladas se realizará la selección o aceptación de su adscripción, asignándose a estos los cupos de participación entregados por ronda.

Para hacer efectiva la participación del laboratorio este deberá cumplir con el trámite de pago antes del despacho de la encomienda PEEC del Ensayo de Aptitud al cual se ha adscrito, a no ser que la autoridad.

Los laboratorios deberán descargar de la planilla de adscripción correspondiente y seguir las instrucciones en ellas señaladas. Ver instrucciones envío de encomiendas PEEC a laboratorios extranjeros. El laboratorio

deberá realizar el tramite de adscripción dentro del plazo de adscripción y pago, el cual esta publicado en la página Web del Instituto de Salud Pública de Chile (http://www.ispch.cl/ensayos-de-aptitud).

La Información requerida en la ficha de adscripción a los laboratorios para su participación en los programas de ensayos de aptitud puede incluir: Nombre Director técnico del Laboratorio; razón social, dirección del laboratorio; teléfono de contacto del laboratorio, teléfono móvil de una persona a cargo, número de fax; dirección de correo electrónico, entre otras informaciones de interés. Cualquier modificación durante el transcurso de la ronda sobre la información allí contenida, debe ser comunicada inmediatamente al organizador. Es importante saber que, si la información proveída por el laboratorio es errónea o insuficiente, el organizador del PEEC no será responsable de las dificultades en la entrega del servicio.

La información solicitada al laboratorio puede ser usada para los siguientes fines:

• Administrativos: cobranza, facturación y reembolsos de los servicios. • Asignación de Código Laboratorio. • Desarrollo del ensayo de aptitud. • Estadística e informe de Evaluación Ensayo de Aptitud. • Envío de correspondencia, entre otros.

En relación a la “Confidencialidad de los Ensayos de Aptitud”, la información al respecto esta publicada en la página Web del Instituto de Salud Pública de Chile (http://www.ispch.cl/ensayos-de-aptitud).

6 de 11

SUBCONTRATACIÓN Los análisis de evaluación de los ítems de ensayo del programa de ensayos de aptitud se pueden eventualmente subcontratar. Cuando se realiza la subcontratación, esta se adjudica a un subcontratista competente. EVALUACION ESTADISTICA El análisis estadístico z-score es utilizado para las rondas de ensayo de aptitud cuantitativo del PEEC MA y QAA.

El z-score es un puntaje de desempeño el cual compara las diferencias entre los resultados de los participantes y el valor asignado en términos de la dispersión aceptable de los resultados o la desviación estándar establecida.

Donde: xa = resultado de los participantes X = valor asignado

σpt = Desviación estándar establecida para el ensayo de aptitud.

Se pueden presentar diferencias al comparar cálculos de z-score realizados por los participantes con los obtenidos con la planilla de cálculo Excel debido a efectos de redondeo. Los informes PEEC reportan los resultados z-score con 2 decimales.

Se asumirá por tanto una distribución normal, para cualquier grupo de datos con distribución normal los Z-score deberán estar entre el rango de ± 2 a ± 3.

Los criterios de aceptabilidad, están definidos por el valor obtenido por cada laboratorio, que son clasificados de la siguiente manera:

≤ 2,00: es decir, entre -2,00 y +2,00 el resultado del laboratorio es satisfactorio.

2,00 < < 3,00: es decir, entre -2,01 y -2,99 y; entre +2,01 y +2,99 el resultado del laboratorio es cuestionable.

> 3,00: el resultado del laboratorio es no satisfactorio, es decir, insatisfactorio.

a) PEEC Microbiología de Alimentos (PEEC- MA):

Se aplica el método de estadística robusta ya que no hay necesidad de rechazar datos y se disminuye el aporte de los datos inconsistentes al calcular los parámetros estadísticos.

El método utilizado para determinar el valor asignado puede variar dependiendo del programa en particular y del material de prueba. Para los ensayos cualitativos los resultados son comparados con los resultados esperados basados en la formulación. Para resultados cuantitativos, el valor asignado es un valor de consenso determinado con la media robusta (mediana) de consenso de todas los resultados. No se considerarán en la evaluación datos informados como “menor que” o “mayor que” ,es decir, ejemplo: > 1000 ufc/g.

Z = X - xa σpt

7 de 11

Posteriormente se calcula un z-score para cada participante. No se calculará el z-score cuando se hayan recibido menos de 8 resultados. Cuando se haya recibido menos resultados, se entregará el z-score solo a modo de información y debe ser interpretado con cautela.

Determinación del Valor Asignado: Es un valor de consenso y corresponde a la mediana de los resultados informados por los laboratorios participantes. En ciertas rondas en las cuales se utilice material de referencia adquirido el valor asignado puede se determinado a partir de los valores de los certificados entregados por el proveedor de material de referencia.

Cálculo de Desviación Estándar Estimada/Robusta o Mediana de todas las Desviaciones Absolutas (MAD): Donde: xi es el resultado de ensayo de cada participante. Para que la MAD resulte equivalente a la desviación estándar de una distribución normal, se multiplica por 1,483. Al valor resultante se le denomina MADe.

b) PEEC Química Ambiental y de Alimentos (PEEC- QAA):

Para fines estadísticos no se considerarán en la evaluación datos informados como “menor que” o bajo el limite de detección reportado por el laboratorio, es decir, ejemplo: <0,01 mg/L o < 5 mg/Kg. Se realizará el análisis de datos inconsistentes en base al método Test de Grubbs solo si se cuenta con una cantidad suficiente de datos, es decir superior a 6 (n > 6), a fin de establecer los valores anómalos. Una vez establecido los datos anómalos, se procede a realizar el análisis estadístico basado en el Z-Score, sin ser excluidos los valores anómalos.

El establecimiento del valor asignado () podrá ser establecido de una de las siguientes maneras:

Obtenido del Certificado del Material de Referencia para el caso del ítem de ensayo adquirido.

Test de Certificación de Material de Referencia elaborado internamente. Eventualmente, cuando el comportamiento observado entre los datos informados por los participantes lo amerite, se podrá realizar el Test de Kernel, para la obtención de valor de consenso, aplicando un 0,75% de la desviación estándar establecida para el ensayo. Y a través del consenso de expertos, se determinará cual es el valor asignado más adecuado para la ronda en estudio. El establecimiento de la desviación estándar del ensayo de aptitud, se realiza a través del modelo

estadístico basado en la ecuación de Horwitz se determina el Coeficiente de variación () para el valor asignado del analito expresada en fracción de masa (c).

= 0,02 c 0.8495

SDh = x 100

MAD = mediana (| xi – mediana |)

8 de 11

En los ensayos de aptitud cualitativos:

En el caso de química en el cual se esté evaluando una característica particular descrita, los resultados informados serán: “Si” o “No”. Ejemplo: Peligrosidad: Si.

En el caso de microbiología Ensayos de presencia/ausencia: Los resultados informados como “cero”, “ausencia”, “negativo”, “<10”, etc., se considerarán como “no detectado”. Cuando los resultados son informados como “presente”, positivo, etc., o cuando se informan valores de enumeración, los resultados serán considerados como “detectado”. En el caso de química se deberá evaluar la característica de acuerdo al valor asignado y el valor reportado, se podría establecer de la siguiente manera: Detección:

Valor asignado

Valor informado

No detectable Detectable

< L.D. Satisfactorio No Satisfactorio

No detectable Satisfactorio No Satisfactorio

Detectable No Satisfactorio Satisfactorio

Característica:

Valor asignado

Valor informado

Si No

Si Satisfactorio No satisfactorio

No No satisfactorio Satisfactorio

En el caso de microbiología se deberá evaluar la característica de acuerdo al valor asignado y el valor reportado, se podría establecer de la siguiente manera:

Detección:

Valor asignado

Valor informado

Presencia Ausencia

Presencia Satisfactorio No Satisfactorio

Ausencia No Satisfactorio Satisfactorio

INFORME Se realiza un informe del ensayo de aptitud 20 días hábiles después del plazo de respuesta establecido. En este informe se entregan los resultados de los laboratorios participantes a través del código interno del laboratorio. El informe describe el listado de participantes, objetivo de la ronda, el ítem de ensayo, la evaluación estadística realizada, evaluación de desempeño de los participantes es representada gráficamente. Los gráficos solo señalan el código único asignado al laboratorio participante. Tal como se ha indicado anteriormente el informe final es publicado en el centro de documentación de la página web del Instituto de Salud Pública de Chile.

9 de 11

TERMINOLOGÍA

Comparación interlaboratorios: Organización, ejecución y evaluación de ensayos sobre los mismos o similares ítems de ensayo por 2 o más laboratorios de acuerdo con condiciones predeterminadas.

Desviación Estándar Robusta o Mediana del valor absoluto de todas las desviaciones (MAD): Corresponde a la mediana del valor absoluto de todas las desviaciones de cada resultado de ensayo respecto a la mediana.

Desviación estándar para la evaluación de aptitud: Medida de la dispersión utilizada en la evaluación de los resultados de la escala de valores y la escala diferencial, sobre los ensayos de aptitud basados en la información disponible.

Ecuación de Horwitz: Modelo estadístico de la precisión de un método analítico o ensayo intra o interlaboratorios, se utiliza como modelo general de reproducibilidad de los métodos analíticos utilizados por los laboratorios, expresada en desviación estándar.

Ensayo de Aptitud (EA): Evaluación del desempeño de los participantes con respecto a criterios previamente establecidos a través de comparaciones interlaboratorios

Ensayo de intercomparación: Tipo de ensayo de aptitud que realiza con una distribución simultanea de laboratorios participantes, se selecciona un material con un valor asignado o certificado contra el cual es comparado el resultado obtenido por el o los participantes. Sirve para indicar el desempeño individual o grupal de los laboratorios.

Ensayo interlaboratorios: Comprende submuestras seleccionadas al azar de una fuente de material que se distribuyen simultáneamente a los laboratorios de ensayo participantes en el ensayo. Ejemplos de ítems de ensayo usados en este tipo de ensayo de aptitud incluyen alimentos, fluidos corporales, agua, suelos y otros materiales ambientales.

Ensayo: Operación técnica que consiste en la determinación de una o más características de un determinado producto, proceso o servicio de acuerdo a un procedimiento especificado.

Ítem de ensayo de aptitud: Muestra, producto, artefacto, material de referencia, parte de un equipo, patrón de medida, conjunto de datos u otra información utilizada para los ensayos de aptitud.

Materia de Referencia Certificado (MRC): Es el material de referencia acompañado de un certificado, en el cual uno o más valores de sus propiedades están certificados por un procedimiento que establece su trazabilidad con una realización exacta de la unidad en la que se expresan los valores de la propiedad, y para la cual, cada valor certificado se acompaña de una incertidumbre, con la indicación de un nivel de confianza.

Material de referencia (MR): Material o sustancia en la cual uno o más valores de sus propiedades son suficientemente homogéneos y están bien definidos para permitir utilizarlos para la calibración de un instrumento, la evaluación de un método de medición, evaluación de desempeño, o la asignación de valores a los materiales.

Mediana: Valor de la variable que deja el mismo número de datos antes y después que él.

PEEC: Programa de Evaluación Externa de Calidad del Instituto de Salud Pública de Chile.

Resultado de ensayo: El valor de una característica obtenido al realizar completamente un método de medición especificado.

Método estadístico robusto: método estadístico insensible a pequeñas desviaciones de las hipótesis iniciales del modelo probabilístico implícito.

Test de Grubbs: Contraste de datos anómalos que comprar la desviación del valor sospechoso y la media muestral con la desviación estándar de la muestra, este contraste supone una distribución de población normal.

Valor anómalo: Miembro de un conjunto de datos que es inconsistente con los otros miembros de dicho conjunto.

10 de 11

Valor asignado: Valor atribuido a una propiedad particular de un ítem de ensayo de aptitud

Z-Score: Estima el error que existe entre el resultado informado y el valor asignado del material de ensayo, y la desviación estándar establecida por el organizador del ensayo de aptitud.

BIBLIOGRAFÍA

ISO 13528:2005 (E). Statistical methods for use in proficiency testing by interlaboratory comparisons.

The International Harmonized Protocol for Proficiency Testing of Analytical Chemistry Laboratories (2006). Pure Appl. Chem. Vol78, pp 145-196.

AMC technical brief (2006). Representing data distribution with kernel density estimates.

“Robust Statistics: a Method of Coping with Outliers”. Royal Society of Chemistry, Analytical Methods Committee, Nº 6, A

“Protocol for Desing, Conduct and Interpretation of Method-Performance Studies”. Pure & Appl.Chem, Vol. 67, Nº 2, pp331-343, 1995

NCh-ISO 17043-2011 Evaluación de la conformidad - Requisitos generales para los ensayos de aptitud

11 de 11

Actualizado por:

Q. Leonor Esquivel M.

T. Diego Ruiz

QF. Soraya Sandoval R.

v.1. 26-11-2012