EVALUACION DE EVALUACION DE RESULTADOS RESULTADOS

INTRAINTRA--LABORATORIOLABORATORIO

EDWIN GUILLENEDWIN GUILLENServicio Nacional de MetrologServicio Nacional de Metrologííaa

INDECOPIINDECOPISimposio de MetrologSimposio de Metrologííaa

Lima Lima –– PERU PERU -- Mayo del 2010Mayo del 20101

EVALUACION DE RESULTADOS EVALUACION DE RESULTADOS INTRAINTRA--LABORATORIOLABORATORIO

INTRODUCCIONINTRODUCCIONLa norma ISO 17025:2005 La norma ISO 17025:2005 ““General requirements General requirements

for the Competence of Testing and Calibration for the Competence of Testing and Calibration LaboratoriesLaboratories”” en el capitulo 5 Requisitos en el capitulo 5 Requisitos TTéécnicos ,accnicos ,acáápite 5.1.1 indica que :pite 5.1.1 indica que :

““Muchos factores determinan si los ensayos y Muchos factores determinan si los ensayos y calibraciones realizadas por un laboratorio son calibraciones realizadas por un laboratorio son correctos y confiables. correctos y confiables. ““

2

Estos factores incluyen contribuciones de :Estos factores incluyen contribuciones de :•• Factores humanos.Factores humanos.•• Instalaciones y Condiciones Ambientales.Instalaciones y Condiciones Ambientales.•• MMéétodos de Ensayos y Calibracitodos de Ensayos y Calibracióón asn asíí

como validacicomo validacióón de mn de méétodos.todos.•• Equipos.Equipos.•• Trazabilidad de la mediciTrazabilidad de la medicióón.n.•• ManipulaciManipulacióón de los objetos a ensayar y n de los objetos a ensayar y

calibrar. calibrar.

3

Todos estos factores contribuyen en Todos estos factores contribuyen en diferentes proporciones e intensidades a la diferentes proporciones e intensidades a la incertidumbre total de la mediciincertidumbre total de la medicióón y difieren n y difieren considerablemente entre los diversos tipos considerablemente entre los diversos tipos de ensayos y calibraciones.de ensayos y calibraciones.

Obtenido el resultado final y calculada su Obtenido el resultado final y calculada su incertidumbre asociada , aincertidumbre asociada , aúún si se considera n si se considera que se estque se estáá cumpliendo con todos los cumpliendo con todos los requisitos trequisitos téécnicos y metrolcnicos y metrolóógicos es gicos es necesario asegurar la calidad de los necesario asegurar la calidad de los resultados.resultados. 4

En efecto, el capEn efecto, el capíítulo 5.9 de la misma norma tulo 5.9 de la misma norma ISO 17025:2005 sobreISO 17025:2005 sobre”” Aseguramiento de la Aseguramiento de la calidad de los resultados de ensayo y calidad de los resultados de ensayo y calibracicalibracióónn““ seseññala que :ala que :

”” ……………… el laboratorio debe tener el laboratorio debe tener procedimientos de control de la calidad para procedimientos de control de la calidad para monitorear la validez de los ensayos y monitorear la validez de los ensayos y calibraciones realizadas.calibraciones realizadas.

Este monitoreo puede incluir lo siguiente:Este monitoreo puede incluir lo siguiente:A) A) …………..B) ParticipaciB) Participacióón en programas de n en programas de comparaciones interlaboratorios o de ensayos comparaciones interlaboratorios o de ensayos de aptitud de aptitud

5

C) RepeticiC) Repeticióón de los ensayos o calibraciones usando n de los ensayos o calibraciones usando el mismo mel mismo méétodo u otro diferente.todo u otro diferente.

D) Reensayo o recalibraciD) Reensayo o recalibracióón de los objetos n de los objetos retenidos.retenidos.

En todos los casos tEn todos los casos tíípicamente se debe comparar picamente se debe comparar si el resultado xsi el resultado x1 1 con incertidumbre asociada Ucon incertidumbre asociada U11es, o no es, compatible con el resultado xes, o no es, compatible con el resultado x2 2 con con incertidumbre asociada Uincertidumbre asociada U22

6

-- En el caso de comparaciones En el caso de comparaciones interlaboratorios, la comparaciinterlaboratorios, la comparacióón puede n puede hacerse a travhacerse a travéés del llamado s del llamado ííndice de ndice de compatibilidad compatibilidad EEnn::

Si Si EEn n es menor o igual que 1 se considera que es menor o igual que 1 se considera que los resultados son compatibles los resultados son compatibles

Si Si EEnn es mayor que 1 se considera que los es mayor que 1 se considera que los resultados NO son compatiblesresultados NO son compatibles

)1....(2

22

1

21

UU

xxEn

7

Sin embargo si ambos resultados son producidos Sin embargo si ambos resultados son producidos en el mismo laboratorio como son los casos C) y en el mismo laboratorio como son los casos C) y D) mencionados arriba o para el importante D) mencionados arriba o para el importante caso de comparar los resultados de dos caso de comparar los resultados de dos analistas del mismo laboratorio en general NO analistas del mismo laboratorio en general NO es aceptable aplicar la misma fes aceptable aplicar la misma fóórmula (1) para el rmula (1) para el ííndice de compatibilidad.ndice de compatibilidad.

8

¿¿ POR QUE NO ES ACEPTABLE ?POR QUE NO ES ACEPTABLE ?

La razLa razóón es que tn es que tíípicamente cuando se producen picamente cuando se producen dos resultados en el dos resultados en el mismomismo laboratorio hay laboratorio hay muchos factores que son muchos factores que son comunescomunes como por como por ejemplo, las magnitudes de influencia en las ejemplo, las magnitudes de influencia en las condiciones ambientales (temperatura, humedad condiciones ambientales (temperatura, humedad relativa, presirelativa, presióón, alimentacin, alimentacióón eln elééctrica, etc. ), ctrica, etc. ), equipos e instrumentos de mediciequipos e instrumentos de medicióón comunes, n comunes, mméétodos y procedimientos de calibracitodos y procedimientos de calibracióón n comunes, etc. comunes, etc.

Al haber varios factores de influencia que son Al haber varios factores de influencia que son comunes los resultados estcomunes los resultados estáán, casi n, casi generalmente, generalmente, altamente correlacionadosaltamente correlacionados .. 9

Por lo tanto al calcular la incertidumbre Por lo tanto al calcular la incertidumbre combinada de la diferencia combinada de la diferencia IIxx11 -- xx22 II no no puede despreciarse esta correlacipuede despreciarse esta correlacióón y por lo n y por lo tanto dicha incertidumbre combinada ya no tanto dicha incertidumbre combinada ya no es simplemente la raes simplemente la raííz cuadrada de :z cuadrada de :

Sino que habrSino que habríía que aa que aññadir el tadir el téérmino que rmino que tiene en cuenta esta alta correlacitiene en cuenta esta alta correlacióónn

22

21 UU

10

Calcular este tCalcular este téérmino de la notable rmino de la notable correlacicorrelacióón existente, muchas veces no es n existente, muchas veces no es ffáácil , ademcil , ademáás ts tíípicamente no es un picamente no es un ttéérmino positivo sino mas bien negativo lo rmino positivo sino mas bien negativo lo cual es lcual es lóógico ya que al haber varios gico ya que al haber varios factores comunes los dos resultados xfactores comunes los dos resultados x11 ; ; xx22 deberdeberíían tender a parecerse man tender a parecerse máás s entre si y por lo tanto la diferencia entre entre si y por lo tanto la diferencia entre ellos deberellos deberíía ser ma ser máás peques pequeñña y la a y la incertidumbre de la diferencia deberincertidumbre de la diferencia deberíía a ser correspondientemente mser correspondientemente máás peques pequeññaa. .

Por otro lado la comparaciPor otro lado la comparacióón entre los n entre los resultados de dos analistas del mismo resultados de dos analistas del mismo laboratorio puede ser tan importante laboratorio puede ser tan importante como para determinar la competencia como para determinar la competencia ttéécnica de los mismos.cnica de los mismos.

En efecto , la norma ISO 17025:2005 en En efecto , la norma ISO 17025:2005 en su acsu acáápite 5.2.1 indica que :pite 5.2.1 indica que :

12

““La direcciLa direccióón del laboratorio debe ASEGURAR LA n del laboratorio debe ASEGURAR LA COMPETENCIA TECNICA DE TODOS LOS QUE COMPETENCIA TECNICA DE TODOS LOS QUE OPERAN EQUIPOS ESPECIFICOS, REALIZAN OPERAN EQUIPOS ESPECIFICOS, REALIZAN ENSAYOS Y/O CALIBRACIONES, EVALUAN LOS ENSAYOS Y/O CALIBRACIONES, EVALUAN LOS RESULTADOS Y FIRMAN LOS INFORMES DE RESULTADOS Y FIRMAN LOS INFORMES DE ENSAYO Y CERTIIFICADOS DE CALIBRACION ENSAYO Y CERTIIFICADOS DE CALIBRACION ……....

El personal debe estar calificado sobre la base de una El personal debe estar calificado sobre la base de una apropiada apropiada ………… HABILIDAD DEMOSTRADA ..HABILIDAD DEMOSTRADA ..

¿¿CCóómo puede el laboratorio ASEGURAR LA mo puede el laboratorio ASEGURAR LA COMPETENCIA TECNICA DE TODO ese COMPETENCIA TECNICA DE TODO ese personal ?personal ?

¿¿CCóómo puede demostrarse objetivamente mo puede demostrarse objetivamente esa competencia tesa competencia téécnica y esa habilidad ?cnica y esa habilidad ?

13

Una buena manera es justamente comparando Una buena manera es justamente comparando apropiadamente sus resultados intralaboratorio.apropiadamente sus resultados intralaboratorio.

El criterio que se propone puede ser aplicable si El criterio que se propone puede ser aplicable si el laboratorio ya puede confiar en que al menos el laboratorio ya puede confiar en que al menos uno de sus analistas tiene dicha competencia, uno de sus analistas tiene dicha competencia, posiblemente porque es el analista de mayor posiblemente porque es el analista de mayor experiencia y habilidad y es el analista que experiencia y habilidad y es el analista que participparticipóó haciendo las mediciones en una haciendo las mediciones en una comparacicomparacióón interlaboratorios en la cual el n interlaboratorios en la cual el laboratorio ha participado con laboratorio ha participado con ééxito.xito.

Denotemos por comodidad a ese analista como el Denotemos por comodidad a ese analista como el analista 1 y su resultado como analista 1 y su resultado como xx11 y su y su incertidumbre como incertidumbre como UU1 1

14

Cuando se desea saber si otro analista cualquiera, Cuando se desea saber si otro analista cualquiera, llamllaméémosle el analista 2, tiene competencia mosle el analista 2, tiene competencia ttéécnica , una forma de demostrarlo cnica , una forma de demostrarlo objetivamente es comparando los resultados e objetivamente es comparando los resultados e incertidumbres del analista 2 con los del incertidumbres del analista 2 con los del analista 1 .analista 1 .

Si se demuestra que los resultados son Si se demuestra que los resultados son metrolmetrolóógicamente compatibles, esto es una gicamente compatibles, esto es una evidencia objetiva de que el analista 2 da evidencia objetiva de que el analista 2 da resultados compatibles con los del analista 1 y resultados compatibles con los del analista 1 y por lo tanto que tambipor lo tanto que tambiéén puede confiarse en la n puede confiarse en la competencia tcompetencia téécnica del analista 2 .cnica del analista 2 .

15

Solo una vez que la competencia tSolo una vez que la competencia téécnica del cnica del analista 2 ha sido demostrada objetivamente la analista 2 ha sido demostrada objetivamente la direccidireccióón del laboratorio debern del laboratorio deberíía emitir la a emitir la autorizaciautorizacióón formal a dicho analista 2 para hacer n formal a dicho analista 2 para hacer ese tipo de ensayos o calibraciones , tal como se ese tipo de ensayos o calibraciones , tal como se dice en el acdice en el acáápite 5.2.5 de la norma ISO 17025:pite 5.2.5 de la norma ISO 17025:

““ La direcciLa direccióón del laboratorio debe autorizar personal n del laboratorio debe autorizar personal especespecíífico para realizar tipos particulares de fico para realizar tipos particulares de muestreos, ensayos y/o calibraciones particulares, muestreos, ensayos y/o calibraciones particulares, emitir informes de ensayos y certificados de emitir informes de ensayos y certificados de calibracicalibracióón, dar opiniones e interpretaciones y n, dar opiniones e interpretaciones y manejar tipos particulares de equipos.manejar tipos particulares de equipos.

16

El laboratorio debe El laboratorio debe mantener registrosmantener registrospertinentes de las pertinentes de las autorizacionesautorizaciones, , de la de la competencia tcompetencia téécnicacnica………………habilidadeshabilidades de todo el de todo el personal tpersonal téécnico incluyendo el personal cnico incluyendo el personal contratado. Esta informacicontratado. Esta informacióón debe estar n debe estar ffáácilmente disponible y debe incluir la fecha en cilmente disponible y debe incluir la fecha en la cual se CONFIRMO la autorizacila cual se CONFIRMO la autorizacióón y/o la n y/o la COMPETENCIA TECNICACOMPETENCIA TECNICA””

17

Volvamos entonces al problema de cVolvamos entonces al problema de cóómo calcular mo calcular adecuadamente un adecuadamente un ííndice de compatibilidad entre ndice de compatibilidad entre dos resultados altamente correlacionados , es dos resultados altamente correlacionados , es decir:decir:

““Si el resultado xSi el resultado x1 1 con con incertidumbre asociada Uincertidumbre asociada U11 es, o es, o no es, compatible con el resultado no es, compatible con el resultado xx2 2 con incertidumbre con incertidumbre

asociada Uasociada U22 , estando , estando xx11 y y xx22altamente correlacionadosaltamente correlacionados““

18

Dado que evaluar el tDado que evaluar el téérmino de correlacirmino de correlacióón no es n no es ffáácil entonces para evaluar la compatibilidad de cil entonces para evaluar la compatibilidad de ambos resultados se propone el siguiente ambos resultados se propone el siguiente criterio:criterio:

19

CRITERIO PROPUESTO CRITERIO PROPUESTO PARA LA COMPATIBILIDAD PARA LA COMPATIBILIDAD

ENTRE DOS RESULTADOS ENTRE DOS RESULTADOS INTRAINTRA-- LABORATORIOLABORATORIO

20

A continuaciA continuacióón por comodidad se tratarn por comodidad se trataráá el caso el caso de dos analistas 1 y 2 pero el criterio es de dos analistas 1 y 2 pero el criterio es igualmente aplicable a cualquier par de resultados igualmente aplicable a cualquier par de resultados 1 y 2 del mismo laboratorio para los cuales se 1 y 2 del mismo laboratorio para los cuales se desea saber si son compatibles o no. desea saber si son compatibles o no.

En particular es aplicable a los dos casos c) y d) que En particular es aplicable a los dos casos c) y d) que menciona la norma ISO 17025 en sumenciona la norma ISO 17025 en su capitulo 5.9capitulo 5.9 ::

c) Repeticic) Repeticióón de los ensayos o calibraciones usando n de los ensayos o calibraciones usando el mismo mel mismo méétodo u otro diferente.todo u otro diferente.

d) Reensayo o recalibracid) Reensayo o recalibracióón de los objetos retenidos.n de los objetos retenidos.

21

CRITERIO PROPUESTOCRITERIO PROPUESTO Un analista 1 efectUn analista 1 efectúúa na n11 veces el mismo ensayo veces el mismo ensayo

o calibracio calibracióón y obtiene nn y obtiene n11 resultados (por resultados (por ejemplo nejemplo n11 = 4 veces) . = 4 veces) .

Denotemos el promedio de sus nDenotemos el promedio de sus n11 resultados resultados como xcomo x11 , y la desviaci, y la desviacióón estn estáándar de los nndar de los n11resultados como sresultados como s11 ..

22

Similarmente un analista 2 efectSimilarmente un analista 2 efectúúa a nn22 veces el veces el mismo ensayo o calibracimismo ensayo o calibracióón y obtienen y obtiene nn22resultados (por ejemplo resultados (por ejemplo nn22 = = 4 veces4 veces) . ) . Denotemos el promedio de sus Denotemos el promedio de sus nn22 resultados resultados como como xx22 , , y la desviaciy la desviacióón estn estáándar de los ndar de los nn2 2 resultados como resultados como ss2 2 ..

23

Las desviaciones estLas desviaciones estáándar ndar ss1 1 y sy s22deberdeberíían ser tambian ser tambiéén suficientemente n suficientemente pequepequeññasas. .

En principio se espera que En principio se espera que ss11 sea menor sea menor que la menor incertidumbre expandida que la menor incertidumbre expandida de los de los nn1 1 resultados obtenidas por el resultados obtenidas por el analista 1 y que analista 1 y que ss22 sea menor que la sea menor que la menor incertidumbre expandida de los menor incertidumbre expandida de los nn2 2 resultados obtenidos por el analista 2resultados obtenidos por el analista 2 . .

24

Si se considera que la diferencia entre los dos Si se considera que la diferencia entre los dos resultados resultados (x (x 1 1 –– xx2 2 ) ) se debe esencialmente a se debe esencialmente a la variabilidad aleatoria de las magnitudes de la variabilidad aleatoria de las magnitudes de influencia en el curso de la mediciinfluencia en el curso de la medicióón n entonces entonces podrpodríía aplicarse el criterio de que la a aplicarse el criterio de que la diferenciadiferencia II x x 11 –– xx22 I I no debe ser mno debe ser máás grande s grande que la razonable variacique la razonable variacióón esperada solo por la n esperada solo por la variabilidad aleatoria de las magnitudes de variabilidad aleatoria de las magnitudes de influencia en el curso de la mediciinfluencia en el curso de la medicióón.n.

25

Entonces para comparar las repetibilidades de Entonces para comparar las repetibilidades de ambos analistas aplicamos el test ambos analistas aplicamos el test FF de Fisherde Fisher--Snedecor . Snedecor .

SegSegúún el acn el acáápite 1.3.5.9 del manual estadpite 1.3.5.9 del manual estadíístico stico on line del NIST formamos el estadon line del NIST formamos el estadíístico stico FFdado por: dado por:

)2(....................21

22

ssF

26

Claramente se observa que entre mClaramente se observa que entre máás s parecidas sean entre sparecidas sean entre síí las repetibilidades las repetibilidades de los dos analistas , es decir entre mde los dos analistas , es decir entre máás s se parezcan entre sse parezcan entre síí ss1 1 y sy s2 2 entonces entonces el estadel estadíístico stico FF serseráá mmáás cercano a 1 .s cercano a 1 .

27

Escojamos la designaciEscojamos la designacióón de los analistas 1 n de los analistas 1 y 2 , que hasta aquy 2 , que hasta aquíí ha sido arbitraria, de ha sido arbitraria, de modo que se le asigne el numero 1 al modo que se le asigne el numero 1 al analista que muestra la manalista que muestra la máás peques pequeñña s , a s , por lo que por lo que F F siempre sersiempre seráá mayor o igual mayor o igual que 1 . Posiblemente el analista 1 sea el que 1 . Posiblemente el analista 1 sea el mmáás experimentado.s experimentado.

El nEl núúmero de grados de libertad para los mero de grados de libertad para los resultados 1 y 2 son respectivamente:resultados 1 y 2 son respectivamente:

)3...(..........111 n

)4....(..........122 n

29

Escojamos un nivel de significancia Escojamos un nivel de significancia adecuado para el test adecuado para el test FF . .

Es muy usual adoptar un nivel de Es muy usual adoptar un nivel de significancia del 95% , por lo que en las significancia del 95% , por lo que en las tablas de la distribucitablas de la distribucióón n FF (o usando las (o usando las herramientas estadherramientas estadíísticas del Excel que sticas del Excel que lo da directamente) puede verse que para lo da directamente) puede verse que para un nivel de significancia del 95 % con vun nivel de significancia del 95 % con v11 yyvv22 grados de libertad en el numerador se grados de libertad en el numerador se tiene un valor dado que llamamos el tiene un valor dado que llamamos el FF criticocritico30

En el caso del ejemplo dado, para 3 En el caso del ejemplo dado, para 3 grados de libertad en el denominador y 3 grados de libertad en el denominador y 3 grados de libertad en el numerador , con grados de libertad en el numerador , con un nivel de significancia del un nivel de significancia del 95% 95% se tiene se tiene ::

FF criticocritico = 9,2766= 9,2766

31

porpor lo que slo que s22 no puede ser mayor que:no puede ser mayor que:

veces la desviaciveces la desviacióón estn estáándar de ndar de ss1 1 ..

046,32766,9 críticoF

32

La desviaciLa desviacióón estn estáándar ponderada de los ndar ponderada de los dos resultados estdos resultados estáá dada pordada por::

)5....(..........21

222

211

sssp

Denotamos como Denotamos como E E tt el coeficiente de el coeficiente de compatibilidad para los resultados de los dos compatibilidad para los resultados de los dos analistas.analistas.

SegSegúún se deduce del acn se deduce del acáápite 1.3.5.3 del manual pite 1.3.5.3 del manual estadestadíístico on line del NIST; stico on line del NIST; E E tt estestáá dado pordado por::

)6......(........../1/1 21

21

nnstxx

Epcritico

t

donde donde ttcriticocritico es el valor que se obtiene en las es el valor que se obtiene en las tablas de la distribucitablas de la distribucióón t de Student para un n t de Student para un nivel de probabilidad escogido ( tnivel de probabilidad escogido ( tíípicamente 95 picamente 95 % ) y para (v% ) y para (v11+v+v22 ) grados de libertad.) grados de libertad.

34

Para el caso del ejemplo se tienen (3+3) = 6 Para el caso del ejemplo se tienen (3+3) = 6 grados de libertad y para un 95% de grados de libertad y para un 95% de probabilidad, entonces el valor deprobabilidad, entonces el valor de t t critico critico es es 2,45. 2,45.

Esto puede verse tambiEsto puede verse tambiéén en la tabla G.2 de la n en la tabla G.2 de la GuGuíía de Incertidumbre (GUM) .a de Incertidumbre (GUM) .

35

Si Si E E tt es menor o igual que 1 se concluye que es menor o igual que 1 se concluye que no hay diferencia estadno hay diferencia estadíísticamente significativa sticamente significativa entre los resultados del analista 1 con los entre los resultados del analista 1 con los resultados del analista 2 y por lo tanto sus resultados del analista 2 y por lo tanto sus resultados son compatibles .resultados son compatibles .

Si Si E E tt es mayor que 1 se concluye que ses mayor que 1 se concluye que síí hay hay diferencia estaddiferencia estadíísticamente significativa entre sticamente significativa entre los resultados del analista 1 con los resultados los resultados del analista 1 con los resultados del analista 2 y por lo tanto sus resultados NO del analista 2 y por lo tanto sus resultados NO son compatibles.son compatibles.

36

EJEMPLOEJEMPLO

37

SU ATENCION !!

38