14.aseguramiento calidad_stma. scada

Tabla de Contenido

Especificaciones Tcnicas SCADA/OMS-MWM/DMS

14- Aseguramiento de la Calidad

14-1 Proyecto SIGDE

Abril 2012

14. Aseguramiento de la Calidad .......................................................................................................................................... 14-1

14.1 Programa de Aseguramiento de la Calidad ................................................................................................. 14-2

14.2 Inspeccin .................................................................................................................................................................. 14-2

14.3 Responsabilidades de las Pruebas ................................................................................................................... 14-3

14.4 Documentos de Prueba ....................................................................................................................................... 14-4

14.4.1 Planes de Prueba .................................................................................................................................... 14-4

14.4.2 Procedimientos de Prueba ................................................................................................................. 14-5

14.4.3 Registros de Pruebas ............................................................................................................................ 14-6

14.5 Registro y Resolucin de Desviaciones.......................................................................................................... 14-7

14.5.1 Registros de Desviacin ...................................................................................................................... 14-8

14.5.2 Resolucin de Desviaciones............................................................................................................ 14-12

14.6 Programacin de Pruebas ................................................................................................................................ 14-12

14.6.1 Iniciacin de la Prueba ...................................................................................................................... 14-13

14.6.2 Finalizacin de las Pruebas ............................................................................................................. 14-14

14.6.3 Suspensin de las Pruebas .............................................................................................................. 14-14

14.7 Modificaciones al SCADA/OMS-MWM/DMS durante las Pruebas.................................................. 14-15

14.8 Pruebas Preliminares en Fbrica .................................................................................................................... 14-15

14.9 Pruebas de Fbrica (FAT) .................................................................................................................................. 14-16

14.9.1 Pruebas de los Equipos .................................................................................................................... 14-17

14.9.2 Prueba Funcional................................................................................................................................. 14-18

14.9.3 Pruebas de Desempeo ................................................................................................................... 14-21

14.9.4 Prueba de Estabilidad ........................................................................................................................ 14-22

14.9.5 Pruebas no Estructuradas ................................................................................................................ 14-23

14.9.6 Auditora de Cyber Seguridad ........................................................................................................ 14-23

14.10 Pruebas en Sitio (SAT) ........................................................................................................................................ 14-25

14.10.1 Pruebas de Instalacin ...................................................................................................................... 14-25

14.10.2 Pruebas Funcionales y de Desempeo en el Sitio ................................................................. 14-26

14.10.3 Auditora de Cyber Seguridad en el Sitio .................................................................................. 14-26

14.11 Pruebas de Disponibilidad ............................................................................................................................... 14-26

14.11.1 Pruebas de Actividad ......................................................................................................................... 14-27

14.11.2 Definiciones de la Prueba ................................................................................................................ 14-27

14.11.3 Duracin y Criterios para Aprobacin ........................................................................................ 14-30



14-1 Proyecto SIGDE

Abril 2012

14. Aseguramiento de la Calidad

1. Su objetivo es asegurar que el Contratista entregue un SCADA/OMS-MWM/DMS diseado y

desarrollado con las mejores prcticas de Ingeniera y que cumpla con los requerimientos del

contrato.

2. Se debern realizar pruebas en fbrica (FAT) del Sistema SCADA/OMS-MWM/DMS, que

comprenda los elementos de hardware que sean representativos de los sistemas objeto del

suministro, teniendo en cuenta el nmero de sistemas que sern suministrados y que se

dispondr de una plataforma similar para los diferentes sistemas. Con este propsito se

tendr en cuenta lo siguiente:

a. Se instalarn en sta plataforma todos los elementos de software, en particular la

funcionalidad SCADA/OMS-MWM/DMS, con todos los protocolos objeto del contrato.

b. Se instalar la base de datos del Contratante.

c. Con suficiente antelacin, el Contratista presentar la arquitectura y funcionalidad a ser

probada y los protocolos para las pruebas previas (Pre-Fat) y de fbrica (FAT) aplicables.

3. Se probarn los protocolos de comunicacin, aplicaciones y equipos particulares.

4. Las pruebas en sitio (SAT) y de disponibilidad se realizarn individualmente para cada una de

las 7 empresas.

5. El personal por parte del Contratista, responsable de las pruebas, deber acreditar el

cumplimiento de lo estipulado en la Seccin 16: Implementacin y Gestin (numeral 16.2.2).

Durante las fases de pruebas, el personal responsable del Contratista, deber ser de

dedicacin exclusiva a sta actividad.



14-2 Proyecto SIGDE

Abril 2012

6. Una vez presentadas las ofertas y previo a la adjudicacin del contrato, el Contratante se

reserva el derecho de verificar en fbrica, y con algunos de los clientes con plataformas

similares en funcionamiento, las funcionalidades del Sistema SCADA/OMS-MWM/DMS

ofertado.

14.1 Programa de Aseguramiento de la Calidad

1. El Contratista emplear en ste proyecto tcnicas y prcticas de aseguramiento de la calidad

(QA).

2. El aseguramiento de la calidad incluir la preparacin de todos los entregables del contrato,

inclusive documentacin, hardware y software.

3. Se garantizar la minimizacin de defectos, deteccin temprana de deficiencias reales o

potenciales, acciones correctivas oportunas y eficaces, adicionalmente presentar un

mtodo para rastrear tales deficiencias hasta su correccin.

4. El Contratista entregar al Contratante, copia documentada de los estndares de

aseguramiento de calidad junto con las polticas y procedimientos aplicables.

14.2 Inspeccin

1. El Contratante tendr acceso a las instalaciones del Contratista durante el diseo, fabricacin

y pruebas del sistema y a cualquier otra instalacin en donde se elabore el hardware o

software.

2. El Contratista suministrar instalaciones de oficina, equipos y documentacin necesarios

para el acompaamiento por parte del Contratante durante la etapa de diseo, as como

para realizar todas las inspecciones y verificar que el SCADA/OMS-MWM/DMS, est siendo

fabricado y mantenido de acuerdo con la especificacin.



14-3 Proyecto SIGDE

Abril 2012

3. Se permitir inspeccionar al Contratante: registros, procedimientos y estndares de

aseguramiento de calidad del hardware y software del Contratista.

14.3 Responsabilidades de las Pruebas

1. Tanto el Contratante, como el Contratista procedern a designar por escrito y con

anterioridad al inicio de las pruebas en fbrica, un coordinador para estas labores. El

coordinador de pruebas deber:

a. Asegurarse que las pruebas se lleven a cabo de acuerdo a los requerimientos estipulados

en el contrato.

b. Tener autoridad para establecer compromisos vinculantes para su empleador como son

las aprobaciones de resultados de pruebas y programacin de correcciones de

desviaciones.

2. El Contratista se har responsable de todas las pruebas en fbrica. Esta responsabilidad

incluir la conduccin de las pruebas, mantenimiento de todos los registros y produccin de

documentos.

3. El Contratante participar en las pruebas en fbrica con el personal necesario para realizar los

procedimientos de prueba bajo la supervisin y direccin del Contratista.

4. El Contratista ser responsable de todas las pruebas realizadas en sitio. Esta responsabilidad

incluir la supervisin de las mismas, el mantenimiento de todos los registros y la produccin

de documentos. El Contratante participar activamente en el desarrollo de las pruebas

ejecutndolas y coordinando todas las actividades que impliquen alguna intervencin en la

red elctrica bajo la supervisin del Contratista. Este suministrar copias al Contratante de los

registros de pruebas en el sitio.



14-4 Proyecto SIGDE

Abril 2012

5. El Contratista soportar las pruebas en el sitio suministrando el personal suficiente y

necesario para la supervisin y ejecucin de dichas pruebas. Adicionalmente de ser

necesario, el Contratista suministrar el soporte remoto requerido para las pruebas en sitio,

previa aprobacin del Contratante, respetando siempre las normas de seguridad ciberntica

de las instalaciones.

6. Durante las pruebas el Contratista no podr realizar el mantenimiento o actualizacin del

SCADA/OMS-MWM/DMS.

14.4 Documentos de Prueba

1. Los planes, procedimientos, protocolos y registros de prueba, sern suministrados por el

Contratista para todas las pruebas y se sometern a la aprobacin del Contratante.

2. Los planes y procedimientos de prueba enfatizarn las pruebas de cada requerimiento

funcional, revisando: condiciones de error y documentando las tcnicas de simulacin

aplicadas.

3. Los planes y procedimientos de prueba sern modulares para permitir que los segmentos de

prueba individuales se puedan repetir segn sea necesario.

14.4.1 Planes de Prueba

1. Los planes de prueba describirn el proceso general incluyendo responsabilidades de las

personas y documentacin de los resultados de las pruebas.

2. Se incluirn los siguientes elementos en los planes de prueba:

a. Programacin de la prueba.

b. Las responsabilidades del personal del Contratista y del Contratante incluyendo tareas

de mantenimiento de registro.



14-5 Proyecto SIGDE

Abril 2012

c. Cualquier formulario que deba ser llenado como parte de las pruebas, deber contener

las instrucciones para su llenado.

d. Procedimientos para monitorear, corregir y probar las desviaciones.

e. Procedimientos para controlar y documentar todos los cambios que se le hagan al

hardware y software despus del inicio de las pruebas.

f. Diagrama de bloques de la configuracin de prueba del hardware incluyendo equipos

suministrados por el Contratista y el Contratante, canales externos de comunicaciones y

cualquier hardware de prueba o simulacin.

3. Los planes de prueba se suministrarn para pruebas en fbrica (FAT), en sitio (SAT) y de

disponibilidad.

14.4.2 Procedimientos de Prueba

1. Los procedimientos de prueba describirn los mtodos y procesos que deben aplicarse en

las pruebas del SCADA/OMS-MWM/DMS.

2. Los procedimientos de prueba sern por mdulos, de tal manera que se puedan probar

independientemente las funciones individuales del SCADA/OMS-MWM/DMS asegurando

que los ensayos avancen de manera lgica. Esta seccin utiliza el trmino segmento para

referirse a una parte de nivel ms global de un procedimiento de prueba y el trmino paso

para referirse al nivel ms detallado de instruccin de prueba.

3. Los procedimientos de prueba incluirn los siguientes tems:

a. Nombre de la funcin que debe probarse.



14-6 Proyecto SIGDE

Abril 2012

b. Referencias a documentos funcionales de: diseo, usuario y otros que describan la

funcin.

c. Listado de segmentos de prueba que deben realizarse y descripcin del propsito de

cada segmento.

d. Las configuraciones y condiciones para cada segmento, incluyendo descripciones de

equipo y datos de prueba a suministrar por el Contratista y el Contratante.

e. Descripcin de tcnicas y escenarios a utilizar para simular entradas de campo al sistema

y equipamiento controlado.

f. Descripciones, listas e instrucciones para todas las herramientas y despliegues del

software de prueba.

g. Descripciones paso a paso de cada segmento de prueba, incluyendo las entradas y

acciones de usuario para cada paso en el ensayo.

h. Formularios para el registro de los resultados de las pruebas.

i. Resultados esperados para cada segmento, incluyendo los criterios de aprobacin y

falla.

j. Pruebas certificadas, aprobadas por el Contratante, que sern utilizadas en lugar de la

prueba en fbrica.

14.4.3 Registros de Pruebas

1. Se mantendrn registros completos de todos los resultados. Estos registros estarn

relacionados con los procedimientos de prueba.

2. Se incluirn los siguientes tems en los registros de prueba:



14-7 Proyecto SIGDE

Abril 2012

a. Referencia al procedimiento adecuado.

b. Fecha.

c. Descripcin de condiciones de prueba, fecha de entrada o acciones de usuario que

difieran de lo descrito en el procedimiento.

d. Resultados para cada segmento incluyendo indicacin de aprueba/no aprueba y un

registro que indique que se realizaron cada uno de los pasos. Toda la informacin

obtenida durante la ejecucin de la prueba como: mediciones, clculos o tiempos se

registrarn en los resultados.

e. Identificacin de los representantes del Contratista y el Contratante que ejecutan y

observan las pruebas.

f. Comentarios hechos por los representantes del Contratante.

g. Referencias a todos los reportes de desviaciones generados.

h. Copias de reportes, despliegues y dems documentos generados como parte de la

prueba.

14.5 Registro y Resolucin de Desviaciones

1. El Contratista establecer un proceso para registrar y hacer un seguimiento a las

desviaciones. Este proceso se iniciar desde la prueba inicial Pre-FAT del componente y

deber mantenerse continuamente durante toda la vida del sistema.

2. Tanto el Contratista, como el Contratante podrn identificar y registrar desviaciones en

cualquier momento.



14-8 Proyecto SIGDE

Abril 2012

3. Se utilizarn las desviaciones para registrar las deficiencias del sistema, en todas las fases de

ejecucin del proyecto, incluyendo:

a. En la documentacin.

b. Funcionales.

c. De desempeo.

d. De procedimiento (por ejemplo: cuando se observan desviaciones con respecto de los

procedimientos de QA, requeridos por el contrato).

e. De prueba (por ejemplo: cuando el sistema no puede completar satisfactoriamente un

procedimiento de prueba, debido a que existe algn problema con la prueba).

4. El proceso de registro de las desviaciones permitir elaborar reportes de toda la informacin

de la desviacin.

5. Los reportes de desviacin estarn a disposicin permanente del Contratante por medio de

un mecanismo tipo Web de fcil acceso y mantenido por el Contratista por todo el tiempo

de soporte al Sistema.

6. El Contratista distribuir peridicamente un resumen de desviaciones que liste para cada

una: el nmero de reporte, una breve visin general de la desviacin, su categora y su

prioridad adems de la informacin asociada a su correccin.

14.5.1 Registros de Desviacin

1. El registro de cada desviacin incluir la siguiente informacin:

a. Hora y fecha del descubrimiento inicial de la desviacin.



14-9 Proyecto SIGDE

Abril 2012

b. Nmero de desviacin, dato nico y secuencial asignado cuando se ingresa la desviacin

en el sistema de seguimiento.

c. Identificacin de la persona que emite la desviacin y nombres de los dems testigos o

personal del Contratante o Contratista.

d. Identificacin del componente SCADA/OMS-MWM/DMS, tal como un tem del hardware

o funcin del software, contra el cual se escribe la desviacin.

e. Identificacin del plan o procedimiento de prueba, si fuese aplicable. La etapa o paso del

plan o procedimiento debern ser identificados.

f. Registro de eventos especiales (Prdida de energa, Prdida de la red de comunicaciones,

etc.) en el sistema en prueba, ocurridos durante la ejecucin del plan.

g. Una visin general de la desviacin para uso en bsquedas de palabras clave.

h. Descripcin detallada de la desviacin.

i. Categora de desviacin:

i. Abierta (se registra, pero no se programa para accin futura).

ii. Asignada (programada para accin futura).

iii. Pendiente (la desviacin se encuentra resuelta pero no probada o bien la resolucin

propuesta se est monitoreando para saber si est o no completa).

iv. Cerrada (el Contratante acept la resolucin).

j. Fecha de asignacin dentro de cada categora.

k. Prioridad de desviacin acordada mutuamente:



14-10 Proyecto SIGDE

Abril 2012

i. Crtica.- identifica un problema que impide el uso de una funcin crtica del sistema

SCADA/OMS-MWM/DMS, que sea esencial para la operacin del sistema elctrico del

Contratante.

ii. Alta.- denota la falla del SCADA/OMS-MWM/DMS, en realizar una operacin requerida

de una manera que reduce significativamente: su utilidad, sus funciones, o que retarden

pruebas posteriores del SCADA/OMS-MWM/DMS u otras.

iii. Media.- denota la falla del SCADA/OMS-MWM/DMS en realizar una operacin

requerida de una manera que reduce la utilidad del SCADA/OMS-MWM/DMS o sus

funciones.

iv. Baja.- denota la falla del SCADA/OMS-MWM/DMS en realizar una operacin requerida

de manera que reduce la utilidad del SCADA/OMS-MWM/DMS, solo ligeramente. Las

desviaciones que registran fallas transitorias, es decir fallas que no pueden ser

reproducidas rpidamente, se asignarn inicialmente a esta prioridad. Las ocurrencias

posteriores de la falla transitoria darn como resultado un aumento de la prioridad de

la desviacin.

l. Descripcin de la resolucin incluyendo: identificacin de todo el hardware, software,

documentos modificados o cambiados de alguna u otra manera, nombres del personal

del Contratista o Contratante que participen en la resolucin.

m. Registro de todas las pruebas efectuadas.

n. Identificacin del personal del Contratante que acepta la resolucin y fecha de aceptacin.

2. El Contratista y el Contratante se reunirn para revisar la lista de desviaciones. Se seguirn

estas guas para programar las correcciones:




Abril 2012

a. Se programar un plan de correccin de desviaciones crticas y de alta prioridad en el

plazo de un da de trabajo a partir del descubrimiento del evento. El Contratista asignar

recursos para la correccin de desviaciones crticas, para corregir la desviacin dentro de

los dos das hbiles siguientes a su apertura, con la colaboracin del Contratante de ser

necesario.

b. El Contratante y el Contratista establecern una fecha para la correccin de desviaciones

crticas y altamente prioritarias, teniendo en cuenta que:

i. Si el SCADA/OMS-MWM/DMS, se encuentra en pruebas se debe corregir el problema

antes de proseguir con las pruebas; si el sistema se encuentra en produccin, se debe

corregir la desviacin con una solucin o un work around dentro de un plazo no

mayor a 24 horas y una solucin definitiva dentro de la semana calendario a partir del

descubrimiento de este caso.

ii. En ningn caso, se aceptar el embarque del sistema en prueba sin haber sido

solucionadas todas las desviaciones crticas o de alta prioridad.

c. La programacin de correccin de todas las desviaciones medias y bajas se har dentro

de los tres das hbiles siguientes a su reporte.

d. El Contratante y el Contratista establecern una fecha para la correccin de desviaciones

de prioridad media teniendo en cuenta que:

i. Si el SCADA/OMS-MWM/DMS se encuentra en uso productivo, se har la correccin de

la desviacin dentro de los siguientes quince (15) das contados a partir de su

descubrimiento.

ii. En ningn caso se proceder al inicio de una prueba posterior o inicio de la garanta del

sistema sin la solucin de desviaciones de prioridad media.




Abril 2012

e. Las desviaciones de baja prioridad podrn programarse para correccin en cualquier

momento, pero sin excederse de un mes calendario, contado a partir de su

descubrimiento.

f. No se comenzar el perodo de garanta, sin la correccin de todas las desviaciones

previamente detectadas, independientemente de su prioridad.

14.5.2 Resolucin de Desviaciones

1. El Contratista dar todos los pasos razonables para verificar que la correccin ha resuelto la

desviacin, y actualizar el registro de la desviacin para que se refleje la accin correctiva

tomada. El Contratista programar luego, conjuntamente con el Contratante, cualquier

prueba a realizar.

2. El Contratista soportar todas y cada una de las pruebas que se consideren necesarias por

parte del Contratante con el fin de verificar las correcciones.

3. Se considera que una desviacin est resuelta nicamente mediante la aceptacin escrita de

la correccin por parte del Contratante que podr gestionarse por el ingreso en la base de

datos del sistema de seguimiento de las desviaciones del Contratante y utilizando una

notificacin enviada al Jefe de Proyecto del Contratista.

14.6 Programacin de Pruebas

1. El Contratista suministrar un plan detallado de pruebas del sistema incluyendo integracin

final del sistema, pruebas preliminares en fabrica, pruebas en fbrica y pruebas en sitio todo

en conformidad con las fases del proyecto que incluir todos los aspectos y componentes

del SCADA/OMS-MWM/DMS, todo ello sometido a la aprobacin del Contratante.




Abril 2012

14.6.1 Iniciacin de la Prueba

1. Se debe cumplir con las condiciones siguientes antes de iniciar cualquier prueba:

a. El Contratante habr aprobado todos los planes y procedimientos para la prueba.

b. El Contratante habr revisado o aprobado toda la documentacin relevante incluyendo

los documentos del proyecto.

c. Una copia de toda la documentacin relevante incluyendo documentos de: diseo,

mantenimiento, manuales de usuario, planes y procedimientos de prueba; debern estar

disponibles en el lugar de las pruebas.

d. La regeneracin completa del software sometido a prueba, incluyendo base de datos y

arranque a partir de un cdigo fuente, se habrn realizado inmediatamente antes del

inicio de la prueba.

e. Todos los parmetros del sistema operativo, archivos y datos de configuracin debern

ser salvados en medios de almacenamiento, de tal manera que se pueda recrear el

ambiente operacional del SCADA/OMS-MWM/DMS.

f. Todas las bases de datos, despliegues y definiciones de reportes debern ser salvados

en medios magnticos, de tal manera que las bases de datos, despliegues y reportes

puedan recrearse, si fuera necesario.

g. Todas las libreras de cdigo fuente debern ser salvadas en medios magnticos, de tal

manera que el software SCADA/OMS-MWM/DMS pueda ser regenerado si fuese

necesario.

h. Para las pruebas de fbrica, las pruebas preliminares (pre FAT) se habrn completado y

el Contratista presentar una certificacin escrita que las pruebas preliminares se han




Abril 2012

cumplido a satisfaccin. En caso de haberse encontrado desviaciones crticas o de alta

prioridad, estas debern haberse corregido y probado antes del inicio de las pruebas de

fbrica.

i. Para la prueba de disponibilidad, se habrn corregido todas las desviaciones crticas,

altas y medias con su verificacin a satisfaccin del Contratante.

14.6.2 Finalizacin de las Pruebas

1. Se considera que las pruebas han sido exitosas si:

a. Todas las desviaciones se encuentran resueltas a satisfaccin del Contratante.

b. Todos los registros de pruebas han sido entregados al Contratante.

c. El Contratante reconoce por escrito el cumplimiento exitoso de las pruebas.

14.6.3 Suspensin de las Pruebas

1. Si el Contratante considera en cualquier momento que la cantidad o severidad de las

desviaciones amerita la suspensin de cualquiera o de la totalidad de las pruebas, el

procedimiento se suspender, se debern realizar las correcciones necesarias y la prueba se

repetir.

2. La repeticin de la prueba se programar para una fecha y hora que acuerden el Contratista

y el Contratante. Todos los costos de la repeticin de pruebas sern a cargo del Contratista

incluyendo la reposicin de los gastos de desplazamiento y estada del personal del

Contratante. La repeticin de pruebas no ser causal para solicitar o justificar una prrroga

en el plazo de entrega del proyecto.




Abril 2012

14.7 Modificaciones al SCADA/OMS-MWM/DMS durante las

Pruebas

1. No se harn cambios al SCADA/OMS-MWM/DMS despus de que las pruebas se hayan

iniciado, sin la autorizacin expresa del Contratante (este requerimiento no se aplica a las

pruebas preliminares en fbrica).

2. El Contratista controlar cuidadosamente el ambiente de prueba de tal manera que todos los

cambios puedan ser identificados rpidamente y que cualquier actualizacin de software

instalada con autorizacin del Contratante para algn propsito, pueda retirarse

restaurndose el ambiente previo a la prueba.

3. El Contratante tendr el derecho de suspender las pruebas, revertir a una versin anterior de

cualquier software o hardware y reiniciar cualquier prueba realizada con anterioridad si, en su

criterio, se han hecho cambios al sistema en prueba sin autorizacin.

14.8 Pruebas Preliminares en Fbrica

1. Son una ejecucin completa preliminares a las pruebas en fbrica, de acuerdo con los planes

y procedimientos de pruebas pero realizadas por el fabricante antes de las pruebas FAT.

2. El Contratante tendr derecho a presenciar la totalidad o algunas partes de las pruebas

preliminares en fbrica.

3. El Jefe de Proyecto del Contratista designado para las pruebas, firmar debidamente cada

prueba realizada.

4. Los resultados completos de las pruebas sern enviados al Contratante para inspeccin antes

de que el personal y el Contratante se desplacen hacia las instalaciones del Contratista para

las pruebas FAT.




Abril 2012

5. Todas las pruebas se llevarn a cabo utilizando bases de datos especficas del Contratante a

menos que este ltimo autorice al Contratista a utilizar una base de datos de prueba.

6. El Contratista le notificar al Contratante con una anticipacin de por lo menos treinta das,

antes del inicio de la prueba preliminar de fbrica.

7. Se requiere que las desviaciones detectadas en estas pruebas se registren en el mismo

sistema de registro de desviaciones, que se utilice para todas las pruebas.

14.9 Pruebas de Fbrica (FAT)

1. Incluirn por lo menos pruebas de los siguientes tipos:

a. De equipos.

b. Funcionales.

c. De desempeo.

d. De estabilidad.

e. No estructuradas.

2. El Contratista suministrar o simular todos los dispositivos o interfaces SCADA/OMS-

MWM/DMS, que no se encuentren disponibles para las pruebas en fbrica. Lo anterior

incluye cualquier hardware que deba ser suministrado posteriormente por el Contratante

(por ejemplo firewalls, etc.)

a. Los equipos SCADA/OMS-MWM/DMS del Contratante que se encuentren en condiciones

de servicio operacional (por ejemplo RTUs, etc.) que no estn disponibles para ser

utilizados en las pruebas en fbrica del SCADA/OMS-MWM/DMS deben simularse en

forma realista (para todos los aspectos de las pruebas, incluyendo funcionalidad,




Abril 2012

estabilidad y respuesta de desempeo) por parte del Contratista durante las pruebas de

fbrica.

b. Los equipos del Contratante que sean requeridos para las pruebas deben ser

transportados a costa del Contratista, desde su ubicacin en predios del Contratante

hasta fbrica y desde fbrica hasta el sitio del Contratante, una vez terminadas las

pruebas. Ser responsabilidad del Contratista el cumplimiento de la normativa legal

vigente para importacin/exportacin de los equipos.

c. El plan de pruebas del Contratista describir el hardware y/o simulaciones que deban ser

utilizadas para cada prueba.

14.9.1 Pruebas de los Equipos

1. Las pruebas de los equipos asegurarn que todo el equipamiento del Sistema se encuentre

debidamente configurado y que respondan exitosamente a los programas de diagnstico.

2. Las pruebas de equipos incluirn, una inspeccin visual para comprobar terminaciones

adecuadas, incluyendo cables, conectores, rtulos y nmeros seriales.

3. Los planos de ensamblaje y de configuracin sern tambin verificados en ese momento.

4. Verificacin de capacidad instalada y de expansin. Se limitar el uso de procesadores y

memoria, a la capacidad autorizada para la prueba segn lo especificado.

5. Dentro de ste grupo de pruebas se incluir la inspeccin del software base instalado

(sistemas operativos, bases de datos, software comercial, etc.) y su respectivo licenciamiento.

6. En este grupo se incluirn pruebas de recuperacin de equipos luego de deficiencias o fallas

que se hubieren presentado incluyendo por ejemplo recuperacin luego de prdida de

fluido elctrico. Adicionalmente se probar la recuperacin total del sistema ante fallas




Abril 2012

probables de servidores, unidades de disco, fuentes de alimentacin, fallas de software a

nivel de sistema operativo o aplicaciones. El Contratante aprobar la lista de pruebas de esta

categora como parte de la aprobacin de los procedimientos de prueba.

14.9.2 Prueba Funcional

1. La prueba funcional podr utilizar una configuracin de equipo que puede incluir una

extensin de los entregables del Contratista, segn se requiera, para demostrar la

funcionalidad correcta del sistema SCADA/OMS-MWM/DMS.

2. Los procedimientos de prueba tendrn en cuenta todos los equipos adicionales de prueba y

asegurarn que tales equipos adicionales no produzcan resultados falsos.

3. Las pruebas funcionales ejercitarn rigurosamente todas las funciones y dispositivos, tanto a

nivel individual como colectivo, y verificarn la operacin funcional correcta de todo el

hardware y software. Estas pruebas incluyen la verificacin de:

a. Toda la funcionalidad requerida por el sistema, como es el SCADA/OMS-MWM/DMS,

aplicaciones, intercambio de datos, almacenamiento y recuperacin de informacin. La

verificacin incluir todos los estndares y funciones especficas al igual que las opciones

adquiridas.

b. Que todo el software se encuentre correctamente dimensionado y satisfaga los

requerimientos de capacidad del Contratante.

c. La adquisicin, procesamiento y almacenamiento de datos en forma adecuada, a partir de

fuentes apropiadas.

d. Protocolos e intercambio de datos con todos los sistemas externos (GIS, CIS, AVL, IVR)

que tendrn interfaz con el sistema, a travs de la arquitectura SOA sobre el bus ESB.




Abril 2012

Se entregarn al Contratante los simuladores de protocolo utilizados en las pruebas para

que sirvan como herramientas para la instalacin, puesta en marcha, pruebas en sitio y

mantenimiento del sistema.

e. Implementacin del modelo CIM.

f. Todas las funciones de interfaz de usuario.

g. La operacin apropiada de los dispositivos de redes locales y de rea extendida,

incluyendo puentes (bridges), enrutadores (routers), firewalls, gateways, etc. y la red como

un todo, mediante el monitoreo del trfico de red utilizando procedimientos de

diagnstico y pruebas de re-configuracin.

h. Los programas de aplicacin y capacidades de desarrollo del sistema, incluyendo gestin

de configuracin del software, desarrollo de cdigo fuente, gestin de documentacin,

desarrollo de interfaz de usuario, desarrollo del conjunto de datos en tiempo real,

desarrollo de la RDBMS, generacin y mantenimiento de la base de datos, generacin y

modificacin de reportes, definicin de alarmas y mensajes de eventos, ambientes de

prueba y dems funciones utilitarias.

i. Las funciones de mantenimiento y diagnstico de comunicaciones (Front-Ends, RTUs,

concentradores de datos, enlaces de datos, etc.), y mantenimiento local de

entradas/salidas.

j. Todas las funciones de mantenimiento del hardware.

k. Funcionalidad Activo-Activo (Hot-Hot) entre los CDNs.

l. La redundancia y esquemas de recuperacin de falla en el sistema.




Abril 2012

m. La respuesta adecuada del sistema, al menos en la deteccin y recuperacin a partir de

errores de comunicacin (simulados por el Contratista) y en la prdida y restauracin de:

i. Procesadores y servidores, incluyendo memoria auxiliar.

ii. Equipos de interfaz de usuario.

iii. Dispositivos de almacenamiento en medios magnticos.

iv. Subsistemas externos.

v. Potencia de entrada (falla UPS por ejemplo: simulando prdida total y parcial del fluido

elctrico).

vi. Procesadores de redes de comunicaciones (ICCP).

vii. Otros dispositivos perifricos.

viii. Elementos locales y de redes de rea extendida.

ix. Centros de Datos Nacional (CDN).

n. Demostracin de la seguridad del sistema, a partir de acceso no autorizado.

o. Verificacin que los cambios en la hora del Sistema no afecten la operacin adecuada del

mismo, y que este ltimo pueda manejar correctamente el inicio de un nuevo da, mes y

ao; incluyendo aos bisiestos.

p. Se verificarn todas las funciones, relacionadas con sincronizacin de tiempo entre

servidores, con los equipos terminales de campo y la funcin de registro con estampa de

tiempo (SOE).




Abril 2012

q. La verificacin que toda la documentacin a suministrar con el sistema est disponible y

satisfaga los requerimientos. Se verificar, la organizacin de la biblioteca tcnica y las

facilidades de acceso.

r. Los registros (logs) de errores del sistema y alarmas no esperadas que se generen durante

la prueba.

s. La ayuda en lnea que garantizar que todos los temas de ayuda en lnea estn

disponibles, a partir de cada uno de los despliegues y que sean relevantes con respecto

del tema mismo del despliegue.

14.9.3 Pruebas de Desempeo

1. Se suministrar la simulacin por parte del Contratista, para crear las condiciones para los

escenarios de desempeo especificados.

a. Esta funcin incluir ancho de banda para simulacin realista de comunicaciones y

retardos de trayectorias entre los sitios primarios (prime) y de respaldo (backup) del

Contratante segn se aplique.

b. El Contratista utilizar telemetra real o simuladores externos de recoleccin de datos para

soportar las cargas de datos requeridas.

c. El Contratista describir los mtodos y herramientas propuestos para suministrar o

simular la actividad de telemetra requerida dentro del plan y procedimientos de pruebas.

d. Las simulaciones se probarn en primer trmino para verificar que se est simulando la

actividad deseada. El Contratante aprobar la tcnica propuesta de simulacin.

2. La ejecucin de las pruebas de desempeo ser lo mas automatizada posible de tal manera

que se puedan reproducir las ejecuciones de las pruebas.




Abril 2012

3. El Contratista describir los mtodos y herramientas propuestos para hacer las mediciones

de los diferentes tiempos de respuesta y lo someter al conocimiento y aprobacin del

Contratante. En la oferta el Proponente presentar sus herramientas para medicin y

pruebas.

14.9.4 Prueba de Estabilidad

1. Se realizar una operacin continua del sistema durante 100 horas en fbrica despus de

finalizar exitosamente las pruebas funcionales y de desempeo.

2. La prueba de estabilidad se considerar exitosa si: no se pierde ninguna funcin crtica, no

ocurre una falla mayor en el hardware, no ocurre un failover y no hay reinicios dentro del

periodo de prueba.

3. Se define una falla mayor del hardware para los propsitos de esta prueba como: prdida de

hardware, servidor, disco, terminal, etc. Las fallas mecnicas no repetitivas de impresoras,

loggers, botones pulsadores, etc., no se considerarn como fallas mayores.

4. Durante esta prueba, se ejercitar el sistema (con entradas, eventos y condiciones simulados)

de manera tal, que se aproxime al ambiente operacional. Se simular una carga del sistema

equivalente al escenario de rgimen permanente (estado normal) y a los regmenes de alta

carga especificados.

5. El Contratante simular actividades no estructuradas de usuario durante esta prueba. El

Contratante no producir intencionalmente falla en el hardware o software, es decir, fallas

que causen el failover y las pruebas de reinicio no son un objetivo de esta prueba. El

Contratista supervisar la configuracin de la prueba, explicando los mejores procedimientos

para ejecutarla y explicando todos los resultados no esperados.




Abril 2012

6. Durante esta prueba, el uso que haga el sistema de los recursos, ser monitoreado para

garantizar que no exista un impacto mayor sobre la utilizacin de recursos por parte del

sistema.

7. Estas pruebas se programarn al final de las pruebas FAT y ser condicin para su inicio, que

las desviaciones crticas y de alta prioridad hayan sido resueltas y aprobadas por el

Contratante.

14.9.5 Pruebas no Estructuradas

1. El plan de pruebas permitir un tiempo suficiente durante toda la prueba funcional para

ensayos no estructurados por parte del Contratante.

2. Para pruebas no estructuradas se reservarn, en promedio, por lo menos dos horas de

pruebas no estructuradas por cada ocho horas de pruebas estructuradas (25% del tiempo

total de pruebas). Este tiempo ser utilizado por el Contratante para realizar pruebas

adicionales, cuya necesidad podr ser detectada durante el proceso formal de pruebas,

teniendo la oportunidad de investigar los posibles problemas que se llegaren a detectar.

3. Las pruebas no estructuradas se realizarn durante el periodo de pruebas FAT, segn criterio

del Contratante.

4. El Contratista participar con el Contratante en la realizacin de estas pruebas segn

requerimientos de este ltimo; tal participacin consistir esencialmente en ayudar en la

definicin del procedimiento de la prueba, explicando los mejores procedimientos y los

resultados esperados.

14.9.6 Auditora de Cyber Seguridad

1. El Contratista realizar una auditora de cyber seguridad con la presencia del Contratante.




Abril 2012

2. Como mnimo se probarn, verificarn y revisarn especficamente los siguientes

requerimientos de cyber seguridad:

a. Los permisos y configuraciones se revisarn para garantizar que la configuracin

entregada est documentada en forma precisa. Estos documentos para la configuracin

final constituirn el fundamento para la revisin anual de evaluacin de cyber

vulnerabilidad que exigen los estndares NERC CIP.

b. Verificar que los registros de acceso y trfico de red, se hubiesen activado y que se

encuentren en funcionamiento.

c. Verificar que se hayan retirado los servicios que no estn en uso.

d. Verificar que todo el software est actualizado, con los parches de seguridad ms

recientes.

e. Realizar un scan de virus y malware en el sistema, asegurndose que todas las

herramientas de scan de virus y malware estn activadas.

f. Verificar que se ha retirado todo el software de auto ayuda electrnica.

g. Regenerar todos los archivos de firma y otros utilizados por el esquema de integridad del

software.

h. Retirar todas las cuentas genricas y por defecto.

i. Verificar que todos los mtodos de autorizacin de acceso, se encuentren debidamente

configurados.

j. Verificar que todos los puntos de acceso electrnico (por ejemplo firewalls), se encuentren

debidamente configurados.




Abril 2012

k. Revisar que todo el personal del Contratista que deba enviarse al campo y de todo el

personal que permanezca en las instalaciones del Contratante y que tendrn acceso o

trabajarn con el SCADA/OMS-MWM/DMS, est debidamente capacitado en la normativa

de cyber seguridad.

l. Generar un respaldo completo del software y bases de datos.

14.10 Pruebas en Sitio (SAT)

1. Incluyen: las pruebas de instalacin, pruebas funcionales, de desempeo y auditora de cyber

seguridad que se realizarn en el sitio del Contratante despus del envo e instalacin del

SCADA/OMS-MWM/DMS.

2. Todas las pruebas en sitio sern realizadas con datos reales del proceso.

14.10.1 Pruebas de Instalacin

1. Las pruebas de instalacin se llevarn a cabo por parte del Contratista e incluirn:

a. Repeticin de la prueba de equipos realizada en fbrica.

b. Carga del software SCADA/OMS-MWM/DMS y arranque del sistema.

c. Todo el software ser recompilado a partir de la fuente o medios de distribucin.

d. Con participacin del Contratante, se conectarn al SCADA/OMS-MWM/DMS, las

comunicaciones para todas las fuentes de datos y dems sistemas que tienen interfaz

con el SCADA/OMS-MWM/DMS.

e. Inicializacin y sintonizacin preliminar del software de aplicacin, segn se requiera.




Abril 2012

14.10.2 Pruebas Funcionales y de Desempeo en el Sitio

1. Estarn conformadas por la totalidad de pruebas funcionales y de desempeo segn se haya

realizado en fbrica.

2. Las pruebas que deban ejecutarse sern propuestas por el Contratista y aprobadas por el

Contratante.

3. Estas pruebas se extendern en la medida de lo necesario para probar las funciones

simuladas durante la prueba en fbrica, como son las comunicaciones con los dispositivos de

campo y dems sistemas que tengan interfaz con el SCADA/OMS-MWM/DMS.

4. Las pruebas extendidas se ejecutarn segn un procedimiento de prueba preparado por el

Contratista y aprobado por el Contratante.

5. Las pruebas no estructuradas sern tambin utilizadas, para verificar la operacin general del

SCADA/OMS-MWM/DMS bajo condiciones reales de sitio.

14.10.3 Auditora de Cyber Seguridad en el Sitio

1. La auditora de cyber seguridad en el sitio repetir la auditora realizada durante las pruebas

de fbrica.

14.11 Pruebas de Disponibilidad

1. Se llevarn a cabo despus de que el SCADA/OMS-MWM/DMS haya sido puesto en

operacin.

2. Consistirn de un perodo continuo de operacin que cumpla lo especificado.




Abril 2012

14.11.1 Pruebas de Actividad

1. Consistirn en la ejecucin de operaciones normales del SCADA/OMS-MWM/DMS con el

sistema en uso.

2. El Contratante modificar las bases de datos, despliegues, reportes y software de aplicacin

del SCADA/OMS-MWM/DMS, durante la prueba de disponibilidad. Estas modificaciones se

notificarn al Contratista con una anticipacin de por lo menos 48 horas antes de su

implementacin con el fin de permitir la evaluacin del impacto sobre la prueba de

disponibilidad, excepto en los casos en donde tales cambios sean necesarios para mantener

el control del sistema elctrico.

14.11.2 Definiciones de la Prueba

1. Las definiciones de periodos de tiempo que se utilizan para determinar la duracin de las

pruebas y el xito de las mismas, ser como se describe a continuacin:

a. Tiempo de parada (downtime). Este tiempo ocurre cuando los criterios para operacin

exitosa, sobre requerimientos de disponibilidad no se cumplen. El tiempo de parada, se

medir a partir del inicio de los procedimientos de diagnstico hasta la restauracin del

servicio total. En el evento de fallas mltiples, el tiempo total transcurrido para reparacin

de todos los problemas (independientemente del nmero de personal de mantenimiento

disponible), se contabilizar como tiempo de parada.

b. Tiempo de espera (Hold time). Algunos periodos de tiempo durante el cual el

SCADA/OMS-MWM/DMS, se encuentre detenido (down), pueden deberse a

circunstancias fuera del control de alguna de las partes. Estas contingencias pueden evitar

la operacin exitosa del SCADA/OMS-MWM/DMS, pero no son vlidas para el propsito

de medir la disponibilidad. Los periodos de operacin no exitosa pueden declararse como




Abril 2012

tiempo de espera mediante acuerdo mutuo entre el Contratante y el Contratista. Los

casos especficos del tiempo de espera son:

i. Parada programada. Durante las paradas programadas o en casos de falla en los

equipos, mientras el dispositivo de respaldo se encuentre programado para estar fuera

de servicio, la parada resultante del sistema se considerar como un tiempo de espera,

siempre y cuando el servicio pueda restaurarse de acuerdo con los procedimientos

especificados por el Contratista dentro de los siguientes treinta minutos.

ii. Interrupcin de potencia y condiciones ambientales anormales. La prdida de potencia

o la parada manual del SCADA/OMS-MWM/DMS, en el evento de una falla de

potencia o prdida de control de las condiciones ambientales se considerar como un

tiempo de espera. Si el SCADA/OMS-MWM/DMS, es operado durante periodos con

condiciones ambientales de alimentacin por fuera de las especificadas, el tiempo

resultante de parada ser considerado como un tiempo de espera.

iii. Falla intermitente. Los periodos durante los cuales se experimente una falla

intermitente o recurrente se considerarn como tiempos de espera, siempre y cuando

el Contratista se comprometa con una accin correctiva y que la operacin del

SCADA/OMS-MWM/DMS, pueda restaurarse dentro de los treinta minutos siguientes

aplicando procedimientos definidos por el Contratista, cuando ocurra un evento de

falla. En lugar de contabilizar el tiempo de parada intermitente real, se entender que

una hora de tiempo de parada se aplicar por cada 120 horas de operacin exitosa

mientras persista el problema.

iv. Falla en el software del Contratante. El tiempo durante el cual el SCADA/OMS-

MWM/DMS, est detenido debido a fallas del software escrito o suministrado por el

Contratante, se considerar como un tiempo de espera. (Los programas desarrollados




Abril 2012

por el Contratante bajo supervisin del Contratista se excluyen especficamente de

esta condicin). Si, una falla en el software no puede solucionarse mediante la

aplicacin de procedimientos definidos por el Contratista, se suspender la ejecucin

del programa en condiciones de falla.

v. Defecto de diseo corregido. El tiempo de espera podr declararse mediante acuerdo

mutuo para asegurarse contra ocurrencias futuras similares en caso de que ocurra

alguna falla debida a defecto en el diseo para lo cual el Contratista definir e

implementar medidas correctivas. En estos casos, se asignar un tiempo suficiente de

espera para permitir la verificacin de la accin correctiva.

vi. Retardos de logstica. Si las reparaciones se retardan debido al uso anterior de

repuestos o porque el Contratante incumpli en la compra de repuestos

recomendados, el tiempo de espera se declarar despus del diagnstico de la falla y

mientras el Contratista est haciendo las gestiones para obtener las partes de

reposicin de manera expedita. Ante el incumplimiento de la adquisicin de repuestos

se permitir un mximo de 48 horas de tiempo de espera por cada ocurrencia de

retardo logstico.

vii. Tiempo de respuesta de servicio. El tiempo de espera se declarar desde el

momento en que se detecta una falla, hasta cuando se inician los procedimientos de

diagnstico. Se permite un mximo de 24 horas de tiempo de espera por cada falla.

c. Tiempo total. Este tem se refiere al tiempo transcurrido desde el inicio de la prueba de

disponibilidad hasta la finalizacin de la misma.

d. Tiempo de prueba. Es el tiempo transcurrido desde el inicio de la prueba de

disponibilidad, hasta la finalizacin de dicha prueba, excluyendo el tiempo de espera, es

decir:




Abril 2012

14.11.3 Duracin y Criterios para Aprobacin

1. La duracin mnima de la prueba de disponibilidad ser de 1500 horas consecutivas de

tiempo de prueba.

2. Con el fin de establecer que todas las fallas se hubiesen reparado satisfactoriamente antes de

finalizar la prueba de disponibilidad, no debern ocurrir paradas, fallas intermitentes (tiempo

de espera), o ms de un failover no comandado dentro de las 200 horas a partir de la

conclusin de las pruebas. La prueba se prolongar si fuere necesario para satisfacer este

requerimiento.

3. Despus de que ha transcurrido el tiempo de prueba, la disponibilidad del sistema se

calcular utilizando la siguiente frmula:

4. Si los requerimientos de disponibilidad del sistema no se han cumplido, la prueba continuar

hasta cuando se logre la disponibilidad especfica. Alternativamente y segn criterio del

Contratante, la prueba podr reiniciarse.

5. La disponibilidad de cada dispositivo del sistema se: calcular, documentar y comparar

contra los requerimientos de disponibilidad del dispositivo, despus de haberse establecido

que se cumplieron los requerimientos de disponibilidad del sistema.

6. Si uno o ms dispositivos no cumplen con los requerimientos, la prueba se extender hasta

cuando el Contratante acepte que la accin correctiva se cumpli para tales dispositivos.




Abril 2012

7. La accin correctiva incluir, todos los procedimientos necesarios para probar y verificar la

operacin adecuada a satisfaccin del Contratante.

14.aseguramiento calidad_stma. scada

Documents