informe gestión fuera de banda op108 claro es rev130116
TRANSCRIPT
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
1/17
INFORME GESTIN
EQUIPOS RAD OP-108
CLARO EL SALVADOR
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
2/17
2
Acerca del documento.
Preparado por: Nelson HernndezESERTEL/ITEL Fecha: 07/01/2016
Juan Pablo MonznEIG/ITEL Fecha: 07/01/2016
Revisado por: Carlos DurandoEIG/ITEL Fecha: 08/01/2016
Revisado por: Mera SentarRAD DATACOMM Fecha: 10/01/2016
Acerca de los equipos usados.
Equipo ModeloRouter L 3 Router CISCOSwitch de Acceso L2 Catalyst 3560Convertidores de medio OP-108/U/ETH/FC/13L
OP-108L/BM/U/ETH/FC/13L
Generador de trfico ETH Anritsu MT 9090A
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
3/17
3
Contenido
Introduccin............................................................................................................................. 4
Objetivo............................................................................................................................... 4
Antecedentes ....................................................................................................................... 4
Pruebas realizadas para diagnosticar el problema:.......................................................................... 5
Prueba 1 - Replicacin de la incidencia...................................................................................... 5
Misma MAC ADDRESS en ambas VLAN. ............................................................................... 7
Resultados obtenidos del generador de trfico ANRITSU:.......................................................... 7
As mismo en este caso se comprob la gestin del OP-108 tiene prdida de paquetes................... 8
Perdida de PING a la gestin del OP-108............................................................................... 8
Prueba 2 - Solucin a implementar........................................................................................... 8
Diferentes MAC ADDRESS en las VLAN ................................................................................ 9
Resultados obtenido del generador Ethernet......................................................................... 10
Ping a la gestin .............................................................................................................. 10
Prueba 3 - Tiempo de recuperacin al momento de cambiar las MAC ADDRESS de Origen.............. 11
Prueba 4Conexin y desconexin de fibra, UTP y energa....................................................... 12
Conclusiones...................................................................................................................... 14
Recomendaciones............................................................................................................... 14
Anexos ................................................................................................................................. 15
Configuracin OP-108.......................................................................................................... 15
Cambio de MAC ADDRESS origen en ROUT ER PE CISCO (para la VLAN de gestin de los equipos
RAD) ................................................................................................................................ 17
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
4/17
4
Introduccin
ObjetivoEl presente informe explica la situacin relacionada al problema de interferencia entre el trfico del usuario
y el trfico de gestin en los equipos RAD OPT IMUX OP-108 y OP-108L al momento de habilitar la gestin
fuera de banda. Y a la vez propone una solucin tcnica para que sea analizada y considerada por CLARO
El Salvador.
AntecedentesActualmente CLARO El Salvador tiene cierta cantidad de enlaces punto a punto va fibra ptica para
cl ientes corporativos con servicios E1-PRI (DIDs) de telefona y servicios Ethernet por medio de los equipos
RAD OP-108 y OP-108L. A la fecha, estos enlaces estn siendo operados por CLARO con la funcionalidad
de gestin fuera de banda deshabilitada, debido a que el equipo OP-108 que se instala del lado central altener habil itados los puertos de gestin fuera de banda (MNG-ETH) y de trfico de usuario (USER-ETH),
ambos interconectados a los puertos del SWITCH CISCO de acceso de la red Metro Ethernet de CLARO,
ocurren las siguientes incidencias
1. En algunos enlaces se ve afectada la funcionalidad de gestin fuera de banda, bloquendose
dicho puerto o presentando un comportamiento errtico.
2. En otros enlaces se ha detectado que cuando se habilita el puerto de gestin fuera de banda del
OP-108 central, se bloquea el puerto de trfico de usuario, dado que el SW CISCO de la red metro
de CLARO detecta un loop proveniente del OP-108 central.
3. En resumen cuando los dos puertos Ethernet (MNG-ETH y USER-ETH) estn operativos en el
OP-108 central del enlace, bajo la implementacin actual, ocurre interferencia entre el trfico de
usuario y el trfico de gestin.
Por lo anterior, CLARO El Salvador opt por una solucin interina, que es la de deshabilitar en el SW
CISCO de acceso, el puerto asignado para la gestin del equipo OP-108. Con lo cual se logra que el trfico
de usuario no sea vea afectado, pero por otro lado se pierde la gestin fuera de banda del OP-108 central y
remoto; por lo tanto del enlace completo.
A continuacin el esquema de conexin utilizado se muestra en la figura 1, a continuacin:
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
5/17
5
NOTA: Este diagrama es nicamente un caso representativo, ya que puede variar segn los tipos de switch de
acceso, router PE, direcciones IP, etc.
ROUTER
CLIENTE
SERVICIO
ETHERNET
(IP/ID)
MPLS
SWITCHPORT MODE TRUNK
FO
SWITCHPORT MODE TRUNKFO
UTP
FO UTP
CISCO3750
LAYER 2
CISCO3600
LAYER 2
CISCO PE7609
LAYER 3
UTP
DATA MODE
ACCESS
VLAN X
MANAGEMENT
MODE ACCESS
VLAN Y
OP-108/U/ETH/FC/13L
IP: X.X.X.X
MASK: Y.Y.Y.Y
GTW: Z.Z.Z.Z
OP-108L/BM/U/ETH/FC/13L
FA/ETH FA/ETH
USER-ETH MNG-ETH
Gi1
Gi1
Gi1 Gi1
RADview3.40
FA/ETH
Fig. 1a
Pruebas realizadas para diagnosticar el problema:
Prueba 1 - Replicacin de la incidenciaPara poder analizar ms a fondo las afectaciones antes mencionadas, se ha creado en el laboratorio de
nuestra empresa una maqueta de equipos para simular el escenario y duplicar la inc idencia, segn se
muestra la figura 1ba continuacin.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
6/17
6
Para este escenario, se est utilizando una misma MAC ADDRESS de origen tanto para el trfico de
gestin como para el trfico de cliente. Esta es la MAC ADDRESS (00:17:C5:9A:00:0A) generada desde el
ROUT ER CISCO que presentan funcionalidad de CAPA 3. Este escenario simula la implementacin actual
en la red de CLARO ES.
VLAN 10 TRAFICO MAC ADDRESS
00:17:C5:9A:00:0A
ORIGEN, ROUTER PE
TRUNK
ACCESS V 5
Fa 0/6
ACCESS V 10
Fa 0/7
MNG-ETH
Fa/Eth
USER-ETH
Fa/Eth
OP-108/U/ETH/FC/13L
IP: 10.10.5.5
MASK: 255.255.255.0
GTW: 10.10.5.1
SWITCH DEACCESOCAPA 2
CATALYST3560
TRUNK
ACCESS V 5
FO
Ethernettraffic
GeneratorMT9090A
TRAFICO DE GESTION
TRAFICO DE SERVICIO CLIENTE
SE GENERA TRAFICOETHERNET
BIDIRECCIONAL A UNAVELOCIDAD DE 75MbpsCON PAQUETES DE 512
BYTES
Pto A
Pto B
PC GESTION
VLAN 5 GESTION MAC
ADDRESS 00:17:C5:9A:00:0A
ORIGEN, ROUTER PE
Gi/Eth
Gi/Eth
Fa/Eth
Fa/Eth
Fa/Eth
Gi/Eth
Gi/Eth
IP: 10.1.1.223
MASK: 255.255.255.0
GTW: 10.1.1.222
Fa/Eth
OP-108L/BM/U/ETH/FC/13L
MISMA MAC ORIGEN, USADA PARA GESTION (INTERFACE VLAN 5) YSERVICIO (INTERFACE VLAN 10)
Fig. 1b
Se gener trfico Ethernet constante y bidireccional con throughput de 75 Mbps, y paquetes de 512 bytespor un tiempo de 30 minutos por medio del analizador, ANRITSU MT9090. El resultado obtenido de esta
prueba es que al iniciar la generacin del trfico de usuario, inmediatamente se pierde la conectividad a la
gestin del equipo OP-108 central, y a la vez se observa perdida eventual de paquetes de trfico de usuario
(recepcin del puerto A en el equipo ANRITSU). Es decir se comprueba la interferencia entre ambos
trficos. Tambin se comprob que dicha interferencia no ocurre cuando solo uno de los dos puertos est
conectado.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
7/17
7
Misma MAC ADDRESS en ambas VLAN.
Fig. 1c
Resultados obtenidos del generador de trfico ANRITSU:A continuacin en la fig. 1d se muestran los resultados
Fig. 1d
De los resultados arriba mostrados se puede concluir lo siguiente, segn la relacin de las flechas:
El puerto A trasmiti un total 32248639 paquetes, de los cuales el puerto B recibi un total de 32248639
paquetes. Es decir se comprueba noocurre ninguna afectacin del trfico de usuario en este sentido.
El puerto B transmiti un total 32249082 paquetes, de los cuales el puerto A recibi un total de
32248985. Restando al total de paquetes enviados por el puerto B por los paquetes recibidos en el puerto
A se obtiene una diferencia de 97 paquetes perdidos. Es decirse compruebasiocurre afectacin deltrfico de usuario en este sentido.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
8/17
8
As mismo en este caso se comprob la gestin del OP-108 tiene prdida de paquetes.
Perdida de PING a la gestin del OP-108
Fig. 1e
Prueba 2 - Solucin a implementarDe las pruebas anteriores se pudo observar, que cuando el equipo OP-108 recibe la misma MAC
ADDRESS de origen en los puertos para el trfico de usuario y para el trfico de gestin, se presenta la
incidencia. Esto fue consultado tambin con el fabricante RAD quien confirm que efectivamente es el
comportamiento esperado, dado que el chip set que utiliza el equipo OP-108 para las funciones de CAPA 2
opera en modo MAC bridging, por lo cual no es una condic in vlida para el OP-108 que se presenten las
mismas MAC origen en el puerto de trafico de usuario y el puerto de trafico de gestin, siendo la soluc in
recomendada que dichas MACs sean diferentes.
En vista de lo anterior, en la siguiente prueba se han configurado en el ROUTER CISCO, 2 MAC
ADDRESS de origen distintas, 1 para el trfico de gestin (00:17:C5:9A:10:C8) y otra para el trfico de
usuario (00:17:C5:9A:00:0A) . De nuevo se gener trfico bidireccional y constante con throughput de
75Mbps y paquetes de 512 bytes, por un tiempo de 1 hora y 30 minutos. A continuacin se muestra el
diagrama con los detalles para esta prueba.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
9/17
9
VLAN 10 TRAFICO MAC ADDRESS00:17:C5:9A:00:0A
ORIGEN, ROUTER PE
TRUNK
ACCESS V 5
Fa 0/6
ACCESS V 10
Fa 0/7
MNG-ETH
Fa/Eth
USER-ETH
Fa/Eth
OP-108/U/ETH/FC/13L
IP: 10.10.5.5
MASK: 255.255.255.0
GTW: 10.10.5.1
SWITCH DEACCESO
CAPA 2CATALYST
3560
TRUNK
ACCESS V 5
FO
Ethernettraffic
GeneratorMT9090A
TRAFICO DE GESTION
TRAFICO DE SERVICIO CLIENTE
SE GENERA TRAFICOETHERNET
BIDIRECCIONAL A UNAVELOCIDAD DE 75MbpsCON PAQUETES DE 512
BYTES
Pto A
Pto B
PC GESTION
VLAN 5 GESTION MAC
ADDRESS 00:17:C5:9A:00:C8
ORIGEN, ROUTER PE
Gi/Eth
Gi/Eth
Fa/Eth
Fa/Eth
Fa/Eth
Gi/Eth
Gi/Eth
IP: 10.1.1.223
MASK: 255.255.255.0
GTW: 10.1.1.222
Fa/Eth
OP-108L/BM/U/ETH/FC/13L
DIFERENTES MAC DE ORIGEN, UNA PARA GESTION (INTERFACEVLAN 5) Y OTRO PARA SERVICIO (INTERFACE VLAN 10)
Fig. 1f
Luego de realizar estos cambios de MAC ADDRESS de origen se obtuvieron los siguientes resultados.
Diferentes MAC ADDRESS en las VLAN
Fig 1g
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
10/17
10
Resultados obtenido del generador Ethernet
Fig. 1h
De los resultados relacionados arriba se concluye que fueron recibidos exactamente la misma cantidad depaquetes que fueron transmitidos en los puertos A y B del generadorANRITSU, luego de cursar el trficode usuario bidireccionalmente a travs del enlace va los OP-108. Es decir no se observan ya paquetes
perdidos ni afectacin alguna en este trfico.
Ping a la gestin
Fig. 1h
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
11/17
11
Prueba 3 - Tiempo de recuperacin al momento de cambiar las M AC ADDRESS deOrigenPara esta prueba se inici utilizando el diagrama de la prueba 1 (Fig. 1b). Luego de generar trfico
bidireccional y constante con un throughput de 75Mbps y paquetes de 512 bytes, por un tiempo de 10
minutos y de observar cierta cantidad de paquetes perdidos en el servicio de trafico de cliente y no tener
respuesta de la gestin del equipo central OP-108, se procedi a realizar el cambio de MAC ADDRESS de
origen en el ROUTER CISCO, para la interface de VLAN 5. Se cambi de la Mac Address de00:17:C5:9A:00:0A a la 00:17:C5:9A:10:C8 , o sea la MAC origen correspondiente a la VLAN de gestin,segn indicado en el diagrama de la Fig. 1f.
Como resultados observados al realizar este cambio se tiene:
Al real izar el cambio de MAC ADDRESS, la gestin restablece y normaliza automticamente, sin
intervencin adic ional alguna en los equipos, en un tiempo corto de alrededor de 5 segundos.
En el trfico de usuario (del c liente) deja de ocurrir perdida de paquetes, tambin de manera
automtica y sin ninguna intervencin adic ional en los equipos
Luego de realizar el cambio de MAC ADDRESS en la VLAN de gestin, no es necesario realizar
un reinic io fsico o lgico en los equipos involucrados, el refrescamiento en las tablas de MAC de
todos los equipos sucede automticamente.
Luego de realizar el cambio de MAC ADDRESS, los SWITCH de acceso vern ambas MAC
ADDRESS en el mismo puerto (00:17:C5:9A:00:0A y 00:17:C5:9A:10:C8). Pero esto no generaconflicto o afectacin en los servicios.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
12/17
12
Fig. 1h
Prueba 4Conexin y desconexin de fibra, UTP y energaEsta prueba consiste en realizar conexin y desconexin de la fibra ptica, los cables Ethernet UTP y la
energa en ambos equipos, OP-108 del enlace, luego de haber realizado el cambio de MAC ADDRESS
origen en la VLAN de gestin. Todos los servicios se recuperan automticamente y normalizan en un
tiempo corto. Durante la prueba se genera trfico bidireccional y constante con un throughput de 75Mbps y
paquetes de 512 bytes. Para ello utilizamos de nuevo el esquema de la prueba 2.
VLAN 10 TRAFICO MAC ADDRESS
00:17:C5:9A:00:0A
ORIGEN, ROUTER PE
TRUNK
ACCESS V 5
Fa 0/6
ACCESS V 10
Fa 0/7
MNG-ETH
Fa/Eth
USER-ETH
Fa/Eth
OP-108/U/ETH/FC/13L
IP: 10.10.5.5
MASK: 255.255.255.0
GTW: 10.10.5.1
SWITCH DEACCESOCAPA 2
CATALYST3560
TRUNK
ACCESS V 5
FO
Ethernettraffic
GeneratorMT9090A
TRAFICO DE GESTION
TRAFICO DE SERVICIO CLIENTE
SE GENERA TRAFICOETHERNET
BIDIRECCIONAL A UNAVELOCIDAD DE 75MbpsCON PAQUETES DE 512
BYTES
Pto A
Pto B
PC GESTION
VLAN 5 GESTION MAC
ADDRESS 00:17:C5:9A:00:C8
ORIGEN, ROUTER PE
Gi/Eth
Gi/Eth
Fa/Eth
Fa/Eth
Fa/Eth
Gi/Eth
Gi/Eth
IP: 10.1.1.223
MASK: 255.255.255.0
GTW: 10.1.1.222
Fa/Eth
OP-108L/BM/U/ETH/FC/13L
DIFERENTES MAC DE ORIGEN, UNA PARA GESTION (INTERFACEVLAN 5) Y OTRO PARA SERVICIO (INTERFACE VLAN 10)
Fig. 1i
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
13/17
13
Resultados obtenidos:
Equipo Desconexinde FO
Tiempo aproxnormalizacin
DesconexinUTP Gestin
Tiempo aproxnormalizacin
DesconexinUTP Trafico
Tiempo aproxnormalizacin
Desconexinde energa
Tiempo aproxnormalizacin
OP-108 OK 10 Segundos OK 25 Segundos OK 25 Segundos OK 1 Minuto
OP-108L OK 10 Segundos N/A - OK 5 Segundos OK 10 Segundos
NOTA: Los tiempo de normalizacin tanto del trfico de gestin como del trfico de usuario, en el caso de
su desconexin fsica, puede variar dependiendo del proceso de auto negociacin con los puertos de los
switch de acceso adonde ellos se conectan. En el caso de los OP-108 se recomienda configurar siempre
todos sus puertos Ethernet forzados a Fast Ethernet.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
14/17
14
Conclusiones1. Se comprob que el OP-108/U/ETH/FC/13L presenta una incidencia al rec ibir la misma MAC
ADDRESS de origen, generada desde el ROUT ER PE (CORE) de la red MPLS de CLARO dentro
de los paquetes del trfico de gestin y de trfico de usuario. Esto resulta en prdidas de
paquetes, bloqueos de los puertos, comportamiento errtico y eventual corte del trfico por los SW
CISCO de la red metro de CLARO al detectar un loop.
2. Lo anterior es congruente con la funcionalidad de capa 2 del chip set utilizado por el OP-108 de
MAC bridging, segn la cual no es vlido que se detecten en los dos puertos Ethernet del equipo
las mismas MAC origen.
3. Se comprob que al generar dos MAC ADDRESS de origen distintas (1 para la VLAN de gestin y
otra para la VLAN de trfico de cliente) el enlace con los equipos OP-108 opera correctamente, de
manera estable, y no se observan perdida de paquetes ni bloqueos de puertos.
4.
Al real izarse el cambio de MAC ADDRESS origen en la VLAN de gestin, no es necesario realizaralgn reinic io lgico o fsico de los equipos involucrados, y el refrescamiento en las tablas de MAC
de todos los equipos ocurre automticamente.
5. Al real izar desconexin y conexin de la energa, fibra o UTP, en los equipos OP-108 y OP-108L;
luego de haber generado el cambio de MAC ADDRESS de origen para la VLAN de gestin, se
observa que todos los servicios (gestin, trfico de cliente y E1) restablecen y normalizan sin
problema y en un tiempo razonablemente corto.
Recomendaciones1. Proceder a la brevedad posible a realizar estas mismas pruebas en el laboratorio de pruebas de
CLARO El Salvador (central Roma), ya con los equipos CISCO en si (tanto CORE PE ROUT ER)
como Switches metro, con el apoyo de personal de ingeniera y del NOC de CLARO El Salvador.
2. De resultar exitosas las pruebas anteriores, proceder con la implementacin de esta solucin en
un par de enlaces OP-108 a modo de prueba piloto ya en produccin. Y luego de un tiempo
prudencial de monitoreo, proceder a la implementacin general de la misma en la red de CLARO
El Salvador, de manera progresiva y controlada.
3. Para el efecto, solamente se requiere cambiar en los equipos CISCO PE ROUTER de CLARO,
que manejan el trfico de cada subred metro (islas), la MAC de la VLAN 89 asignada para la
gestin de los equipos RAD (no importando si tambin por medio de esta VLAN se gestionan otros
equipos). Es indispensable asegurarse esta MAC es nica y no se repite en ninguna otra VLAN ni
equipo. Dado que ni el fabricante RAD DATACOMM ni nuestra empresa somos especialistas en
los equipos CISCO, solicitamos esta propuesta de solucin sea validada por especialistas de
CLARO, adems de realizar las pruebas en el laboratorio Roma.
4. Esta solucin tiene la ventaja de que se puede implementar remotamente desde el NOC de
CLARO El Salvador, sin tener que visitar los nodos de claro, sitios de cl ientes, cambiar equipos de
ltima milla, etc.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
15/17
15
Anexos
Configuracin OP-108Mediante el equipo OP-108 que se instala del lado central se puede gestionar tambin el equipo remoto
OP-108L. Para ellos debemos realizar las siguientes configuraciones.
Configuracin de IP ADDRESS y comunidades SNMP
Configuration>System>Management>Host
Configuracin de permisos de gestin
Esto se realiza con el objetivo de poder gestionar el equipo remoto.
Configuration>System>Management>Management Permission
Se selecciona la opcin MNG LOCAL ONLY, para que la gestin solo sea permitida por el puerto MNG-
ETH del OP-108 y as no generar conflic to entre los puertos MNG-ETH y USER-ETH.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
16/17
16
Verificar que todos los accesos de gestin estn permitidos en el equipo
Configuration>System>Management>Management Access
Luego de haber configurado todo lo anterior, ya podremos tener acceso va WEB, TELNET y RADview a
ambos equipos OP-108.
-
7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116
17/17
Cambio de MAC ADDRESS origen en ROUTER PE CISCO (para la VLAN de gestinde los equipos RAD)
Para el funcionamiento correcto del equipo OP-108 es necesario que reciba direcciones MAC origendistintas desde de las VLAN (SVI/BDI) configuradas en los Switches L3 o routers. Cuando se utilicenSwitches L3 o routers Cisco ser necesario que se cambien las direcciones MAC de cada VLAN (SVI/BDI)ya que por defecto los equipos comparten la misma direccin MAC en todas las VLAN (SVI/BDI). Porconsiguiente para realizar este cambio es necesario utilizar el comandomac-addresspara poder realizar elcambio de la direccione MAC en la VLAN de gestin (SVI/BDI), asegurndose esta MAC es nica y no serepite en ninguna otra instancia.
A continuacin algunos ejemplos de configuraciones utilizando el comando mac address en SVI y BDI.
Switch#configure terminal
Enter configuration commands, one per line. End with CNTL/Z.Switch (config)#interface vlan 5Switch (configif)#macaddress 0017.C59A.10C8Switch (configif)#exitSwitch (config)#interface vlan 10Switch (configif)#macaddress 0017.C59A.000ASwitch (configif)#endSwitch #
Router#configure terminalEnter configuration commands, one per line. End with CNT L/Z.Router (config)#interface bdi 5
Router (configif)#macaddress 0017.C59A.10C8Router (configif)#exitRouter (config)#interface bdi 10Router (configif)#macaddress 0017.C59A.000ARouter (configif)#endRouter #