hacia la diagnosis y recuperaci on de sensores rob …eii.unex.es/ja2018/actas/ja2018_041.pdffigura...

8
HACIA LA DIAGNOSIS Y RECUPERACI ´ ON DE SENSORES ROB ´ OTICOS A BAJO NIVEL MEDIANTE INFERENCIA EN REDES BAYESIANAS Manuel Castellano Quero, Juan Antonio Fern´ andez Madrigal, Alfonso Jos´ e Garc´ ıa Cerezo Departamento de Ingenier´ ıa de Sistemas y Autom´ atica, Universidad de M´ alaga e-mail:{mcastellano, jafernandez, ajgarcia}@uma.es Resumen Las implementaciones existentes en la actuali- dad sobre sensores virtuales no emplean un mar- co com´ un matem´ aticamente riguroso. Por ello, en este trabajo tenemos como objetivo homogeneizar el soporte te´orico de los sensores virtuales a ba- jo nivel, es decir, tratando directamente sus datos en bruto, de tal modo que puedan ser empleados en diagn´ostico de fallos, recuperaci´on de datos y otras funcionalidades sin cambiar el paradigma de base. La inferencia bayesiana constituye una ma- nera gen´ erica y rigurosa de abordar este problema; adem´as, nos permite integrar conocimiento proce- dente de diversas fuentes (los propios dispositivos sensoriales, sentido com´ un humano, datos del en- torno, etc.) y se puede hibridar con otras meto- dolog´ ıas como las redes neuronales o la l´ogica bo- rrosa. Dado que el potencial de esta soluci´on es considerablemente amplio, nos centramos aqu´ ı en el diagn´ostico de aver´ ıas, recuperaci´on de datos y funcionalidades de integraci´on de conocimiento externo. Nuestros resultados con un robot m´ovil real equipado con dos sensores de proximidad y con otros dispositivos m´as simples, demuestran que es- te marco tiene muchas posibilidades de mejorar el sistema sensorial de un robot por medio de t´ ecni- cas de razonamiento de alto nivel. Palabras clave: inferencia bayesiana, detecci´ on y recuperaci´ on de fallos, sensores virtuales 1. INTRODUCCI ´ ON Los algoritmos de inferencia bayesiana son m´ eto- dos matem´ aticos que permiten obtener nuevo co- nocimiento a partir del disponible en situaciones de incertidumbre [1]. Estos m´ etodos tienen impor- tantes ventajas en comparaci´ on con otras t´ ecnicas de inferencia; proporcionan informaci´ on sobre la incertidumbre en los resultados, est´ an basados en una teor´ ıa matem´ atica rigurosa que explica la de- ducci´ on, se puede hibridar con otras herramien- tas, puede integrar conocimiento experto e infor- maci´ on procedente de fuentes heterog´ eneas y per- mite inferir el estado de una variable y el de sus causantes (normalmente denominados padres). El principal inconveniente es el coste computacional en t´ erminos de tiempo y memoria tanto de los al- goritmos exactos como de los aproximados [1]. En Rob´ otica, algunas de sus aplicaciones pueden encontrarse en localizaci´ on y mapeado [2], control y tareas de manipulaci´ on [3], fusi´ on de datos sen- soriales para robots aut´ onomos [4], programaci´ on ogica [5], etc. En este art´ ıculo nos centramos en el diagn´ ostico para robots m´ oviles, en los que los sensores pueden fallar debido a numerosas razones (ruido, valores fuera de rango, malas condiciones ambientales, desconexiones, etc.). A pesar de que la inferencia bayesiana ha sido ampliamente utili- zada en diagn´ ostico de fallos gen´ erico [6], la mayor parte de los trabajos sobre diagn´ ostico sensorial en robots m´ oviles emplean otras metodolog´ ıas que no proporcionan las ventajas mencionadas anterior- mente: t´ ecnicas anal´ ıticas, m´ etodos heur´ ısticos, re- des neuronales, l´ ogica borrosa, razonamiento basa- do en casos (CBR), etc. En general, el diagn´ ostico de sensores y la recuperaci´ on pueden considerarse situados en el contexto de los sensores virtuales o software, pero la investigaci´ on en este ´ area es a´ un limitada [7], las soluciones existentes no tienen ca- pacidades de inferencia especialmente destacables [8] y no est´ an implementadas en un marco ma- tem´ atico riguroso [9]. En este trabajo proponemos redes bayesianas pa- ra mejorar la robustez sensorial. Nuestra propues- ta tiene en cuenta las caracter´ ısticas de los senso- res f´ ısicos del robot, pero tambi´ en puede integrar otros tipos de conocimiento. En un trabajo previo [10] presentamos una versi´ on preliminar de esta soluci´ on implementada para sensores muy senci- llos: colisi´ on, detectores de precipicio, detectores de levantamiento de rueda, codificadores rotato- rios y giroscopios, y concluimos que el sistema pod´ ıa alcanzar un rendimiento adecuado incluso con el empleo de algoritmos exactos de inferencia bayesiana. En este trabajo relajamos los requisi- tos computacionales e incluimos informaci´ on sen- sorial m´ as compleja: un tel´ emetro l´ aser 2D y, par- cialmente, una c´ amara RGB-D. Tambi´ en integra- mos otros tipos de informaci´ on no procedente de los sensores, como la del entorno. Nuestra red ba- yesiana es creada ahora de forma semi-autom´ ati- Actas de las XXXIX Jornadas de Automática, Badajoz, 5-7 de Septiembre de 2018 233

Upload: others

Post on 17-Apr-2020

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: HACIA LA DIAGNOSIS Y RECUPERACI ON DE SENSORES ROB …eii.unex.es/ja2018/actas/JA2018_041.pdfFigura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo. La subred

HACIA LA DIAGNOSIS Y RECUPERACION DE SENSORESROBOTICOS A BAJO NIVEL MEDIANTE INFERENCIA

EN REDES BAYESIANAS

Manuel Castellano Quero, Juan Antonio Fernandez Madrigal, Alfonso Jose Garcıa CerezoDepartamento de Ingenierıa de Sistemas y Automatica, Universidad de Malaga

e-mail:{mcastellano, jafernandez, ajgarcia}@uma.es

Resumen

Las implementaciones existentes en la actuali-dad sobre sensores virtuales no emplean un mar-co comun matematicamente riguroso. Por ello, eneste trabajo tenemos como objetivo homogeneizarel soporte teorico de los sensores virtuales a ba-jo nivel, es decir, tratando directamente sus datosen bruto, de tal modo que puedan ser empleadosen diagnostico de fallos, recuperacion de datos yotras funcionalidades sin cambiar el paradigma debase. La inferencia bayesiana constituye una ma-nera generica y rigurosa de abordar este problema;ademas, nos permite integrar conocimiento proce-dente de diversas fuentes (los propios dispositivossensoriales, sentido comun humano, datos del en-torno, etc.) y se puede hibridar con otras meto-dologıas como las redes neuronales o la logica bo-rrosa. Dado que el potencial de esta solucion esconsiderablemente amplio, nos centramos aquı enel diagnostico de averıas, recuperacion de datosy funcionalidades de integracion de conocimientoexterno. Nuestros resultados con un robot movilreal equipado con dos sensores de proximidad y conotros dispositivos mas simples, demuestran que es-te marco tiene muchas posibilidades de mejorar elsistema sensorial de un robot por medio de tecni-cas de razonamiento de alto nivel.

Palabras clave: inferencia bayesiana, detecciony recuperacion de fallos, sensores virtuales

1. INTRODUCCION

Los algoritmos de inferencia bayesiana son meto-dos matematicos que permiten obtener nuevo co-nocimiento a partir del disponible en situacionesde incertidumbre [1]. Estos metodos tienen impor-tantes ventajas en comparacion con otras tecnicasde inferencia; proporcionan informacion sobre laincertidumbre en los resultados, estan basados enuna teorıa matematica rigurosa que explica la de-duccion, se puede hibridar con otras herramien-tas, puede integrar conocimiento experto e infor-macion procedente de fuentes heterogeneas y per-mite inferir el estado de una variable y el de suscausantes (normalmente denominados padres). El

principal inconveniente es el coste computacionalen terminos de tiempo y memoria tanto de los al-goritmos exactos como de los aproximados [1].

En Robotica, algunas de sus aplicaciones puedenencontrarse en localizacion y mapeado [2], controly tareas de manipulacion [3], fusion de datos sen-soriales para robots autonomos [4], programacionlogica [5], etc. En este artıculo nos centramos enel diagnostico para robots moviles, en los que lossensores pueden fallar debido a numerosas razones(ruido, valores fuera de rango, malas condicionesambientales, desconexiones, etc.). A pesar de quela inferencia bayesiana ha sido ampliamente utili-zada en diagnostico de fallos generico [6], la mayorparte de los trabajos sobre diagnostico sensorial enrobots moviles emplean otras metodologıas que noproporcionan las ventajas mencionadas anterior-mente: tecnicas analıticas, metodos heurısticos, re-des neuronales, logica borrosa, razonamiento basa-do en casos (CBR), etc. En general, el diagnosticode sensores y la recuperacion pueden considerarsesituados en el contexto de los sensores virtuales osoftware, pero la investigacion en este area es aunlimitada [7], las soluciones existentes no tienen ca-pacidades de inferencia especialmente destacables[8] y no estan implementadas en un marco ma-tematico riguroso [9].

En este trabajo proponemos redes bayesianas pa-ra mejorar la robustez sensorial. Nuestra propues-ta tiene en cuenta las caracterısticas de los senso-res fısicos del robot, pero tambien puede integrarotros tipos de conocimiento. En un trabajo previo[10] presentamos una version preliminar de estasolucion implementada para sensores muy senci-llos: colision, detectores de precipicio, detectoresde levantamiento de rueda, codificadores rotato-rios y giroscopios, y concluimos que el sistemapodıa alcanzar un rendimiento adecuado inclusocon el empleo de algoritmos exactos de inferenciabayesiana. En este trabajo relajamos los requisi-tos computacionales e incluimos informacion sen-sorial mas compleja: un telemetro laser 2D y, par-cialmente, una camara RGB-D. Tambien integra-mos otros tipos de informacion no procedente delos sensores, como la del entorno. Nuestra red ba-yesiana es creada ahora de forma semi-automati-

Actas de las XXXIX Jornadas de Automática, Badajoz, 5-7 de Septiembre de 2018

233

Page 2: HACIA LA DIAGNOSIS Y RECUPERACI ON DE SENSORES ROB …eii.unex.es/ja2018/actas/JA2018_041.pdfFigura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo. La subred

ca, procedimental, dependiendo de la resolucionde los datos que se requiera. En el estado actualde nuestra investigacion, todas las variables de lared son discretas con un numero finito de estados.Ademas, empleamos redes bayesianas estaticas; elestudio de su comportamiento en tiempo real noes nuestro proposito aquı.

Los resultados de varios experimentos muestranque un ordenador portatil convencional puede tra-tar redes bayesianas razonablemente grandes quesean capaces de detectar anomalıas como los fallosde fuera de rango, condiciones ambientales seve-ras, discontinuidades en las medidas, objetos inde-tectables (demasiado delgados, negros o transpa-rentes), etc. Ademas, podemos identificar la cau-sa mas probable de las anomalias y los valoreserroneos detectados pueden ser reemplazados porlos correctos mediante inferencia probabilıstica so-bre sensores alternativos, o teniendo en cuenta in-formacion adicional (externa al sistema sensorial).

El artıculo se estructura como se indica a conti-nuacion. En la seccion 2 se resume nuestra pro-puesta de sensor bayesiano. La secion 3 descri-be la implementacion de una arquitectura senso-rial para un robot movil concreto equipado conlos sensores antes mencionados. La seccion 4 pre-senta los resultados obtenidos en los experimentosy, finalmente, la seccion 5 resume las principalesconclusiones de este estudio y propone futuras in-vestigaciones.

2. REDES BAYESIANAS PARADIAGNOSTICO SENSORIAL

En primer lugar presentamos una breve definicionde red bayesiana y citamos los principales algo-ritmos de inferencia. Para una revision en mayorprofundidad se recomienda [1] [11].

Una red bayesiana definida sobre un conjunto devariables V es una pareja (G,Θ) formada por ungrafo acıclico dirigido, G, sobre V, denominadoestructura de la red, y un conjunto de Tablas deProbabilidad Condicionada (CPTs), Θ, para cadavariable de V, llamado parametrizacion de la red.La estructura del grafo representa las relacionescausales entre las variables mediante arcos, queindican relaciones de dependencia, mientras quelas CPTs definen distribuciones de probabilidadsobre las variables.

En este caso estamos interesados en inferir nue-vo conocimiento a partir del disponible, es decir,en deducir una distribucion de probabilidad so-bre un conjunto de nodos de consulta Q dadosalgunos nodos de evidencia E, en definitiva, enobtener P(Q|E). Esto se puede hacer mediante laaplicacion repetida de teorıa basica de la probabi-

lidad (la regla de la cadena, el teorema de Bayes,etc.), aunque esto puede ser prohibitivo inclusopara problemas de pequena escala. Por tanto esnecesario utilizar un algoritmo de inferencia baye-siana, para reducir la complejidad computacional.

Existen numeroros algoritmos de inferencia pararedes bayesianas, tanto exactos como aproximados[1]. En general, los primeros proporcionan respues-tas correctas usando mas recursos computaciona-les, mientras que los otros pueden ser mas eficien-tes a costa de producir respuestas menos precisas.En nuestro trabajo previo probamos ambos tipos(ver tabla 1) y concluimos que, para un tamanode grafo razonable, el algoritmo del arbol de unio-nes [11] (junction tree, en ingles) obtenıa el mejorrendimiento en terminos de recursos computacio-nales. Su complejidad es exponencial en el anchode arbol w del arbol de uniones (una estructura se-cundaria obtenida a partir de la red bayesiana delmodelo) y tambien depende del numero de nodos,n. En este trabajo tambien empleamos el mismometodo.

Tabla 1: Metodos comunes en inferencia bayesiana

Metodo Complejidad Tipo

Arbol de uniones O(n · exp(w)) Exacto

Eliminacion de variables O(n2 · exp(w)) ExactoPropagacion de creencia iterativo Any-time Aproximado

Ponderacion de probabilidad Any-time Aproximado

Nuestra solucion utiliza un elemento basico llama-do sensor bayesiano, modelado mediante una redbayesiana, que no solamente representa un sen-sor real, sino tambien informacion adicional quepermite el diagnostico inteligente y la mejora sen-sorial. La figura 1 muestra la estructura de estesensor bayesiano generico, formado por tres subre-des diferentes (rectangulos) y un nodo multiplexor(elipse) que explicamos a continuacion.

Multiplexor

Sensor real

AnomalíasSensor virtual

Figura 1: Sensor generico basado en redes bayesia-nas. Se puede construir una arquitectura sensorialbayesiana completa interconectando elementos co-mo este a traves de sus multiplexores.

La subred sensor real representa un sensor exis-tente a bordo del robot movil, pero tambien puedeemplearse para modelas otros tipos de informacionsensorial primaria. Esta subred contendra un no-do cuyos valores representan las medidas del sen-sor. La subred sensor virtual recibe informacion de

234

Page 3: HACIA LA DIAGNOSIS Y RECUPERACI ON DE SENSORES ROB …eii.unex.es/ja2018/actas/JA2018_041.pdfFigura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo. La subred

otros sensores bayesianos (directamente o a travesde calculos) para emular el comportamiento de susensor real correspondiente cuando este falla, y seutiliza para deducir sus datos, es decir, para re-cuperacion. La subred anomalıas indica si existeuna limitacion o fallo en el sensor asociado. Estopuede deducirse, por ejemplo, utilizando informa-cion de otros sensores que puedan tener algunainfluencia en el funcionamiento del sensor asocia-do. Si no existe tal relacion, es posible obtener in-formacion de anomalıas mediante la comparacionde las subredes real y virtual. Ambas alternativasson posibles pero no obligatorias (esto se repre-senta con lınea discontinua en la figura 1). Final-mente, el nodo multiplexor selecciona la medidainferida para el sensor (real o virtual) mas apro-piada de acuerdo a la informacion de anomalıas.Si hay una alta probabilidad de fallo, entonces elsensor virtual tendra mayor influencia que el realen el resultado final. El nodo multiplexor es unavariable discreta con los mismos valores que los delos nodos terminales de las subredes sensor virtualy real.

3. INSTANCIACION PARA UNROBOT MOVIL

En este trabajo hemos empleado el robot CRUMBde la Universidad de Malaga [10] para implemen-tar la solucion definida anteriormente (ver figura2). CRUMB es un robot Turtlebot con una plata-forma movil Kobuki y una baterıa de sensores: tresdetectores de colision, dos codificadores magneti-cos, tres detectores de precipicio, un giroscopio,dos sensores de levantamiento de rueda, un sen-sor de vision RGB-D Kinect y un telemetro laser2D Hokuyo. Aquı nos centraremos en el laser paraprobar nuestra solucion, pero tambien utilizare-mos la camara RGB-D ası como los detectores decolision, los codificadores e informacion sobre elentorno.

Figura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo.

La subred sensor real contiene tantos nodos co-mo elementos se deseen representar del vector demedidas que proporciona el telemetro laser 2D (esdecir, rayos). Cada nodo es una variable aleatoria

con una discretizacion adecuada de las medidasde distancia. El nodo multiplexor es replicado pa-ra cada rayo laser y representa las distribucionesde probabilidad finales que deseamos obtener. Laestructura es trivial a partir de la figura 1. En lasubred de anomalıas empleamos informacion delentorno ası como datos de otros sensores para de-tectar fallos en el telemetro laser. El ruido es unproblema comun en este tipo de sensores; ademas,un rayo laser puede reflejarse en una superficie es-pecular o equivalente, de manera que la distanciaresultante es mucho mayor que la real. Estos dosproblemas se pueden clasificar como discontinui-dades. En nuestra red se detectan comparando elvalor de un determinado rayo con la mediana deun grupo de rayos adyacentes.

Las condiciones del entorno son tambien muy im-portantes para el correcto funcionamiento de estesensor. Por ejemplo, una mala iluminacion en in-teriores puede producir medidas erroneas, ası co-mo la presencia de lluvia en exteriores y tambienentornos con temperaturas muy elevadas. Todosestos problemas se han tenido en cuenta en nues-to modelo considerando sensores de iluminacion,temperatura y humedad, pero tambien informa-cion sobre el dıa, la hora y la localizacion geografi-ca del robot (ver figura 3) ya que estos datos pue-den proporcionar informacion similar a traves deInternet. Se considera que las anomalıas de tipoambiental afectan todos los rayos laser por igual,por lo que los nodos de esta subred solamente seusaran una vez en la red completa.

Información de lugares

Malas condiciones ambientales

Temperatura Iluminación Lluvia

Fecha y hora

Interiores/Exteriores

Sensor de temperatura Sensor de

humedad

Sensor de luz

Hacia #2(ver figura 4)

Hacia #3(ver figura 6)

Hacia #1(ver figura 4)

Figura 3: Deteccion de malas condiciones ambien-tales para la subred de anomalıas.

Asimismo, existen errores sistematicos que afectana un telemetro laser, como la deteccion de objetosdemasiado esbeltos, transparentes o negros. Pa-ra esta parte de la subred de anomalıas emplea-mos un sensor de distancia alternativo (la infor-macion de profundidad que proporciona la cama-ra Kinect), una imagen RGB y algunos nodos dela parte ambiental (ver figura 4). Aquı, los valo-res reales del telemetro laser se comparan con losdel sensor de distancia alternativo; si hay una di-

235

Page 4: HACIA LA DIAGNOSIS Y RECUPERACI ON DE SENSORES ROB …eii.unex.es/ja2018/actas/JA2018_041.pdfFigura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo. La subred

ferencia significativa, entonces se habra detectadouna anomalıa. Podemos distinguir la anomalıa deradiacion absorbida (objetos negros) combinandola informacion del lugar en el que se encuentrael robot y el porcentaje de pıxeles negros en laimagen RGB; la anomalıas de objeto no detecta-do (obstaculos demasiado esbeltos o transparentesen la trayectoria de los rayos laser) tiene en cuentael sentido de la diferencia entre la medida del lasery la de los sensores alternativos y tambien la listasobre informacion de los lugares (por ejemplo, sisabemos que nos encontramos en un lugar con ob-jetos transparentes, como ventanas, y uno o massensores alternativos indican distancias mas cor-tas que el laser, la probabilidad de fallo por estarazon sera elevada). Si hay una diferencia impor-tante entre las distancias medidas y las anomalıasmencionadas no son ciertas, existe un nodo (fallopor error de lectura) que aumenta su probabili-dad. Dado que todos los rayos estan afectados porestas anomalıas, esta parte de la red se copia pa-ra cada rayo. Sin embargo, podemos no necesitartantos nodos para la deteccion de pıxeles negros,por lo que podemos definir el numero de estos no-dos mediante la especificacion de una cierta tasa.

Comparaciónde distancia2

L2

Desde #2(ver figura 3)

Desde #1(ver figura 3)

Sensor distancia

A2

Objeto no detectado2

Error de lectura2

Radiación absorbida2

% píxeles negros2

Hacia #6(ver figura 6)

Hacia #7(ver figura 6)

Hacia #4(ver figura 6)

...

Figura 4: Deteccion de errores sistematicos parala subred de anomalıas correspondiente al rayo #2del telemetro laser.

Todas las anomalıas descritas se resumen en unnodo terminal que indica si finalmente un deter-minado rayo tiene un estado erroneo. Este modelose muestra en la figura 5. La subred virtual pro-puesta (vease figura 6) tiene en cuenta el valor delos sensores de colision y la velocidad lineal de laplataforma bajo un cierto angulo de barrido dellaser, ademas de algunas anomalıas. Suponiendonavegacion reactiva, si la velocidad lineal es redu-cida, la probabilidad de hallar un obstaculo cer-cano sera alta. Por otro lado, el nodo de colisionobtiene informacion sobre las mismas, que, en ca-so de ocurrir, implicaran una alta probabilidad dedistancia corta. No es necesario que cada rayo de-

ba considerar la informacion de colision o veloci-dad de forma independiente, ya que dicha informa-cion afecta por igual a muchos rayos adyacentes.Por ello, la implementacion procedimental permi-te definir estos nodos a una cierta proporcion.

Objeto no detectado2

Error de lectura2

Radiación absorbida2

Anomalías2

Discontinuidades2

Malas condiciones ambientales

...

Figura 5: Integracion de anomalıas para el rayo #2del telemetro laser. Los nodos que aquı aparecenson los mismos que los descritos en la figura 4.

Desde #6(ver figura 4)

Desde #7(ver figura 4)

Obstáculos2

Velocidad lineal2

Distancia virtual2

Colisión2

Desde #3(ver figura 3)

Desde #4(ver figura 4)

...

Figura 6: Subred sensor virtual para el rayo #2del telemetro laser.

Esta subred tambien emplea conocimiento proce-dente de la de anomalıas sobre la presencia de unobjeto que no ha sido detectado (demasiado esbel-to, transparente o negro). Ademas, la informacionacerca de la fecha y la hora es importante paraestimar la cantidad de personas u otro tipo deobstaculos moviles presentes en la escena, por loque esta subred tambien utiliza conocimiento ex-terno. La subred virtual se repite para cada rayolaser, dado que es esencial obtener una estimacionde la distancia para poder compararla con los da-tos reales procedentes del laser.

4. EVALUACIONEXPERIMENTAL

La solucion descrita anteriormente se ha evalua-do en el robot movil CRUMB en varios experi-mentos que se describen en este apartado. El ro-bot cuenta con un PC portatil a bordo dotadocon un Intel Celeron N2840 a 2.16 GHz y 2 GBDDR3 que ejecuta Ubuntu 14.04 con ROS [12].Dado que no estamos interesados en tratar limi-taciones computacionales en este trabajo, hemos

236

Page 5: HACIA LA DIAGNOSIS Y RECUPERACI ON DE SENSORES ROB …eii.unex.es/ja2018/actas/JA2018_041.pdfFigura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo. La subred

utilizado otro PC para ejecutar de forma remo-ta nuestro software de inferencia bayesiana, quecuenta con un Intel Core i3 3217U a 1.8 GHz y 6GB DDR3 y que ejecuta Ubuntu 16.04 con ROS.Nuestro software de inferencia bayesiana junto conel modelo descrito en el apartado 3 se ha imple-mentado en MATLAB empleando la Bayes NetToolbox (BNT) [13]. La red bayesiana se ha crea-do con 10 rayos laser (representados por 10 nodosmultiplexores en la red, que corresponden, apro-ximadamente, a 60 grados de campo de vision ofov) con 10 posibles distancias para cada uno, lascuales van desde 1 (obstaculo no detectado) has-ta 10 (maxima distancia). La red resultante tiene148 nodos. En cada experimento se ha ejecutadoun bucle de control en el que primero se recogendatos sensoriales, depues se evalua la arquitectu-ra bayesiana con estas evidencias y finalmente seenvıan comandos de velocidad al robot si es nece-sario.

Nuestro primer experimento muestra la situacionde anomalıa que se produce a causa de la presen-cia de objetos negros en la escena, los cuales ab-sorben la radiacion procedente de los rayos laser.En la figura 7(a) podemos ver el diseno de esteexperimento; en la figura 8 se muestran los resul-tados de inferencia. En esta prueba el robot no semueve.

(a) Anomalıa por ob-jetos negros

(b) Anomalıa porobjetos esbeltos

Figura 7: Disenos experimentales para (a) ano-malıa por obstaculos negros y (b) por obstaculosesbeltos. En la ultima, centramos ambos sensoresde distancia en el lado derecho del marco metalico.

Como podemos observar en la figura 8, la presen-cia de objetos negros afecta a todos los rayos, peromuchos de ellos proporcionan la medida correctadado que ambos sensores reales detectan la distan-cia adecuadamente. Notese que el telemetro laserno percibe obstaculo en el cuarto rayo; por el con-trario, la camara Kinect sı lo detecta. Los resul-tados de inferencia muestran una alta probabili-dad de fallo a causa de la anomalıa por radiacionabrorbida, como en otros rayos, pero el sistema fi-nalmente asigna la distancia correcta al nodo mul-tiplexor correspondiente. En este caso, la camaraKinect se considera sensor de apoyo (alternativo).

1 2 3 4 5 6 7 8 9 10

Rayo láser

0

0.2

0.4

0.6

0.8

1

Pro

babi

lidad Prob. mux. para dist. 1

Prob. mux. para dist. 3Anomalía radiación absorbida

1 2 3 4 5 6 7 8 9 10

Rayo láser

0

1

2

3

Evi

denc

ia d

e di

stan

cia Telémetro láser Hokuyo

Cámara Kinect RGB-D

Figura 8: Resultados de inferencia para la prue-ba de anomalıa de obstaculos negros. Se represen-tan todos los rayos (horizontal) ası como los datosde evidencia de los sensores reales (figura inferior)donde 1 corresponde a obstaculo no detectado y2, 3... a obstaculos a distancias crecientes.

El segundo experimento expone el robot CRUMBa malas condiciones de iluminacion. Hemos utili-zado iluminacion incandescente como se muestraen la figura 9 para emitir radiacion infrarroja enla misma banda de frecuencias que la de los ra-yos laser. Esto provoca una corrupcion de datossignificativa en ambos sensores de distancia.

Figura 9: Diseno experimental para la prueba deanomalıas por malas condiciones de iluminacion.La bombilla queda situada justamente en frentede los sensores.

La figura 10 muestra los resultados obtenidoscuando se emplean condiciones de iluminacion ex-tremas, de manera que ambos sensores de distan-cia resultan seriamente afectados. En este caso, elsistema de inferencia asigna una probabilidad al-ta a la anomalıa por mala iluminacion a todos losrayos.

En el tercer y ultimo experimento mostramoscomo trata nuestra solucion las anomalıas pro-ducidas por la presencia de objetos esbeltos (verfigura 7(b)). El telemetro laser no puede detec-tar ningun obstaculo debido a dos razones: dichoobstaculo es demasiado delgado y la pared se en-cuentra, a su vez, fuera del rango de medida. He-mos utilizado aquı 10 rayos laser, como es habi-

237

Page 6: HACIA LA DIAGNOSIS Y RECUPERACI ON DE SENSORES ROB …eii.unex.es/ja2018/actas/JA2018_041.pdfFigura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo. La subred

1 2 3 4 5 6 7 8 9 10

Rayo láser

0

0.5

1

Pro

babi

lidad Prob. mux. para dist. 1

Prob. mux. para dist. 5Anomalía de mala iluminación

1 2 3 4 5 6 7 8 9 10

Rayo láser

0

2

4

6

Evi

denc

ia d

e di

stan

cia

Telémetro láser HokuyoCámara Kinect RGB-D

Figura 10: Resultados de inferencia para la pruebade anomalıa por malas condiciones de iluminacion.Se representan todos los rayos. Como recordato-rio, la distancia 1 implica obstaculo no detectado,mientras que 5 corresponde a un rango discretiza-do de distancia de entre 3.3m a 4.4m.

tual, pero esta vez concentrados en una region delvector de medidas reales para detectar con ma-yor precision el lado derecho del obstaculo esbelto.Los resultados experimentales (figura 11) mues-tran que la distancia real se recupera para ambasanomalıas.

1 2 3 4 5 6 7 8 9 10

Rayo láser

0

0.2

0.4

0.6

0.8

1

Pro

babi

lidad

Prob. mux. para dist. 1Prob. mux. para dist. 4Prob. mux. para dist. 7Prob. mux. para dist. 8Anomalía objeto no detectado

1 2 3 4 5 6 7 8 9 10

Rayo láser

1

2

3

4

5

6

7

8

Evi

denc

ia d

e di

stan

cia Telémetro láser Hokuyo

Cámara Kinect RGB-D

Figura 11: Resultados de inferencia para la pruebade anomalıas por obstaculos esbeltos. El obstaculose detecta mediante una distribucion espacial masfina de los rayos laser. De nuevo, la distancia 1significa que no se ha detectado obstaculo.

Los rayos #6 y #7 impactan sobre el obstaculo,que esta situado a 2.7 metros del robot. El sistemade inferencia ha asignado una alta probabilidad ala distancia correcta (la numero 4, que representaun rango de 2.2 a 3.3 metros) y el resto de los rayosimpactan sobre la pared (correctamente asignadosa las distancias 7 y 8). Sin embargo, los rayos desdeel #3 al #5 no se han podido recuperar, ya quesu distancia no esta disponible en ningun sensor.

Aunque el tema principal de este artıculo no seala eficiencia computacional del algoritmo del arbolde uniones, tambien se han calculado los tiemposde ejecucion para cada experimento, incluyendola adquisicion de datos sensoriales, el calculo deevidencias (en los casos en que dichas evidenciasno sean triviales a partir de los datos sensorialesdirectos) y la ejecucion del metodo de inferenciabayesiana. Los resultados se resumen en la figura12. El tiempo medio de ciclo es 1.3981s y el tiempomedio de inferencia es 0.3348s.

0 0.5 1 1.5 2 2.5 3

Tiempo (s)

0

0.2

0.4

0.6

0.8

1

1.2

1.4

Den

sida

d de

pro

babi

lidad

Experimento obstáculos negrosExperimento mala iluminaciónExperimento obstáculos esbeltos

Figura 12: Distribuciones de probabilidad de lostiempos de ejecucion para una iteracion del buclede control en todos los experimentos.

5. CONCLUSIONES

En este trabajo hemos mostrado como un nove-doso marco basado en inferencia bayesiana puedeconstituir una base adecuada para el desarrollode sensores virtuales de una forma rigurosa. Da-do que las posibilidades de los sensores bayesianosvirtuales son numerosas y cubren un amplio ran-go de aplicaciones, nos hemos centrado aquı ensu uso para el diagnostico de sensores de robotsmoviles y la recuperacion de datos. Nuestros ex-perimentos ilustran las capacidades de la solucionsensorial bayesiana para inferir fallos en los senso-res y las causas de estos fallos, para recuperar losdatos sensoriales incluso en dichas situaciones deanomalıa, ası como el empleo, para todos ellas, deconocimiento proporcionado por un humano (desentido comun, representado en la estructura dela red) y de fuentes externas (ambiental).

En el futuro existen una serie de problemas queplaneamos abordar: en primer lugar, el coste delmetodo de inferencia aquı empleado (arbol deuniones) no es adecuado para cualquier tarearobotica, por lo que se necesitan mejoras parareducir dicho coste (por ejemplo, paralelizacion,empleo de algoritmos aproximados o abstraccionde la red); en segundo lugar, la red bayesiana se

238

Page 7: HACIA LA DIAGNOSIS Y RECUPERACI ON DE SENSORES ROB …eii.unex.es/ja2018/actas/JA2018_041.pdfFigura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo. La subred

deberıa crear de una forma mas autonoma y au-tomatica, pero manteniendo la capacidad de refle-jar conocimiento humano, por lo que deben desa-rrollarse procedimientos interactivos para integrartal conocimiento que permitan descubrir la estruc-tura mas probable de la red; finalmente, la apli-cacion de nuestro enfoque a sistemas sensorialesmucho mas sofisticados (por ejemplo, de visionpor computador) deberıa abordarse una vez queel problema de coste computacional este razona-blemente resuelto.

Agradecimientos

Este trabajo ha sido subvencionado por el Minis-terio de Educacion a traves de la ayuda con codi-go FPU16/02243, por la Universidad de Malaga atraves de su plan propio de investigacion y el Cam-pus Internacional de Excelencia Andalucıa Tech, ypor el proyecto de investigacion nacional DPI2015-65186-R.

English summary

TOWARDS LOW-LEVEL DIAG-NOSIS AND RECOVERY OFROBOTIC SENSORS THROUGHINFERENCE WITH BAYESIANNETWORKS

Abstract

Existing implementations for virtual sen-sors do not use a common, rigorous mathe-matical framework. In this work we aim tohomogenize the theoretical support of vir-tual sensors at a low level, i.e., dealingwith their raw data directly in such a waythat they can be employed for fault diagno-sis, data recovery and other functionalitieswithout changing the base paradigm. Baye-sian inference provides a general and prin-cipled way of addressing this; moreover, itallows us to integrate knowledge from di-verse sources (the sensor devices themsel-ves, human commonsense, environmentaldata, etc.) and could be hybridized with ot-her approaches, such as neural networks orfuzzy logic. Since the potential of this so-lution is considerably wide, here we focuson the fault diagnosis, data recovery andexternal knowledge integration functionali-ties. Our results with a real mobile robotequipped with two rangefinder sensors andalso common, simpler devices demonstrate

that the framework has many possibilitiesfor improving the sensory system of a mo-bile robot through high-level reasoning tech-niques.

Keywords: Bayesian inference, anomalydetection and recovery, virtual sensors

Referencias

[1] A. Darwiche. Modeling and Reasoning withBayesian Networks. New York: CambridgeUniversity Press, 2009.

[2] H. Zhou, S. Sakane. Sensor Planning for Mo-bile Robot Localization—A Hierarchical Ap-proach Using a Bayesian Network and a Par-ticle Filter, IEEE Transactions on Robotics,vol. 24, no. 2,pp. 481-487, April 2008.

[3] D. Song, C. Henrik Ek, K. Huebner, D. Kra-gic. Task-Based Robot Grasp Planning UsingProbabilistic Inference, IEEE Transactionson Robotics, vol. 31, no. 3, pp. 546-561, June2015.

[4] E. Besada-Portas, J. A. Lopez-Orozco, J. M.de la Cruz. Unified fusion system based onBayesian networks for autonomous mobile ro-bots, Proceedings of the Fifth InternationalConference on Information Fusion, Annapo-lis, MD, USA, 2002, pp. 873-880, vol.2.

[5] P. Bessiere. Probability as an Alternative toLogic for Rational Sensory-Motor Reasoningand Decision, in Probabilistic Reasoning andDecision Making in Sensory-Motor Systems,vol. 46, Berlin: Springer-Verlag, 2008, pp. 3-18.

[6] B. Cai, L. Huang, M. Xie, Bayesian Networksin Fault Diagnosis. IEEE Transactions on In-dustrial Informatics, vol. 13, no. 5, pp. 2227-2240, October 2017.

[7] R. Munguia, A. Grau. Closing Loops With aVirtual Sensor Based on Monocular SLAM,IEEE Transactions on Instrumentation andMeasurement, vol. 58, no. 8, pp. 2377-2384,August 2009.

[8] P. Buschka, A. Saffiotti. A virtual sensorfor room detection, IEEE/RSJ InternationalConference on Intelligent Robots and Sys-tems, Lausanne, 2002, pp. 637-642, vol. 1.

239

Page 8: HACIA LA DIAGNOSIS Y RECUPERACI ON DE SENSORES ROB …eii.unex.es/ja2018/actas/JA2018_041.pdfFigura 2: El robot CRUMB y los principales sen-sores utilizados en este trabajo. La subred

[9] I. Hashlamon, K. Erbatur. Joint sensor faultdetection and recovery based on virtual sen-sor for walking legged robots, IEEE 23rd In-ternational Symposium on Industrial Electro-nics (ISIE), Istanbul, 2014, pp. 1210-1214.

[10] M. Castellano-Quero, I. Fernandez-Vega, J.A.Fernandez-Madrigal, A. Cruz-Martın. Meto-dos de inferencia bayesiana empotrados parael diagnostico y mejora sensoriales de un ro-bot movil, II Jornadas de Computacion Em-potrada y Reconfigurable (JCER2017), Mala-ga, 2017, pp. 667-676

[11] C. Huang, A. Darwiche. Inference in BeliefNetworks: A Procedural Guide, InternationalJournal of Approximate Reasoning, vol. 15,no. 3, pp. 225-263, October 1996.

[12] M. Quigley, K. Conley, B. Gerkey, J. Faust, T.Foote, J. Leibs, R. Wheeler, A. Ng. ROS: anopen-source Robot Operating System, Proc.ICRA Workshop Open Source Software, pp.1-6, May 2009.

[13] K. P. Murphy. The Bayes Net Toolbox forMATLAB, Computing Science and Statistics,vol. 33, no. 2, pp. 1024-1034, October 2001.

c© 2018 by the authors.Submitted for possibleopen access publication

under the terms and conditions of the Creati-ve Commons Attribution CC-BY-NC 3.0 license(http://creativecommons.org/licenses/by-nc/3.0/).

240