aplicaciÓn de tÉcnicas de imagen artificial … · curso sobre técnicas de visualización...
TRANSCRIPT
APLICACIÓN DE TÉCNICAS DE IMAGEN ARTIFICIAL Y REDES
NEURONALES PARA EL SEGUIMIENTO DEL REMONTE DE
FAUNA PISCÍCOLA
Curso sobre Técnicas de Visualización
CEH-CEDEX, 10 junio de 2011
1. Introducción
2. Dispositivo experimental
3. Procedimiento
3.1. Calibración de las cámaras
3.2. Segmentación de la imagen
3.3. Detección del pez
4. Análisis de resultados
5. Conclusiones y futuros desarrollos
Aplicación de técnicas de visión artificial y redes neuronales para el seguimiento del remonte de fauna piscícola
Introducción
Escalas de peces de hendidura vertical
E. hendidura vertical en río Sena y Dordoña (Larinier et al., 1998)
Entorno hidrodinámico complejo, desconocimiento del comportamiento de las especies
Introducción
Objetivos del estudio
� Análisis del comportamiento de diferentes especies piscícolas en estos
ambientes artificiales
� Identificación de parámetros importantes para un paso de peces efectivo
� Desarrollo de nuevos criterios de diseño que tengan en cuenta las
necesidades de los peces
Mejor comprensión de la interacción entre los procesos biológicos y
físicos involucrados en el remonte de una escala de hendidura vertical
Dispositivo experimental
Escala de peces de hendidura vertical del CEH-CEDEX
L=20 m
B=1.5 m
h= 1 m
Dimensiones geométricas de las piscinas (m)
S=7.5%
Q=250 l/s
11 piscinas
Dispositivo experimental
Técnicas de seguimiento
Observación directa
�Difícil por los altos niveles de turbulencia
�Altas necesidades de personal
�Generalmente se complementan las observaciones con grabaciones de vídeo
� Observación directa
� Métodos de marcaje: tecnología PIT-tag
� Técnicas de visión artificial
Dispositivo experimental
Técnicas de seguimiento
Métodos de marcaje: PIT (Passive Integrated Transponder)
�Desconocimiento de la trayectoria dentro de la piscina
�Necesario implantar los PIT tags en el animal
http://php.ptagis.org/wiki/index.php/Roza_Diversion_Dam
Roza Dam Fishway (river Yakima, WA)
Dispositivo experimental
Técnicas de seguimiento
� Técnica menos intrusiva
� Obtención de mayor cantidad de información y más precisa
� Posible combinación con el uso de tecnología PIT tag
1. Infraestructura de grabación en vídeo de los ensayos
2. Desarrollo de un sistema de visión artificial para el análisis automático de
las imágenes
Dispositivo experimental
Sistema de adquisición de imágenes
7 piscinas completas + entrada
� 29 cámaras, lente de 180º
� 29 carcasas de metacrilato
� 29 soportes metálicos
Dispositivo experimental
Sistema de adquisición de imágenes
Sistema de grabación de datos
� 29 videograbadores de 500Gb
� 2 concentradores (switchs)
� 1 PC
� Sistema de sincronización
Dispositivo experimental
Sistema de adquisición de imágenes
Sistema de visionado en tiempo real
� 4 interconectadores (quads)
� 1 multiplexor (mux)
� 1 monitor de TV
Dispositivo experimental
Sistema de adquisición de imágenes
� 29 cámaras
� 29 carcasas de metacrilato
� 29 soportes metálicos
� 29 video grabadores
� 2 concentradores
� 1 ordenador
� 4 interconectadores
� 1 multiplexor
� 1 monitor de televisión
Procedimiento
Fases
� Calibración de las cámaras y creación de un modelo proyectivo para integrar
las mediciones en un sistema común de coordenadas a escala real
� Segmentación de la imagen: RNA
� Detección del pez: técnicas de visión artificial
� Filtrado de los resultados
Procedimiento
La Imagen
Imagen
Una imagen es un conjunto de valores que representan la distribución espacial de un
parámetro, en imagen convencional este valor representa el color.
El color es una percepción visual que se genera en el cerebro al interpretar las señales de los
foto receptores de la retina y que a su vez interpretan las distintas longitudes de onda que
captan de la parte visible del espectro electromagnético.
Procedimiento
La Imagen
Todo cuerpo iluminado absorbe una parte
de las ondas electromagnéticas y refleja
las restantes.
El color es la interpretación del cerebro de
las longitudes de ondas reflejadas por un
objeto.
El objetivo (lentes) de una cámara capta la
luz y la envía a un sensor donde es medida
por miles de foto detectores
Cada pixel de la imagen representa la medición de un foto detector en el sensor de la cámara
Procedimiento
La Imagen
La resolución de la imagen (Mpx) viene determinada por el numero de foto detectores del sensorLos aspectos mas importantes para la calidad de la imagen son:
•La óptica: (Luminosidad, Zoom, Distorsión, Profundidad de campo, Angulo de Visión)• El tamaño del sensor (Mayor tamaño = Más luz y menos ruido ).
Nota: Para un sensor de un tamaño dado, Mayor resolución = Menor calidad de Imagen
•Un sensor es una matriz de foto detectores y una imagen es una matriz de
valores de color
•Una matriz puede analizarse y transformarse numéricamente.
Procedimiento
Calibración de las cámaras
Transformaciones afines de la imagen
1 0 1 1
w c
w c
X x
Y y
=
a b c
d e f
0
=
1100
10
01
1
c
c
y
x
w
w
y
x
d
d
Y
X
−
=
1100
0cos
0cos
1
c
c
w
w
y
x
sen
sen
Y
X
θθ
θθ
×
=
1100
00
00
1
c
c
w
w
y
x
sy
sx
Y
X
Traslación
Escalado
Rotacion
Se mantienen invariantes las líneas paralelas e la razón entre aéreas. 6 grados de libertad.
Procedimiento
Calibración de las cámaras
Transformación proyectiva de la imagen (homografía)
[ ]
×
×
=
1
1
11
1c
c
c
c
w
w
y
x
hg
y
x
hg
fed
cba
Y
XLas líneas paralelas no se mantienen. 8 Grados de libertad.
Procedimiento
Calibración de las cámaras
Modelo de Cámara de Pin-Hole
0
0
1 0 0 01
c
cc x x
cc y y
C
XZ
x f cY
y M M f cZ
= × =
Transformación afín de escalado y traslación.
Procedimiento
Calibración de las cámaras
Distorsiones de La Cámara
( )
( )
2 4
1 2
2 4
1 2
2 2
3 4
2 2
3 4
2 2
2 2
x
y
x
y
d r x k r x k r
d r y k r y k r
d t k r x k xy
d t k x y k r y
= +
= +
= + +
= + +
Modelos Paramétricos de Distorsión.
Procedimiento
Calibración de las cámaras
Procedimiento
Calibración de las cámaras
2 2
0 11 1
a b
a b
x x
y M y M
= × =
a b c
d e f
0
Modelo general afín de refracción.
Refracción de la luz en el agua
Procedimiento
Calibración de las cámaras
[ ]
×
×
=
1
1
11
1c
c
c
c
w
w
y
x
hg
y
x
hg
fed
cba
Y
XModelo homográfico para fusión de imágenes.
Conversión a Espacio común
Procedimiento
Segmentación de la imagen
Segmentación
Clasificación y etiquetado de los diferentes elementos de la imagen.
Separación de los diferentes objetos: Clasificando grupos de pixeles similares que representan el mismo cuerpo
Basado en: Diferencias de color, texturas, bordes, posición, movimiento los distintos objetos, modelos matemáticos de los cuerpos…
Procedimiento
Segmentación de la imagen
Segmentación por umbralización
Cada pixel es clasificado (normalmente en las clases fondo y objeto) según su valor numérico
Se utiliza un umbral numérico (constante o variable) de modo que un pixel es clasificado como fondo o objeto si es mayor o menor que dicho umbral.
Procedimiento
Segmentación de la imagen
Segmentación basada en bordes
1 Detección de bordes buscando cambios bruscos en la imagen (Análisis del gradiente de la imagen).2 Filtrado de bordes (Eliminar bordes innecesarios)3 Procesado de bordes (Completar los bordes encontrados para definir contornos cerrados)4 Segmentación de los contornos que describen los objetos
Procedimiento
Segmentación de la imagen
Segmentación basada en regiones
Watershed
Modelos
deformables
Procedimiento
Segmentación de la imagen
RNALas redes de neuronas artificiales son una herramienta de aprendizaje y procesamiento automático inspirado en la forma en que funciona el sistema nervioso de los animales.
Sistema de interconexión de neuronas en una red que colabora para producir un estímulo de salida.
Cada neurona recibe una serie de entradas a través de interconexiones y emite una salida. Esta salida viene dada por tres funciones:
•Función de excitación. Suma de cada entrada (xi) por el peso (wi) de su conexión.
•Una función de activación, que modifica a la anterior.
•Función de transferencia. Acota la salida de la neurona . Interpretación de las salidas.
Procedimiento
Segmentación de la imagen
RNA
�Arquitectura. El mapa de conexiones entre los diferentes elementos
�El proceso de aprendizaje (Automático, Supervisado…)El aprendizaje determina los pesos (wi) de las conexiones y determinara la respuesta de la red.
�La función de activación.
LasRNAs son sistemas adaptativos, tienen la capacidad de cambiar su
estructura de acuerdo a los datos. Las RNAs se definen por tres
parámetros:
Procedimiento
Segmentación de la imagen
RNA SOM
�Red neuronal inspirada en el cortex visual.
�Los valores del espacio de entrada, son transformados a un espacio de salida discreto
(formado por un numero determinado de clases)
�La red es entrenada para clasificar patrones de datos
�Cada neurona responde a un patrón y neuronas cercanas responden a patrones
similares.
Procedimiento
Segmentación de la imagen
Aprendizaje
La red es entrenada para responder a cierto tipo de patrones numéricos
�Los pesos de la red se inicializan�Se utilizan datos típicos (ejemplos) para entrenar la red�Se asigna una neurona ganadora a cada patrón de entrenamiento�Los pesos de las neuronas se modifican de acuerdo a la distancia con la neurona ganadora�El proceso de entrenamiento se repite durante muchos ciclos modificando progresivamente la respuesta de la red
Procedimiento
Segmentación de la imagen
Un valor de entrada es asignado a una de las clases de salida según la neurona de la capa de salida que se active
Los pesos de la red neuronal determinan la correspondencia entre los espacios de entrada y salida
Puntos cercanos en el espacio de entrada activan neuronas cercanas en el espacio de salida y viceversa
Mapeado
Procedimiento
Segmentación de la imagen
�La RNA SOM clasifica los diferentes elementos de la imagen�Se utilizan como entrada diferentes valores numéricos que describen cada punto de la imagen�Las clases que representan el fondo y otros elementos sin interés son descartadas�Las clases que describen mejor pez se utilizarán para marcar la posición posible del pez
Procedimiento
Segmentación de la imagen
{ }
2
, , , ( , ) , , ,2 2 2 2
, , ,
, ,
, ,
, ,
2
2 2 2 2
'
'
( , ) ( , )
( , ) , , ,2 2 2 2
N N N Ni j a b a b a b i j i j
a b a b a b
a b a b
I I I
N N
x y x y
i j i j
E V W
V W
I x y I x y
N N
N N N Nx y i j i j
µ µ µ
µ µ µ
µ µ
= − − + +
=
= = −
′
′= =
= − − + +
∑ ∑
Procedimiento
Segmentación de la imagen
Procedimiento
Detección del Pez
La imagen segmentada se convierte en una serie de valores que describen cada uno de los cuerpos conexos encontrados en la imagen
Atributos que describen el cuerpo:
•Numero de pixeles que lo componen (área).•Posición de su centro de masas.•Ejes de la elipse mínima que contiene al cuerpo.
Cuerpo Conexo: Cada grupo de pixeles que ha sido segmentado por la red
Análisis de Objetos Segmentados
Procedimiento
Detección del Pez
Procedimiento
Detección del Pez
Procedimiento
Detección del Pez
Análisis de resultados
Comportamiento del pez
( ) ( ) ( ) ( )0 0 1 1 0 04∆ = t t t t ti ti tN tN min( t ) . s
X ,Y , X ,Y ,..., X ,Y ,..., X ,Y
� Vector de posición
Identificación de la trayectoria seguida durante el ascenso
Trayectoria completa
Zonas de descansoPaso de hendidura
A
B C
Análisis de resultados
Comportamiento del pez
Zonas de descanso
A
B C
Líneas de corriente Velocidades (m/s)
Energía cinética turbulenta (m2/s2)
Análisis de resultados
Comportamiento del pez
� Nº ejemplares que remontan completamente la escala
� Tiempo total de ascenso/ tiempo en cada piscina
� Posibles descensos de piscinas
Análisis del comportamiento general
Análisis de las zonas de descanso
� Frecuencia de utilización
� Tiempos de permanencia
Frecuencia de uso (%) Tiempo de permanencia (s)
Zona A Zona B Zona C Zona A Zona B Zona C Global
Media σ Media σ Media σ Media σ
Trucha 57.4 42.6 0 411 424 413 406 0 - 412 412
Boga 100 0 0 340 340 0 - 0 - 340 340
Barbo 57.9 42.1 0 246 300 450 579 0 - 332 437
A
B C
Análisis de resultados
Comportamiento del pez
Análisis de los pasos de hendidura
� Velocidad de natación
= −nat obs aV V V2 2
1 1
1
− −
−
− + −=
−
ti ti ti ti
obs
i i
(X X ) (Y Y )V
t t
� Velocidad instantánea observada
Velocidad del agua
Análisis de resultados
Comportamiento del pez
� Aceleración1
1
−
−
−=
−nat ti nat ti
i
i i
(V ) (V )A
t t
� Velocidades y aceleraciones máximas
Velocidad de natación (m/s) Aceleración (m/s2)
Máx. media σ Máx. media σ
Trucha 1.51 0.21 1.11 0.68
Boga 1.43 0.23 1.22 0.87
Barbo 1.51 0.27 1.04 0.6
Conclusiones y futuros desarrollos
Postproceso
�Desarrollo de curvas de respuesta para distintas especies y tallas
Proceso
• Mejora de la precisión
• Mejora del tiempo de computación
Preproceso
•Continuación de ensayos con distintas especies
Muchas gracias por vuestra atención