235 seminario de visión. 236 campos de aplicación 4 robótica: movimiento robot autónomo 4...

1

Seminario de visión

2

Campos de aplicación

Robótica: movimiento robot autónomo

Control de calidad: medida dimensiones

Control de calidad: detección defectos

Medicina: localización y medida de tumores

Topografía: imagen 3-D de un terreno

etc, etc, etc, etc

3

Técnicas de medida sin contacto

Visión artificial

Interferometría

Tiempo de vuelo

Barrera

HolografíaInterferometría láserInterferometría SpeckleInterferometría SARHolografía conoscópicaFranjas de MoiréLáserMicroondasUltrasonidosSonar

4

Medida por visión artificial

Monoculares

Iluminación estructurada

Esteroscópicas

Análisis de texturaShape from shadingMétodos fotométricosDynamic focusing

Triangulación

Visión

estéreo

5

Medida por visión artificial

Técnicas activas: Requieren un aporte externo adicional de energía

Ej. Iluminación estructurada

Técnicas pasivas No requieren ningún aporte adicional

Ej. Visión estereo

6

Modelo de cámara ‘pinhole’

Plano de imagen

Punto de luz P

Foco O

x'

z'

y'u

v

distan

cia fo

cal (f

)Punto imagen Q

(0,0,0)

(u,v)

(x,y,z)

''' zf

yv

xu

Ecuación fundamental

x

z

y

][

'

'

'

][ T

z

y

x

R

z

y

x

Cambio de ejes

7

Modelo y calibración de la cámara

Modelo de cámara

Calibración: - Obtener quintetos {ui,vi,xi,yi,zi}

1

'

'

'

0100

00

00

10

0

z

y

x

va

ua

v

u

s v

u

M

3

2

1

333231

232221

131211

'

'

'

t

t

t

z

y

x

rrr

rrr

rrr

z

y

x

R T

Calcular M, R y T tal que se cumpla el modelo de cámara problema de mínimos cuadrados

8

Calibración de la cámara

Patrón de calibración Para cada punto son dato: xi,yi,zi,ui,vi

Son incógnitas: R, M, T

Dado:

),('

'

MRT

i

i

i

i

i params

z

y

x

FnCamv

u

Los parámetros óptimos cumplirán:

minvv

uu

ii

ii

'

'

9

Iluminación estructurada

Nueva ecuación. Plano de luz:

CámaraFuente de luz

Plano de luz

0'.'.'. DzCyBxA

10

Ejemplos de iluminación estructurada

Patrón láser aplicado sobre superficie lisa o no

Detección de defectos de planitud con patrón basado en líneas

11

Triangulación láser

Sensores compactos para medida puntual1: emisor2,3: lentes de enfoque4: detector5: DSP6: objeto

12

Técnicas basadas en sombreado

El sombreado da una idea de la forma

Photometric stereo

Shape from shading: uso directode la información de sombras

Photometric stereo: una misma escena (sup. Lambertiana) captada con 3 diferentes fuentes de iluminación puede ser inequívocamente reconstruida

13

Focalización dinámica

Buscar el enfoque perfecto (imagen más nítida)

d1 d2

Objeto

Plano dela imagen

f

Imagen

Objeto

Plano dela imagen

f

Imagen

Imagen perfectamente focalizada Imagen desfocalizada

Nueva ecuación. Distancia para enfoque perfecto:

21

111

ddf

14

Enfoque dinámico: ejemplo

Misma imagen tomada con varias distancias de enfoque (d1)

Reconstrucción 3-D

15

Triangulación y visión estéreo

Cámara 2

O2

Cámara 1

O1

Sistema sobredeterminado: 4 ecuaciones y 3 incógnitas

P(x,y,z)

Plano PO1O2

Q1(u1,v1)Q2(u2,v2)

Recta epipolar del puntoQ1 en la cámara 2

Recta epipolar del punto Q2 en la cámara1

16

Triangulación y visión estéreo

Triangulación: punto P fácilmente reconocible en ambas cámaras (Q1,Q2) (iluminación activa)

Visión estéreo: correspondencia entre Q1 y Q2 no inmediata (iluminación pasiva) ‘matching’ previo

17

Par estéreo

Ejemplo de reconstrucción 3-D

18

Ejemplo de reconstrucción 3-D

Puntos interesantes con fácil correspondencia

19

Ejemplo de reconstrucción 3-D

Rectas epipolares

20

Reconstrucción 3-D

21

Matching en visión estéreo

Correspondencia entre puntos en ambas imágenes

Se sabe El punto Q2 debe estar en la recta

epipolar del Q1

Ambos puntos deben tener una luminosidad similar

El entorno de ambos puntos debe ser similar

Pero Debido a errores, distorsiones, etc., Q2 no

está exactamente en la recta epipolar

La luminosidad puede variar en algunas zonas (brillos)

El entorno de ambos puntos puede ser muy distinto por la perspectiva, o incluso uno de ellos estar oculto

22

Matching en visión estéreo

Clases de algoritmos

Basados en características de

interés (principalmente contornos)

Mapa de distancias disperso

Representación simbólica fácilmente extraíble

Basados en correlación de

regiones

Mapa de distancias denso

Pocas falsas correspondencias

23

Matching en visión estéreo

Principales métodos

Basados en correlación

Técnicas de relajación

Programación dinámica

Predicción/verificación

24

Concepto de disparidad

Cámara 2

O2

Cámara 1

O1

P(x,y,z)

Plano PO1O2

Q1(u1,v1)Q2(u2,v2)d

Disparidad: d = Q1Q2

Conocido d para todos los pixels de la cámara 1 se puede reconstruir la geometría 3-D

25

Concepto de disparidad

Ejemplo con cámaras paralelas y alineadas (geometría epipolar)

Cámara 1

O1

Cámara 2

O2

rectas epipolares

P

Q2

Q1

P’

Q2’Q1’

d

d'

26

Teorías de visión estéreo

Marr-Poggio

Modelo basado en la visión humana

Filtro previo con 12 máscaras direccionales de diversos tamaños

Búsqueda de pasos por 0 en las imágenes filtradas

Búsqueda de correspondencias en paso por cero

Las disparidades deben variar de manera suave salvo en las discontinuidades (bordes de las superficies)

27

Ejemplo de disparidades

Izquierda

Derecha

Disparidad

28

Técnicas de tiempo de vuelo

Medida del tiempo en que una determinada forma de energía tarda en regresar rebotado de un objeto

Energía: luz láser, microondas, ultrasonidos, etc. Formato: pulso, onda.

29

Técnicas de tiempo de vuelo: ejemplos

Medida láser Ultrasonido

Sonar

30

Técnicas de barrera

Sensores de barrera láser

Sensores debarrera en variasconfiguracionesde medida

31

Técnicas interferométricas

Basadas en la interferencia entre dos ondas de igual frecuencia

Holografía

Interferometría láser

Interferometría Speckle

Franjas de Moiré

Otras

32

Interferometría: principio

Interferencia constructiva o destructiva de ondas de igual frecuencia

A

B

A+B

Desfase 0º 60º 120º 180º

Energía

Patrón de interferencia

33

Interferómetro de Michelson

Principio de funcionamiento

Espejo

Espejo

SeparadorFuente de luz

Detector

34

Ejemplos de interferogramas

La interferometría de luz blanca elimina las ambigüedades presentes en la interferometría monocromática

35

Holografía. Principio físico

Placa holográfica

P

haz de objeto

haz de referencia

Punto de vista

Plac

a ho

logr

áfic

a

láser haz de objeto

haz de referencia

ObjetoEspejo

EspejoSepa

rado

r

36

Ejemplo de interferometría holográfica

37

Holografía conoscópica

P

Circularpolarizer

Uniaxialcrystal

Valve Circularpolarizer

Detector

Principio

38

Holografía conoscópica

L

z

P

Q

Rayo extraord.

Rayo ord.

Polarizadorcircular

Cristal uniáxico

Detector

Imagen en el detector

Interferencia de ondas entre: Rayo ordinario y extraordinario en que la luz polarizada

monocromática se divide al atravesar un cristal uniáxico

39

Holografía conoscópica: sensores

Sensor puntual

Sensor lineal

40

Conoprobe

Conoprobe: sensor puntual Rango variable según lente, desde 0.5

mm hasta 1 m

o

Láser

EspejoSensor CCD

lineal

Separador

Conoscope

Objetivo y filtros

0 50 100 150 200 250-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

Línea de interferencia

41

Conoprobe: ejemplo

Resultados utilizando un movimiento XY sobre un clip

Scan 3-D Corte 2-D

42

Conoline

Conoline: sensor lineal Con o sin triangulación

0 50 100 150 200 250-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

Láser

o

Objetivosy filtros

Conoscope

Sen

sor

CC

D

Lentescilíndricas

ObjetoInterferograma

(1 línea por cada puntodel objeto)

43

Ejemplo de Conoline

0 50 100 150 200 250-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

Holograma

Línea de interferencia

50 100 150 200

100

200

300

400

500

600

Depresión

0 100 200 300 400 500 600 7000.375

0.38

0.385

0.39

0.395

0.4

0.405

0.41

0.415

0.42

0 100 200 300 400 500 600 700-2

-1.5

-1

-0.5

0

0.5

1

0 100 200 300 400 500 600 7000

5

10

15

20

25

30

35

40

45

50

Frecuencia

Fase desplegada Mapadedistancia

Depresión

3 m

m

200 mm

Superficie de acero con depresión Distancia de trabajo: 1200 mm Ancho de línea: 200 mm Rango: 20 mm

44

Long-standoff Conoline: ejemplo de uso

Detección de defectos en desbastes de acero en caliente

45

Inspección con Conoline

Resultados

Line scan Conoline Detección Line scan Conoline Detección

7000

mm

200 mm

46

Selección de la tecnología a usar

Medida requerida: 1-D, 2-D o 3-D 1-D: triangulación, enfoque dinámico, holografía conoscópica,

láser (radar), otras técnicas de radar. 2-D: las anteriores con movimiento 1 grado libertad, iluminación

estructurada, estereovisión (menos), holografía conoscópica lineal. 3-D: las anteriores con movimiento 2 grados libertad, iluminación

estructurada, estereovisión. Coste: más bajo para técnicas basadas en visión. Rango y precisión: holografía conoscópica. Condiciones ambiente complicadas: holografía conoscópica,

visión.