introducción t2. visión estereoscópica
Post on 16-Jul-2022
10 Views
Preview:
TRANSCRIPT
Técnicas Avanzadas de Visión por Computador
Sistemas Informáticos Avanzados
T2. Visión EstereoscópicaT2. Visión Estereoscópica
2T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental• Rectificación
El problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
3T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental• Rectificación
El problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
4T2. Visión Estereoscópica
Proyección de una escena (3D) en 2 o más planos (2D)• Sistema binocular• Cámara en movimiento• Sistema de cámara con espejos• Sistema de múltiples cámaras
IntroducciónIntroducción
5T2. Visión Estereoscópica
Sistema binocular
IntroducciónIntroducción
http://users.rcn.com/mclaughl.dnai/products.htm
http://www.lucs.lu.se/Projects/Robots/Robots1990/StereoHead2.html
6T2. Visión Estereoscópica
Cámara en movimiento
IntroducciónIntroducción
http://www.dis.uniroma1.it/~iocchi/stereo/stereo.html
7T2. Visión Estereoscópica
Sistema de cámara con espejos
IntroducciónIntroducción
http://www-sop.inria.fr/robotvis/hardware/HardwarePictures.html
⇒
8T2. Visión Estereoscópica
Sistema de múltiples cámaras
IntroducciónIntroducción
http://www.ptgrey.com/products/digiclops
9T2. Visión Estereoscópica
ÍndiceÍndice
Introducción¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental• Rectificación
El problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
10T2. Visión Estereoscópica
Visión estereoscópica:• 2 o más imágenes 2D ⇒ información 3D
¿Qué es la visión estereoscópica?¿Qué es la visión estereoscópica?
⇒
http://www.ai.sri.com/~konolige/svs/pictures.htm
11T2. Visión Estereoscópica
Visión estereoscópica:• 2 o más imágenes 2D ⇒ información 3D
¿Qué es la visión estereoscópica?¿Qué es la visión estereoscópica?
http://www.ai.sri.com/~konolige/svs/pictures.htm 12T2. Visión Estereoscópica
Visión estereoscópica:• 2 o más imágenes 2D ⇒ información 3D
¿Qué es la visión estereoscópica?¿Qué es la visión estereoscópica?
http://www.inria.fr/
13T2. Visión Estereoscópica
Visión estereoscópica:• 2 o más imágenes 2D ⇒ información 3D
¿Qué es la visión estereoscópica?¿Qué es la visión estereoscópica?
http://www.dis.uniroma1.it/~iocchi/stereo/stereo.html
14T2. Visión Estereoscópica
Visión estereoscópica:• 2 o más imágenes 2D ⇒ información 3D
¿Qué es la visión estereoscópica?¿Qué es la visión estereoscópica?
http://www.ptgrey.com/products/triclopsSDK/samples.html
15T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental• Rectificación
El problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
16T2. Visión Estereoscópica
Geometría de 1 cámara:• Geometría de la proyección: 3D a 2D
Geometría de 2 cámaras:• Geometría paralela• Geometría no paralela
Calibración
Rectificación
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
17T2. Visión Estereoscópica
Modelo de cámara pinhole
Geometría de la proyecciónGeometría de la proyección
pinhole
Plano focalPlano retínico
Proyección Perspectiva
Eje ópticoCentro óptico
18T2. Visión Estereoscópica
Modelo de cámara pinhole
Geometría de la proyecciónGeometría de la proyección
C
R
M
m
m = intersección de la recta CM con el plano R
19T2. Visión Estereoscópica
Modelo de cámara pinhole
Geometría de la proyecciónGeometría de la proyección
Plano retínicoCentro óptico
ff
20T2. Visión Estereoscópica
Sistemas de coordenadas
Geometría de la proyecciónGeometría de la proyección
RC
x
yz
u
v
Sist. Coord. 2D = (c, u, v)u paralelo xv paralelo yc = intersección R y z
c
Sist. Coord. 3D = (C, x, y, z)C = centro ópticoz = eje óptico
21T2. Visión Estereoscópica
De coordenadas de la cámara a coordenadas de la imagen
Geometría de la proyecciónGeometría de la proyección
RC
x
yz
u
v
c
M=(x,y,z)
m=(u,v)
yv
xu
zf
==
22T2. Visión Estereoscópica
Matriz de proyección perspectiva
Geometría de la proyecciónGeometría de la proyección
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
1000
100
0
0
00
zyx
ff
SVU
yv
xu
zf
==
0// ≠== SsiSVvSUu
MPm ~~ =P = matriz de proyección
2D
3D
2D 3D
23T2. Visión Estereoscópica
Lo que queremos es m en coordenadas normalizadas
Geometría de la proyecciónGeometría de la proyección
R
M=(x,y,z)
m=(u,v)
C
f
C
x
y
u
v
c
24T2. Visión Estereoscópica
De coordenadas de la imagen a coordenadas normalizadas
Geometría de la proyecciónGeometría de la proyección
R
m
u
v
c
un
vn
cn
Coordenadas normalizadas de la imagen
cmccmc nn +=
Cambio de coordenadasde (c, u, v) a (cn, un, vn)
Sumar a m la posición de c respecto a cn :
(u0, v0)
25T2. Visión Estereoscópica
De coordenadas de la imagen a coordenadas normalizadas
Geometría de la proyecciónGeometría de la proyección
Unidades de u, v metrosUnidades de un, vn pixels
ku, kv pixels/metro
Puede ser ku ≠ kvR
m
u
v
c
un
vn
cn
Coordenadas normalizadas de la imagen
26T2. Visión Estereoscópica
De coordenadas de la imagen a coordenadas normalizadas
Geometría de la proyecciónGeometría de la proyección
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
11000
0
10
0
vu
vkuk
vu
v
u
n
n
R
m
u
v
c
un
vn
cn
Coordenadas normalizadas de la imagen
27T2. Visión Estereoscópica
Matriz de proyección perspectiva
Geometría de la proyecciónGeometría de la proyección
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
1000
1000
0
0
0
zyx
vfkufk
SVU
v
u
Parámetros intrínsecos: f, ku, kv, u0, v0
0// ≠== SsiSVvSUu nn
28T2. Visión Estereoscópica
Matriz de proyección perspectiva
Geometría de la proyecciónGeometría de la proyección
0// ≠== SsiSVvSUu nn
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
1000
1000
0
0
0
zyx
vu
SVU
v
u
αα
Medida de la longitud focal en unidades de un y vn: αu, αv
29T2. Visión Estereoscópica
Matriz de proyección perspectiva
Geometría de la proyecciónGeometría de la proyección
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡ −=
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
1000
100sin/0cot
0
0
zyx
vu
SVU
v
uu
θαθαα
Cuando es posible que haya una desviación del eje óptico
0// ≠== SsiSVvSUu nn
11 grados de libertad
30T2. Visión Estereoscópica
Parámetros extrínsecos: de las coordenadas del mundo a las coordenadas de la cámara
Geometría de la proyecciónGeometría de la proyección
R
M=(x,y,z)
m=(u,v)
C
f
C
x
y
u
v
c
z
Z
Y XORotación + Traslación
oMKM ~~ =
M0=(X,Y,Z)
31T2. Visión Estereoscópica
Parámetros extrínsecos
Geometría de la proyecciónGeometría de la proyección
Rotación + Traslación
oMKM ~~ =
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
=
1000333231
232221
131211
z
y
x
trrrtrrrtrrr
K
Rotación + Traslación
32T2. Visión Estereoscópica
Forma general de la matriz de proyección
Geometría de la proyecciónGeometría de la proyección
0// ≠== SsiSVvSUu nn
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
=⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
1ZYX
PSVU
33T2. Visión Estereoscópica
Forma general de la matriz de proyección
Geometría de la proyecciónGeometría de la proyección
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
1000000
1000
0
333231
232221
131211
0
0
z
y
x
v
u
trrrtrrrtrrr
vfkufk
P
Matriz 3x4
34T2. Visión Estereoscópica
Calibración:• Paso 1: Estimar la matriz P• Paso 2: Estimar los parámetros intrínsecos y
extrínsecos a partir de P
Para algunas aplicaciones (como visión estéreo) sólo es necesario el paso 1.
Geometría de la proyecciónGeometría de la proyección
35T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección
Geometría binocular. Matriz fundamental• Rectificación
El problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
36T2. Visión Estereoscópica
Geometría de 2 cámaras:• Geometría paralela• Geometría no paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
P1
P2
37T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
P1 P238T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
000
1000
0
0
0
1 vfkufk
P v
u
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
100001000010
001
000
1000
0
0
0
2
b
vfkufk
P v
u
39T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
000
1000
0
0
0
1 vfkufk
P v
u
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
00
1000
0
0
0
2
bfkvfkufk
Pu
v
u
!Iguales!
40T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
⎥⎦
⎤⎢⎣
⎡==
1
1111 ,~~
vu
mMPm
⎥⎦
⎤⎢⎣
⎡==
2
2222 ,~~
vu
mMPm
21 vv =
41T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
01 uzxfku u +=
zbfkuu u+= 12
zbfku
zxfku uu ++= 02
42T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
zbfkuu u+= 12z
bfkuu u=− 12
constante
disparidadprofundidad
Inversamente proporcional
43T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
44T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
u1u2
Disparidadu2 - u1
Buscar puntoshomólogos:
El problemade la
correspondencia
45T2. Visión Estereoscópica
El caso más simple:• Geometría paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
Líneas epipolares
Haz de planos
C1
C2
46T2. Visión Estereoscópica
Geometría no paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
Epipolos
C1
C2
47T2. Visión Estereoscópica
Geometría no paralela
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
000
1000
0
0
0
1 vfkufk
P v
u
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
1000000
1000
0
333231
232221
131211
0
0
2z
y
x
v
u
trrrtrrrtrrr
vfkufk
P
Suponemos: • Coord. del mundo en
(C1, x1, y1, z1) • Misma cámara
48T2. Visión Estereoscópica
Matriz Fundamental
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
m1m2
?21
~ lmF =
l2
l1
F= Matriz Fundamental
12~ lmF T =
TFF =−1
0~~12 =mFm T
0~~21 =mFm TT
l2
l1
49T2. Visión Estereoscópica
Calibración:• Obtener todos los parámetros de calibración
(matrices de proyección P1 y P2)s1, s2 : factores de escala
• Calcular F a partir de P1 y P2
donde Qi son matrices 3x3 y qi son vectores 3x1,
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
MPms ~~111 =MPms ~~
222 =
[ ] 1121
1122
−− ×−= QQqQQqF
][ iii qQP =
50T2. Visión Estereoscópica
Calibración débil:• Hallar pares de puntos homólogos en dos
imágenes• Estimar la matriz F a partir de los pares de
correspondenciasMétodo de los 8-puntosMétodos linealesMétodos no lineales
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
51T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental
RectificaciónEl problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
52T2. Visión Estereoscópica
Rectificación:• Hacer coincidir las líneas epipolares con filas de la
imagen
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
53T2. Visión Estereoscópica
Rectificación:• Si las cámaras son en perspectiva lineales
Rectificar = proyectar P1 y P2 en un plano de rectificación
• Si son en perspectiva no linealHay que tener en cuenta la distorsión
• Si no son en perspectivaMétodos muy diferentes
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
54T2. Visión Estereoscópica
Rectificación:• Si las cámaras son en perspectiva lineales
Rectificar = proyectar P1 y P2 en un plano de rectificaciónLos epipolos son enviados al infinitoF rectificada es:
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡−=010100
000F
55T2. Visión Estereoscópica
Rectificación:
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
56T2. Visión Estereoscópica
Rectificación:
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
57T2. Visión Estereoscópica
Rectificación:
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
58T2. Visión Estereoscópica
Rectificación: comparación de método lineal y no lineal
Geometría de un Sistema BinocularGeometría de un Sistema Binocular
59T2. Visión Estereoscópica
BibliografíaBibliografía
Faugeras, O.; Three-Dimensional Computer Vision. A Geometric Approach. MIT Press, 1993Hartley, R. and Zisserman, A.; Multiple ViewGeometry in Computer Vision, Cambridge UniversityPress, 2000
top related