e.***** a3.t1s1h3 calibración de una cámara montada sobre...

CENIT 2007-1012

E.3.2.1.2 Inserción de Gráficos Virtuales 1

Tecnologías para la Creación y Gestión Automatizada de Contenidos Audiovisuales

Inteligentes

E.***** A3.T1S1H3

Calibración de una cámara montada sobre un trípode y orientación de una

cámara PTZ en la escena a partir de una cámara master.

i3media No. Identificación: CENIT 2007-1012 Nivel de Confidencialidad: confidencial, restringido a Consorcio i3media y CDTI // público

Título del Activo: Inserción de gráficos virtuales Autor: Grupo de Investigación AMI. Universidad de Las Palmas de G.C.

Versión V2.1 *****

Sumario: En este documento se estudia la calibración de una cámara montada sobre un trípode, desde el análisis matemático del problema al diseño de algoritmos. Se aplica esta tecnología al control de la orientación y zoom de una cámara PTZ para el seguimiento de objetos a partir de una cámara master

Palabras clave: Calibración trípodes, cámaras PTZ, control cámaras a partir de una cámara master.

CENIT 2007-1012


ÍNDICE 1 INTRODUCCIÓN ................................................................................................................ 3

2 ESTUDIO MATEMÁTICO DE LA CALIBRACIÓN DE UNA CÁMARA MONTADA SOBRE UN TRÍPODE .................................................................................................................. 4

2.1 ECUACIÓN GENERAL DEL MOVIMIENTO DE UN TRÍPODE ......................................................................4 2.2 ECUACIÓN GENERAL DE LA PROYECCIÓN DE UN PUNTO 3D EN UNA CÁMARA MONTADA SOBRE UN

TRIPODE 4

3 DISEÑO DE ALGORITMOS PARA CALIBRAR UNA CÁMARA MONTADA SOBRE UN TRÍPODE....................................................................................................................................... 6

3.1 CÁLCULO EJES DE ROTACIÓN DEL TRÍPODE......................................................................................6 3.2 CÁLCULO DEL CENTRO DE ROTACIÓN DEL TRÍPODE ...........................................................................7 3.3 CÁLCULO DE LOS ÁNGULOS DE ROTACIÓN DEL TRÍPODE A PARTIR DE UNA MATRIZ DE ROTACIÓN R.........7 3.4 OPTIMIZACIÓN NO LINEAL DE LOS PARÁMETROS DEL TRÍPODE ............................................................8

4 CALIBRACIÓN DE UNA CÁMARA PTZ ........................................................................... 9

4.1 MONTAJE DE LA CÁMARA PTZ Y EL TRÍPODE....................................................................................9 4.2 ADQUISICIÓN DE IMÁGENES Y CALIBRACIÓN DEL TRÍPODE ................................................................10

4.2.1 Captura imagen de referencia ........................................................................................10 4.2.2 Captura automática de imágenes...................................................................................10 4.2.3 Calibración del trípode ...................................................................................................12

4.3 CALIBRACIÓN DEL ZOOM DE LA CÁMARA PTZ .................................................................................13 4.4 RESULTADOS EXPERIMENTALES...................................................................................................15

5 CONTROL DE UNA CÁMARA PTZ A PARTIR DE UNA CÁMARA MASTER. ............. 18

5.1 ESTUDIO MATEMÁTICO DEL PROBLEMA DE ORIENTACIÓN DE LA CÁMARA HACIA UN PUNTO EN LA ESCENA

18 5.2 APLICACIÓN AL CONTROL DE UNA CÁMARA PTZ A PARTIR DE UNA CÁMARA MASTER............................20 5.3 RESULTADOS EXPERIMENTALES...................................................................................................21

6 CONCLUSIONES. ............................................................................................................ 24

7 BIBLIOGRAFÍA. ............................................................................................................... 24

CENIT 2007-1012


1 Introducción

En este documento se estudia la calibración de una cámara montada sobre un trípode. Como caso particular se estudia la calibración y control de una cámara PTZ a partir de una cámara master. Esto significa que un usuario podrá elegir el punto hacia donde orientar la cámara PTZ solamente indicándolo sobre una vista general del campo de fútbol o cámara master.

El principal interés de estudiar en detalle el problema de calibración de una cámara montada sobre un trípode es que una vez calibrado el trípode, la calibración de cada vista adquirida por la cámara se reduce a calcular 3 parámetros : pan, tilt y zoom, frente a los 7 parámetros que requiere una calibración standard (rotación + foco + zoom). Las principales ventajas que se pueden esperar de esta reducción de parámetros son las siguientes :

1. Se simplifica el problema de calibración al pasar a calcular sólo 3 parámetros por vista. Esto es especialmente relevante en el caso de una secuencia video con miles de frames.

2. Los algoritmos de calibración serán más robustos y rápidos. Pasar de estimar 7 parámetros a estimar 3 por cada vista permitirá acelerar los algoritmos de calibración y producirán unos resultados más robustos. Por ejemplo, en el caso de calibrar una secuencia video es fundamental obtener una calibración robusta frame a frame que evite las fluctuaciones que habitualmente se generan entre los frames por errores de calibración

El documento se ha organizado de la siguiente forma: La sección 1 es esta introducción, en la sección 2 se abordará el análisis matemático del problema de la calibración de una cámara montada sobre un trípode. En la sección 3 se estudiará el diseño de algoritmos para la calibración de un trípode a partir de un conjunto de imágenes adquiridas moviendo el trípode. La sección 4 está dedicada a la calibración de una cámara PTZ que podemos considerar un caso particular de cámara montada sobre un trípode. En la sección 5 se estudia como controlar una cámara PTZ a partir de una cámara master. En la sección 6 se presentan algunas conclusiones y finalmente en la sección 7 se dan algunas referencias básicas sobre el tema.

CENIT 2007-1012


2 Estudio matemático de la calibración de una cámara montada sobre un trípode

2.1 Ecuación general del movimiento de un trípode Un trípode viene definido por 2 ejes de rotación unitarios T

zyx eeee ),,( 0000 = , Tzyx eeee ),,( 1111 =

y un centro de rotación TZYXX ),,( 0000 = . Llamaremos ),( iieR θ a la matriz de rotación de

ángulo iθ alrededor del eje ie . Al rotar un punto 3D X sobre el centro de rotación 0X éste se transforma de acuerdo con la siguiente ecuación

))(,()( 00 XXeRXX ii

i −+= θθ (1)

el movimiento general de un trípode consiste en la composición de 2 rotaciones del tipo anterior, de tal manera que el punto se transforma siguiendo la ecuación general de movimiento de un trípode dada por

))(,(),(),( 011

00

010 XXeReRXX −+= θθθθ (2)

aquí se está suponiendo que el centro de rotación 0X es el mismo al rotar sobre ámbos ejes. Ello equivale a que los ejes sobre los que rota el trípode intercepten en un punto, lo cual es una situación habitual en la práctica

En lo que sigue se utilizará la siguiente notación :

),(),(),( 11

00

10 θθθθ eReRR ≡ (3)

010010 ),(),( XRXt θθθθ −= (4)

es decir la ecuación general del movimiento del trípode es

),(),(),( 101010 θθθθθθ tXRX += (5)

2.2 Ecuación general de la proyección de un punto 3D en una cámara montada sobre un tripode

La ecuación general de la proyección de un punto 3D TZYXX ),,(= en la imagen es

[ ]⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−−−

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−1

100010001

1000

0

1000 ,

0

0

0

022

021

020

012

011

010

002

001

000

)(

0

0

ZYX

ccc

rrrrrrrrr

yrfxf

yx

s

cId

z

y

x

RfA

c

c

444 3444 2144 344 2144 344 21

(6)

CENIT 2007-1012


donde se supone ya corregido los posibles efectos de distorsión de la lente. A la matriz

[ ]0000 ,)( cIdRfAP −≡ (7)

se le denomina matriz de proyección. Al realizar un movimiento con el trípode y un cambio de zoom de parámetros ),,( 10

iiif θθ la matriz de proyección se transforma en

[ ] ⎟⎟⎠

⎞⎜⎜⎝

⎛−≡

10),(),(

,)(),,( 10100010

iiii

iii

itR

cIdRfAfPθθθθ

θθ (8)

de donde operando se obtiene

[ ])),()(,(,),()(),,( 0101010010 ctRIdRRfAfP iiiiTii

iii

ii −≡ θθθθθθθθ (9)

de donde se deduce que la rotación y foco de la cámara tras el movimiento del trípode son:

),( 100ii

i RRR θθ≡ (10)

)),()(,( 01010 ctRc iiiiTi −−≡ θθθθ (11)

hay que tener en cuenta que la cámara inicial que se toma de referencia para mover el trípode puede ser cualquier vista adquirida con el trípode. Ahora bien, al cambiar la cámara de referencia inicial también cambian los ejes de rotación del trípode. En el siguiente lema se establece como cambian los ejes de rotación del trípode al cambiar la vista de referencia.

Lema 1 : Si el trípode en una posición de referencia tiene como matriz de rotación 0R y como

ejes de rotación 10 ,ee . Si se rota el trípode y se toma como vista de referencia la cámara

rotada ),( 11

1001 θθRRR ≡ entonces respecto a la nueva posicición del trípode los ejes de

rotación pasan a ser 01

10 ),(~ eeRe θ−= y 11~ ee =

Demostración : Dado que al concatenar rotaciones del trípode la vista final debe coincidir debe cumplirse :

),~(),~(),(),( '1

1'0

0100

'11

'000 θθθθθθθθ eReRRRRR =++ (12)

de donde se deduce

),~(),~(),(),(),(),( '1

1'0

01

1'1

11

1'0

0 θθθθθθ eReReReReReR = (13)

si se supone que 11~ ee = la relación anterior equivale a

),(),(),(),~( 11'

00

11'

00 θθθθ eReReReR −= (14)

el eje de rotación 0~e de la matriz ),~( '0

0 θeR viene definido por la relación

00'0

0 ~~),~( eeeR =θ (15)

ahora bien si se toma 01

10 ),(~ eeRe θ−= se obtiene

00

11

11'

00

110'

00 ~),(),(),(),(~),~( eeeReReReReeR =−−= θθθθθ (16)

CENIT 2007-1012


con lo que se concluye la demostración del lema.

3 Diseño de algoritmos para calibrar una cámara montada sobre un trípode.

Para calibrar un trípode se partirá como datos de entrada de un grupo de vistas iC que se han calibrado previamente siguiendo las técnicas desarrolladas anteriormente para un grupo de cámaras general. La cámara 0C representa la cámara inicial de referencia a partir de la cual se

obtienen las siguientes vistas moviendo el trípode. Por tanto, para 0C , el pan y tilt dados por los ángulos de rotación sobre los ejes serán 0. Calibrar el trípode consiste en calcular los ejes de rotación unitarios T

zyx eeee ),,( 0000 = , Tzyx eeee ),,( 1111 = y el centro de rotación

TZYXX ),,( 0000 =

3.1 Cálculo ejes de rotación del trípode

Para calcular los ejes de rotación del trípode se supondrá en una primera versión del algoritmo, que se puede disponer de secuencias de vistas iC capturadas moviendo el trípode en uno sólo de sus ejes. Este es el caso, por ejemplo, de disponer de una cámara PTZ donde el movimiento del trípode se puede controlar por software y se pueden hacer capturas rotando independientemente en cada eje. Si la secuencias de vistas iC se ha obtenido rotando sobre

el eje je (con 1,0=j ) se tendrá que si iR es la rotación de la cámara iC

),(0ij

ji eRRR θ= (17)

de donde despejando

iTi

jj RReR 0),( =θ (18)

para obtener el eje je se debe extraer los ejes de rotación de las rotaciones iT RR0 . Para ello,

se descomponen las rotaciones en términos de cuaterniones, de donde se extraen los ejes de rotación. je puede calcularse simplemente promediando (teniendo en cuenta el signo) los ejes de rotación de las matrices i

T RR0

En el caso de no disponer de secuencias separadas donde el trípode se mueve en cada uno de los ejes, caso por ejemplo de calibrar una cámara broadcast donde se desconoce el movimiento del trípode, se puede partir como primera aproximación de que los ejes de rotación de referencia del trípode son el eje x T

xe )0,0,1(= y el eje z Tze )1,0,0(= . Lo cual es una

aproximación razonable para una cámara situada en un lateral de un campo de fútbol mirando hacia el campo. De acuerdo con el lema 1, si se supone que la primera vista de referencia se obtiene como un movimiento del trípode se cumple ),(),( 100 θθ zx eReRR = entonces los ejes

de rotación del trípode respecto a la primera vista son xz eeRe ),(~1

0 θ−= y zee =1~ . El

cálculo de 0~e es directo a partir de 0R dado que xT

xz eReeRe 010 ),(~ =−= θ

CENIT 2007-1012


3.2 Cálculo del centro de rotación del trípode

En esta sección se diseña un algoritmo para calcular el centro de rotación del trípode 0X . Se

parte de un conjunto de vistas iC adquiridas moviendo el trípode y que han sido calibradas previamente utilizando las técnicas desarrolladas en este proyecto. De acuerdo con los resultados obtenidos anteriormente para cada par de vistas ',ii se tiene

)( 0'0'' i

iTii

Ti

i cXRRXRRc −−−= (19)

donde ic es el foco de la cámara iC . Despejando de la igualdad anterior se tiene

''0' )( i

iTi

ii

Ti cRRcXRRId −=− (20)

si sumamos en i y dividimos por el número de cámaras se obtiene

''0' )( i

iT

iT cRRcXRRId −=− (21)

donde R es la media de las matrices de rotación de las cámaras y c es la media de los focos. Si sumamos ahora en 'i y dividimos por el número de cámaras se obtiene

RcRcXRRId TT −=− 0)( (22)

donde Rc es la media de iicR . Finalmente 0X se obtiene resolviendo este sistema

3.3 Cálculo de los ángulos de rotación del trípode a partir de una matriz de rotación R

Dada una matriz de rotación R obtenida a partir de un movimiento desconocido del trípode, se debe cumplir

),(),( 11

00

0 θθ eReRRRT = (23) de esta relación se pueden calcular los ángulos de rotación del trípode 10 ,θθ . Para ello, en

primer lugar se extraen el eje de rotación e y el ángulo de rotaciónθ de la matriz RRT0 . A

continuación se descompone e en base a los vectores 10 ,ee y 10 ee × es decir

102

11

00 eeeee ×++= λλλ (24)

una vez calculados 10 ,λλ y 2λ para calcular 10 ,θθ se explotan las relaciones

CENIT 2007-1012


( ) ( ) ⎟⎠⎞

⎜⎝⎛

⎟⎠⎞

⎜⎝⎛=+⎟

⎠⎞

⎜⎝⎛=

⎟⎠⎞

⎜⎝⎛

⎟⎠⎞

⎜⎝⎛=

⎟⎠⎞

⎜⎝⎛

⎟⎠⎞

⎜⎝⎛=

⎟⎠⎞

⎜⎝⎛

⎟⎠⎞

⎜⎝⎛=

2cos

2cos

2cos

2sin

2sin

2sin

2cos

2sin

2cos

101023

102

101

010

θθλθλ

θθλ

θθλ

θθλ

ee T

(25)

finalmente 10 ,θθ se obtienen a partir de las relaciones

⎟⎠⎞

⎜⎝⎛=

⎟⎠⎞

⎜⎝⎛=

2tan

2tan

1

3

1

0

3

0

θλλ

θλλ

(26)

3.4 Optimización no lineal de los parámetros del trípode Como es habitual, una vez obtenidos los parámetros del trípode por los métodos descritos en las secciones anteriores se procede a la optimización no-lineal de ellos. Para ello, se parte de un conjunto de vistas iC adquiridas por la cámara montada sobre el trípode al moverse. Para cada vista se obtiene un valor inicial de los ángulos de rotación del trípode y el zoom

),,( 10ii

if θθ . La primera cámara se considera la cámara de referencia en el movimiento del

trípode y por tanto )0,0(),( 01

00 =θθ . El foco de la primera cámara 0c es el foco de referencia,

el resto de focos de las cámaras se obtienen a partir de la relación

)),()(,( 0010010 cXRXRc iiiiTi −−−≡ θθθθ (27)

por tanto todos los parámetros de calibración asociados a cada cámara se pueden obtener a partir de ),,( 10

iiif θθ y de los parámetros vinculados al trípode : 10

0 ,, eeX y 0c es decir

),,,,,,( 10010

0ii

iii fceeXCC θθ= (28) La minimización no-lineal de los parámetros del trípode se realiza aplicando el algoritmo de Levenberg-Marquardt al error acumulado de reproyección de las primitivas asociadas a cada vista sobre las primitivas del plano de referencia. Es decir :

{ } ∑=−=i

iNiii

i CcámaraladeónreproyeccideErrorfceeXEc

),,,,,,( 1,....,010010

0 θθ (29)

donde el error de reproyección de la cámara iC es la suma de los cuadrados de las distancias entre los puntos de las primitivas observadas proyectados en el campo de referencia y la primitiva donde deberían caer en el campo de referencia.

CENIT 2007-1012


4 Calibración de una cámara PTZ

4.1 Montaje de la cámara PTZ y el trípode

Antes de empezar las capturas de imágenes y la calibración, se realiza es el montaje de la cámara y el trípode. Se va a trabajar con una cámara PTZ, como se observa en la imagen. Para montar la cámara PTZ en un trípode ha sido necesario construir una pequeña plataforma de madera para poder ajustar la cámara PTZ al trípode.

Figura 1 – Montaje de la cámara PTZ en el trípode

CENIT 2007-1012


4.2 Adquisición de imágenes y calibración del trípode

La calibración de un trípode se puede dividir en varias fases. Que son la captura y calibración de una imagen de referencia inicial, captura y calibración de cuatro imágenes de referencia más, calibrar el trípode y por último calibrar el zoom.

4.2.1 Captura imagen de referencia El primer paso para calibrar un trípode es obtener una imagen del campo en la que se vean claramente las primitivas suficientes para realizar una calibración correcta. En esta imagen debe aparecer o bien el círculo central y las dos líneas de las bandas o cuatro líneas del campo, dos en cada dirección. Además habrá que desactivar el enfoque automático de la cámara para mantener fijo el enfoque en todas las capturas que se realizarán posteriormente. En algunos casos hay que desactivar el auto-iris para mejorar el contraste de las líneas blancas y que el procedimiento de calibración automático pueda detectar las líneas sin problemas.

A continuación se muestra unos ejemplos de imágenes válidas para ser referencia inicial:

Figura 2 – Imágenes de referencia válidas para la calibración

Una vez calibrada correctamente dicha imagen, se hace una calibración inicial del trípode. La calibración inicial del trípode se realiza con los datos obtenidos al calibrar la imagen de referencia. Al trípode se le asigna la rotación, el foco y el centro de la cámara inicial. También, el eje de rotación del trípode corresponderá a la primera columna de la matriz de rotación de la cámara y al eje z.

Después de finalizar la calibración inicial del trípode, se puede proceder a realizar la captura de más imágenes de las diferentes zonas del campo. Estas otras imágenes también deben enfocar zonas del campo en las que se aprecien suficientes primitivas para poder realizar la calibración.

4.2.2 Captura automática de imágenes La captura de las imágenes se realiza automáticamente basándose en la calibración de la primera imagen, unos puntos de referencia introducidos manualmente y una calibración inicial del trípode.

Los puntos deben estar situados en zonas del campo determinadas, para que cuando la cámara enfoque hacia esos puntos, puedan observarse las primitivas suficientes para llevar a cabo la calibración. Después de varias pruebas, se han elegido los siguientes puntos en coordenadas expresadas en metros para poder afrontar la calibración de las cuatro imágenes correctamente:

CENIT 2007-1012


Figura 3 – Situación de los puntos a los que enfocará la cámara para capturar las imágenes.

Una vez hechos los primeros pasos, se procede a la captura de las imágenes. Para que la cámara se oriente a los puntos del campo definidos, hay que convertir las coordenadas de los puntos en ángulos de colocación del pan y tilt del trípode. Esto se consigue con una función que devuelve los ángulos de pan y tilt que hay que aplicarle al trípode para que el centro de proyección de la cámara coincida con el punto deseado.

Es importante que la primera imagen esté bien calibrada para que la captura automática se realice de forma correcta y las imágenes captadas contengan primitivas suficientes para su calibración. Las imágenes obtenidas en las pruebas son como las siguientes:

Figura 3 – Imágenes obtenidas cuando la cámara enfoca a los puntos (-36, 20.16) y (-16,-

26) respectivamente.

CENIT 2007-1012


Figura 4 – Imágenes obtenidas cuando la cámara enfoca a los puntos (16,-26) y (36,

20.16). Capturadas las imágenes se procede a su calibración. Después de haberlas calibrado se podrá recalibrar el trípode para mejorar la calibración inicial que se hizo anteriormente, ya que el hecho de tener más imágenes de referencia ayudará a aumentar la precisión en la calibración del trípode.

4.2.3 Calibración del trípode

Cuando se tienen las imágenes calibradas correctamente, se calibra el trípode con una función que partiendo de una serie de calibraciones euclídeas de las cámaras correspondientes, computa los parámetros de un trípode. Seguidamente se puede optimizar dicha calibración con otra función que reduce los posibles errores minimizando el error de reproyección. Con el trípode bien calibrado, a cada cámara de referencia se le cálcula su pant - tilt y zoom asociado.

CENIT 2007-1012


4.3 Calibración del zoom de la cámara PTZ

Los procedimientos que se siguieron para calibrar el zoom son los siguientes: obtención de imágenes de referencia, calibración de dichas imágenes y optimización multicámara de las mismas. Luego se estudian los resultados de las distancias focales y el zoom correspondientes a cada cámara y se obtiene una relación. Esta relación se aproxima usando splines cúbicos. A continuación se explica con más detalle cada uno de estos procedimientos.

El primero de ellos es la obtención de imágenes de referencia. Hay que tomar una serie de imágenes modificando el zoom, y así tener un conjunto significativo de todo el intervalo de zoom que puede conseguir la cámara. El zoom en la cámara utilizada en las pruebas tiene un intervalo de 1 a 9999. Se capturaron imágenes disminuyendo el zoom en 1000 unidades. Empezando en 9999. Seguidamente se muestra la secuencia:

Figura 5 – Secuencia de imágenes utilizadas para la calibración del zoom.

CENIT 2007-1012


Este conjunto de imágenes hay que calibrarlas. Cuando estén todas calibradas correctamente se les hace una optimización multicámara. Esta optimización reduce los posibles errores de calibración y además al realizar este procedimiento se puso constante la posición del foco, que se sabe que es la misma ya que la cámara no se movió al tomar la secuencia. Esto hará coincidir la posición del foco en todas las cámaras, haciendo más fiable el cálculo de las distintas distancias focales. Seguidamente se obtienen las distancias focales de las calibraciones correspondientes a cada cámara y se consigue una tabla como la que sigue.

Zoom Focal (mm)

0 45,44

999 53,63

1999 64,3

2999 78,57

3999 97,52

4999 125,89

5999 171,03

6999 242,55

7999 366,75

8999 571,19

9999 973,98

Tabla 1 – Relación del valor del zoom y la distancia focal determinada en la calibración. Con los datos de la tabla, se obtiene una gráfica que se utiliza para encontrar una relación matemática entre la distancia focal y el zoom.

Figura 6 – Gráfica de que representa los valores de zoom en cada vista y las distancias

focales obtenidas en la calibración.

CENIT 2007-1012


La relación matemática entre estos valores, se utiliza para obtener un valor de zoom cuando se haya determinado un valor de distancia focal. Para ello, se aproxima esta curva utilizando splines cúbicos. Así se obtiene un criterio de interpolación adecuado para obtener valores dentro de esa curva.

Ahora teniendo el zoom calibrado y la relación entre zoom y distancia focal aproximada con splines se puede desarrollar la función que dada una distancia focal, devuelva el zoom correspondiente. Así cuando cambia la distancia a la que se quiere mirar, se evalúa la distancia entre el centro del trípode y el punto, con el polinomio creado y se obtiene el zoom correspondiente para seguir enfocando a todas partes con la misma resolución. Para aumentar o disminuir el zoom de partida, se usa una constante que modificará el valor de la distancia focal para que el zoom correspondiente sea mayor o menor según indique el usuario.

4.4 Resultados Experimentales. En los experimentos realizados para la calibración del trípode se realizaron los pasos básicos que se han explicado en este documento. Primero se realiza la captura de una imagen de referencia, la cual hay que calibrar correctamente. Cuando esta imagen de referencia inicial está bien calibrada, se procede inicializar los parámetros del trípode, con objeto de mover automáticamente la cámara y capturar el resto de imágenes. Para ello supóndremos inicialmente que los ejes de rotación iniciales del trípode son Te )0,0,1(0 = y Te )1,0,0(1 = y que al mover la cámara para tomar la primera vista dichos ejes se transforman en

01

10 ),(~ eeRe θ−= y 11~ ee = de acuerdo con el lema visto anteriormente. Por otro lado supóndremos inicialmente que el centro de rotación del trípode coincide con el foco de la cámara. Esta inicialización del trípode sólo se utilizará para la captura automática del resto de vistas. Posteriormente, y ya utilizando todas las vistas, se recalcularán completamente todos los parámetros del trípode si hacer nínguna simplificación del tipo anterior. La siguiente figura muestra un ejemplo de imagen inicial de referencia y su calibración.

Figura 7 – Imagen de referencia inicial y su calibración correcta.

Seguidamente, tomando como base la aproximación inicial del trípode, se calculan los pan y tilt necesarios para obtener las cuatro imágenes de referencia restantes. Automáticamente se procede a la captura de dichas imágenes. A continuación hay que calibrar estas capturas de forma correcta, para poder utilizar estas calibraciones en el siguiente paso, que es la calibración final del trípode. En la figura se pueden observar los resultados de las calibraciones de las cámaras de referencia.

CENIT 2007-1012


Figura 8 – Resultados de las calibraciones de las cuatro imágenes de referencia

Finalmente, se realiza la calibración del trípode, y con ella se pueden proyectar las primitivas del campo para visualizar si se hizo correctamente la calibración. Siguiendo con los resultados mostrados anteriormente, se obtiene la siguiente calibración del trípode, que es un ejemplo de una calibración correcta.

Matriz de rotación de la vista de referencia del trípode (primera vista): -9.6916013491371216e-01 2.3817346937313360e-01 -6.3261610640264952e-02 -1.3123039395134024e-02 -3.0622656073520716e-01 -9.5186820481478448e-01 -2.4608213817965184e-01 -9.2168253318973760e-01 2.9990813473775480e-01

foco de la vista de referencia del trípode (primera vista): -3.2289730982732096e+01 -1.0701738035887298e+02 3.8170699547903696e+01

Ejes de rotación del trípode: -9.7174441316712160e-01 2.3596521088439744e-01 -5.7632222556636112e-03

1.2126120120178938e-02 7.4284040399200832e-02 9.9716339611560208e-01

Centro de rotación del trípode:

-3.1434708579784968e+01 -1.1109293514871826e+02 4.1377712286070008e+01

Para verificar que la calibración del trípode es correcta, recalibramos las vistas de referencia en base a los parámetros del trípode. Con respecto al trípode cada vista viene definida por 3 parámetros : el pan, el tilt y el zoom. En la siguiente figura, para ilustrar que el procedimiento es correcto, se muestra la proyección de las primitivas de referencia en el campo a partir de la calibración de cada vista obtenida a partir del trípode.

CENIT 2007-1012


Figura 9 – Proyección de las primitivas en las imágenes de referencia utilizando la calibración del trípode.

Una vez se tiene el trípode calibrado, para cada vista tenemos la información del pan y tilt que se ha aplicado a la cámara para obtener la vista (medido en grados) y el pan y tilt calculado para la vista a partir de la calibración del trípode (medido en radianes). Poniendo en correspondecia estos valores es posible calcular una transformación afín que nos permite pasar de un par (pan,tilt) de la calibración del trípode (en radianes) a su correspondiente (pan,tilt) de la cámara (en grados). En el caso del ejemplo utilizado en esta sección dicha transformación afín viene dada por la matriz siguiente :

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛−

−=

10014.02.5138.0

16.035.08.55A (30)

CENIT 2007-1012


5 Control de una cámara PTZ a partir de una cámara master.

En esta sección se analizará el problema de cómo orientar un trípode para seguir un punto en la escena. Se estudiarán los aspectos matemáticos del problema, el diseño de un algoritmo para orientar la cámara hacia un punto y finalmente se aplicará al control de una cámara PTZ a partir de una cámara master.

5.1 Estudio matemático del problema de orientación de la cámara hacia un punto en la escena

Como ya se explicó anteriormente, la ecuación general de la proyección de un punto 3D TZYXX ),,(= en la imagen es

[ ]⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−−−

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−1

100010001

1000

0

1,

222120

121110

020100

)(

ZYX

ccc

rrrrrrrrr

yrfxf

yx

s

cId

z

y

x

RfA

c

c

444 3444 2144 344 214434421

(31)

Si queremos que la cámara se oriente hacia un punto TYX )0,,( en el campo debe cumplirse

que la proyección de dicho punto en la cámara sea el centro óptico de la cámara Tcc yx ),( , es

decir debe cumplirse :

[ ]⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−−−

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−10

100010001

1000

0

1,

222120

121110

020100

)(

YX

ccc

rrrrrrrrr

yrfxf

yx

s

cId

z

y

x

RfA

c

c

c

c

444 3444 2144 344 214434421

(32)

de donde se deduce que

[ ]⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−−−

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

=⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−10

100010001

100

,

222120

121110

020100 YX

ccc

rrrrrrrrr

s

cId

z

y

x

R444 3444 2144 344 21

(33)

esta igualdad es equivalente a

cRYX

Rs −⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

0100

(34)

CENIT 2007-1012


teniendo en cuenta que R y c se han generado a partir del movimiento del trípode se debe cumplir según lo visto en la sección 1 de este documento

),( 100 θθRRR ≡ (35)

)),()(,( 0010010 cXRXRc T −−−≡ θθθθ (36)

por tanto sustituyendo estas expresiones arriba se obtiene despejando convenientemente

{ 444 3444 21v

z

y

xT

u

zcycxc

sRYX

R⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

−−−

+⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

00

00

00

010

100

1),( θθ (37)

donde TzyxX ),,( 0000 = . El parámetro s se puede calcular teniendo en cuenta que una

rotación no modifica el módulo de un vector y por tanto vu = . Para calcular 1θ y 2θ

descomponiendo ),( 10 θθR como producto de las rotaciones y despejando obtenemos la ecuación

veRueR ),(),( 00

11 θθ −= (38)

Ahora se descompondrá ueR ),( 11 θ que puede expresarse como

( )( ) ( )( )( ) ( )( )( ) ( ) ⎟

⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛

++−−−−

++−−−−

++−−−−

=

1sincos

111

),(

1

1

11112111111121

11112111111121

11112111111121

11

θθ

θ

yzyxzxzzxyyxyzyxzxzz

zzyxyxyyzxxzzzyxyxyy

zzxyyxxxyzzyzzxyyxxx

ueeueeueueueueeueeueueeueeueueueueeueeueueeueeueueueueeueeue

ueR

(39)

haciendo lo mismo con veR ),( 00 θ− e igualando se llega a un sistema de la forma

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛=

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

1sincos

1sincos

0

0

01

1

1 θθ

θθ

AA (40)

Si se denomina 01

1 AAB −= despejando de arriba se tiene que

1)sincos()sincos( 212011010

202001000 =+++++ bbbbbb θθθθ (41)

relación de donde podemos calcular )sin,(cos 00 θθ y posteriormente )sin,(cos 11 θθ .

CENIT 2007-1012


Este estudio matemático del problema da lugar de forma inmediata (siguiendo los pasos desarrollados) a un algoritmo para el cálculo de 0θ y 1θ . Esta técnica permite orientar la cámara hacia cualquier punto en la escena.

5.2 Aplicación al control de una cámara PTZ a partir de una cámara master.

Teniendo el trípode calibrado, se puede conseguir controlar una cámara PTZ a partir de una cámara master. Es decir, hacer que la cámara PTZ enfoque a una zona determinada del campo de fútbol solamente indicándole las coordenadas del punto al que debe mirar, esas coordenadas se eligen de la imagen de la cámara master. Esto se realizará a través de una interfaz gráfica para mayor comodidad y facilidad de uso. En esta interfaz el usuario controlará la orientación de la cámara PTZ moviendo el ratón sobre una vista general del campo, la cámara PTZ seguirá el movimiento del ratón orientando la cámara hacia la posición en el campo determinada por la posición del ratón en la vista general.

Para conseguir esta funcionalidad, hay que realizar tres procedimientos. El primero es la calibración del trípode, que se ha explicado anteriormente, en el apartado 4.Calibración de una cámara PTZ. En segundo lugar hay que obtener una vista general del campo entero y calibrar la cámara. Esta cámara actuará como cámara master

Figura 10 – Imagen de la cámara master.

Por último hay que convertir los puntos señalados por el ratón a ángulos pan y tilt referentes a la cámara. Para llevar a cabo este último procedimiento, primero se obtiene la coordenada del píxel que se selecciona con el ratón en la cámara master. Se convierte a coordenadas del campo de referencia (en metros). Esto se hace usando la homografía determinada por la calibración de la cámara master. Seguidamente hay que pasar esas coordenadas del campo de referencia a ángulos pan y tilt del trípode con una función que estima dichos ángulos utilizando el algoritmo que se desarrolla en el apartado anterior. Ahora esos datos referentes al trípode, hay que hacerlos referentes a la cámara. La conversión se consigue calculando la transformación afín entre los valores de pan y tilt de la cámara y el trípode. Los valores de pan y tilt de la cámara que se utilizan en esta operación son los que se usaron para mover la cámara y tomar las imágenes de referencia. Los valores referentes al trípode se obtienen después de calibrado el trípode. El procedimiento para conseguirlos es recorrer todas las calibraciones de referencia y usar la función que partiendo de la rotación de la cámara, devolverá el pan y tilt del trípode correspondiente a la vista de esa cámara. Estos pan y tilt obtenidos serán los usados para calcular la transformación afín.

Después de realizar estos procesos, se puede modificar el pan y el tilt de la cámara señalando un punto concreto del campo en la cámara master.

CENIT 2007-1012


Para facilitar y automatizar el control del zoom por parte del usuario, además de haber calibrado el zoom, se ha implementado un algoritmo que ajusta el zoom de la cámara de forma automática para que la resolución de un objeto en la escena sea constante, es decir que si la altura de un jugador ocupa la mitad del alto de la imagen, dicha proporción se mantenga independientemente de la zona del campo donde esté el jugador. Cuando el usuario aumenta o disminuye el zoom, el algoritmo implementado lo que hace es modificar el valor de una constante K que determina un factor de resolución. La distancia focal de la cámara, f , se ajusta entonces para que se cumpla que

(42)

Del tal manera que la distancia focal f se ajusta dinámicamente al mover la cámara para que se cumpla la relación anterior. Hay que tener en cuenta además que el factor de ZOOM que se envia a la cámara PTZ se cálcula a partir de f teniendo en cuenta la técnica de interpolación numérica usando splines cúbicos vistas anteriormente.

5.3 Resultados Experimentales.

A continuación se muestran imágenes de la aplicación desarrollada para controlar la cámara PTZ a partir de una cámara master. En la parte superior izquierda aparece la vista adquirida por la cámara y en la parte inferior derecha la vista de la cámara master. La cruz negra en la cámara master representa la posición del ratón. A lo largo de las diferentes vistas que se presentan se aprecia que la cámara se orienta en la dirección de la posición del ratón en la cámara master.

Figura 11 – Enfocar al centro del campo

Kf=

cámara) la orienta se donde hacia campo el en puntofoco,distancia(

CENIT 2007-1012


Figura 12 – Enfocar al corner más alejado de la cámara

Figura 13 – Enfocar al corner más cercano a la cámara

CENIT 2007-1012


Para ilustrar la técnica de ajuste automático del zoom para mantener constante la resolución de los objetos en la imagen, vamos a enfocar jugadores que se encuentran a diferentes distancias. En las imágenes de ejemplo se observa como el zoom varía automáticamente desde un valor de 5796 para enfocar al jugador que está en el corner, hasta 4526 para un jugador más cercano. También se ve como cambia el valor del zoom hasta 5819 para enfocar al jugador más alejado de la cámara en esta secuencia de ejemplo. (nótese que estos valores de zoom están medidos en los valores que utiliza la cámara. Para manejar la distancia focal real (en mm) es necesario utilizar un proceso de interpolación como el descrito en la sección anterior utilizando splines cúbicos).

Figura 14 – Enfocar un jugador alejado aumentando el zoom

Figura 15 – Enfocar un jugador más cercano para ver como varía el zoom y se mantiene

la proporción en la imagen.

CENIT 2007-1012


Figura 16 – Enfocar un jugador más alejado para ver como varía el zoom y se mantiene la

proporción en la imagen.

6 Conclusiones.

A partir de un estudio matemático detallado sobre el comportamiento de una cámara montada sobre un trípode se abordan una serie de problemas prácticos como la calibración de todos los parámetros que definen el trípode : los ejes de rotación, el centro de rotación, etc.. .Como aplicación también hemos desarrollado un prototipo que permite controlar el movimiento y zoom de una cámara PTZ a partir de una cámara master.

El éxito de los experimentos desarrollados muestra la viabilidad de las técnicas propuestas. Seguiremos trabajando para aplicar este tipo de técnicas a la calibración de secuencias de video. Confiamos en que la simplificación del problema de calibración que se obtiene al explotar el hecho de que la cámara que adquiere el video se mueve sobre un trípode supondrá importantes ventajas tanto a nivel de la calidad de los resultados como de la velocidad para obtenerlos.

7 Bibliografía.

[1] Richard I. Hartley. Self-Calibration from Multiple Views with a Rotating Camera.. In Jan-Olof Eklundh, editor, ECCV (1), volume 800 of Lecture Notes in Computer Science, pages 471-478, 1994. Springer.

[2] L. de Agapito, E. Hayman, and I. D. Reid. Self-calibration of rotating and zooming cameras. International Journal of Computer Vision, 45(2), 2001

[3] Sudipta Sinha, and Sudipta N. Sinha, and Marc Pollefeys. Towards Calibrating a Pan-Tilt-Zoom Camera Network. In In Workshop on Omnidirectional Vision and Camera Networks at ECCV, 2004.

e.***** a3.t1s1h3 calibración de una cámara montada sobre...

Documents