visión artificial una tecnología industrial · - genera una imagen 3d como un mapa de alturas o...
TRANSCRIPT
: Visión Artificial una tecnología industrialUlrich Druzella
Responsable Visión Artificial SICK España
XVI JORNADES de CONFERÈNCIES
JCEE’10
Tendències, aplicacions, recerca i docència
en el camp de l’ Enginyeria Electrònica
2: SICK : Confidential
SICK - at a glance
: Fundado en el 1946 – más de 60 años trabajando - con tecnología de sensores
: Más de 4,700 empleados en todo el mundo
: Más de 40 subsidiarias
: Rango más amplio de productos en la industria de sensores
: Líder en Innovaciones
SICK - one of the leading manufacturers of sensors and sensor solutions for industrial applications worldwide
3: SICK : Confidential
Contenido
Historia estado actual
Introducción Visión artificial
Visión 2D
Tipos iluminación, sensor, óptica
Aplicaciones
Visión 3D
Cámaras 3D inteligentes
Cámara 3D datastreamer
Aplicaciones
4: SICK : Confidential
Historia
: En los años ‘70 se empezaron a a realizar la primeras investigaciones
: Siendo una tecnología militar para analizar imágenes captadas por ejemplo por satélites
: hasta los ’90 no tiene salida en números altos de aplicaciones por el precio elevado de sus componentes
: Desde mediados de los noventa se aumentó significativamente su aplicación gracias a la caída de precios de sensores y procesadores
Fuente de datos:
5: SICK : Confidential
Sectores para Visión Artificial en la industria
Packaging
AutomociónAlimentación
Robótica
ElectrónicaMadera
FarmaManufacturing
Logística
6: SICK : Confidential
Qué es Visión artificial?
: Beneficios:- Aumentar la producción
- Mejorar la calidad
- Reducir el trabajo monótono (control repetitivo etc.)
1. Take image
4. Take action 2. Analyze image
3. Send result
Wait for n
ew object
: Con visión artificial pretendemos reemplazar o complementar inspecciones manuales y mediciones con cámaras digitales y procesamientos de imágenes.
7: SICK : Confidential
Componentes de una solución de visión
: Componentes típicos en una solución de visión- Cámara, lente e iluminación especial
- Sistema de control, PLC
- Interfase operador (HMI)
- Trigger
- Actuador
- Cinta transportadora o soporte del objeto
- (Robot)
Pieza mala
Robot
Interface Operador
(front-end)
Fotocélula
Cámara
Cinta Actuador
Piezas buenas
PLC
IluminaciónLente
8: SICK : Confidential
Tipos de cámaras según flexibilidad y facilidad para usar
: Sensor de Visión- Fácil de usar- Específico para ciertas aplicaciones o configurable
pero limitado - Trabaja sin PC en la aplicación
: Cámara Inteligente- Flexible, programable con herramientas fáciles de
aplicar - Trabaja sin PC en la aplicación
: Cámaras basadas en un PC- Totalmente flexible, programables con lenguaje de
programación (C++, .NET, etc)- La cámara solo toma la imagen, el PC analiza
mediante SW o programación especial
Sensor de Visión o cámara inteligente
Aplicación basada en PC
9: SICK : Confidential
Tipos de cámara según la Dimensión
: 1D (line scan)- Colecciona perfiles de color o grises- Los perfiles se pueden ensamblar para formar una
imagen- Escanear, requiere movimiento del objeto
: 2D- Adquiere una imagen de un área - Snapshot, ”click”, no requiere movimiento
: 3D- Genera una imagen 3D como un mapa de alturas o
una ”nube de puntos” (360° imaging)- Realizable con 2 cámaras (estéreo visión) o con un
Escáner con un láser (triangulación) - MultiScan 1D, 2D, 3D, y más con la misma cámara al
mismo tiempo! (RANGER)
10: SICK : Confidential
Sensores de Visión
Cámaras inteligentes con Software integrado
Cámaras con el análisis basado en PC
Aplicáciones básicas de visión 2D
Ordenar por características opticas, presencia, mediciónes limitadas, resoluciones limitadas, distancias más cortas
3D inteligente
Software potente de analisis
OCR/OCV, volumenes, alturas dimensiones
Cámara 3D, MultiScan
volumenes, alturas dimensionesCámaras 2D/
3D precalibrada
Aplicáciones complejas de visión 2D, Software potente de analisis
OCR/OCV, Código de barras código 2D
Grupos de equipos de visión principales que se están aplicando en la industria
11: SICK : Confidential
: Visión Artificial 2D- Óptica
- Luz, iluminación
- Cámara
- Aplicaciones
12: SICK : Confidential
Campo de Visión
: El campo de visión es el área completa que puede ver la cámara
: El área que se puede visualizar digitalmente según distancia entre objeto y cámara dependiendo de la lente que lleva puesto
: FOV = Field Of View = Campo de Visión = longitud Horizontal x longitud Vertical
13: SICK : Confidential
Distancia Focal
: La distancia o longitud focal (Focal length) es : la distancia entre el centro de la lente y el punto focal
: Si el punto focal está en el sensor tenemos una imagen nítida
: Una longitud focal larga abarca menos campo de visión -> la resolución aumenta: Una longitud focal más corta abarca más campo de visión ->la resolución baja
14: SICK : Confidential
Distancia mínima
- Un objeto tiene que estar a una distancia minima para poder focalizarlo- Lentes con una longitud focal elevada requieren
una distancia “objeto-cámara” mínimamayor que lentes con una longitud focal inferior
Es decir más longitud focal requiere mas distancia al objeto
- Si tenemos que aplicar una lente de una longitud focal mayor para centrarnos en un campo de visión reducido y no conseguimos focalizar la imagen porque estamos a una distancia critica (impossible to focus), tenemos que poner un arandela de distancia en la lente.
15: SICK : Confidential
Profundidad de Campo
El plano focal (focal plane) es la distancia a la que conseguimosla mayor nitidez posible.
Todo lo que se puede considerar todavía como suficientemente nítido a una distancia un poco menor y a una distancia un poco superior está dentro la profundidad de campo (Depth of field)
16: SICK : Confidential
Profundidad de Campo con Anillos de distancia
La profundidad de campo(Depth of field) disminuye si montamos anillos de distancia o si trabajamos con una apertura de la lente elevada
Anillo de distancia
17: SICK : Confidential
La óptica
Elección de la lente: El ángulo de la lente determina cuanto ve la cámara (Campo de
visión) - Un Ángulo amplio (distancia focal corta) captura un campo más
grande que el ángulo Normal
- Un ángulo pequeño, o tele ( longitud focal larga ), captura menos campo
Angulo
Amplio Normal Tele
: Longitudes focales comunes son 8, 12, 16, 25, y 35 mm- Lo que es ”normal” depende del tamaño del sensor
18: SICK : Confidential
La óptica
: Lentes tele céntricas para aplicaciones de alta precisión- Rayos paralelos en vez de un - Distorsión es minimizada- Sensibilidad a la posición del objeto dentro del campo de visión es
reducido- El diámetro de la lente tiene que tener como mínimo las mismas
dimensiones como el objeto
Objeto Lente normal
Lente tele céntrica
19: SICK : Confidential
Resolución en 2D
: Resolución de la imagen- Resolución de la imagen = resol. del sensor
- Altura del Sensor (y) y anchura (x) en pixeles
- Recuerda la dirección del sistema de coordenadas
: Dimensiones Campo de Visión- Altura (y) anchura (x) de la imagen en mm
: Ejemplo- Campo de visión = 50 mm de ancho
- Resolución del sensor = 640 x 480 pixels
- Resolucion para el objeto = 50/640
- = 0.08 mm/pixel en anchura
FOV
y
x
20: SICK : Confidential
Las incertidumbres de la mediciLas incertidumbres de la medicióón 2Dn 2D
: La resolución:: Se puede calcular vía #pixeles / área de visión: Fácil de determinar
: La repetibilidad :: Se obtiene mediante tests: Valor permite cualificar el resultado de la medición
: La « precisión » :: Difícil de pre-determinar.: Variable más importante es la repetibilidad
21: SICK : Confidential
La importancia de la luz
: Igual como el ojo, la visión artificial depende de la iluminación y la óptica para poder trabajar
: Métodos diferentes de iluminación pueden tener efectos visuales muy diferentes
Moneda danesa expuesta a diferentes tipos de iluminación
22: SICK : Confidential
: La iluminación tiene la misma importancia que el sensor para una solución robusta y fiable
Ejemplos de iluminación - Contraluz
- Iluminación de anillo
- Iluminación Coaxial
- Iluminación Domo
- Iluminación Spot
- Líneas Láser
Elementos de un sistema de visiElementos de un sistema de visióón 2D n 2D
Qué es Visión artrificial?
23: SICK : Confidential
La imagen 2D
: La imagen se obtiene con un solo clic sin movimiento
: La imagen consiste en pixeles = picture elements
Pixel
24: SICK : Confidential
: En la visión artificial se reduce todo al impacto de luz sobre un sensor
: Para poder hacer un análisis sobre una imagen necesitamos contraste entre las partes a inspeccionar y/o el fondo.
:
Qué es Visión Artificial?
Gama de tonos de grises de un sensor monocromático
Contraste destacado por ejemplo entre dos pixeles
Señal digital
25: SICK : Confidential
Iluminación Campo Oscuro
Ejemplos: Campo Oscuro (Darkfield)
Una iluminación con leds montados en bajo ángulo
(VLR-66RA1211) Genera una iluminación tipo
campo oscuro
Luz ambiental
: El principio del campo oscuro- Iluminación en Angulo bajo
- Resalta esquinas y bordes para el reconocimiento de patrones y la detección de rayas
- Apropiado para la inspección de bordes y características 3D en superficies planas
26: SICK : Confidential
Ejemplo: Iluminación Coaxial
: El principio co-axial- La luz es paralela al eje óptico, gracias a un espejo
semitransparente- Resalta contrastes entre áreas planas y
características/áreas elevadas- Apropiado para la inspección de objetos huecos y para
pequeñas características 3D
Luz ambiental Iluminación coaxial
Iluminación Coaxial (VLR-66CA0311)
Produce una silueta
27: SICK : Confidential
Ejemplo: Iluminación Línea láser – ”Eco 3D”
: El principio línea láser- Se proyecta una línea láser sobre el objeto
- Cualquier variación de altura se notará como un salto en la línea
- Apropiado para mediciones 3D con poca precisión y una velocidad baja (”Eco 3D”)
Luz ambiental Iluminación láserLáser rojo (ILP2-L11111) + filtro rojo (OBF-IVC-660-1)
produce la línea láser
28: SICK : Confidential
Ejemplo colores
: Utiliza el principio de colores opuestos para resaltar el color que quieres.
: Aparte se puede resaltar aplicando filtros de color
: Ejemplos
- Cámara de color + iluminación blanca
- Cámara monocr. + iluminación blanca
- Iluminación roja resalta rojo y amarillo pero bloquea azul y verde
- Iluminación verde resalta verde y amarillo y azul pero bloquea el rojo
- Azul resalta el azul pero boquea el resto de colores
a
b c
d e
29: SICK : Confidential
Utiliza el color para resaltar : Ejemplo 2
: Qué color de filtro debería ser aplicado para contrastar el texto rojo en una superficie metálica con otros impresos azules
Iluminación azul + (opcional) Filtro azul para maximizar el contraste
30: SICK : Confidential
Aplicaciones
: Sensores de Visión
: Detección de presencia de agujeros en
su posición
: Posicionado no es 100% igual
: – fotocélula por ejemplo no funcionaría
31: SICK : Confidential
Aplicaciones
: Sensores de Visión
: Presencia/integridad de fechas
impresas
: Presencia de un tornillo en 360º
32: SICK : Confidential
Medición del diámetro de agujeros
Aplicaciones
33: SICK : Confidential
Cámaras 2D inteligentes
Medición de agujeros para la implantación del GPS
Distancias más grandes
resoluciones requeridas
más altas
Aplicaciones
34: SICK : Confidential
Cámaras 2D inteligentes
Determinación de coordenadas [X,Y,θ]
de piezas que van pasando por una cinta transportadora
Aplicaciones
35: SICK : Confidential
Filtro de aire - control con 2D y iluminación láseres : Ensamblaje de la esponja
: Contraste muy bajo Un láser da la información sobre la altura
No hay línea-falta de pieza
OK
Aplicaciones
36: SICK : Confidential
: Visión Artificial 3D- Por qué 3D, cuando aplicar 2D o 3D
- Tecnologías
- Tipos cámaras triangulación
- Aplicaciones
37: SICK : Confidential
Cuándo aplicar 2D o 3D?
: Dónde aplicar 2D?- Buen contraste
- Ambiente de iluminación estable
- Poca variedad en altura
: Dónde aplicar 3D?- Contraste bajo
- Colores variados
- Varicación en altura
- Variación/influencia del luz ambiental
: Ejemplos- 1. Cúal de los pines está más
bajo?
- 2. Cual de las piezas estáencima de las otras?
- 3. Es la soldadura correcta?
- 4. Cuál de los envueltos es correcto?
2D Image 3D Image
☺
☺
☺
☺
1.
2.
3.
4.
3D images, height data as intensity:
Bright = High Dark = Low
38: SICK : Confidential
Visión artificial 3D Tecnología Estéreo visión
Como el cerebro humano genera la imagen 3D con dos imágenes
A partir de la diferencia en la posición de un objeto en una y otra imagen, se puede obtener la profundidad
39: SICK : Confidential
Principio de obtener imágenes Triangulación Láser
: Requiere movimiento del objeto
: La línea láser dibuja un perfil sobre el sensor
: Varios perfiles generan la imagen 3D
40: SICK : Confidential
IVC-3D 30 (mini) IVC-3D 50 IVC-3D 100 IVC-3D 200 IVC-3D 300 (long)
Field of View recom. 30mm x 60mm 50mm x 150mm 100mm x 190mm 200mm x 600mm 300mm x 1100mm
Tipo IVC-3D31111 IVC-3D21111 IVC-3D51111 IVC-3D11111 IVC-3D41111
Umbral de altura 35 mm 84mm 150 mm 395 mm 1000 mm
Resolución en altura 0,015 mm 0,04 mm 0,05mm 0,2 mm 1,2 mm
Anchura máxima 75 mm 180 mm 270 mm 810 mm 1460 mm
Anchura máxima tope 65 mm 135 mm 180 mm 440 mm 430 mm
max heightrange
max width
max FOV
min stand-off
selectedFOV
top width
IVC-3D
max heightrange
max width
max FOV
min stand-off
selectedFOV
top width
IVC-3D
Anchura tope
Min “stand off”
Umbral de altura
Anchura máxima
Lente
Láser
Modelos compactos IVC-3D y triangulación
Recomendado Field of View
41: SICK : Confidential
IVC-3D aplicaciones, culata del motor, automoción
Medición de elementos del culata
2D muy poco contraste
Imágenes 3D obtenidas con la IVC3D
Aplicaciones
42: SICK : Confidential
Aplicación: 3D Control de contorno
Producto: IVC-3D 50
IVC-3D aplicaciones, piezas automoción
43: SICK : Confidential
Ejemplo neumáticos
: OCV/OCR en neumáticos
44: SICK : Confidential
Neumáticos producción
: Evitar solapes o separaciones grandes de la goma
45: SICK : Confidential
Automóvil Medición de cilindros frenos
:Medición de dimensiones con la IVC-3D:Contraste en 2D es muy bajo
46: SICK : Confidential
Ensamblaje de piezas pequeñas
:IVC-3D 1:Identificación y orientación en la cinta.
:El robot (dos brazos) coge la pieza
:IVC-3D 2:Identificación de x, y, z e inclinación de la otra pieza en el palet
:El segundo robot pasa la segunda pieza al primero
:Se montan las dos piezas y deja el conjunto en otro palet
47: SICK : Confidential
AlimentaciónDimensiones Hamburguesas
: IVC-3D determina - Volumen, diametros, altura
máxima- Encuentra defectos del borde
48: SICK : Confidential
Alimentación,Latas
Defecto
: Una fuga puede generar gastos elevados en procesos de manipulación de las latas
: La IVC-3D mide la superficie de cada lata antes de salir de la fábrica
49: SICK : Confidential
Aplicación IVC-3D
AplicaciónControl de los productos respecto a altura/tamaño y contornoGalletas que no cumplen los requisitos sobre todo en altura por ser amontonados pueden generar atascos en el horno e incluso encenderse.
Solución Las herramientas permiten inspecciones en altura y en 2D para verificar la forma de cada producto
ProductoIVC 3D
Control de galletas en tamaño y contorno
50: SICK : Confidential Date 50
Control posición correcta, tapa de garrafa
AplicaciónDetección de un mal posicionamiento o falta de apriete, velocidad 30 garrafas/minuto
SoluciónIVC-3D 50 detecta la altura relativa entre la garrafa y la tapa tanto como una posible inclinación de la tapa
Se ha repuesto un sistema 2D que no daba ningún resultado satisfactorio por tener que verificar min. 2 lados, sin contraste estable, dependencia de la luz ambiental Otro ejemplo
51: SICK : Confidential Date 51
Optimizar el corte de Queso
AplicaciónProducción de queso en dimensiones grandes tiene que ser cortada en trozos para supermercados. Las lonchas se venden por peso
Antes cortaron cada ca. 30mm después se pesaron las lonchas pequeñas y se rechazaron si no llegaron al peso mínimo
La irregularidad de la superficie del trozo grande, como bordes curvados conllevaba que las lonchas a veces no llegaron al pesomínimo y se rechazó bastante queso
Solución4 cámaras 3D escanean los lados ( asumiendo que la parte frontal y trasera son regulares) Se evalúan los datos para calcular el volumen y se optimizan el corte enviando la posición exacta a la cortadora automática
El material rechazado se reducido de forma importante
52: SICK : Confidential
Alimentación , Galletas
: Medición con IVC-3D altura y diametro
: Galletas muy grandes se rechazan tanto como galletas defectuosas
Defect
53: SICK : Confidential
Contacto pins Piezas ensamblaje
: Medición de la altura de los pines en relación a la altura de la superficie de la placa
: FOV , campo de visión 50 mm, z-resolución 0.04 mm, tiempo de ciclo 100 ms
54: SICK : Confidential
SICK Core TechnologyCOLOR RANGER
: SICK IVP-designed CMOS sensor
: Tecnología única, patentada- Procesar directamente en el chip
- 3D profile datos del perfil se calculan en el chip
- Adquisición de imágenes 3D más rápida del mercado
- Opción Multiscan
: Sensor - 1536 x 512 pixeles (9.5 µm)
- 1536 A/D conversores
- 1536 procesadores en paralelo
- Hi-Res linea de escala de grises: 3072 pixeles (C/E 55)
- Hi Res Hi-Res linea de escala de R, G y B: 3072 pixeles (C/E 55)
Imagen Sensor
A/D Conversores
RISC Procesores
Sensor
Hi-Res Lines
55: SICK : Confidential
MultiScan
: Tecnológica única
: Escan de diferentes características al simultáneamente
: 3D, 2D, HiRes 2D, gloss, scatter, RGB COLOR
: Diferentes áreas del sensor se aplican para diferentes tipos de imagen
3D
2D
Scatter
56: SICK : Confidential
ColorRanger E
Máxima cantidad de datos para un análisis completo
57: SICK : Confidential
Aplicaciones de Visión en Alimentación
Producto más innovador en la Feria de VisionNoviembre 2010, Stuttgart/Alemania
58: SICK : Confidential
Neumáticos
: Hasta dos Ranger aplicadas para la inspección de neumáticos- Clasificación del tipo
- Medición de profundidad
59: SICK : Confidential
Palletizing en Packaging
: Paletizar sin necesidad de contrastes
: Localizar piezas en el conveyer para posicionarlas en los palets
Ranger
Láser
60: SICK : Confidential
Aplicaciones en Madera
: Medición en 360°
: Clasificar la tabla (nudos)
: Optimizar el corte
: Medición de la corteza
3D
MultiScan
61: SICK : Confidential
RULER AplicaciRULER Aplicacióónn
Medición de troncos de árboles a 360 Grados para optimizar el corte
62: SICK : Confidential
Inspección de panes
: Ranger MultiScan o IVC-3D +IVC-2D- 2D para determinar grado de horneado
- 3D para volumen y superficie
63: SICK : Confidential
Volumens en cintas de producción
: Ruler or IVC-3D para escanaear alimentos
: 3D control del volumen total
: Clasificación por tamaños- Scatter (Ruler) para detectar piedras
64: SICK : Confidential
Alimentaciónfrutas
: Clasificación por tamaño IVC-3D o Ruler
: Defectos de colores con Multiscan Ranger
65: SICK : Confidential
Dispersión de cola/ pegamento
: Monitorizar el volumen
: Feedback al sistema de control
66: SICK : Confidential
Contacto para aplicaciones en España
SICK EspañaBarcelona
Responsable Visión ArtificalUlrich Druzella
Tel. 0034 93 480 22 84
Mail to [email protected]
www.sick.es
: Gracias por su atención