avaluaciÓ de la cinemÀtica en 3d del cos humÀ …

TREBALL FI DE GRAU

Grau en Enginyeria Mecànica

AVALUACIÓ DE LA CINEMÀTICA EN 3D DEL COS HUMÀ OBTINGUDA MITJANÇANT UN SISTEMA DE CAPTURA SENSE

MARCADORS

Memòria i Annexos

Autor: Arnau Vila Fernández Director: Gil Serrancolí Masferrer Convocatòria: Gener 2021

Resum

Durant el pas del temps sempre s’ha tingut com a objectiu representar el moviment de la manera

més realista possible. S’han desenvolupat molts mètodes de captura d’objectes, persones i animals

per ser utilitzats en el món de la tecnologia, cinema i sobretot a la medicina.

El sistema de captura sense marcadors s’entén com el procés de capturar el moviment dels objectes,

animals o persones per crear recreacions realistes en tres dimensions, sense utilitzar cap

indicador/marcador al cos de la persona capturada. Aquest procés de transformació va des d’una

acció real capturada amb un aparell (per exemple una càmera) a una digital. En aquest document es

detalla tot el procés de captura de moviment a més a més de la comparativa de les

distàncies antropomètriques obtingudes i les reals.

La captura de moviment sense marcadors ha estat avaluada per un subjecte. S’han obtingut les seves

distàncies antropomètriques per tal de poder-les comparar amb la realitat i veure la precisió que té.

Els resultats obtinguts demostren que aquest sistema de captura amb unes simples webcams és molt

precís i es creu que, amb un sistema de més qualitat, es podria aconseguir una millor precisió.

Memòria

ii

Resumen

Durante el paso del tiempo siempre se ha tenido como objetivo representar el movimiento de la

manera más realista posible. Se han desarrollado muchos métodos de captura de objetos, personas y

animales para que se utilicen en el mundo de la tecnología, cine y sobretodo de la medicina.

El sistema de captura de movimiento sin marcadores se entiende como el proceso de capturar el

movimiento de los objetos, animales o persones para crear recreaciones realistas en tres

dimensiones, sin utilizar ningún indicador/marcador al cuerpo de la persona capturada. Podemos

decir que este proceso de transformación va desde una acción real con un aparato (por ejemplo una

cámara) a una acción digital. En este documento se detalla todo el proceso de captura de

movimiento además de la comparativa de las distancias antropométricas obtenidas y la realidad.

La captura de movimiento sin marcadores ha sido evaluada por un sujeto. Se han obtenido sus

distancias antropométricas para poderlas comparar con la realidad y ver la precisión que tiene. Los

resultados obtenidos demuestran que este sistema de captura con unes simples webcams es muy

preciso y se cree que, con un sistema de mayor calidad, se podría lograr una precisión exacta.

Avaluació de la cinemàtica en 3D del cos humà obtinguda mitjançant un sistema de captura sense marcadors

iii

Abstract

The biomechanics community has always aimed to represent the movement in the most realistic

possible way. Many methods of capturing objects, people and animals have been developed to be

used in the world of technology, cinema and, above all, in medicine.

A markerless capture system is a process of capturing the movement of objects, animals or people to

create realistic three-dimensional recreations. This transformation process comprises from a real

action captured with a device (such as a camera) to a digital one. In this document, the whole process

of capturing a movement is detailed, and the calculated and real anthropometric distances are

compared.

The motion capture without markers has been assessed by comparing the distances obtained with

this system and the real distances for a particular subject. The results obtained show that this motion

capture system with simple webcams is very accurate. With higher quality webcams, it is believed

that the system could achieve better accuracy.

Memòria

iv


v

Agraïments

M’agradaria agrair a totes les persones que m’han donat suport durant el desenvolupament d’aquest

projecte.

Al meu tutor, en Gil, per estar sempre disponible en qualsevol moment i per resoldre i ajudar-me en

els moments on no podia avançar.

A la meva família per aconsellar-me en cada pas i llegir-se el meu treball.

Gràcies a tots!!

Memòria

vi


vii

Índex RESUM ______________________________________________________________ I

RESUMEN __________________________________________________________ II

ABSTRACT __________________________________________________________ III

AGRAÏMENTS ________________________________________________________ V

1. PREFACI _________________________________________________________ 1 1.2. Origen del treball ..................................................................................................... 1 1.3. Motivació ................................................................................................................. 1 1.4. Requeriments previs ................................................................................................ 2

2. INTRODUCCIÓ ____________________________________________________ 3 2.1. Objectius del treball ................................................................................................. 4 2.2. Abast del treball ....................................................................................................... 4 2.3. Pla de treball ............................................................................................................ 4

3. ESTAT DE L’ART __________________________________________________ 7 3.1. Aplicacions ............................................................................................................... 7

3.1.1. Cinema .................................................................................................................... 7 3.1.2. Videojocs ................................................................................................................. 9 3.1.3. Rehabilitació i clínica ............................................................................................. 11

3.2. Algorismes de detecció d’esquelets sense marcadors ......................................... 13 3.3. Captura del moviment sense marcadors per realitat augmentada ..................... 14

4. OPENPOSE _____________________________________________________ 15 4.1. En què consisteix? Com s’utilitza? ......................................................................... 15 4.2. Avantatges ............................................................................................................. 16 4.3. Esquelets que conté .............................................................................................. 16 4.4. Algorisme ............................................................................................................... 18

5. CALIBRATGE ______________________________________________________________ 20

5.1. En què consisteix? ................................................................................................. 20 5.2. Algorisme ............................................................................................................... 21 5.3. Estratificació Euclidiana ......................................................................................... 22

6. TRIANGULACIÓ TRIDIMENSIONAL __________________________________ 24

Memòria

viii

6.1. Mètode per transformació lineal directa .............................................................. 24 6.2. Triangulació làser ................................................................................................... 25

7. MESURES EXPERIMENTALS ________________________________________ 26 7.1. Sistemes de mesura ............................................................................................... 26 7.2. Procés d’obtenció de dades .................................................................................. 29

7.2.1. Programari utilitzat ............................................................................................... 29 7.2.2. Preparació del sistema .......................................................................................... 31 7.2.3. Preparació del subjecte ........................................................................................ 32 7.2.4. Adquisició de dades .............................................................................................. 33 7.2.5 Revisió de dades .................................................................................................... 34

8. PROCESSAMENT DE LES DADES _____________________________________ 35 8.1. Obtenció de l’esquelet ........................................................................................... 36 8.2. Calibratge de les 6 càmeres ................................................................................... 37 8.3. Obtenció dels punts en 3D i les distàncies antropomètriques ............................. 37

9. RESULTATS. AVALUACIÓ DE LES DADES OBTINGUDES ___________________ 40 9.1. Dades utilitzades .................................................................................................... 40

9.1.1. Obtenció de l’esquelet .......................................................................................... 41 9.1.2. Obtenció dels errors de les càmeres .................................................................... 41 9.1.3. Punts en 3 dimensions i distàncies antropomètriques ........................................ 42

9.2. Precisió dels resultats ............................................................................................ 43 9.3. Mitjanes i desviacions del error ............................................................................ 45 9.4. Anàlisi t-Student .................................................................................................... 47

10. ANÀLISIS DE L’IMPACTE AMBIENTAL ________________________________ 49

CONCLUSIONS _______________________________________________________ 51

ANÀLISI ECONÒMICA _________________________________________________ 53 Despeses de personal ...................................................................................................... 53 Despeses de material ...................................................................................................... 54 Resum de despeses ......................................................................................................... 55

BIBLIOGRAFIA _______________________________________________________ 56

ANNEX A ___________________________________________________________ 59 A1. CAM1MOV1 ........................................................................................................... 59


ix

A2. CAM1MOV2 ........................................................................................................... 62 A3. CAM1MOV3 ........................................................................................................... 65 A4. CAM1MOV4 ........................................................................................................... 68 A5. CAM2MOV1 ........................................................................................................... 71 A6. CAM2MOV2 ........................................................................................................... 74 A7. CAM2MOV3 ........................................................................................................... 77 A8. CAM2MOV4 ........................................................................................................... 80

Memòria

x

Índex figures

Figura 3.1 Captura de les expressions facials __________________________________________ 8

Figura 3.2 Captura de moviment en el cinema _________________________________________ 8

Figura 3.3 Mètode de captura en els videojocs _________________________________________ 9

Figura 3.4 Resultats de l’anàlisi complet de la marxa ___________________________________ 12

Figura 3.5 Diferents exemples del DeepLabCut ________________________________________ 13

Figura 3.6 Exemple del AR ________________________________________________________ 14

Figura 4.1 Procés de l'OpenPose ___________________________________________________ 15

Figura 4.2 Detecció de braços, mans i cara ___________________________________________ 16

Figura 4.3a Detecció de cos + peu __________________________________________________ 17

Figura 4.4 Esquelets disponibles per l'OpenPose _______________________________________ 19

Figura 5.1 Sistema de multicàmeres ubicades en diferents posicions _______________________ 20

Figura 5.2 Sistema multicàmera, representat esquemàticament __________________________ 22

Figura 5.3 Resultats de l’Estratificació (vist des de dalt) _________________________________ 23

Figura 5.4 Projeccions puntuals de la càmera _________________________________________ 23

Figura 5.5 Errors de cada càmera __________________________________________________ 23

Figura 6.1 Geometria general de la triangulació làser __________________________________ 25

Figura 7.1 Esquema del laboratori amb les 6 càmeres posicionades _______________________ 27


xi

Figura 7.2 Webcam Logitech C922 Pro Stream ________________________________________ 28

Figura 7.3 Webcam Logitech C270 _________________________________________________ 28

Figura 7.4 Procés d’obtenció de dades ______________________________________________ 29

Figura 7.5 Pantalla inicial del Software OBS __________________________________________ 30

Figura 7.6 Software Matlab _______________________________________________________ 31

Figura 7.7 Software OBS amb la configuració de les 6 càmeres col·locades __________________ 32

Figura 7.8 Subjecte col·locat dins la visió de les càmeres ________________________________ 33

Figura 8.1 Esquema del procés d'obtenció de les dades _________________________________ 35

Figura 8.2 Obtenció del resultats un cop processat el vídeo ______________________________ 36

Figura 9.1 Obtenció de l’esquelet ___________________________________________________ 41

Figura 9.2 Obtenció dels errors de cada càmera _______________________________________ 42

Figura 9.3 Obtenció dels punts en 3D _______________________________________________ 42

Figura 9.4 Comparativa entre la distància real i la del vídeo ______________________________ 43

Figura 9.5 Moviment de flexió d'espatlla en diferents frames _____________________________ 44

Figura 10.1 Emissions de gas d’efecte hivernacle d’un MacBook Air amb pantalla retina de 13

polzades al llarg de la seva vida útil ____________________________________________ 49


1

1. Prefaci

1.2. Origen del treball

Aquest projecte s’inicia al curs 2020-2021 i té per objectiu principal comprovar com de precises

són les mesures de l’esquelet del cos humà en tres dimensions utilitzant webcams. També

s’analitza si les resolucions de les webcams afecten a la precisió d’aquestes mesures. El Treball Fi

de Grau s’ha desenvolupat al Simulation and Movement Analysis Lab (SIMMA Lab) de l’Escola

d’Enginyeria de Barcelona Est (EEBE).

Per realitzar aquest treball s’ha utilitzat unes llibreries C++ ja existents, amb el mètode

desenvolupat anteriorment. En aquest cas, s’ha modificat el codi MATLAB que utilitza les llibreries

per tal d’obtenir els valors que es necessiten. Aquest mètode és capaç d’identificar les

articulacions del cos humà a través d’una imatge o vídeo. El procés de mesura és bastant feixuc,

per la qual cosa seria interessant tenir un algoritme que només a partir de les gravacions fos

capaç d’obtenir les mesures del cos humà.

1.3. Motivació

La principal motivació per la realització d’aquest projecte era el repte i l’aprenentatge que suposaria

desenvolupar un treball com aquest. Aquest fet requereix coneixements de programació i

intel·ligència artificial. Pel que fa a aquest últim vaig començar des de la base. Aquests temes són

molt comuns actualment tant en la investigació com en la indústria. Per altra banda, el fet que el final

del Grau en Enginyeria Mecànica es trobava cada vegada més a prop ha sigut una ajuda per motivar-

me a mi mateix.

Memòria

2

1.4. Requeriments previs

Per a la realització d’aquest projecte es necessiten uns coneixements bàsics tant de programació com

d’intel·ligència artificial per poder entendre la problemàtica i el sistema. També s’ha necessitat els

conceptes de geometria i una base matemàtica apresa durant la carrera.


3

2. Introducció

El sistema de captura de moviment sense marcadors és un concepte que es troba avui en dia a

qualsevol projecte que requereixi la transformació d’un moviment del món real al món digital. Cal dir

que hi ha diferents mètodes per capturar el moviment, cadascun té els seus avantatges i

inconvenients.

El sistema de captura de moviment és una tecnologia en què l’ordinador, per si sol, després

d’analitzar grans quantitats de dades, és capaç d’identificar l’esquelet d’una persona o animal i,

gràcies a això, obtenir els punts de les articulacions d’aquests.

Els éssers humans sempre volem fer un pas més, arribar més enllà. Aquests mètodes estan dissenyats

per arribar a tenir la realitat dins d’una animació en 3D. Com pot ser que cada cop ens anem

apropant a aquesta realitat? L’estudi d’aquests mètodes i tecnologies permet que vagin evolucionant

i cada cop els sistemes són més moderns i sofisticats, la qual cosa fa que els resultats siguin més

precisos.

Molts sectors, com per exemple, la medicina, l’esport, els videojocs, el cinema i la tecnologia estan

treballant en diferents projectes per poder obtenir resultats que els hi serviran pel seu sector. Tot i

això, aquests tipus de sistemes tenen preus que poden resultar poc assequibles, superiors als 12.500

€.

Per aquest motiu s’ha creat un sistema de captura de moviment molt més assequible que arribi a uns

resultats semblants. Les dades necessàries per realitzar aquest procediment són les següents. A

través de 6 webcams distribuïdes per l’espai es grava el moviment d’un subjecte durant un cert

temps. A partir d’aquí s’obté l’esquelet i es podrà realitzar la investigació d’aquest treball, comparant

la precisió de les distàncies antropomètriques reals amb les que s’obtenen durant el procés esmentat

anteriorment. La limitació principal d’aquest sistema és el temps, ja que el fet de processar diferents

vídeos comporta que sigui lent i laboriós.

Memòria

4

2.1. Objectius del treball

L’objectiu principal és realitzar una comparativa entre la precisió de les distàncies antropomètriques

capturades a través d’un sistema de captura de moviment basat en webcams i les distàncies

antropomètriques reals. A més, un altre dels objectius principals és analitzar si les resolucions en què

ha estat capturat el moviment afecten a la precisió.

A continuació es mostra el desglossament dels objectius específics:

- Familiarització amb el sistema de captura i el processament.

- Mesures experimentals i processament de dades d’un subjecte.

- Exploració de les dades obtingudes.

- Validació i anàlisi dels resultats.

2.2. Abast del treball

Com ja s’ha comentat anteriorment, és un treball on ja s’han fet altres investigacions per diferents

persones. Per això s’ha aprofitat tot el coneixement ja obtingut anteriorment. Pel que fa als codis

més complexes pel processament de les dades, aquests han estat desenvolupats per altres persones

anteriorment. No obstant, ha calgut un procés de familiarització amb aquests codis per entendre

quines són les seves funcions i com es duen a terme, per utilitzar-los i si cal, introduir diverses

modificacions. Cal tenir en compte que per realitzar un sistema de captura de moviment fan falta

diverses dades per evitar que hi hagi errors. Això fa que les mesures i el processament d’aquestes

requereixin una gran quantitat de temps.

2.3. Pla de treball

En aquest apartat es mostra la planificació de treball que s’ha tingut en compte durant el projecte. A

la Taula 2.1 es veu representat el Diagrama de Gantt amb totes les activitats realitzades durant el

projecte durant les setmanes de cada mes.


5

Taula 2.1 Diagrama de Gantt

Memòria

6


7

3. Estat de l’art

En començar qualsevol projecte és necessari fer una recerca sobre l’estat de l’art del tema relacionat

amb aquest. Per una banda, cal comprovar que la investigació que es fa no s’hagi dut a terme per

altres grups ja que repetir-la seria un desaprofitament dels recursos. Per altra banda, la recerca que

han realitzat altres grups permet aprofitar el coneixement que altres investigadors han adquirit en el

camp. Aquest coneixement facilita el desenvolupament eficient del projecte, indica un punt de

partida lògic, i dóna indicis de si l’objectiu proposat és realista o no.

3.1. Aplicacions

En aquest apartat es mencionen diferents camps on es va començar a utilitzar el sistema de

captura de moviment sense marcadors i on segueix sent un mètode molt eficient i rellevant. Com

per exemple el cinema, la medicina i la tecnologia. S’han seleccionat aplicacions actuals.

3.1.1. Cinema

Un dels primers referents en utilitzar el mètode de captura va ser en el món de l’espectacle, en aquest cas el del cinema, és una tècnica bàsica que la seva principal funció és emmagatzemar les accions d’actors humans i utilitzar-la per l’animació de models digitals de personatges en animació 3D. Hi ha dos tipus de captura de moviment:

- Captura de les seves expressions facials, com es veu il·lustrat a la Figura 3.1. Aquest mètode

consisteix bàsicament en posar marcadors a la cara per tal que quan l’actor realitza una

expressió facial, aquest sistema de captura el registri per poder-lo introduir dins de la

pel·lícula.

- Captura del moviment corporal d’un actor. A diferència del mètode anterior, aquest

enregistrava els moviments que realitza l’actor.

Memòria

8

Figura 3.1 Captura de les expressions facials (1)

Durant la història del cinema aquestes tècniques han anat evolucionant i cada cop el moviment

dels personatges virtuals és més realista, com es mostra a la Figura 3.2, però sempre hi ha un

principi: • La pel·lícula d’animació Sinbad: Beyond the Veil Of Mists (2002) va ser la primera en

utilitzar aquesta tècnica.

• Star Wars: Episode I – L’Amenaça del fantasma va ser el primer llargmetratge en introduir

un personatge principal a través de la tècnica de captura de moviments

• Weta digital va ser una empresa d’efectes especials que va donar vida a molts

personatges importants en cada una de les seves pel·lícules com per exemple: Gòl·lum

(Triologia de Lord Of The Rings)(Figura a), King Kong, Godzilla,...

Altres pel·lícules on s’ha utilitzat aquest mètodes: Avatar (2009) (Figura b), The Polar Express

(2004), Monster House (2006) i moltes altres.

a) b)

Figura 3.2 Captura de moviment en el cinema


9

3.1.2. Videojocs

Principalment, la captura de moviment va ser instal·lada en els videojocs per tal de millorar el

realisme i la dinàmica dels mateixos. Les empreses de videojocs acostumen a associar-se amb

marques de modelatge de 3D com Naturalmotion (Londres, Regne Unit), Autodesk (Mill Valley,

Califòrnia, EUA). A la Figura 3.3 es pot veure un exemple de com es captura el moviment d’una

persona per tal d’introduir-la al videojoc. Aquest mètode bàsicament col·loca uns marcadors

sobre el cos per poder fer un seguiment del seu moviment. Durant l’evolució dels videojocs hi ha

hagut empreses molt importants que han utilitzat el sistema de captura de moviment:

• Els videojocs d’EA Sports ( Redwood City, Califòrnia, Estats Units), com per exemple el

popular joc FIFA utilitzen la captura de jugadors reals per posar en el joc els moviments

que fan ells a la vida real.

• Els videojocs de Rockstar Games com el Grand Theft Auto IV i el Red Dead Redemption,

van ser els primers de la companyia en tenir animacions a través de la captura de

moviments. A diferència d’EA Sports, van utilitzar actors que doblaven les veus dels

personatges.

Figura 3.3 Mètode de captura en els videojocs (2)

Per dur a terme la metodologia de la captura es necessita uns vestits especials pel actors i

jugadors. Per tal que els resultats siguin bons, almenys s’han de col·locar 30 sensors per a tot el

cos (almenys 3 per articulació). Més concretament, sobre les articulacions i els principals

segments del cos, com el cap, malucs i pit.

En tots els mètodes de captura del moviment, el muntatge de les càmeres ha de ser molt específic

ja que uns dels principals objectius és eliminar el màxim de punts cecs que puguin produir durant

Memòria

10

la captura de moviment. Per norma general, com més càmeres es col·loquin, millors dades

s’obtindran. Existeixen tres sistemes de captura que utilitzen sensors i un quart mètode que no els

requereix.

Amb sensors:

- Òptic passiu, utilitza sensors retroreflectants que són seguits per càmeres infraroges.

- Òptic actiu, utilitza sensors LED connectats amb cables al vestit de la captura de

moviment.

- Sensor inercials, utilitza només càmeres com a eina de localització.

Sense sensors:

- Mètode per vídeo, no necessita ni sensor ni vestits, es confia amb el software pel rastreig

dels moviment dels actors.


11

3.1.3. Rehabilitació i clínica

Un del principals motius de l’evolució de la medicina és per gran part, investigacions com els sistemes de captura de moviment. Aquests sistemes es caracteritzen per veure el funcionament del cos. Gràcies això es pot evitat una quantitat molt elevada de lesions i sobretot fer estudis sobre malalties on encara no hi ha cura. És cert que la medicina es molt amplia i que té molts sistemes que estudien el cos humà. A continuació explicarem detalladament dos sistemes:

Anàlisi complet de la marxa en 3D

Aquest mètode es caracteritza per realitzar una anàlisi de la biomecànica de caminar, o córrer.

S’utilitza freqüentment per a l’avaluació del cos humà i, sobretot, per la prevenció de lesions tant

musculars com esquelètiques.

Tot i això, actualment es requereix l’ús de marcadors o sensors per descriure els moviments d’un

pacient. Aquest procés és complicat ja que requereix molt de temps i limita la productivitat de les

clíniques de lesions esportives. Els investigadors de la Universitat de Calgary (Canadà) han

desenvolupat un sistema de captura de moviment sense marcadors basat en tres càmeres

sincronitzades de profunditat, fabricades per l’empresa Mesa Imagin (Zurich, Suïssa). El sistema

de captura de moviment mostra una cobertura corporal completa, no requereix l’ús de

marcadors i s’està desenvolupant per a aplicacions de la marxa clínica (3).

Els sensors recopilen totes les dades simultàniament de totes les càmeres, les registren en un

sistema global de coordenades i les avaluen per tal de detectar errors d’instrumentació per

millorar la precisió. Un cop realitzat tot aquest procés s’obté els resultat que es mostren a la

Figura 3.4. S'ha demostrat l'estimació de l'angle del genoll del pla frontal, la velocitat de la marxa de pas i el

temps mitjà de pas. El treball futur inclou l'extracció d'altres paràmetres de la marxa i

l'optimització del procés per aconseguir un càlcul precís dels paràmetres de la marxa.

Memòria

12

Figura 3.4 Resultats de l’anàlisi complet de la marxa (3).

Avaluació de la bradicinèsia en el Parkinson

La bradicinèsia (lentitud del moviment) és molt important per al tractament i el seguiment de la malaltia Parkinson. Les tècniques d’observació subjectiva són el “patró d’or”. Pel que fa a les escales de classificació clínica es caracteritzen per tenir poca sensibilitat i el valor és molt variable. Durant els darrers anys s’ha desenvolupat noves tecnologies per avaluar la bradicinèsia, la majoria encara requereixen molta experiència i molt d’esforç per tal que funcioni correctament.

(Bionics Institute, , Australia (4).) va presentar un nou mètode per utilitzar un sistema de seguiment manual de baix cost (Leap Motion, que és un sistema format per càmeres de profunditat) per quantificar la bradicinèsia desenvolupat per. Es van escollir vuit participants amb malaltia de Parkinson on primer de tot s’avaluava l'estimulació "on" i "off" dels participants, amb la condició "on" repetida per veure la fiabilitat. Els participants van realitzar tasques de moviment de canell i obertura i tancament de la mà. A partir d’aquí es desenvolupa un model de regressió lineal per predir les puntuacions clíniques i avaluar el seu rendiment. Les puntuacions agregades de bradicinèsia predites pel mètode coincidien fortament (r = 0,86) amb les puntuacions clíniques. El model va ser capaç de diferenciar estats terapèutics i la comparació entre les condicions de prova-test no va donar diferències significatives (p = 0,50).

La importància d’aquestes demostracions ha fet que aquest pugui quantificar objectivament la bradicinèsia d'acord amb l'observació clínica i proporcionar mesures fiables al llarg del temps. La maquinaria és fàcilment accessible, ja que només necessita un ordinador modest i el programari per realitzar avaluacions, de manera que és adequat per al seguiment de símptomes tant a la clínica com a casa.


13

3.2. Algorismes de detecció d’esquelets sense marcadors

Els algorismes de detecció d’esquelets humans únicament a partir d’imatges són cada vegada més

populars. En aquesta secció es fa esment del DeepLabCut, i a les següents seccions de l’OpenPose

(el qual s’ha utilitzat en aquest treball).

DeepLabCut és un mètode en 3D molt eficient sense marcadors basat en l’aprenentatge de

transferència amb xarxes neuronals que aconsegueix resultats excel·lents (és a dir, pot coincidir

amb la precisió de l'etiquetatge humà) amb dades mínimes d'entrenament (normalment 50-200

fotogrames). Es demostra la versatilitat d’aquesta eina mitjançant el seguiment de diverses parts

del cos en diferents espècies a través d’una àmplia col·lecció de comportaments. El codi és obert,

ràpid, robust i es pot utilitzar per calcular estimacions en 3D. Va estar desenvolupat de manera

col·laborativa al Laboratori Mathis a EPFL (Harvard, Estats Units)

S’ha utilitzat per extreure ubicacions claus de les parts d’un animal definides prèviament per

l’usuari en diversos paràmetres experimentals. Les aplicacions actuals van des del seguiment de

ratolins en l’avaluació de conductes fins altres casos molt més complexos, com per exemple,

articulacions de mans d’animals, o moviments de tot el cos en mosques. El resultat són els punts

de les articulacions en tres dimensions. També es destaca el seguiment ocular durant la presa de

decisions preceptives en cavalls i guepards i la posició d’un nadó humà. La Figura 3.5 il·lustra els

resultats obtinguts gràcies el mètode DeepLabCut.

Figura 3.5 Diferents exemples del DeepLabCut (5).

Memòria

14

3.3. Captura del moviment sense marcadors per realitat augmentada

La realitat augmentada (RA) és una tecnologia en què la percepció del món real de l’usuari es

millora amb informació addicional generada a partir d’un model d’ordinador. Les millores visuals

poden incloure etiquetes, models renderitzats en 3D i canvis d’ombrejat i il·luminació. La realitat

augmentada permet a l’usuari treballar i examinar el món físic mentre rep informació addicional

sobre els objectes que hi ha a través d’una pantalla (6).

Estimar la posició d’una càmera (virtual o real) en què es produeix algun augment, en aquest cas a

l’objecte capturat, és una de les parts més importants d’un sistema de realitat augmentada. La

disponibilitat de processadors potents i capturadors de fotogrames ràpids han fet que els

seguidors basats en el reconeixement d’imatges i visió per computador s’utilitzin habitualment

per la seva precisió, així com per la flexibilitat i facilitat d’ús. Els rastrejadors actuals basats en

visió per computador es basen en el seguiment de marcadors. L'ús de marcadors augmenta la

robustesa i redueix els requisits computacionals. No obstant això, el seu ús pot ser molt

complicat, ja que requereixen un cert manteniment. Per tant, és desitjable l'ús directe de les

funcions de l'escena per al seguiment.

Amb aquesta finalitat, es descriu com un sistema general que busca la posició i l’orientació d’una

càmera observant un espai sense marcadors visuals. Aquest mètode es basa en un procés de dues

etapes. A la primera etapa, es desenvolupen un conjunt de funcions amb l’ajuda d’un sistema de

seguiment extern mentre es treballa. A la segona etapa s’utilitza aquestes funcions

desenvolupades per al seguiment de la càmera quan el

sistema de la primera etapa decideix que és possible fer-ho. A

la Figura 3.6 es pot veure un exemple d’un sistema de captura

del moviment sense marcadors per realitat augmentada. El

sistema és molt general, de manera que ho pot

utilitzar qualsevol sistema de seguiment de funcions

disponibles i fer un sistema d’estimació de posicions per a

l’aprenentatge.

Figura 3.6 Exemple del AR (6).


15

4. Openpose

4.1. En què consisteix? Com s’utilitza?

L’OpenPose és un sistema de detecció del cos, mans i peus en temps real mitjançant diferents

punts d’interès (keypoints). Un total de 135 punts en el cas de la detecció completa. Aquest

projecte s’ha centrat bàsicament en l’obtenció d’aquests keypoints a través dels mètodes

proporcionats pel propi OpenPose. Aquests mètodes proporcionen la capacitat de capturar els

diferents punts d’interès en base a mapes de calor i de confiança. En aquest cas només s’utilitzen

els de confiança.

En primer lloc, s’ha de gravar els vídeos, que hi poden aparèixer un número indeterminat de

persones, que es poden presentar en qualsevol posició, mida i realitzar qualsevol tipus de

moviments. En segon lloc, les interaccions entre les persones i les oclusions provoquen que hi hagi

interferències espacials. I en tercer lloc, el temps d’execució tendeix a créixer amb la duració i el

número de persones en el vídeo. En les següents imatges es mostra la imatge real i la imatge amb el

resultat obtingut. La Figura 4.1 mostra el procés d’obtenció de l’esquelet que segueix l’OpenPose.

La Figura a fa referència a la imatge real, i la Figura b a l’obtenció de l’esquelet. A la Figura 4.2 es

pot veure una detecció completa de la cara dels dos subjectes. (7)

a) b)

Figura 4.1 Procés de l'OpenPose

Memòria

16

Figura 4.2 Detecció de braços, mans i cara

4.2. Avantatges

Un dels avantatges que comporta aquest sistema és la compatibilitat entre diferents plataformes, inclòs Ubuntu, Windows, Mac OSX i targetes gràfiques (per exemple, Nvidia Tegra TX2). També proporciona suport per a maquinària diferent, com ara GPU CUDA, GPU OpenCL i dispositius només de CPU. L’usuari pot seleccionar entre vídeos, imatges, càmeres web i transmissió de càmeres IP.

4.3. Esquelets que conté

L’OpenPose consta de tres blocs diferents: detecció de cos + peu, com es mostra a la Figura 4.3a , detecció de mans, il·lustrat a la Figura 4.3b i detecció de cares que es pot veure representat a la Figura 4.3c. El bloc central és el detector que combina punts clau del cos i peu. Alternativament, es poden utilitzar els models originals només pel cos formats en un conjunt de dades, anomenats COCO i MPII. Aquest conjunt de dades es poden combinar unes amb les altres, a la Figura 4.4 es pot observar el tipus d’esquelets disponibles per l’OpenPose. Tot i que no s’ha utilitzat en aquest projecte la biblioteca inclou detecció de punts clau en 3D, mitjançant la realització de triangulacions en 3D amb refinament no lineal de Levenberg-Marquardt que consisteix en una tècnica per tal de resoldre problemes de mínims quadrats no lineals sobre el resultat de diferents càmeres sincronitzades.

Pel que fa al temps d’inferència supera tots el mètodes d’última generació. És capaç de funcionar a uns 22 FPS en una màquina Nvidia GTX 1080 Ti conservant una alta precisió. L’OpenPose ja ha estat utilitzat per la comunitat investigadora per a molts temes de visió i robòtica, com ara la identificació de persones, interacció home-ordinador, estimació de la posició en 3D i generació de models de malla humana 3D.


17

Figura 4.3a Detecció de cos + peu

Figura 4.3b Detecció de la mà Figura 4.3c Detecció de la cara

Memòria

18

4.4. Algorisme

El procés que segueix la llibreria d’OpenPose és el següent. Primer de tot el sistema agafa com a entrada una imatge a color RGB amb unes mides A x h, on A es la base i h es l’altura en píxels. Aleshores el sistema processa aquestes dades i obté una sortida amb les dimensions X i Y, és a dir, les posicions en dues dimensions dels punts de les articulacions de cada persona que apareix a la imatge. La xarxa neuronal és l’encarregada de predir un conjunt de mapes de confiança F de dues dimensions per cada part del cos i un conjunt de camps vectorials. Cada mapa de confiança és una representació en 2D de la certesa que la part del cos està a la ubicació en píxels. Si apareix una sola persona, només hi haurà un sol pic a cada mapa de confiança si la part del cos corresponent és visible. En canvi si apareixen diverses persones, ha d’haver-hi un pic corresponent per cada part visible i per a cada persona.

Donat un conjunt de parts del cos detectades, el procés següent consisteix en reconstruir l’esquelet per formar les postures del cos complet. Per realitzar aquest procés es necessita una mesura de confiança per cada parell de deteccions de part dels cos d’una mateixa persona. Si es vol mesurar la unió d’aquestes dues parts primer s’ha de detectar un punt mig entre aquestes dos. Pot passar que la detecció d’aquest punt sigui impossible ja que és probable que hi hagi més d’una persona.

En el projecte, l’arxiu ReadVideoData.m conté un codi Matlab que és capaç de llegir l’esquelet mitjançant una funció MEX que crida a les funcions C++ d’OpenPose.. S’utilitza una variable anomenada pose. A partir de la comanda:

[ a b c pose (:, :, 1) pose (:, :, 2) pose (:, :, 3)] = Process_Image_Mex (double ( data)),

s’obté la posició en 2D dels 25 punts. Aquesta variable pose conté 3 dimensions: número de subjectes, número de punts i les posicions en X i Y de cada punt. També hi ha una altra component que forma part del grup de les coordenades, que és la confiança que té el codi sobre la posició d’aquest punt. Aquesta és un interval que comprèn els valors entre 0 i 1, com més s’apropi a 1 més segur està que aquest punt estigui allà.


19

Figura 4.4 Esquelets disponibles per l'OpenPosea) MPII b) COCO c) MPII + Peu

Memòria

20

5. Calibratge

En els darrers anys, els sistemes multicàmera han adquirit una importància creixent en la visió per ordinador. Avui en dia, moltes aplicacions s’aprofiten de diverses càmeres que observen una escena. Els sistemes de múltiples càmeres esdevenen encara més potents si consisteixen en càmeres actives, és a dir, càmeres amb zoom panoràmic. No obstant això, per a moltes aplicacions cal calibrar el sistema de càmeres múltiples, és a dir cal determinar els paràmetres intrínsecs i extrínsecs de les càmeres.

Per una banda els paràmetres intrínsecs d’una càmera es poden estimar mitjançant un patró de calibratge o altres mètodes de calibratge per càmeres rotatives. Per altra banda, els paràmetres extrínsecs necessiten un patró de calibratge o una interacció de l’usuari com un LED en moviment en habitació fosca. A la Figura 5.1 es pot veure representat la distribució de 6 càmeres en posicions diferents dins d’una habitació.

Figura 5.1 Sistema de multicàmeres ubicades en diferents posicions (8)

5.1. En què consisteix?

S’estableix un algorisme per tal de calcular les rotacions i posicions relatives entre diferents càmeres repartides per l’espai. Dues càmeres són el mínim, però no hi ha cap límit superior. El mètode és totalment automàtic i les càmeres no han de veure el mateix conjunt de punts ja que només se suposa una posició entre el subgrups de càmeres. A partir d’un conjunt de punts que es veuen per dues o més càmeres, es calculen les posicions i orientacions relatives d’aquestes. A partir d’aquesta informació es poden calcular les posicions d’aquests punts en tres dimensions.


21

Les imatges que s’extreuen de les gravacions s’utilitzen per a l’estimació relativa de la postura. No obstant això, aquestes imatges poden contenir moltes ambigüitats que afecten a l’extracció de correspondències puntuals correctes. El mètode de calibratge de Chippendale i Tobia (9) defineix una càmera d’observador que busca altres càmeres situades a l’espai. La precisió d’aquest mètode depèn en mesura de la distància entre les càmeres. Un dels problemes més grans en el calibratge de càmeres és extreure valors puntuals correctes entre parells de càmeres. Tanmateix, si les càmeres tenen punts de vista molt diferents sobre una escena, les influències projectives i les oclusions compliquen o fan impossible establir aquestes correspondències puntuals. El calibratge de la càmera és una part essencial de la reconstrucció en 3D. Com s’ha esmentat abans, els mètodes de calibratge convencionals requereixen equips d’alta precisió i algoritmes sofisticats.

5.2. Algorisme

L’algorisme que s’explica en aquesta secció és desenvolupat per Svoboda et al. (10). El codi es troba lliure a internet: https://github.com/strawlab/MultiCamSelfCal. Es consideren n càmeres i m punts d’un objecte, !! = [!! , %", &", 1]′, j=1,...,m. S’assumeix que el punts en 3 dimensions !! són

projectats a punt d’una imatge en dues dimensions *#!

+!# = ,*!#

-!#

1. = +!#*!# = /#!"+!# 12

on cada /# és una matriu de 3x4 que conté 11 paràmetres per cada càmera. Aquests consisteixen en 6 paràmetres que descriuen l’orientació i la posició de cada càmera, també es poden anomenar paràmetres externs. Per altra banda, el 5 paràmetres restants descriuen les propietats internes de la càmera que observen les coordenades dels píxels.

Un dels objectius del calibratge és estimar els factors λij i les matrius de projecció de la càmera /#. Es poden definir tots els punts i projeccions en una matriu Ws. Un exemple on es veu un calibratge de 4 càmeres és el que ens mostra a la Figura 5.2.

Memòria

22

Figura 5.2 Sistema multicàmera, representat esquemàticament

5.3. Estratificació Euclidiana

Durant molt de temps s’ha anat desenvolupant i millorant cada cop més el calibratge. Hi han molts mètodes que han servit per dur a terme el calibratge. En aquest projecte s’ha utilitzat un mètode molt important com és l’Estratificació Euclidiana. Aquest mètode proporciona una simplificació de com obtenir un calibratge complet de la càmera sense mesurar les coordenades de cap conjunt de punts en 3 dimensions. Aquest calibratge té com a resultat una matriu de rotació on conté tant els

paràmetres interns com externs de la càmera. També hi són presents els paràmetres de rotació 2# i translació 3#.

/# =4#5#[2# 3#]

On 4# és un valor diferent de 0.

5# = ,6# 0 *$#

0 8#6# -$#0 0 1

., 2# = ,9#!

:#!

;#!., 3# = ,

3%#

3&#

3'#.,

Gràcies aquest mètode s’obtenen diferents tipus de resultat, els punts de la imatge en diferents vistes com es mostra a la Figura 5.3 i a la Figura 5.4. També s’obté les projeccions puntuals de cada càmera tal i com es mostra la FIGURA X. Finalment un dels resultats on es pot treure conclusions de si l’autocalibratge és correcte és avaluant els errors que hi ha a cada càmera respecte la seves projeccions , es pot veure il·lustrat a la Figura 5.5 i Figura 5.6 respectivament.


23

Figura 5.3 Resultats de l’Estratificació (vist des de dalt)

Figura 5.4 Projeccions puntuals de la càmera

Figura 5.5 Errors de cada càmera

Memòria

24

6. Triangulació tridimensional

La triangulació en 3D és un mètode que s’utilitza per reconstruir la imatge o gravació en 3 dimensions. Aquesta reconstrucció comença detectant un punt en 3D a partir de les seves projeccions en la imatge de n càmeres, conegut el seu calibratge, la posició i la orientació relativa entre elles.

Es considera com a dades d’entrada les matrius de projecció de les càmeres. La sortida és el punt tridimensional (tot depèn del número de càmeres que hi hagi en el sistema). Existeixen un gran número de mètodes per realitzar la triangulació, la majoria basades en la triangulació lineal, que s’encarrega de minimitzar la distància a partir de les projeccions de les imatges. Gràcies aquest mètode s’obté el punt mig de la perpendicular comuna d’aquests.

6.1. Mètode per transformació lineal directa

A partir de la projecció d’un punt en 3D sobre les imatges, es determina la posició tridimensional d’aquest. En aquest projecte s’ha utilitzat un codi que fa referència a la triangulació lineal per tal d’obtenir els punt en 3D de les 6 càmeres. El codi consisteix en processar l’arxiu que conté les matrius de rotació de cada càmera. Un cop s’ha localitzat aquest arxiu es crea una funció al Matlab que conté cada matriu de rotació anomenades (P1, P2, P3, P4, P5, P6) i també els punts en 2D amb píxels de cada càmera anomenats (x1, x2, x3, x4, x5, x6). A continuació es pot veure com està format tant el punt P com el punt x.

/ = [<(<)<*] i el punt = = [

*-1]

Per una banda el punt P és una matriu de 1 x 3 on cada un dels paràmetres que hi han a dins formen part de la matriu de rotació, és a dir, <(, fa referència a la primera línia d’aquesta matriu i així el mateix amb les altres. Per altra banda el punt x està format per les coordenades en l’eix X (u) i per les coordenades en l’eix Y (v) dels punts detectats en 2D per les càmeres. A partir de les matrius de rotació de cada càmera i els punts 2D es crea una matriu A. A continuació es mostra com està formada aquesta matriu A per dues càmeres.

> = [

*<* − <(-<* − <)*+<′* − <+(-+<+* − <

+)

]


25

Com es pot veure, la matriu A multiplica el valor de l’eix X pel paràmetre en la posició 1 de la matriu de rotació corresponent, en aquest cas, la càmera 1. Aquest procés s’ha de fer també per l’eix Y i per l’altre càmera. Un cop realitzat tot aquest procés ja es pot córrer el codi on el resultat que s’obté és un arxiu, anomenat X3D, que conté els punts en X, Y i Z per cada frame i per cada distància detectada a l’esquelet. Surt una matriu de 25 punts x número de frames. Durant aquest procés pot passar que el codi no detecti algun punt, això és a causa que la càmera no l’ha detectat durant el procés de la captura. Cal comentar que d’aquests 25 punts no s’utilitzaran tots. Més endavant es fa un tria dels punts que es vol estudiar.

6.2. Triangulació làser

És un mètode molt utilitzat en la reconstrucció tridimensional ja que és econòmic, no invasiu, fiable, consistent i amb un gran nivell de resolució. El sistema consisteix en projectar un punt o una línia làser sobre l’objecte amb un angle conegut respecte la càmera. Aquesta està ubicada de forma que el seu eix òptic sigui perpendicular al pla on s’ubica el punt del làser, també anomenat pla de referència.

En el cas de la Figura 6.1 s’observa que la imatge capturada es pot obtenir a través d’una línia recta ja que cap objecte obstaculitza el pla de referència. En canvi, si hi ha un objecte que obstaculitzi aquest, hi haurà una deformació que dependrà del angle entre el pla del làser i l’eix òptic de la càmera. (REF)

Figura 6.1 Geometria general de la triangulació làser (11),

Experimentalment, la determinació dels paràmetres del muntatge amb precisió és bastant difícil, ja que els eixos de projecció i observació no estan ben definits. Per tant, el procés de reconstrucció requereix d’una equació de conversió que es pugui obtenir de manera experimental.

Memòria

26

7. Mesures experimentals

Per realitzar aquest projecte, el primer que s’ha realitzat és la captura de vídeos de 6 webcams diferents distribuïdes per l’espai, en aquest cas, al laboratori. Cada una d’aquestes webcams veu una posició diferent del subjecte situat al centre del laboratori. Aleshores mitjançant les llibreries de l’OpenPose s’extrauen les posicions de les articulacions de l’esquelet. Gràcies a això es pot reconstruir el moviment en dues dimensions de tots el punts de cada càmera.

Amb aquesta informació que donen les llibreries, el següent pas és calibrar l’espai només amb la informació de les webcams i així poder trobar les trajectòries de les articulacions a l’espai. Tot aquest procediment es realitza dues vegades, ja que un serà amb una resolució de (480 x 306) i l’altre serà de (960 x 306), l’objectiu final serà per una banda comparar la precisió dels punts de cada articulació amb la realitat, i per altra banda veure si les resolucions afecten a aquesta precisió.

7.1. Sistemes de mesura

El sistema de mesura utilitzat és el que es mostra a la Figura 7.1 i consta dels següents elements:

-Un ordinador

- 6 webcams

- Suport per elevar i aguantar les webcams

- Hubs USB

-Allargadors USB


27

Figura 7.1 Esquema del laboratori amb les 6 càmeres posicionades

Per una banda s’ha utilitzat les webcams del model (Logitech C922 Pro Stream), es pot veure il·lustrat a la Figura 7.2. Es caracteritza per tenir un camp visual de 78º i permet una resolució de 720p / 60fps, tot i que alhora de realitzar l’estudi es va reduir a 30fps ja que calia registrar les dades de 6 webcams diferents.

Memòria

28

Figura 7.2 Webcam Logitech C922 Pro Stream

Al gravar, les imatges tenen una qualitat professional amb correcció d’il·luminació HD que realitza ajusts automàtics en entorns foscos, i un enfocament automàtic ràpid per produir el vídeo amb alta definició. És compatible amb Windows 10 o posterior, Windows 8, Windows 7, Mac OS 10.10 o posterior.

Per altra banda s’ha utilitzat 5 càmeres del mateix model (Logitech C270), representat a la Figura 7.3. Es caracteritza per poder gravar a una resolució de 720p/30fps. Conten amb un micròfon, un sensor de moviment i detector de rostres.

És compatible amb Windows 10 o posterior, Windows 8, Windows 7, Mac OS 10.10 o posterior.

Figura 7.3 Webcam Logitech C270


29

7.2. Procés d’obtenció de dades

Un cop es té tot el sistema de mesura, el següent pas es l’adquisició de dades amb les dues resolucions esmentades anteriorment. És per això que per tal que no hi haguessin errors cal que el subjecte surti a les 6 càmeres.

El procés d’obtenció de dades no és abstracte però cal evitar introduir errors innecessaris. A la Figura 7.4 es poden veure els passos a seguir, el qual s’explica en detall en el següents apartats.

Figura 7.4 Procés d’obtenció de dades

7.2.1. Programari utilitzat

Per obtenir les dades de cada vídeo és necessari que un ordinador tingui instal·lat el software OBS, creat per Hugh ‘’Jim’’ Bailey, i el MATLAB (Mathworks, Natick, Massachussets, Estats Units). El primer és l’encarregat de gravar els sis vídeos a la vegada, utilitzant un format on es puguin veure les sis webcams alhora. El segon, el MATLAB, que serà l’encarregat de processar tots els codis i que doni els resultats per tal d’arribar a una conclusió final sobre el projecte.

El software OBS és un programa de vídeo que la seva funció principal és gravar però també conté funcions per la retransmissió en directe o streaming. La Figura 7.5 mostra com és la distribució de la pantalla inicial del programa. Hi ha la possibilitat de configurar tot tipus de gravacions de vídeo d’emissions i gravacions amb panells simplificats. També es pot realitzar mescles de gravació de vídeo i so en temps real, podent personalitzar transicions, contant així mateix amb un suport ampli de filtres per utilitzar en l’edició i muntatge de vídeos.

Memòria

30

Figura 7.5 Pantalla inicial del Software OBS

El Matlab és un entorn de computació numèrica i un llenguatge de programació. Va ser creat per la companyia Mathworks. Es caracteritza per ser un programa molt sofisticat que permet manipular fàcilment matrius, dibuixar funcions i dades, implementar algorismes, crear interfícies d’usuaris i comunicar-se amb altres programes en altres llenguatges. La interfície té una aparença con la Figura 7.6.


31

Figura 7.6 Software Matlab

7.2.2. Preparació del sistema

Abans de la captura del moviment, és necessari que el sistema estigui preparat per evitar fallades durant la posada en pràctica, cosa que comportaria, o bé que els resultats no fossin vàlids, o bé que el subjecte s’hagués d’esperar més estona.

Primer de tot s’han de connectar totes les càmeres a través d’una taula HUB per USB i extensors d’USB per tal de que les webcams puguin estar posicionades en qualsevol punt del laboratori. A continuació cal connectar la taula HUB a l’ordinador. Aleshores es comprova que l’ordinador les detecta. Finalment només s’han d’activar les webcams al software OBS i col·locar-les a la pantalla per tal que es vegin totes. A la Figura 7.7 es pot veure el format de les 6 càmeres en diferents posicions abans que el subjecte realitzi les gravacions. Un cop fet tots aquests passos es pot començar a gravar.

Memòria

32

Figura 7.7 Software OBS amb la configuració de les 6 càmeres col·locades

7.2.3. Preparació del subjecte

En aquest projecte no s’ha aplicat cap restricció a les característiques del subjecte, qualsevol persona és apte per realitzar els moviments que sortiran a la gravació. El subjecte que ha participat és un estudiant universitari de 23 anys. Per dur a terme l’adquisició de les dades es demana al subjecte que bàsicament es col·loqui a una posició del laboratori on les 6 càmeres el captin, com es mostra a la Figura 7.8.


33

Figura 7.8 Subjecte col·locat dins la visió de les càmeres

7.2.4. Adquisició de dades

Com ja s’ha comentat prèviament, es realitza una comparativa entre dos tipus de resolucions amb les mateixes càmeres . El subjecte haurà de realitzar uns certs moviments:

- Caminar 4 passes endavant i endarrere - Flexió de cames (esquat) - Moviment vertical dels braços - Pujar i baixar un esglaó

És molt important indicar al subjecte que no realitzi el moviments amb rapidesa, per tal d’evitar errors. Quan el subjecte dóna l’avís, des de l’ordinador s’inicien les gravacions de les webcams al programa OBS. Un cop s’ha iniciat el registre, el subjecte comença a realitzar els moviments. La duració estimada de cada vídeo serà d’uns 15 segons aproximadament.

Com que el procés d’adquisició es realitza 8 vegades, 4 moviments per a cada resolució, és molt important que la nomenclatura alhora de guardar els fitxers per tal d’evitar confusions més endavant. S’ha optat anomenar tots els fitxers indicant quin tipus de moviment i quin model de càmera és:

Per a la resolució (480 x 306)

Memòria

34

- CAM1MOV1 (resolució 1, moviment 1) - CAM1MOV2 (resolució 1, moviment 2) - CAM1MOV3 (resolució 1, moviment 3) - CAM1MOV4 (resolució 1, moviment 4)

Per a la resolució (960 x 612)

- CAM2MOV1 (resolució 2, moviment 1) - CAM2MOV2 (resolució 2, moviment 2) - CAM2MOV3 (resolució 2, moviment 3) - CAM2MOV4 (resolució 2, moviment 4)

7.2.5 Revisió de dades

Com a pas final queda fer una petita revisió de les dades. S’ha de comprovar que el vídeos estiguin ben gravats, això implica que es vegi el subjecte, que cap objecte impedeixi que l’OpenPose llegeixi el moviment, que el subjecte hagi realitzat els moviment que es demana i per últim, els vídeos s’han guardat a la carpeta amb el nom que li toca a cadascun.


35

8. Processament de les dades

A continuació es defineix els passos que s’han seguit per processar els vídeos capturats. En cadascuna de les 8 gravacions i per a cadascuna de les 4 resolucions, s’ha realitzat el següent processament: • Obtenció de l’esquelet amb les articulacions corresponents mitjançant OpenPose

• Obtenció dels punts de les articulacions en dues dimensions de cada càmera

• Calibratge de les 6 càmeres (obtenció de les matrius de rotació i posicions de cada càmera)

• Obtenció dels punts en 3D de les 6 càmeres juntes (triangulació)

• Càlcul de les distàncies en píxels de les articulacions seleccionades

• Càlcul de les distàncies en cm de les articulacions seleccionades

En la figura següent, Figura 8.1, es pot veure un esquema de com és el procés per tal de processar totes les dades.

Figura 8.1 Esquema del procés d'obtenció de les dades

Memòria

36

8.1. Obtenció de l’esquelet

El primer pas per realitzar tot el processament de les dades és l’obtenció de l’esquelet identificat en les gravacions. S’obtenen els punts X, Y i un valor de confiança de cada articulació (espatlla, colze, genoll, maluc, ...). Aquest valor de confiança està comprès entre 0 a 1, és a dir com més a prop estigui de l’1 més segur s’estarà que aquell punt sigui correcte.

El processament dels vídeos utilitza les llibreries d’OpenPose. En aquest cas, s’utilitza un codi MEX de MATLAB que permet obtenir l’esquelet donada una imatge on hi aparegui almenys una persona (12), aquest detecta l’esquelet frame a frame dels vídeos gravats anteriorment. S’ha creat un algorisme de MATLAB per tal d’obtenir les posicions X i Y de les articulacions dels esquelets obtinguts amb cadascuna de les 6 càmeres. Com que hi ha 6 càmeres en diferents posicions, pot ser que no es detectin els mateixos punts en cada càmera. També s’ha dissenyat per tal que quan llegeixi els vídeos sàpiga quina de les dues resolucions s’està tractant, ja que una és el doble que l’altre. S’ha utilitzat un factor de conversió per tal de passar d’una resolució a una altra. El procés que s’ha seguit és dividir la resolució que hi ha com exemple i dividir-ho per la resolució que es vol. Finalment s’ha de multiplicar pels valors màxims de X i de Y. El codi MATLAB també detecta automàticament quina càmera s’està analitzant, per tal d’assignar cada esquelet a una càmera.

L’organització dels noms dels fitxers i l’organització de les carpetes és important ja que abans de córrer el codi pel processament només cal canviar quatre detalls: el número de moviment (1, 2, 3 o 4), la resolució que toca (1 o 2 segons si es tracta d’una resolució o altra) i l’arxiu generat pel codi Openpose. El resultat del processament del vídeo a través de l’OpenPose és el que ens mostra a la Figura 8.2.

Figura 8.2 Obtenció del resultats un cop processat el vídeo


37

Tot i tenir aquest mecanisme d’obtenció de l’esquelet i dels punt X i Y de cada articulació, a vegades el programa és incapaç de trobar els punts o suposa que el punt està en una posició errònia, això implica que el número de confiança sigui més proper a zero. Un del motius perquè apareixen aquests dos problemes és que o bé el cos surt de la imatge o bé el punt està a una posició on la càmera no el pot veure. Per exemple, l’ull no sortirà a la càmera on el subjecte li estigui donant l’esquena, aleshores, com s’ha explicat abans, el programa suposarà una posició errònia (l’origen de coordenades).

Desafortunadament, hi hauran punts de les articulacions que tampoc es veuran ja que la visió de la càmera fa que només es vegi mig cos. Aquest processament dels vídeos és la part més llarga i més feixuga ja que ha de processar el nombre de frames que té el vídeo a 30Hz, aproximadament 220 frames que són uns 35 minuts de processament. És a dir, si es tenen un total de vuit vídeos, el temps total que s’haurà d’esperar serà de 4 hores i 40 minuts. El resultat de tot aquest procés és un fitxer anomenat pose_temp, per a cada vídeo amb les posicions x, y i el valor de confiança en cada instant de temps. Cada vídeo tindrà el seu número per tal que les carpetes estiguin ben organitzades i evitar confusions en l’avaluació dels resultats.

8.2. Calibratge de les 6 càmeres

Aquesta part del processament també s’ha dut a terme mitjançant un codi Matlab, desenvolupat prèviament. El primer que fa el programa és agafar les dades provinents dels vídeos (ja processades anteriorment). Aquests arxius s’anomenen Ce.dat i Xe.dat, seran els encarregats de crear la matriu de rotació.

Al realitzar el calibratge s’obtindrà una matriu de rotació i les posicions de cada càmera. Aquesta matriu de rotació servirà per calcular les rotacions i posicions relatives entre les diferents càmeres repartides per l’espai. Cal mencionar que les càmeres no han de veure el mateix conjunt de punts. A partir d’aquí, es podrà calcular les posicions i orientacions d’aquestes. Finalment s’obtindrà els punts en tres dimensions de les sis càmeres.

8.3. Obtenció dels punts en 3D i les distàncies antropomètriques

Un cop realitzat el calibratge de les 6 càmeres i obtinguts els fitxers per cada vídeo, falta l’últim pas per l’obtenció dels punts en 3 dimensions i les distàncies del cos humà escollides prèviament. Aquest procés és el de triangulació, on s’obtenen els punts en 3D a partir de diferents

Memòria

38

captures d’imatge en 2D d’un mateix instant de temps des de diferents càmeres. Per l’obtenció d’aquestes dades també s’ha creat un codi Matlab des de zero. Primer, s’obre el fitxer per tal de que es puguin processar els punts en 3 dimensions de cada segment frame a frame. Aquestes són les distàncies entre diferents articulacions. S’han triat les distàncies entre punts que configuren segments rígids dels cos. En aquest treball s’han avaluat les següents distàncies:

1. Distància entre el nas i el coll 2. Distància entre l’espatlla dreta i el colze dret (húmer dret) 3. Distància entre el colze dret i el canell dret (cúbit dret) 4. Distància entre l’espatlla esquerre i el colze esquerre (húmer esquerre) 5. Distància entre el colze esquerre i el canell esquerre (cúbit esquerre) 6. Distància entre el maluc dret i el genoll dret (fèmur dret) 7. Distància entre el genoll esquerre i el turmell esquerre (tíbia dreta) 8. Distància entre el maluc esquerre i el genoll esquerre (fèmur esquerre) 9. Distància entre el genoll esquerre i el turmell esquerre (tíbia esquerra)

El codi genera un fitxer on hi ha una matriu de 9 x el número de frames processats en el vídeo. Un cop s’obtenen aquestes dades, encara falta un petit detall. Les unitats de mesura de totes les distàncies obtingudes prèviament són píxels, per tant, s’ha de fer una conversió per tal de passar aquests píxels a centímetres. Així es podrà comparar amb les distàncies reals del cos humà del subjecte mesurat.

Per realitzar la conversió s’ha aplicat una conversió on s’ha calculat la distància real en cm a partir de la distància en píxels, una distància de referència en cm i una distància de referència en píxels. La distància de referència en píxels és la mitjana de la distància obtinguda en un interval de temps durant el qual es va considerar acceptable.

@9A3àCD9EFCDG = @9A3àCD9EFC<9=FHA ∗@9A3àCD9EJFKF6FKèCD9EFCDG

@9A3àCD9EJFKF6FKèCD9EFC<9=FHA

La distància en centímetres de cada segment que es vol s’ha obtingut mitjançant una cinta mètrica. El procés és ben simple, s’ha agafat al mateix subjecte que va realitzar els vídeos i se li ha mesurat les distàncies mencionades anteriorment. Aquestes han sigut les distàncies obtingudes per a cada segment:

- Nas a coll -22cm - Espatlla dreta a colze dret – 30cm - Colze dret a canell dret – 31cm

- Espatlla esquerre a colze esquerre -30cm


39

- Colze esquerre a canell esquerre – 31cm

- Maluc dret a genoll dret -50cm - Genoll dret a turmell dret – 48cm

- Maluc esquerre a genoll esquerre – 50cm

- Genoll esquerre a turmell esquerre – 48cm

La distància de referència en píxels, com s’ha mencionat abans, és una mitjana d’un interval de temps on la distància obtinguda és acceptable. El resultat de les distàncies varia a mesura que els frames van avançant, ja que degut al moviment, hi ha distàncies que no seran les mateixes. Per exemple si es fa una flexió de cames, la distància del maluc al genoll serà diferent quan es realitzi el moviment. És per això que s’ha agafat un interval de temps on les distàncies siguin més o menys iguals.

Memòria

40

9. Resultats. Avaluació de les dades obtingudes

Un cop fet el processament, les dades que es tenen a disposició són les posicions X i Y de cada articulació, la detecció dels esquelets en el vídeo, els punts en 3 dimensions i per últim les distàncies antropomètriques en píxels.

Primer de tot cal tenir en compte que les articulacions no són independents les unes de les altres, el que significa que totes les variables influeixen en tot moment. És a dir, la distància entre el genoll i el turmell dependrà del moviment que s’hagi realitzat durant l’enregistrament del vídeo. Per altra banda, també interessa saber si el factor de la resolució pot comportar que les distàncies siguin completament diferents a les reals.

9.1. Dades utilitzades

Durant el temps en que s’ha dut aquesta investigació, s’han adquirit les dades de 4 vídeos amb una resolució de (480 x 306) i 4 vídeos amb resolució de (960 x 612). S’han processat els 8 vídeos per tal de que hi hagi una quantitat elevada de dades, i així aconseguir que el calibratge sigui més precís. Per facilitar la lectura i evitar repeticions innecessàries, en aquest apartat només s’inclouen alguns dels gràfics representatius. L’estudi complert es pot consultar a l’Annex A.

Cada vídeo s’anomena segons una nomenclatura. Per una banda hi ha el tipus de resolució, es distingeix si és o bé CAM1 o bé si és CAM2. Per altra banda, hi ha els diferents moviments, que es distingeixen si és MOV1, MOV2, MOV3, o MOV4. Per tant, queda tal com segueix:

CAM1MOV1 : fa referència a la resolució 1 amb el moviment de caminar de 4 passes.

CAM1MOV2 : fa referència a la resolució 1 amb el moviment de flexió de cames.

CAM1MOV3: fa referència a la resolució 1 amb el moviment vertical de braços.

CAM1MOV4 : fa referència a la resolució 1 amb el moviment de pujar i baixar un esglaó.

CAM2MOV1 : fa referència a la resolució 2 amb el moviment de caminar 4 passes.

CAM2MOV2 : fa referència a la resolució 2 amb el moviment de flexió de cames.

CAM2MOV3: fa referència a la resolució 2 amb el moviment vertical de braços.

CAM2MOV4 : fa referència a la resolució 2 amb el moviment de pujar i baixar un esglaó.


41

9.1.1. Obtenció de l’esquelet

Com ja s’ha esmentat anteriorment, cada vídeo està format per 6 càmeres. L’objectiu d’aquest procés és detectar l’esquelet i obtenir les coordenades X i Y dels punts de cada articulació.

Seguidament la Figura 9.1 mostra un instant de temps del resultat d’un dels vídeos, on es pot observar la detecció completa de l’esquelet en la majoria de la càmeres ja que en algunes el cos no surt del tot complet perquè la webcam no té suficient visió.

Figura 9.1 Obtenció de l’esquelet

9.1.2. Obtenció dels errors de les càmeres

Cada vídeo té el seu propi moviment. En aquests vídeos s’han detectat les articulacions que varien segons el moviment, els errors d’aquestes també variaran. Aquest errors es representen amb una gràfica de barres on a l’eix X hi ha el número de càmera que és i a l’eix Y es veu representat l’error en píxels, com més gran és la diferència en píxels més error hi ha.

A continuació a la Figura 9.2 es mostra una gràfica amb els resultats del calibratge d’una captura, en aquest cas la del vídeo que fa referència a CAM1MOV1. Per una banda, la barra blava fa referència a l’error de la distància mitjana en píxels respecte cada càmera . Per altra banda, la barra vermella fa referència a l’error de la desviació estàndard en píxels respecte cada càmera.

Memòria

42

Figura 9.2 Obtenció dels errors de cada càmera

9.1.3. Punts en 3 dimensions i distàncies antropomètriques

Aquest subapartat és el més important de tot el projecte, ja que dóna tota la informació per tal d’obtenir les conclusions. Els punts en 3 dimensions seran claus per obtenir les distàncies antropomètriques. Per cada frame de vídeo es pot obtenir una representació espacial de les posicions del cos humà, com es veu il·lustrat a la Figura 9.3.

Figura 9.3 Obtenció dels punts en 3D

Com s’ha esmentat anteriorment les distàncies antropomètriques s’han hagut de passar a centímetres per tal de poder-ho comparar amb distàncies reals. A continuació es mostren algun dels gràfics (Figura 9.4) on es veu representat com varia durant el pas del temps (eix X) la distància


43

escollida (eix Y). També s’hi pot veure representat quan mesura la distància real. Gràcies aquesta gràfica es pot fer un comparativa entre aquestes dues distàncies i arribar a una conclusió.

Figura 9.4 Comparativa entre la distància real i la del vídeo

9.2. Precisió dels resultats

Durant el procés d’obtenció de les distàncies hi hagut una gran varietat de dades. Per exemple, la distància de l’espatlla dreta al colze dret (húmer dret) entre el segon 4 i el segon 22 hi ha una lleugera diferència. Això és a causa d’un moviment, en aquest cas una flexió d’espatlla, que en la configuració que es tenien a les càmeres, provocava que no es detectessin bé algun dels punts. Per tal d’obtenir una precisió realista quan es detecten correctament els punts, s’ha seleccionat un interval de temps on es tenen les articulacions capturades raonablement (confiança > 0.8). S’ha observat que al realitzar un moviment sense que hi hagi flexió de les articulacions, els resultats són més regulars que en un moviment on hi hagi més d’una flexió.

A continuació es mostra dues imatges del mateix moviment Figura 9.5 però en diferents frames. La Taula 9.1, mostra la distància del segment húmer dret. Tot aquest conjunt de dades fa referència al moviment de flexió d’espatlla. Per una banda, les dues primeres columnes (frame, Distància (cm), fa referència a la Figura a. Per altra banda, les altres dues columnes fan referència a la Figura ‘’b’’. Com es pot observar les de la primera columna s’apropen més a la distància real obtinguda, en canvi, en la segona columna de les distàncies són menors. Aquesta reducció és degut a la flexió d’espatlla que s’ha realitzat durant el moviment. Per tant s’escollirà el valors més reals, és a dir el de les dos primeres columnes.

27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Espatlla dreta - Colze dret

Distàcia video Distància real

Memòria

44

a b

Figura 9.5 Moviment de flexió d'espatlla en diferents frames

Frame Distància (cm) Frame Distància (cm)

Taula 9.1 Distància mesurada de l’húmer dret.

1 31,37409

26 27,46754 2 29,9398

27 27,3636

3 29,35465

28 27,0124 4 30,24495

29 28,94965

5 31,21475

30 28,7885 6 32,64893

31 27,68595

7 31,56989

32 27,9875 8 31,46096

33 28,54754

9 30,15014

34 28,65663 10 30,18315

35 28,34242

11 29,1118

36 27,97696 12 29,75333

37 27,1044

13 29,8417

38 27,2355 14 31,48498

39 27,0121

15 31,79439

40 28,2521 16 30,43368

41 29,00465

17 31,27314

42 28,95496 18 31,54563

43 28,89484

19 30,92571

44 28,9497 20 30,01237

45 27,99797

21 31,92359

46 27,5647 22 32,54241

47 28,76888

23 29,34231

48 27,8944 24 29,35137

49 28,68556

25 31,50184

50 28,00112


45

9.3. Mitjanes i desviacions del error

En aquest apartat es presenten diferents taules que mostren les mitjanes de les distàncies, l’error mitjà i la desviació de l’error (desviació estàndard) per facilitar la lectura dels resultats. Amb aquestes dades es podran extreure conclusions. Pel que fa a les taules, n’hi ha de dos tipus:

A la primera taula (Taula 9.2) es pot veure les mitjanes de les distàncies, l’error mitjà, les desviacions de l’error (desviació estàndard) de cada segment per tots els moviments, és a dir, per a cada vídeo.

SEGMENT MITJANA

DISTÀNCIA (cm) ERROR MITJÀ (cm)

DESVIACIÓ DE L'ERROR (cm)

Nas - Coll 21,85 0,39 0,21 Húmer dret 30,67 1,15 0,81

Colze dret – Canell dret 31,17 1,12 0,67 Húmer esquerre 30,00 0,77 0,54

Colze esquerre – Canell

esquerre

30,95 1,19 0,77

Fèmur dret 50,48 1,00 0,64 Genoll dret – Turmell dret 48,55 0,92 0,44

Fèmur esquerre 50,99 1,44 0,89 Genoll esquerre – Turmell

esquerre

47,82 0,46 0,37

Taula 9.2 Mitjanes de les distàncies, error mitjà i desviacions estàndards per a cada segment

Com es pot veure en aquesta taula el segment més petit i menys variable és el del Nas – Coll. Això és a causa que les distàncies gairebé no varien en cap moviment que s’ha gravat. També coincideix que és el segment amb la distància més curta. En canvi en els segments on hi ha més error (húmer, fèmur) és a les articulacions que es mouen més amb un error més gran que 0,50 cm. Com s’ha comentat anteriorment, les distàncies variaran lleugerament quan es realitzi la flexió d’aquesta.

Memòria

46

La segona taula (Taula 9.3) mostra les mitjanes de les distàncies, l’error mitjà i les desviacions de l’error de cada segment utilitzant les dues resolucions que s’han utilitzat durant el projecte.

SEGMENT RESOLUCIÓ MITJANA (cm)

ERROR MITJÀ (cm)

DESVIACIÓ DE L’ERROR (cm)

Nas - Coll 480 x 306 21,94 0,40 0,24 960 x 612 21,75 0,38 0,18

Húmer dret 480 x 306 30,80 1,22 0,85 960 x 612 30,53 1,07 0,77

Colze dret – Canell dret 480 x 306 30,97 1,29 0,76 960 x 612 31,38 0,95 0,57

Húmer esquerre 480 x 306 29,78 0,78 0,55 960 x 612 30,23 0,77 0,52

Colze esquerre – Canell esquerre 480 x 306 31,03 1,24 0,79

960 x 612 30,87 1,13 0,76 Fèmur dret 480 x 306 50,41 1,00 0,64

960 x 612 50,55 1,00 0,63 Genoll dret – Turmell dret 480 x 306 48,62 1,06 0,46

960 x 612 48,48 0,78 0,41 Fèmur esquerre 480 x 306 50,88 1,55 0,96

960 x 612 51,10 1,34 0,81 Genoll esquerre – Turmell

esquerre 480 x 306 47,68 0,45 0,45 960 x 612 47,96 0,29 0,29 Taula 9.3 Mitjanes i desviacions de cada resolució respecte el segment

Es conclou que la resolució de 960 x 612 té millor resultats que la resolució de 480 x 306, per tant, com més alta sigui fa que millori la precisió de les distàncies de cada segment.


47

9.4. Anàlisi t-Student

En aquest apartat es presenta una anàlisi t-Student entre les dues resolucions utilitzades durant aquest projecte. L’anàlisi t-Student és una distribució de probabilitat que estima el valor de la mitjana d’una mostra petita extreta d’una població que segueix una distribució normal. S’utilitza la versió de la distribució on les desviacions no són iguals. La mida de les mostres pot o no ser igual, per tant han de ser estimades per separat. A continuació, a la Taula 9.4 es mostra aquesta anàlisi entre les dues resolucions.

Resolució

408 x 306 Resolució

960 x 612 Mitjana (cm) 0,9989 0,8551 Variança (cm) 0,1515 0,1185 Observacions 9 9 Diferència hipotètica de la mitjana 0,0100

Graus de llibertat 16,0000

Estadístic t 0,7722

P(T<=t) una cua 0,2256

t Critical una cua 1,7459

Taula 9.4 Anàlisi t-Student

Un dels objectius del treball és veure si les resolucions afecten en la precisió en les distàncies antropomètriques obtingudes. Com es pot veure la mitjana entre els errors de les dues resolucions està separada per 0,14 cm, i el p-valor és major de 0.05. Això és un clar exemple que les resolucions no afecten al resultat. També es pot dir que la resolució major, la de 960 x 612, té millor precisió.

Memòria

48


49

10. Anàlisis de l’impacte ambiental

Aquest projecte s’ha centrat bàsicament en capturar el moviment i comparar la precisió de les distàncies antropomètriques capturades digitalment i les reals. A més, per l’adquisició de dades s’ha utilitzat un sistema complert que no h generat residus materials. Per aquestes raons, es pot afirmar que l’impacte ambiental ha sigut gairebé nul.

Es podria afirmar que gairebé la totalitat de l’energia consumida a sigut degut a l’ús de l’ordinador portàtil. Aquest s’ha fet servir el 100% de les hores que s’ha desenvolupat el projecte. El portàtil en qüestió és un MacBook Air de 13 polsades de l’any 2017. Apple posa a disposició dels clients l’estudi ambiental de cadascun dels seus productes. Tal com es mostra a la Figura 10.1, les emissions de CO2 derivades de la producció, el transport, l’ús del consumidor i el reciclatge d’aquest model és de 229kg (13).

Finalment, el que s’està desenvolupant en aquest projecte és un sistema de captura de moviment i, a més, sigui econòmic. L’objectiu és que cada cop es vagin millorant aquest mètode i que en un futur proper s’utilitzi per altres coses.

Figura 10.1 Emissions de gas d’efecte hivernacle d’un MacBook Air amb pantalla retina de 13

polzades al llarg de la seva vida útil

Memòria

50


51

Conclusions

Aquest projecte s’ha centrat bàsicament en la identificació de la precisió d’un sistema de captura del moviment sense marcadors a través d’unes webcams simples. Es comparen les distàncies antropomètriques que detecta el codi desenvolupat amb les distàncies antropomètriques reals del mateix subjecte que apareix a les gravacions. A més, s’ha comprovat si la resolució dels vídeos de les webcams afectava a la precisió de la captura. No obstant, el procés per tal de realitzar la captura del moviment comença abans d’escriure la primera línia de codi. Primer de tot s’ha de dedicar temps a com podem s’han de distribuir bé les càmeres a l’espai on s’hagi realitzat l’experiment per tal de que les gravacions surtin correctament i evitar repeticions de captures.

S’ha assolit amb èxit l’objectiu principal del treball. S’ha realitzat la captura del moviment sense marcadors amb cadascun dels moviments establerts en un començament. A més, després de tota la captura, s’ha comparat la precisió entre les diferents gravacions de les distàncies antropomètriques obtingudes en el processament del codi amb les distàncies reals. S’ha comprovat que la desviació l’error entre les dues distàncies és de menys d’1 cm. Bé és cert que en alguns segments aquests errors han sigut una mica superiors a 1 cm, tot i així, es pot arribar a la conclusió que amb un sistema senzill es pot arribar a obtenir una precisió < 1 cm.

Respecte els errors dels segments, s’ha comprovat que són molt diferents entre ells, ja que cada articulació té el seu propi rang de moviment. Per exemple, si compara l’error entre el segment del Nas – Coll i el segment del húmer dret, es pot veure que el segon és més gran. Això es a causa que, com s’ha mencionat anteriorment, com més gran sigui el rang de moviment, més probabilitat hi ha que la distància variï respecte a la real.

Hi ha hagut alguns punts que no s’han obtingut en dues dimensions per algunes càmeres. Això és causa que el subjecte a l’hora de realitzar el moviment sortia de la visió de la càmera. S’ha demostrat que les resolucions afecten poc a la precisió per tal d’obtenir les distàncies. El que depèn de si varia o no la precisió és el tipus de moviment que es fa durant la captura. Com s’ha vist a l’apartat de resultats el segment on s’observa menys diferències és el del nas al coll, en canvi el segments on hi ha més diferència és el del fèmur ja que és on es produeix més moviment a les gravacions. Mitjançant la triangulació, no s’arriba a una precisió exacte però amb sistemes de captura de càmeres òptiques amb marcadors actius, la resolució seria millor. Això comportaria una millora de la precisió.

Actualment el sistema té un inconvenient molt clar que és el temps i tota la dedicació necessària pel processament dels vídeos. El coll d’ampolla d’aquest projecte ha estat la detecció del punts en dues dimensions, per processar un frame, el codi OpenPose trigava 12 segons, és a dir si el vídeo té 200 frames serien aproximadament uns 35 minuts. Més enllà del treball final de grau, es vol intentar

Memòria

52

millorar aquest sistema per tal de que en un futur aquest processament de dades sigui més senzill, automàtic i es puguin obtenir les dades en un interval de temps més curt.

S’ha pogut observar que en totes les gravacions aquest sistema ha capturat perfectament l’esquelet humà i s’ha pogut processar totes les dades. Tot i això, en alguna gravació va sorgir algun problema de visualització de l’esquelet ja que desapareixia de la visió de la webcam. Es va resoldre tornant a gravar aquest moviment.

Pel que fa a l’adquisició de dades, s’ha observat alguns aspectes a tenir en compte. La primera és que aquest sistema donava algun error quan no capturava cap tipus d’esquelet, és a dir, per tal que el frame capturat fos vàlid, almenys una de les 6 webcams havia de tenir alguna visió de l’esquelet. S’hauria de corregir el MEX file de MATLAB per evitar-ho. L’altra qüestió a tenir en compte és que, quantes menys articulacions es moguessin durant la captura del moviment, menys error donava durant l’adquisició de dades.

Cal comentar que entre les dues resolucions, no s’han observat diferències significatives, però s’hauria d’investigar una resolució límit. S’ha comprovat que com menor sigui la resolució, més grans seran els errors. També, com menor sigui la resolució menys temps trigarà el processat de les dades. Aproximadament la diferència de temps entre dues gravacions en diferents resolucions és de 7 minuts.

Es va realitzar un experiment molt semblant aquest projecte el 2015. Consistia en la captura d’un moviment d’un subjecte, en aquest cas, caminant sobre una cinta. A partir d’aquí es va realitzar el mateix procediment que en aquest projecte. L’única diferència és que en comptes de calcular les distàncies antropomètriques, es calculaven els angles del genoll amb diferents velocitats. La precisió en aquest cas va ser força elevada. Com més alta fos la velocitat de la cinta l’angle del genoll augmentava. L’error mitjà que es va obtenir va ser de menys de 0,50º. (14)

En definitiva, es pot dir que els resultats del projecte han sigut satisfactoris i que, si es segueix millorant aquest sistema, es podria arribar a aconseguir un sistema que capturés el moviment més proper al de la realitat.


53

Anàlisi Econòmica

En aquest apartat es detalla el cost total del projecte, separant els costos d’enginyeria dels costos de material.

Despeses de personal

Aquest projecte s’ha dut a terme des de zero, és a dir no hi havia una investigació prèvia d’aquest projecte. Les hores que es compten en aquesta anàlisis són totes les invertides durant la realització del Treball Final de Grau, és a dir des d’octubre.

El desglossament de les hores invertides per l’estudiant es podria fer de manera aproximada: 40 hores de familiarització del projecte, 50 en millores del sistema de mesura i adquisició de dades, 40 en el processament de les dades, 100 en l’exploració de dades i 100 en l’elaboració de l’informe final.

A continuació a la Taula 1 es mostra el desglossament de les despeses personals.

Cost variable

(€/h)

Temps (h) Cost (€)

Enginyer 1 30 330 9,900

Tutor 30 30 900

Total 10,800€

Taula 0.1 Despeses personals

Memòria

54

Despeses de material

Per la realització d’aquest projecte no ha calgut una gran inversió en el sistema de mesura. Això significa que ja es disposava prèviament d’altres projectes les webcams i d’alguns cables HUB per poder connectar-les a l’ordinador. Així doncs, l’únic cost derivat del sistema de mesura ha sigut alguns allargadors de cable i una webcam, ja que durant el procés de gravació es va espatllar. Tot i així es mostra el preu de tot el material.

Per altra banda, dins d’aquest apartat s’han de considerar les despeses generades per les llicències de programari. Pel càlcul dels costos s’ha dividit el preu de la llicència pel temps de duració d’aquesta i s’ha multiplicat per la duració del projecte, en aquest cas de 4 mesos. El software utilitzat per la gravació dels vídeos (OBS), és un programa lliure. Així doncs, només s’ha invertit en el programa per l’adquisició i el processament de les dades (MATLAB). També amb el software de processament de text i fulls de càlcul (Microsoft Office). Finalment, també s’ha d’incloure l’ordinador utilitzat. Pel càlcul del cost s’ha considerat que la vida útil d’aquest ordinador és de 4 anys i la duració del projecte de 4 mesos. A continuació a la Taula 2 es mostra un desglossament de les despeses materials.

Quantitat (unitat)

Cost fix (€) Cost variable (€/any)

Temps d’ús (mes))

Cost (€)

Webcam 6 33,95 - - 203,7

Allargadors 5 8,99 - - 44,95

MATLAB - - 800 4 266,66

Microsoft Office

- - 579 4 144,75

Ordinador 1 - 375 4 500

TOTAL = 1160.06 €

Taula 0.2 Despeses materials


55

Resum de despeses

A continuació es mostra la Taula 3 on s’indica el cost total amb les despeses mencionades anteriorment.

Cost (€)

Despeses de personal 10,800€

Despeses de material 1160,06€

TOTAL 11,960.06 €

Taula 0.3 Resum de despeses

Memòria

56

Bibliografia 1. Mounirzok (2006). motion capture facial. small makers are located at specific points on the face. more information on http://www.mounirzok.com. [en línia] Wikimedia Commons. (Consulta 10 Oct. 2020]. 2. Thomas 89 (2015). English: Silhouette tracking. [en línia] Wikimedia Commons. Disponible a: https://commons.wikimedia.org/wiki/File:Silhouette_tracking.PNG [Consnulta 10 Oct. 2020]. 3. Nakano, N., Sakura, T., Ueda, K., Omura, L., Kimura, A., Iino, Y., Fukashiro, S. and Yoshioka, S. (2020). Evaluation of 3D Markerless Motion Capture Accuracy Using OpenPose With Multiple Video Cameras. Frontiers in Sports and Active Living, 2. (Consulta 11 Oct. 2020). 4. Pastorino, M., Cancela, J., Arredondo, M.T., Pansera, M., Pastor-Sanz, L., Villagra, F., Pastor, M.A. and Martín, J.A. (2011). Assessment of bradykinesia in Parkinson’s disease patients through a multi-parametric system. [en línia] IEEE Xplore. Available at: https://ieeexplore.ieee.org/abstract/document/6090516. (Consulta 14 Oct. 2020). 5. Mathis, A., Mamidanna, P., Cury, K.M., Abe, T., Murthy, V.N., Mathis, M.W. and Bethge, M. (2018). DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience, [en línia] 21(9), pp.1281–1289. Disponible a: https://www.nature.com/articles/s41593-018-0209-y.( Consulta 31 Oct. 2020). 6. Hürst, W. and van Wezel, C. (2012). Gesture-based interaction via finger tracking for mobile augmented reality. Multimedia Tools and Applications, 62(1), pp.233–258. (Consulta 2 Nov. 2020). 7. Cao, Z., Hidalgo Martinez, G., Simon, T., Wei, S.-E. and Sheikh, Y.A. (2019). OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, pp.1–1. (Consulta 13 Nov. 2020]. 8. Brückner, Marcel & Denzler, Joachim. (2010). Active Self-calibration of Multi-camera Systems. 31-40. 10.1007/978-3-642-15986-2_4. (Consulta 15 Nov. 2020).


57

9. Chippendale, P. and Tobia, F. (2005). Collective calibration of active camera groups. [en línia] IEEE Xplore. Disponible a: https://ieeexplore.ieee.org/abstract/document/1577312 [Consulta 6 Des 2020]. 10. Svoboda, T., Martinec, D. and Pajdla, T. (2005). A Convenient Multicamera Self-Calibration for Virtual Environments. Presence: Teleoperators and Virtual Environments, 14(4), pp.407–422. 11. Argüello-Sarmiento, G.E., Barrero-Pérez, J.G. and Meneses-Fonseca, J.E. (2012). Reconstrucción tridimensional de objetos con simetría axial a partir del método de triangulación láser con múltiples sistemas de observación. Revista UIS Ingenierías, [en línia] 11(2), pp.155–169. Disponible a : https://revistas.uis.edu.co/index.php/revistauisingenierias/article/view/155-169 [Consulta 18 Des. 2020]. 12. Serrancolí, G; Bogatikov, P; Palés Huix, J; Forcada Barberà, A; Sánchez Egea, A.J.; Torner, J; Kanaan-Izquierdo, S.; Susín, A. Marker-less monitoring protocol to analyze biomechanical joint metrics during pedaling. IEEE Access. (Consulta 31 Des 2020)

13. 3-inch MacBook Pro Environmental Report Apple and the Environment. (n.d.). [en línia] Disponible a: https://www.apple.com/environment/pdf/products/notebooks/13-inch_MacBookPro_w_Thunderbolt3_PER_July2018.pdf.

14. Krishnan, C., Washabaugh, E.P. and Seetharaman, Y. (2015). A low cost real-time motion tracking approach using webcam technology. Journal of Biomechanics, [en línia] 48(3), pp.544–548. Disponible a: https://www.sciencedirect.com/science/article/pii/S0021929014006459?casa_token=15GVadV33j4AAAAA:NAOIJN9ess_lwaPIEbs1e8aKkTLVDl4oRvG0h7n1dbciG6jsP2j-4iNanDnECoAIX4IPyhThINU [Consulta 11 Gen. 2021]. 15. Método De La, E. (n.d.). Juan Diego Cock. [online] Disponible a: https://repository.eafit.edu.co/bitstream/handle/10784/17306/document%20%281%29.pdf?sequence=2&isAllowed=y [Consulta 10 Nov. 2020]. 16. Hartley, R.I. (1994). Self-calibration from multiple views with a rotating camera. Computer Vision — ECCV ’94, pp.471–478.

Memòria

58

17. www.amazon.es. (n.d.). Amazon.es : logitech c920. [en línia] Disponible a: https://www.amazon.es/s?k=logitech+c920&__mk_es_ES= [Consulta 4 Gen. 2021]. 18. obsproject.com. (n.d.). Open Broadcaster Software | OBS. [en línia] Available at: https://obsproject.com/es [Consulta 22 Des. 2021]. 19. matlabacademy.mathworks.com. (n.d.). MATLAB and Simulink Training. [en línia] Available at: https://matlabacademy.mathworks.com [Consulta 15 Des. 2021]. 20. Solichah, U., Purnomo, M.H. and Yuniarno, E.M. (2020). Marker-less Motion Capture Based on Openpose Model Using Triangulation. [en línia] IEEE Xplore. Disponible a: https://ieeexplore.ieee.org/abstract/document/9163662 [Consulta 20 Nov. 2020]. 21. Corazza, S., Mündermann, L., Chaudhari, A.M., Demattio, T., Cobelli, C. and Andriacchi, T.P. (2006). A Markerless Motion Capture System to Study Musculoskeletal Biomechanics: Visual Hull and Simulated Annealing Approach. Annals of Biomedical Engineering, 34(6), pp.1019–1029.


59

Annex A

En aquest apartat es mostra els resultats de cada vídeo: obtenció de l’esquelet, errors de les càmeres, els punts en 3D i una comparativa entre cada segment estudiat amb la realitat.

A1. CAM1MOV1

Obtenció de l’esquelet

Errors de les càmeres

Annexos

60

Punts en 3D i distàncies

18

20

22

24

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Nas-Coll

Distància video Distància real

27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames


Distàcia video Distància real

27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames

Distàcia Colze dret - Canell dret


27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Espatlla esquerre - Colze esquerre



61

45

47

49

51

53

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Genoll esquerre - Turmell esquerre

Distància video Distancia real

2729313335

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Colze esquerre - Canell esquerre

Dsitància video Distància real

4749515355

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Maluc dret - Genoll dret

Distancia video Distància real

4547495153

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Genoll dret - Turmell dret

Distancia video Distancia real

46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Maluc esquerre - Genoll esquerre

Distancia video Distancia real

Annexos

62

A2. CAM1MOV2




63


18

20

22

24

26

1 21 41 61 81 101 121 141 161

cm

Temps (s)

Distància Nas - Coll

Distància real Dsitància video

27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames


Distància real Distància video

26

28

30

32

34

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Colze dret - Canell dret


Annexos

64

27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



45

47

49

51

53

1 21 41 61 81 101 121 141 161

cm

Frames



44

46

48

50

52

1 21 41 61 81 101 121 141 161

cm

Frames



47

49

51

53

55

1 21 41 61 81 101 121 141 161

cm

Frames



43

45

47

49

51

1 21 41 61 81 101 121 141 161

cm

Frames




65

A3. CAM1MOV3



Annexos

66


18

20

22

24

26

1 21 41 61 81 101 121 141 161

cm

Frames



2729313335

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames




67

27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



47

49

51

53

55

1 21 41 61 81 101 121 141 161

cm

Frames



45

47

49

51

53

1 21 41 61 81 101 121 141 161

cm

Frames



46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



45

47

49

51

53

1 21 41 61 81 101 121 141 161

cm

Frames



Annexos

68

A4. CAM1MOV4




69


18

20

22

24

26

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Nas -Coll


27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



26

28

30

32

34

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



Annexos

70

46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



47

49

51

53

55

1 21 41 61 81 101 121 141 161

cm

Frames



43

45

47

49

51

1 21 41 61 81 101 121 141 161

cm

Frames



46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames




71

A5. CAM2MOV1



Annexos

72


18

20

22

24

26

1 21 41 61 81 101 121 141 161

cm

Frames



28

30

32

34

36

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Esptalla esquerre - Colze esquerre



73

27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



444648505254

1 21 41 61 81 101 121 141 161

cm

Frames



46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



45

47

49

51

53

1 21 41 61 81 101 121 141 161

cm

Frames



44

46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



Annexos

74

A6. CAM2MOV2




75


18

20

22

24

26

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Coll - Nas


26

28

30

32

34

1 21 41 61 81 101 121 141 161

cm

Frames



26

28

30

32

34

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



Annexos

76

26

28

30

32

34

1 21 41 61 81 101 121 141 161

cm

Frames



44

46

48

50

52

1 21 41 61 81 101 121 141 161

cm

Frames



44

46

48

50

52

1 21 41 61 81 101 121 141 161

cm

Frames



46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames




77

A7. CAM2MOV3



Annexos

78


18

20

22

24

26

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



2729313335

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames




79

28

30

32

34

36

1 21 41 61 81 101 121 141 161

cm

Frames



45

47

49

51

53

1 21 41 61 81 101 121 141 161

cm

Frames



47

49

51

53

55

1 21 41 61 81 101 121 141 161

cm

Frames



44

46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



4547495153

1 21 41 61 81 101 121 141 161

cm

Frames



Annexos

80

A8. CAM2MOV4




81


18

20

22

24

26

1 21 41 61 81 101 121 141 161

cm

Frames



28

30

32

34

36

1 21 41 61 81 101 121 141 161

cm

Frames



27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames

Distància Espatlla dret - Colze dret


26

28

30

32

34

1 21 41 61 81 101 121 141 161

cm

Frames



Annexos

82

27

29

31

33

35

1 21 41 61 81 101 121 141 161

cm

Frames



45

47

49

51

53

1 21 41 61 81 101 121 141 161

cm

Frames



46474849505152

1 21 41 61 81 101 121 141 161

cm

Frames



46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



46

48

50

52

54

1 21 41 61 81 101 121 141 161

cm

Frames



avaluaciÓ de la cinemÀtica en 3d del cos humÀ …

Documents