INTERFAZ GRÁFICO DE USUARIO CON CONTROL TÁCTIL PARA JUEGOS MUSICALES MULTIJUGADOR GPL

Realizado por: José Jaime ArizaDirigido por: Cristina Urdiales García

Departamento de Tecnología ElectrónicaUniversidad de Málaga

2

ÍNDICE

● Introducción y objetivos

● Estructura

● Canción a interpretar

● Interfaces de entrada

● Pruebas y resultados

● Conclusiones y líneas futuras

3

Videojuegos de ritmo

La música, protagonista de

videojuegos.

4

Canciones disponibles

Catálogo reducido

Centradas en jugabilidad

Añadir propias

Contenido más musical

Dificultad para añadir

propias

Adición automatizada

5

Interfaces disponibles

6

Objetivos del PFC

● Flexibilizar y automatizar la incorporación

de canciones.

● Utilizar las interfaces existentes como

imitación de instrumentos musicales.

● Verificación de la ejecución de las

canciones.

7

Fuentes de sonido

● Dos fuentes de sonido: MIDI y MP3.

● MIDI, sonido no sintetizado. Representación digital de una partitura.

Almacenable en archivos SMF.

Verificación.

● MP3, sonido digitalizado. Respaldo sonoro.

8

ÍNDICE

● Introducción y objetivos

● Estructura

● Canción a interpretar

● Interfaces de entrada

● Pruebas y resultados

● Conclusiones y líneas futuras

9

Descripción funcional

MP3 MIDI Mandos

Obtenciónde notas

Traslacióna notas

Evaluación

GUI

Generadorde efectos

Audio

Tie

mpo

Notas

Resultados

10

Descripción arquitectónica

Audiotask GUItask Inputtask

Intelitask

11

Máquina de estados

SelDif

Juego

Resultado

SelSong

Postmenú

Inicio

Acerca

Presentación

Configuración

12

ÍNDICE

● Introducción y objetivos

● Estructura

● Canción a interpretar

● Interfaces de entrada

● Pruebas y resultados

● Conclusiones y líneas futuras

13

Origen de la canción

SMF Partitura Audio

OMR Procesado

MIDI

Recorte

Secuencia de juego

Procesado

Pseudonotas

SMF

MIDI

Recorte

Secuencia de juego

14

Extracción de pseudonotas

● Método basado en moda. Recuento de notas y selección de las más habituales.

Considerando la octava o sin considerarla.

Distinto número de notas según dificultad.

● Método basado en tonalidad. Extracción de tonalidad y formación de acordes.

Distintos acordes (número de notas) según dificultad.

15

Extracción de tonalidad

● Especificada por el jugador.

● De la armadura especificada en MIDI.

● Mediante análisis probabilístico y perceptual. Método de Krumhansl-Schmuckler: obtener el perfil de la

pieza y correlacionar con un patrón.

Método de Temperley, modificación del anterior

considerando modulaciones.

16

Pseudonotas extraídas

17

Sincronización

● MP3 y MIDI deben usarse simultáneamente

● MP3 se reproduce, MIDI se consulta.

MP3 actúa como reloj maestro.● Necesidad de precisión en la medida.

● MP3 y MIDI no tienen por qué ser iguales. Ajuste lineal de tiempo: tmidi=ab∗tmp3

18

ÍNDICE

● Introducción y objetivos

● Estructura

● Canción a interpretar

● Interfaces de entrada

● Pruebas y resultados

● Conclusiones y líneas futuras

19

Interfaces de entrada

● Obtener notas.

● MIDI usa dos eventos para notas:● NOTE ON, nota, velocidad.

● NOTE OFF, nota, velocidad.

● Conseguir eventos binarios.

20

Interfaces de entrada (2)

● Teclado: teclas.

● Ratón: botones y movimiento.

● Wiimote: botones y acelerómetro.

● Nunchuk: botones, acelerómetro y joystick.

● Guitarra de GH3: botones, acelerómetro,

joystick, barra (Whammy bar).

21

Homogeneización de eventos

● Tres tipos de elementos: Teclas y botones, ya son binarios.

Acelerómetros, binarizables.

Control continuo:

Posición y joystick, uso complejos.

Whammy bar, ya tiene un significado.

22

Binarización de acelerómetros

● Ofrecen X, Y y Z. Extraíble cabeceo y alabeo.

● Sólo movimientos bruscos.

● Espurios y oscilaciones.

23

Configuración de instrumentos

● Instrumentos de accionador global y de

accionador local.

● Combinación de cuatro tipo de accionadores: Inactivo.

Activo global.

Activo local.

Sin uso.

● Cada accionador tiene una nota asignada.

24

Ejemplo de configuración

Activolocal

Activolocal Activo

local

Activolocal

Activolocal

Pseudonota 5(naranja)

Pseudonota 2(roja) Pseudonota 3

(amarilla)

Pseudonota 4(azul)

Pseudonota 1(verde)

25

Ejemplo de configuración (2)

Pseudonota 5(naranja)

Pseudonota 4(azul) Pseudonota 3

(amarilla)

Pseudonota 2(roja)

Pseudonota 1(verde)

Sin usoActivolocal

Activolocal

Activolocal Activo

local Activolocal

Activoglobal Inactivo

InactivoInactivo

Inactivo

Inactivo

26

ÍNDICE

● Introducción y objetivos

● Estructura

● Canción a interpretar

● Interfaces de entrada

● Pruebas y resultados

● Conclusiones y líneas futuras

27

Reglas

Reglas básicas:1) Cada nota debe pulsarse y mantenerse

cuanto dure.

2) Se debe pulsar o soltar dentro de las

marcas, la precisión es relevante.

3) Una nota no iniciada correctamente se

pierde.

Modos de juego:● Solitario.

● Dos jugadores: Colaborativo/Competitivo.

0 puntos

10 puntos

0 puntos

28

Prueba de instrumentos

● Valoración subjetiva de la calidad de los

instrumentos imitados.

● Guitarra, piano y tambor.

● Recogida de opiniones mediante formulario. Datos del voluntario.

Comodidad de las posturas.

Facilidad para iniciar las notas.

Facilidad para finalizar las notas.

Facilidad global de uso.

29

Vídeo, prueba rítmica

30

Opiniones sobre instrumentosGrupos de voluntarios Guitarra Piano Tambor

Formación musical

Guitarrista 4,00 3,33 3,83

Percusionista 2,75 5,00 4,50

Pianista 3,25 4,75 4,25

No músico 3,33 3,92 3,92

Experiencia en juego

Jugador 3,81 4,13 4,25

No jugador 3,19 3,75 3,75

Combinación de

experiencia y formación

Mús., no jug. 3,38 3,75 3,75

Mús., jug. 3,75 4,08 4,25

Guit., no jug. 3,50 2,75 3,25

Guit., jug 4,25 3,63 4,13

No mús., no jug. 3,00 3,75 3,75

No mús., jug. 4,00 4,25 4,25

Media 3,50 3,94 4,00

31

Ejecución completa

● Valoración objetiva de la ejecución de varias

canciones con varios instrumentos. Aciertos.

Precisión al ejecutar.

● Trozo de pieza de Stephano di Britto. Piano.

● Trozo del bajo de Sweet Child o' Mine. Piano y guitarra.

32

Vídeo, Sweet Child o' Mine

33

Pieza de di Britto a piano

Sweet Child o' Mine a piano

Sweet Child o' Mine a guitarra

Grupo A.C. M.A. A.T. A.C. M.A. A.T. A.C. M.A. A.T.

Guitarrista 16,7% 58,3% 75,0% 33,3% 35,8% 69,1% 6,2% 53,1% 59,3%

Pianista 57,3% 27,1% 84,4% 43,8% 38,3% 82,1% 11,7% 62,4% 74,1%

No músico 32,8% 45,3% 78,1% 30,6% 36,1% 66,7% 13,9% 44,4% 58,3%

Jugador 47,9% 41,0% 88,9% 41,2% 37,5% 78,6% 23,9% 55,1% 79,0%

No jugador 27,1% 45,8% 70,8% 37,0% 40,1% 77,2% 1,2% 55,6% 56,8%

Media 34,9% 44,0% 78,9% 33,0% 34,6% 67,6% 11,4% 51,1% 62,5%

Resultados de la ejecución

34

Resultados de la ejecución (2)

Jugador A B C D E F G H

Experiencia en juego Si No Si No No No No Si

Formación musical Guitarra No No Guitarra No No Piano Piano

35

ÍNDICE

● Introducción y objetivos

● Estructura

● Canción a interpretar

● Interfaces de entrada

● Pruebas y resultados

● Conclusiones y líneas futuras

36

Conclusiones

● MIDI es un soporte excelente de partituras.

● El Wiimote y sus extensiones son buenas

interfaces para imitación de instrumentos.

● El paradigma propuesto para la configuración

de instrumentos es bueno.

● El software desarrollado actúa como juego

rítmico.

37

Líneas futuras● Mejora del feedback.

● Más elementos como interfaz de entrada. Extensiones del Wiimote.

Maniobras complejas.

Micrófono.

Instrumentos con interfaz MIDI.

● Evaluación de ejecución más completa. Considerar velocidad o agrupación de notas.

Modo de juego con todas las notas.

● Juego por red.

INTERFAZ GRÁFICO DE USUARIO CON CONTROL TÁCTIL PARA JUEGOS MUSICALES MULTIJUGADOR GPL

Realizado por: José Jaime ArizaDirigido por: Cristina Urdiales García

Departamento de Tecnología ElectrónicaUniversidad de Málaga

39

● Especificación.

● Transmisión serie a 31250 baudios entre

controladores y receptores.

● 16 canales.

● Mensajes De canal y de sistema.

● Extensiones. SMF = MIDI + Metadatos.

MIDI

40

Mensajes de canal

Mensaje Bytes de estado 1er byte de datos 2º byte de datos

Note Off 1000ccc 0nnnnnnn 0vvvvvvv

Note on 1001ccc 0nnnnnnn 0vvvvvvv

Postpulsación polifónica 1010ccc 0nnnnnnn 0ppppppp

Cambio de control 1011ccc 0rrrrrrr 0ggggggg

Cambio de programa 1100ccc 0mmmmmmm

Postpulsación monofónica 1101ccc 0ppppppp

Cambio de altura 1110ccc 0hhhhhhh 0lllllll

41

Estructura gráfica

Traste

NodoMensajePuntos0NodoMensajeFPS NodoMensajePuntos1 NodoMensajeTiempo

MensajeFPS MensajePuntos0 MensajePuntos1 MensajeTiempo

Inclinado

Trastenode1 Trastenode2

42

Estructura gráfica (2)

Trastenode1

cuerdaent1_0 cuerdaent1_4

Planotraste1

referencia-inf-1

referencia-sup-1 referencia-1

BOLA_0_idnota BOLA_0_idnota

COLA_0_idnota COLA_0_idnota