protocolo de pruebas - pegasus.javeriana.edu.copegasus.javeriana.edu.co/~cis1530in01/tg/anexos/anexo...
TRANSCRIPT
Protocolo de Pruebas 1
Protocolo de Pruebas
VERSIÓN 0.3
Dirigido a:
Ingeniera luisa Fernanda barrera león
Autor:
Katherine Espíndola Buitrago
PONTIFICIA UNIVERSIDAD JAVERIANA
Departamento de ingeniería de sistemas
Bogotá, Colombia
Noviembre, 2015
Protocolo de Pruebas 2
Historial de cambios
VERSIÓN FECHA SECCIÓN DEL
DOCUMENTO
DESCRIPCIÓN DE
CAMBIOS RESPONSABLE
Protocolo de
Pruebas versión
0.1
2 de
Noviembre
de 2015
Creación estructura del
documento. Katherine Espíndola
Protocolo de
Pruebas versión
0.2
20 de
Noviembre
de 2015
1, 2 Adición Sección 1
Adición Sección 2 Katherine Espíndola
Protocolo de
Pruebas versión
0.3
18 de
Diciembre de
2015
1, 2 Modificación Sección 1
Modificación Sección 2 Katherine Espíndola
Protocolo de Pruebas 3
Tabla de contenido
Historial de cambios ............................................................................................................................ 2
Introducción ........................................................................................................................................ 5
1. Pruebas Funcionales .................................................................................................................... 5
1.1. Caso de Prueba: Profesor .................................................................................................... 5
1.2. Caso de Prueba: Estudiante ................................................................................................. 8
2. Validación con TAM2 ............................................................................................................... 11
2.1. Protocolo ........................................................................................................................... 12
2.2. Desarrollo .......................................................................................................................... 12
2.3. Resultados ......................................................................................................................... 12
3. Prueba de Usabilidad ................................................................................................................. 14
Anexos............................................................................................................................................... 17
Anexo I. Grafo Profesor ........................................................................................................... 17
Anexo II. Grafo Estudiante ........................................................................................................ 17
Anexo III. Presentación Validación ............................................................................................ 17
Anexo IV. Protocolo Validación ................................................................................................. 17
Anexo V. Encuesta de Validación ............................................................................................. 17
Anexo VI. Comentarios de Validación ....................................................................................... 17
Anexo VII. Encuestas Diligenciadas Validación ..................................................................... 18
Anexo VIII. Consolidado Encuesta de Validación .................................................................... 18
Anexo IX. Prueba de Usabilidad ................................................................................................. 18
Anexo X. Datos recolectados Prueba de Usabilidad ................................................................. 18
Anexo XI. Consolidado Prueba de Usabilidad............................................................................ 18
Trabajos citados ................................................................................................................................ 19
Protocolo de Pruebas 4
Figuras
Figura 1: Caso de prueba de profesor – perfil ..................................................................................... 5
Figura 2: Caso de prueba de profesor – recomendaciones .................................................................. 6
Figura 3: Caso de prueba de profesor – Grafo de recomendaciones ................................................... 7
Figura 4: Caso real de estudiante – perfil. Los aspectos de personalización están enmarcados en verde
............................................................................................................................................................. 8
Figura 5: Caso real de estudiante – recomendaciones. Los aspectos de personalización están
enmarcados en verde ........................................................................................................................... 9
Figura 6: Caso real de estudiante – Grafo de recomendaciones. Representación de recomendación:
línea punteada. Representación de red de conocimiento personal: línea continua. ........................... 10
Figura 7: TAM2 (Adaptado de [3]) ................................................................................................... 11
Figura 8: Resultados generales: Validación de Know&Share con TAM2 ........................................ 13
Figura 9: Utilidad percibida de la recomendación especial .............................................................. 13
Figura 10: Priorización de Atributos de Calidad ............................................................................... 14
Figura 11: Resultado QUIS ............................................................................................................... 16
Tablas
Tabla 1: Preguntas prueba de usabilidad ........................................................................................... 15
Protocolo de Pruebas 5
Introducción
En las siguientes secciones se detallan cada una de las validaciones realizadas teniendo en cuenta el
prototipo. A continuación se presentan las pruebas funcionales (ver sección 1), la validación de la
arquitectura (ver sección 2) y la prueba de usabilidad (ver sección 3).
1. Pruebas Funcionales
El propósito de las pruebas funcionales fue validar las reglas de recomendación de conexiones, las
cuales le permiten a Know&Share entregarle contenido relevante al usuario para que este pueda
iniciar y/o expandir su red de conocimiento personal. Para esto se crearon 33 casos de pruebas. A
continuación, se presenta un caso de prueba de un profesor y un caso real de un estudiante, donde se
pueden ver las diferencias en las recomendaciones de usuarios realizada por Know&Share, así como
el contenido personalizado.
1.1. Caso de Prueba: Profesor
Como se puede ver en la Figura 1, el caso de prueba se llama Laura Coral, su personalidad es ISFJ y
pertenece a la carrera de Ingeniería de Sistemas. En la figura también se pueden ver sus énfasis, áreas
de conocimiento y cualidades como profesor y como profesional.
Figura 1: Caso de prueba de profesor – perfil
Protocolo de Pruebas 6
Por otro lado, en la Figura 2 se puede ver que Know&Share le recomienda conexiones de relevancia
(“Seguir”) y conexiones de confianza (“Enviar solicitud de amistad”). Adicionalmente, en la figuras
se pueden ver aspectos de personalización (enmarcados en verde) como el nombre, la personalidad,
el perfil y el leaderboard de la carrera a la que pertenece.
Figura 2: Caso de prueba de profesor – recomendaciones
Teniendo lo anterior en cuenta, la Figura 3 presenta el grafo de recomendaciones en el cual se puede
ver las recomendaciones con línea punteada de nodos de confianza, en morado, y nodos relevantes
en azul; los nodos en naranja representan otros usuarios de Know&Share que no se van a recomendar.
Protocolo de Pruebas 7
Figura 3: Caso de prueba de profesor – Grafo de recomendaciones
A continuación se explican dos de las recomendaciones que Know&Share le hace:
Natalia Flórez es una estudiante que pertenece a la carrera de Ingeniería de Sistemas, su
personalidad es ENFJ (diferencias intrigantes) y sus habilidades profesionales son iguales a
las cualidades profesionales de Laura (comunicaciones, redes y dispositivos móviles); en
Protocolo de Pruebas 8
consecuencia Know&Share recomienda a Natalia como un nodo de confianza (encerrado en
rojo en el grafo y en la figura de recomendaciones).
Rodrigo Ortega es un profesor que pertenece a la carrera de Estudios Literarios, su
personalidad es ISTP (complementos potenciales) y sus áreas de conocimiento (escrituras
creativas e investigación) no son iguales a las de Laura (principios y diseño de sistemas
operativos, sistemas distribuidos, etc.); en consecuencia Know&Share no le recomienda a
Rodrigo (encerrado en azul en el grafo y en la figura de recomendaciones).
En contraste con lo anterior, tanto en la figura de recomendaciones como en el grafo, se puede
ver que Know&Share le hace una recomendación especial (con la pregunta ‘¿por qué no lo
miras?’) de Rodrigo, esto le permite a Laura visitar su perfil y crear una conexión si así lo
quiere. Esta recomendación especial se debe a que Know&Share ofrece un espacio de
cooperación interdisciplinario en el cual los usuarios están expuestos a intereses distintos
dado que “el conocimiento requiere diversidad de opiniones para representar el todo y
permitir el mejor enfoque” [1].
En la siguiente sección se presenta un usuario real inscrito durante la prueba de validación (ver
sección 2) con el cual se pueden ver las diferencias entre el caso de la profesora Laura presentado en
esta sección y un estudiante real con la misma personalidad.
1.2. Caso de Prueba: Estudiante
Como se puede ver en la Figura 4, la estudiante real se llama Melissa Espíndola, su personalidad es
ISFJ como la de Laura Coral y pertenece a la carrera de Estudios Literarios.
Figura 4: Caso real de estudiante – perfil. Los aspectos de personalización están enmarcados en verde
En la figura también se puede ver parte de su perfil el cual, en contraste con el del profesor, incluye
sus gustos y sus habilidades personales. Por otro lado, en la Figura 5 se puede ver que Know&Share
le recomienda conexiones de relevancia y de confianza como a Laura, pero las recomendaciones
Protocolo de Pruebas 9
cambian. Por ejemplo, Natalia Flórez (encerrada en naranja en la Figura 2 y Figura 5) es recomendada
tanto a Laura como a Melissa, pero a Laura se le recomienda una relación de confianza, mientras que
a Melissa se le recomienda una relación de relevancia debido a que, aunque no pertenecen a la misma
carrera, tienen gustos similares y sus personalidades son cercanas.
Figura 5: Caso real de estudiante – recomendaciones. Los aspectos de personalización están enmarcados en verde
Teniendo en cuenta el grafo de recomendaciones de Melissa (ver Figura 6), a continuación se explican
dos de las recomendaciones que Know&Share hace, en contraste con las de Laura Coral:
Rodrigo Ortega es un profesor que pertenece a la carrera de Estudios Literarios, su
personalidad es ISTP (complementos potenciales) y sus cualidades como profesional (campo
creativo y de investigación) son las mismas de Melissa; en consecuencia Know&Share le
recomienda a Rodrigo como un nodo de confianza (encerrado en rojo en el grafo y en la
figura de recomendaciones de Melissa).
Paola Castro es profesora de Ingeniería de Sistemas, su personalidad es ENFP (complementos
potenciales) y sus cualidades como profesional (Sistemas de información y Computación
gráfica) no son iguales a las de Melissa (campo creativo y de investigación); en consecuencia
Know&Share no le recomienda a Paola (encerrado en azul en el grafo y en la figura de
recomendaciones). De la misma manera que a Laura, Know&Share le hace una
recomendación especial de Paola, de tal manera que este expuesta a intereses distintos como
es Ingeniería de Sistemas para Melissa.
Protocolo de Pruebas 10
Figura 6: Caso real de estudiante – Grafo de recomendaciones. Representación de recomendación: línea punteada.
Representación de red de conocimiento personal: línea continua.
Por otro lado, comparando los dos grafos de recomendación (Figura 3 y Figura 6) se puede ver la
diferencia entre el número de nodos de conexiones de confianza y de relevancia recomendados, esto
Protocolo de Pruebas 11
se debe a que la mayoría de los casos de prueba son de la Facultad de Ingeniería, a la cual pertenece
Laura. Además, se puede ver que los casos de prueba de carreras no afines, como arquitectura o diseño
industrial, a las carreras de Melissa y Laura no son recomendados en ningún caso por Know&Share.
De todo lo anterior se puede concluir, que Know&Share es una red de conocimiento personalizada la
cual recomienda que conexiones entre sus usuarios en un espacio de cooperación interdisciplinario
validando así parte del objetivo general del proyecto.
2. Validación con TAM2
Esta sección presenta la validación de la arquitectura de Know&Share. Debido a la naturaleza de este
proyecto para validar la utilidad potencial de la arquitectura se utilizó el Modelo de Aceptación
Tecnológica 2 (TAM2) [2], el cual según Willis [3] es un medio para entender el comportamiento de
los usuarios de redes sociales, esto se debe a que los usuarios deciden adoptar una red social (Intención
de Uso) basados en el resultado de su evaluación de la dificultad de utilizarla (Facilidad de Uso
Percibida), su creencia de que su uso aumentará su rendimiento (Utilidad Percibida), y la influencia
de las personas que son importantes para ellos (Norma Subjetiva) [2]; como se muestra en la Figura
7.
Figura 7: TAM2 (Adaptado de [3])
Teniendo en cuenta lo anterior, se prepararon varias sesiones de validación del prototipo con algunos
stakeholders cuyo propósito fue “evaluar la utilidad potencial de Know&Share” por medio de un
cuestionario (ver Anexo V) el cual fue contestado por: 3 profesores, 2 egresados y un estudiante
desarrollando TG de Ingeniería de Sistemas y un estudiante de Estudios Literarios.
Protocolo de Pruebas 12
2.1. Protocolo
Para llevar a cabo la sesión de validación se diseñó una presentación (ver Anexo III) así como un
protocolo (ver Anexo IV) el cual llevó el orden de la sesión planteado para 60 minutos.
Adicionalmente, se adaptaron varias de las preguntas de [2] y [3] con una adaptación de la escala de
Likert [4].
2.2. Desarrollo
Durante la sesión de validación los asistentes contestaron un cuestionario (ver Anexo V) y
adicionalmente, los asistentes dieron sus comentarios (ver Anexo VI) sobre su impresión del
prototipo. Los cuestionarios diligenciados pueden ser visualizados en el Anexo VII.
2.3. Resultados
Según los resultados obtenidos (ver Figura 8 y Anexo VIII), se puede ver que la utilidad percibida
fue calificada positivamente (el 58% manifestaron estar totalmente de acuerdo y el 38% estar de
acuerdo), sin embargo la facilidad de uso, a comparación con las demás, no fue percibida como se
esperaba (el 14% manifestó estar en desacuerdo, el 57% de acuerdo y solo el 29% totalmente de
acuerdo) por lo tanto debe refinarse el diseño de interfaz y buscar e implementar técnicas de diseño
de experiencias de usuario (UXD [5] por siglas en inglés).
Con respecto a la intención de uso, aunque el 14% manifestó estar en desacuerdo, el 57%
manifestaron estar totalmente de acuerdo. De este aspecto, vale la pena recalcar que a la afirmación
“Know&Share es útil para los estudiantes que no han elegido su tema de trabajo de grado” el 78%
de los encuestados manifestaron estar totalmente de acuerdo. En cuanto a la norma subjetiva, se
puede afirmar que es posible que se sientan influenciados por otras personas para utilizar
Know&Share.
Protocolo de Pruebas 13
Figura 8: Resultados generales: Validación de Know&Share con TAM2
Adicionalmente, con respecto a la afirmación: “Es útil la recomendación especial” (ver Figura 9) el
45% de los encuestados manifestaron estar en desacuerdo. Teniendo en cuenta que la recomendación
especial permite la creación de redes de conocimiento valiosas e interdisciplinares, es necesario
revisar mecanismos que motiven a los usuarios a tomar en cuenta las recomendaciones especiales que
se le muestran.
Figura 9: Utilidad percibida de la recomendación especial
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Facilidad de Uso
Percibida
Utilidad Percibida Norma Subjetiva Intención de Uso
0% 0% 0% 0%
14%8%
0%
14%
57%
34%
100%
29%29%
58%
0%
57%
Resultados TAM2
Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de acuerdo
0%
45%
44%
11%
Es útil la recomendación especial
Totalmente en desacuerdo En desacuerdo De acuerdo Totalmente de acuerdo
Protocolo de Pruebas 14
Teniendo en cuenta lo anterior, se puede concluir que, aunque el diseño de la interfaz diseñada en el
prototipo necesita ser mejorada, la arquitectura de Know&Share es potencialmente útil para buscar y
divulgar ideas de temas de trabajo de grado.
3. Prueba de Usabilidad
Como se puede ver en la Figura 10, el atributo de calidad más importante para Know&Share es la
usabilidad. Teniendo en cuenta esto se tomaron algunas preguntas de QUIS (Questionnaire for User
Interface Satisfaction) [6] para evaluar el diseño de la interfaz de diferentes partes del prototipo.
Figura 10: Priorización de Atributos de Calidad
Usabilidad
SeguridadPortabilidad
Priorización de Atributos de Calidad
Must Have Should Have Could Have Won’t Have this time
Protocolo de Pruebas 15
A continuación en la Tabla 1 se presentan algunas de las preguntas (ver Anexo IX) diseñadas para
cada parte donde en la columna escala se puede ver el valor que asignado a cada respuesta.
Parte Pregunta Escala
Registro Proporciona un distintivo visual
los campos de datos en:
1 Muy bajo grado 3. Alto grado
2. Bajo grado 4. Muy alto grado
Información del
Sistema
Organización de la información
de la interfaz es:
1. Muy confusa 3. Clara
2. Confusa 4. Muy clara
Red Social
¿Se puede distinguir la sección de
ideas de la sección de
recomendación de usuarios?
4. Si 1. No
Recomendación
Especial El uso de la terminología es:
1. Muy inconsistente 3. Consistente
2. Inconsistente 4. Muy consistente
Leaderboard ¿Se puede distinguir la carrera que
obtuvo el último puesto? 4. Si 1. No
Perfil ¿Los menús se diferencian de otra
información que aparece?
1. Muy confusos 3. Claros
2. Confusos 4. Muy claros
Tabla 1: Preguntas prueba de usabilidad
Teniendo en cuenta lo anterior, en la Figura 11 se pueden ver los resultados de la prueba descrita. De
acuerdo a la figura, se puede afirmar que el registro de usuarios en el sistema no fue evaluado
satisfactoriamente en comparación con las publicaciones, el perfil o el leaderboard. En consecuencia,
por un lado es necesario implementar la navegación entre las páginas de tal forma que los usuarios
puedan avanzar y retroceder entre ellas para corregir posibles equivocaciones, por otro lado se debe
revisar la densidad de las pantallas.
Adicionalmente, teniendo en cuenta la diferencia mostrada en la figura, es evidente que la red social
fue evaluada no fue calificada positivamente comparada con las otras partes de la interfaz. Una de las
preguntas más importantes de esta parte era: “¿Se puede distinguir la sección de ideas de la sección
de recomendación de usuarios?”, a la cual que el 75% de los encuestados respondió Si, sin embargo
el 25% que respondió No, por lo tanto es necesario demarcar las dos secciones de tal forma que el
100% de los usuarios puedan distinguirlas entre sí.
Protocolo de Pruebas 16
Figura 11: Resultado QUIS
0
50
100
150
200
250
Registro Información del
Sistema
Red Social Recomendación Leaderboard Perfil
Resultados QUIS
Obtenido Esperado Diferencia
Protocolo de Pruebas 17
Anexos
Esta sección presenta los documentos que hicieron parte de las pruebas.
Anexo I. Grafo Profesor
Este anexo presenta el grafo de la prueba funcional del profesor. Para visualizarlo
siga el vínculo en la imagen a la izquierda.
Anexo II. Grafo Estudiante
Este anexo presenta el grafo de la prueba funcional del estudiante. Para visualizarlo
siga el vínculo en la imagen a la derecha.
Anexo III. Presentación Validación
Este anexo presenta la agenda utilizada para el desarrollo del workshop. Para
visualizarla siga el vínculo en la imagen a la izquierda.
Anexo IV. Protocolo Validación
Este anexo presenta el protocolo diseñado que llevó el orden de la sesión de
validación Para visualizarlo siga el vínculo en la imagen a la derecha
Anexo V. Encuesta de Validación
Este anexo presenta el cuestionario de validación. Para visualizarlo siga el vínculo en
la imagen a la izquierda.
Anexo VI. Comentarios de Validación
Este anexo presenta el audio del desarrollo de la validación. Para escucharlo siga el
vínculo en la imagen a la derecha.
Protocolo de Pruebas 18
Anexo VII. Encuestas Diligenciadas Validación
Este anexo presenta los cuestionarios de la validación diligenciados por los
asistentes. Para visualizarlo siga el vínculo en la imagen a la izquierda.
Anexo VIII. Consolidado Encuesta de
Validación
Este anexo presenta los resultados del cuestionario de validación. Para
visualizarlo siga el vínculo en la imagen a la derecha.
Anexo IX. Prueba de Usabilidad
Este anexo presenta la prueba de usabilidad preparada para evaluar el prototipo
desarrollado. Para visualizarlo siga el vínculo en la imagen a la izquierda.
Anexo X. Datos recolectados Prueba de
Usabilidad
Este anexo presenta los datos recolectados en la prueba de usabilidad. Para
visualizarlo siga el vínculo en la imagen a la derecha.
Anexo XI. Consolidado Prueba de Usabilidad
Este anexo presenta los resultados de la prueba de usabilidad. Para
visualizarlo siga el vínculo en la imagen a la izquierda.
Protocolo de Pruebas 19
Trabajos citados
[1] G. Siemens, Knowing Knowledge, 2006.
[2] V. Venkatesh and F. Davis, "A Theoretical Extension of the Technology Acceptance Model:
Four Longitudinal Field Studies," Management Science, vol. 46, pp. 186-204, 2000.
[3] T. J. Willis, "An evaluation of the Technology Acceptance Model as a means of understanding
online social networking behavior," Graduate Theses and Dissertations, 2008.
[4] Antz, "Escala de Likert," [Online]. Available:
http://www.ict.edu.mx/acervo_bibliotecologia_escalas_Escala%20de%20Likert.pdf. [Accessed
17 12 2015].
[5] The Skool Network, "What is UX Design?," 12 08 2015. [Online]. Available:
https://www.youtube.com/watch?v=CJnfAXlBRTE. [Accessed 21 10 2015].
[6] H. X. Lin, Y.-Y. Choong and G. Salvendy, "A proposed index of usability: a method for
comparing the relative usability of different software systems," Behaviour & Information
Technology, vol. 16, no. 4-5, pp. 267-277, 1997.
[7] The PHP Group, "PHP," 2001 - 2015. [Online]. Available: https://secure.php.net/. [Accessed 21
11 2015].