presentación de powerpoint - hci...

Red Colaborativa para soportar los

procesos de enseñanza-aprendizaje

en el área de Interacción Humano -

Computador a nivel Iberoamericano

2º AÑO DE WEBINARS SOBRE HCI EN ESPAÑOL

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software

Dr. Freddy Alberto Paz EspinozaProfesor Asociado – Tiempo CompletoSección de Informática – Departamento de IngenieríaFacultad de Ciencias e IngenieríaPontificia Universidad Católica del PerúTeléfono: (01) 6262000 – Anexo: 5187Email: fpaz@pucp.edu.pe

Introducción

• La usabilidad es actualmente un atributo de calidad importante para el éxito de las aplicaciones de software.

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

2

Métodos de Evaluación de Usabilidad

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

3

MÉTODOS DE INSPECCIÓN

MÉTODOS DE PRUEBA

EVALUACIÓN HEURÍSTICA

RECORRIDO COGNITIVO

LISTAS DE VERIFICACIÓN

PRUEBA DE LAPIZ Y PAPEL

PENSAMIENTO EN VOZ ALTA

TÉCNICAS DE INDAGACIÓN

MÉTODOS DE EVALUACIÓN DE

USABILIDAD

A. Holzinger, "Usability engineering methods for softwaredevelopers," Commun. ACM, vol. 48, pp. 71-74, 2005.

Cuantificar la Usabilidad

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

4

• Existen pocas técnicas que permiten cuantificar el nivel de usabilidad de las aplicaciones de software.

– Métricas de software.

– Cuestionarios.

– Propuestas independientes.

¿Por qué cuantificar la usabilidad?

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

5

El obtener un valor numérico sobre el nivel de usabilidad de un software …

• … permite realizar comparaciones de diferentes propuestas de diseño y determinar aquella interfaz que posee un mayor grado de usabilidad.

• … permite que una empresa pueda compararse con sus principales competidores.

Métricas de Software

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

6

• ISO/IEC 9126:1991 - Software enginnering — Product quality

Imagen extraída de: Al-Qutaish, R. (2009). An Investigation of the Weaknesses of the ISO 9126 International Standard. 2009 Second International Conference on Computer and Electrical Engineering, 1, 275-279.

Métricas de Software

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

7

• ISO/IEC 9126:1991 - Software enginnering — Product quality

Imagen extraída de: Al-Qutaish, R. (2009). An Investigation of the Weaknesses of the ISO 9126 International Standard. 2009 Second International Conference on Computer and Electrical Engineering, 1, 275-279.

Métricas de Software

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

8

• ISO/IEC 25000:2005 – Software Engineering –Software ProductQuality Requirements and Evaluation (SQuaRE) – Guide toSQUARE

• ISO/IEC 25010:2011 – Systems and Software Engineering –Systems and Software Quality Requirements and Evaluation(SQuaRE) – System and Software Quality Models

Métricas de Software

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

9

Imagen extraída de: http://estandarescalidadsoftware.blogspot.com/2013/09/iso-9126_13.html

Métricas de Software

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

10

• ISO/IEC 25023:2016 – Systems and software engineering – Systems and software QualityRequirements and Evaluation (SQuaRE) -Measurement of system and software productquality.

• ISO/IEC 25022:2016 – Systems and software engineering – Systems and software QualityRequirements and Evaluation (SQuaRE) –Measurement of quality in use

¿Qué es una métrica?

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

11

• Es una medida o conjunto de medidas destinadas a conocer o estimar el tamaño u otra característica de un software o un sistema de información, generalmente para realizar comparativas o para la planificación de proyectos de desarrollo.

Definición obtenida de: Fenton, N., & Bieman, J. (2014). Software metrics: a rigorous and practical approach. CRC press.

Ejemplo de métrica

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

12

ISO 9126-2:2003 – Software Engineering – Product Quality – Part 2: External Metrics

• Usability

–Understandability

• Tutorial Accessibility

• Tutorial Effectiveness

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

13

Metric name Tutorial accessibility

Purpose of the metric What portion of the tutorials can the user access?

Method of application Conduct a user test and observe user behavior.Count the number of functions that are adequately demonstrable in a tutorial and compare with the total number of functions that requires of a tutorial.

Measurement, formula and data element computations

X = A / BA = Number of functions operated successfully.B = Number of tutorials accessed.

Interpretation of measured value

0 <= X <= 1The closer to 1.0 is the better.

Metric scale type Absolute

Measure type A = CountB = CountX = Count / Count

Extraido de: ISO 9126-2:2003 – Software Engineering – Product Quality – Part 2: External Metrics

Tutorial Accessibility (1)

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

14

Extraido de: ISO 9126-2:2003 – Software Engineering – Product Quality – Part 2: External Metrics

Metric name Tutorial accessibility

Input to measurement

User manualOperation (test) report

ISO/IEC 12207 SLCP Reference

5.3. Qualification testing5.4. Operation

Target audience User

Tutorial Accessibility (2)

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

15

Metric name Tutorial effectiveness

Purpose of the metric What portion of functions can the user operate successfully after a tutorial?

Method of application Observe the behavior of the user who is trying to see a tutorial. Observation may employ human cognitive action monitoring approach with video camera.

Measurement, formula and data element computations

X = A / BA = Number of functions operated successfully.B = Number of tutorials accessed.

Interpretation of measured value

0 <= X <= 1The closer to 1.0 is the better.

Metric scale type Absolute

Measure type A = CountB = CountX = Count / Count

Extraido de: ISO 9126-2:2003 – Software Engineering – Product Quality – Part 2: External Metrics

Tutorial Effectiveness (1)

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

16

Extraido de: ISO 9126-2:2003 – Software Engineering – Product Quality – Part 2: External Metrics

Metric name Tutorial effectiveness

Input to measurement

User manualOperation (test) report

ISO/IEC 12207 SLCP Reference

5.3. Qualification testing5.4. Operation

Target audience User

Tutorial Effectiveness (2)

¿Cuántas métricas proporciona la ISO?

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

17

Atributo Sub-atributo

Cantidad de métricas

ISO/IEC 9126-2(External metrics)

ISO/IEC 9126-3(Internal metrics)

Usability

Understandability 8 4

Learnability 6 1

Operability 13 10

Attractiveness 2 2

Usability compliance 1 1

TOTAL 30 18

¿Cuántas métricas proporciona la ISO?

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

18

Atributo

Cantidad de métricas

ISO/IEC 9126-4(Quality in use metrics)

Satisfaction 3

¿Cuántas métricas proporciona la ISO?

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

19

Atributo Sub-atributo

Cantidad de métricas

ISO/IEC 25023:2016(Measurement of

system and software product

quality)

Usability

Appropriateness recognizability 3

Learnability 4

Operability 9

User error protection 3

User interface aesthetics 1

Accessibility 2

TOTAL 22

¿Cuántas métricas proporciona la ISO?

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

20

Definición obtenida de: Fenton, N., & Bieman, J. (2014). Software metrics: a rigorous and practical approach. CRC press.

Atributo Sub-atributo

Cantidad de métricas

ISO/IEC 25022:2016(SQUARE

measurement)

Satisfaction

Usefulness 6

Trust 1

Pleasure 1

Comfort 1

TOTAL 9

Cuestionarios

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

21

• Un cuestionario es una forma de obtener información de las personas. Los ítems en un cuestionario pueden ser preguntas abiertas, pero es más frecuente que sean de opción múltiple, con la posibilidad de seleccionar de un conjunto de alternativas o puntos en una escala de calificación.

Extraído de: Sauro, J., & Lewis, J. R. (2016). Quantifying the user experience: Practical statistics for user research. Morgan Kaufmann.

Cuestionarios de Usabilidad

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

22

• Actualmente, los cuestionarios estandarizados de usabilidad ampliamente más utilizados para la evaluación de la percepción de usabilidad que pueden ser aplicados al final de un estudio (es decir, después de completar un conjunto de escenarios) son:– The Questionnaire for User Interaction Satisfaction (QUIS).

(Chin et al., 1988).

– The Software Usability Measurement Inventory (SUMI). (Kirakowski and Corbett, 1993).

– The Post-Study System Usability Questionnaire (PSSUQ).

(Lewis, 1990).

– The System Usability Scale (SUS). (Brooke, 1996).

Cuestionarios de Usabilidad

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

23

• Asimismo, existen cuestionarios que han sido diseñados para una administración inmediata seguido de la realización de una tarea o escenario de prueba que es parte de un estudio más largo:

– The After-Scenario Questionnaire (ASQ) (Lewis, 1990).

– Expectation Ratings (ER) (Albert and Dixon, 2003).

– Usability Magnitude Estimation (UME) (McGee, 2003).

– The Single Ease Question (SEQ) (Sauro, 2010).

– The Subjective Mental Effort Question (SMEQ) (Sauro and Dumas, 2009).

Cuestionarios de Usabilidad

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

24

• Después de que la Web comenzó a alcanzar su popularidad como un media para transmitir información y conducir comercio, fueron diseñados cuestionarios más específicos para la evaluación de sitios web:

– Website Analysis and Measurement Inventory (WAMMI) (Kirakowski and Cierlik, 1998).

– Standarized User Experience Percentile Rank Questionnaire(SUPR-Q) (Sauro, 2011).

System Usability Scale (SUS)

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

25

• Fue desarrollado en 1986 por John Brooke.

• Es un cuestionario con 10 ítems, cada uno con una escala de cinco. Los ítems impares tienen un tono positivo, mientras que el tono de los ítems pares es negativo.

• De acuerdo con Brooke, los participantes deben completar el SUS después de haber utilizado el sistema bajo evaluación, y antes de cualquier interrogación o discusión.

System Usability Scale (SUS)

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

26

Imagen extraída de: Sauro, J., & Lewis, J. R. (2016). Quantifying the user experience: Practical statistics for user research. Morgan Kaufmann.

System Usability Scale (SUS)

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

27

• Para el cálculo del puntaje final del nivel de usabilidad se requiere que los participantes proporcionen una respuesta a todos los 10 ítems.

• El primer paso es determinar el puntaje obtenido en cada ítem, que variará desde 0 a 4.

• Para los ítems escritos de forma positiva (impares), el puntaje es la posición de la escala menos 1

• Para los ítems escritos de forma negativa (pares), el puntaje es 5 menos la posición de la escala

• Para obtener el puntaje final, se multiplica la suma de los puntajes obtenidos en cada ítem por 2.5. De esta manera, el puntaje total variará desde 0 hasta 100.

( )1ix −

( )5 ix−

Otros cuestionarios de interés

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

28

• Computer System Usability Questionnaire (CSUQ).

• Usefulness, Satisfaction, and Ease-of-Use (USE).

• Hedonic Quality (HQ).

• Emotional Metric Outcomes (EMO).

• American Satisfaction Index (ACSI).

• Net Promoter Score (NPS).

• Forrester Customer Experience Index (CxPI).

• Technology Acceptance Model (TAM).

Pruebas de Usabilidad

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

29

• A través de las pruebas de usabilidad también es posible obtener datos cuantitativos.

Otros propuestas de cuantificación

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

30

• Granollers, T. (2016). Validación experimental de un conjunto heurístico para evaluaciones de UX de sitios web de comercio-e. In 2016 IEEE 11th ColombianComputing Conference (CCC) (pp. 1-8). IEEE.

Referencias

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

31

• Chin. J.P., Diehl, V.A., Norman, K.L., 1988. Development of an instrumentmeasuring user satisfaction of the human-computer interface. In: Proceedings of the CHI 1988, ACM, Washington, DC, pp. 213-218.

• Kirakowski, J., Corbett, M., 1993. SUMI: the Software Usability MeasurementInventory. Br. J. Educ. Technol. 24, 210-212.

• Lewis, J.R. 1990. Psychometric evaluation of a post-study system usabilityquestionnaire: The PSSUQ (Tech. Report 54.535), International Business Machines Corp, Boca Raton, FL.

• Brooke, J. 1996. SUS: A 'quick and dirty’ usability scale. In: Jordan, P., Thomas, B., Weerdmeester, B. (Eds.), Usability Evaluation in Industry. Taylor & Francis, London, UK, pp. 189-194.

• Lewis, J.R. 1990. Psychometric evaluation of an after-scenario questionnairefor computer usability studies: the ASQ (Tech. Report 54.541). International Business Machines Corp., Boca Raton, FL.

Referencias

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

32

• Albert, W., Dixon, E., 2003. Is this what you expected? The use of expectationmeasures in usability testing. Paper presented at the Usability ProfessionalsAssociation Annual Conference, UPA, Scottdale, AZ.

• McGee, M., 2003. Usability magnitude estimation. In: Proccedings of theHuman Factors and Ergonomics Society 47th Annual Meeting, HFES, Santa Monica, CA, pp. 691-695.

• Sauro, J., 2010. If you could only ask one question, use this one. Availablefrom: www.measuringu.com/blog/extreme-items.php.

• Sauro, J., Dumas, J.S., 2009. Comparison of three one-question, post-taskusability metrics: evidence for the construct of usability. In: Proceedings ofCHI 2009, ACM, Boston, MA, pp. 1599-1608.

Grupo de Investigación - PUCP

• HCI – DUXAIT (https://investigacion.pucp.edu.pe/grupos/hci-duxait/)

– Grupo de investigación en HCI, Diseño, Experiencia de Usuario, Accesibilidad e Innovación Tecnológica.

Métodos para cuantificar el nivel de usabilidad de aplicaciones de software, por Dr. Freddy Alberto Paz Espinoza

33

Pontificia Universidad Católica del Perú