evaluaciÓn - udl opencourseware
Post on 06-Oct-2021
5 Views
Preview:
TRANSCRIPT
EVALUACIÓNGrau en Enginyeria InformàticaInteracció Persona-Ordinador
Toni Granollers
http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion
How to Identify the Best Design
Problems ?
El Curso de Interacción Persona-Ordenador ha sido realizado por Toni Granollers bajo la licencia Creative Commons
Reconocimiento-NoComercial 4.0 Internacional License.
Evaluación
• La evaluación es una parte básica de un diseño de un sistema centrado en el usuario.
• Permite conocer el grado de cumplimiento de las expectativas de los usuarios de un terminado sistema interactivo, así como si éste se adapta a su contexto social, físico y organizativo.
• Vamos a conocer diferentes métodos de evaluación y como se realizan, donde, como hacerlos y como analizar sus resultados.
Evaluación - GEInformàtica, IPO 2 / 111
• Saber qué es la evaluación de la usabilidad de los sistemas interactivos.
• Distinguir las diferentes clasificaciones en que pueden agruparse los diferentes métodos a juzgar por sus características, y finalmente.
• Conocer los diferentes métodos de evaluación y sus diferencias.
• Introducir ejemplos de uso que proporcionan una visión del escenario de aplicación de los métodos de evaluación.
Evaluación. Objetivos
Evaluación - GEInformàtica, IPO 3 / 111
Índice
• Evaluación, conceptos preliminares• Evaluación de la USABILIDAD
• Métodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad
http://www.interaction-design.org/encyclopedia/usability_evaluation.html
http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion
Evaluación - GEInformàtica, IPO 4 / 111
Modelo de procesoDiseño centrado en el usuario
• Tipologías:• Automáticos/Manuales• CON/SIN usuarios• Laboratorio/In situ• Inspección/Indagación/Test
http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion
Evaluación - GEInformàtica, IPO 5 / 111
•Automáticos:• Realizar tests remotamente a través de la red de Internet. Que son
los que disponen de mecanismos (hardware y/o software) que facilitan la comprobación de los aspectos a validar.
• Los métodos automáticos resultan altamente eficientes puesto que se realizan muy rápidamente y los resultados siempre provienen de los mismos parámetros, sin apreciaciones subjetivas.
• El principal problema está en que siempre se basan en sistemas ya finalizados (o versiones preliminares de lanzamiento) y no pueden utilizarse en etapas tempranas del ciclo de vida del desarrollo.
• Solo suelen dar resultados cuantitativos
• Manuales
Evaluación. Automatización
Evaluación - GEInformàtica, IPO 6 / 111
• Automáticos
• Manuales:• Al contrario de los métodos anteriores están los métodos que no
disponen de mecanismos que automaticen su realización. • Consumen más recursos: tiempo, evaluadores,…, pero pueden
evaluar aspectos que se “salen del patrón” y pueden realizarse en cualquier etapa del desarrollo y con cualquier tipo de prototipo.
• Tienen la virtud de que aportan resultados cualitativos
Evaluación. Automatización
Evaluación - GEInformàtica, IPO 7 / 111
• CON usuarios y/o implicados• Las personas u organizaciones que serán afectadas por el
sistema y que tienen influencia directa o indirecta en los requisitos del sistema. • Recordar el módulo del Análisis de Requisitos.
• Son los métodos en los que se evalúa el sistema con la intervención directa de usuarios representativos, pudiendo también participar en las sesiones personas que sin ser usuarios finales tienen la condición de implicados del sistema.
• Estos métodos resultan muy positivos por implicar la participación de usuarios en el proceso de diseño pero dificultan, en parte, el proceso debido a que no siempre resulta fácil reclutar usuarios para este tipo de actividades.
• Métodos sin usuarios y/o implicados
Evaluación. ¿Quién interviene?
Evaluación - GEInformàtica, IPO 8 / 111
• Con usuarios y/o implicados
• Métodos SIN usuarios y/o implicados• Estos métodos los realizan solo expertos evaluadores con la ayuda
de guiones, pautas o documentos que permiten hacer un seguimiento de los que han hecho los usuarios mientras utilizaban el sistema.
• Igual que pasaba con los métodos automáticos se realizan muy rápidamente pero carecen de la realimentación que evaluar con usuarios aporta al sistema.
Evaluación. ¿Quién interviene?
Evaluación - GEInformàtica, IPO 9 / 111
Evaluación. Estilo
• Laboratorio (de usabilidad)• El objetivo del evaluador, a veces, es comprobar aspectos sin que
precise la ayuda de los usuarios• Este tipo de comprobaciones las realiza, normalmente, en su
entorno de trabajo o sea en el laboratorio, dónde, puede además traer usuarios para un estudio particular
• Entorno (in situ)• Entorno natural o habitual del escenario dónde se realizan las
tareas a evaluar• Esta situación se produce cuando el evaluador realiza su trabajo
en el lugar natural dónde se realiza la escena, el lugar de trabajo habitual del usuario
Evaluación - GEInformàtica, IPO 10 / 111
• Según la forma de realización y el tipo de participantes, la evaluación de la usabilidad se clasifica de la siguiente forma:• Métodos por Inspección• Métodos por Indagación• Métodos por Test
Evaluación. Clasificación
Evaluación - GEInformàtica, IPO 11 / 111
Índice
Evaluación, conceptos preliminaresEvaluación de la USABILIDAD
• Métodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad
Evaluación - GEInformàtica, IPO 12 / 111
Evaluación. Clasificación
• Inspección• El término inspección aplicado a la usabilidad aglutina un conjunto
de métodos para evaluar la usabilidad en los que hay unos expertos conocidos como evaluadores que analizan y explican el grado de usabilidad de un sistema basándose en la inspección o examen de la interfaz del mismo.
• Salvo excepciones, no intervienen usuarios de forma directa.
• Existen varios métodos que se enmarcan en la clasificación de evaluación por inspección
• Los más importantes son: • Heurística• Recorridos cognitivos• Recorrido de usabilidad plural• Revisión de Estándares
Evaluación - GEInformàtica, IPO 13 / 111
Evaluación Heurística
• La comunidad IPO presenta a la Evaluación Heurística como • un método de evaluación de la usabilidad
• por inspección • que debe ser llevado a cabo por evaluadores expertos • a partir de unos principios (denominados “heurísticos”)
previamente establecidos.
• Objetivo• medir la calidad de la interfaz de un sistema interactivo en
relación a su facilidad para ser aprendido y usado por un determinado grupo de usuarios en un determinado contexto de uso.
http://www.grihotools.udl.cat/mpiua/evaluacion-heuristica-2
Evaluación - GEInformàtica, IPO 14 / 111
Evaluación Heurística. Método
• Analizar la conformidad de la interfaz con unos principios reconocidos de usabilidad (la “heurística”) mediante la inspección de varios evaluadores expertos
[Molich y Nielsen, 1990]
• Suele partirse de una “lista de principios preestablecida” … pero la lista se confecciona/adapta de forma individual para cada nuevo ejercicio
• Adecuación de cada criterio que se utilizará al contexto de uso del sistema que se desea evaluar
• Algunos problemas de usabilidad son muy fáciles de encontrar, pero hay también problemas difíciles de detectar
• Se utilizan expertos para validar la interfaz porque es difícil que el desarrollador o un evaluador puedan encontrar todos los problemas de usabilidad en una interfaz, a partir de unos criterios definidos
Evaluación - GEInformàtica, IPO 15 / 111
Evaluación Heurística. Método• 1º: preparación: el responsable
• Determina la lista de criterios a evaluar. Puede contar con el asesoramiento de expertos• Selección de los evaluadores
• 2º Evaluación: • Cada evaluador realiza individualmente una revisión de la interfaz• Al terminar las evaluaciones se permite a los evaluadores comunicar los resultados y
sintetizarlos
• 3º Síntesis Final: • Análisis de resultados de una Evaluación Heurística
• IMPORTANTE: asegurar evaluaciones independientes e imparciales de cada evaluador
• RECOMENDABLE: Registrar los resultados con informes escritos de cada evaluador o haciendo que los evaluadores comuniquen verbalmente sus comentarios a un observador mientras realizan la evaluación
Evaluación - GEInformàtica, IPO 16 / 111
• El estado del sistema ha de estar siempre visible• Se ha de utilizar el lenguaje de los usuarios• El usuario tiene control y libertad• Hay consistencia y se siguen estándares• Existe prevención de errores• Se minimiza la carga de la memoria del usuario• Existe flexibilidad y eficiencia de uso• Los diálogos son estéticos y diseño minimalista• Al utilizar la ayuda, se reconocen, diagnostican, y se
recuperan• Existe ayuda y documentación
Evaluación Heurística. 10 reglas heurísticas (de Nielsen & Molich)
http://www.useit.com/papers/heuristic/heuristic_list.html
[Nielsen y Molich]
Evaluación - GEInformàtica, IPO 17 / 111
Evaluación heurística. Las 8 reglas de oro de Ben Schneiderman
• Esforzarse por la consistencia• Crear atajos para los usuarios frecuentes• Ofrecer feedback• Diseñar el diálogo para mostrar trabajo pendiente• Ofrecer una gestión sencilla de los errores• Permitir una fácil recuperación de acciones• Soportar el control por el usuario• Reducir la carga de memoria reciente en el usuario
https://www.cs.umd.edu/users/ben/goldenrules.html
Evaluación - GEInformàtica, IPO 18 / 111
• 1994, L. Constantine
• 1996, K. Instone.• Informe técnico “Usability Engineering on the Web”
• 1999, D. Mayhew• Principios para el
Diseño de Sistemas DCU
• 2002, J. Nielsen y M. Tahir• Principios para la evaluación
de páginas de inicio
• 2003, Tognazzini• Principios básicos para el diseño de una interfaz
• http://galinus.com/es/articulos/principios-diseno-de-interaccion.html
Evaluación heurística. Otras listas de principios heurísticos
Evaluación - GEInformàtica, IPO 19 / 111
Evaluación heurística. Otras listas de principios heurísticos
• En la actualidad se utilizan todo tipo de fuentes, como por ejemplo los “principios de diseño” de los desarrolladores de APPs para dispositivos móviles
https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/MobileHIG/Principles.html
http://developer.android.com/design/get-started/principles.html
Evaluación - GEInformàtica, IPO 20 / 111
• Lista desarrollada por Deniese Pierotti y utilizada por la empresa Xerox Corporation para evaluar la usabilidad de interfaces norteamericanas orientadas a la web
• Principios de Molich y Nielsen ampliados con tres heurísticos y muchos subheurísticos
11. Habilidades: el sistema debería tener en cuenta, extender, suplementar e incentivar las habilidades del usuario, sus conocimientos y su experticia.
12. Interacción con el Usuario Placentera y Respetuosa: las interacciones de los usuarios con el sistema deben favorecer la calidad de su vida. El usuario debe ser tratado con respeto. El diseño debe ser estético y placentero, en donde los valores artísticos se igualen a los valores funcionales.
13. Privacidad: el sistema debe ayudar al usuario a proteger la información personal o privada, tanto la que pertenece al propio usuario como la que pertenece a los clientes del usuario.
http://www.stcsig.org/usability/topics/articles/he-checklist.html
Evaluación heurística. “Personalización” de los principios
Evaluación - GEInformàtica, IPO 21 / 111
• Coste-beneficio en relación a la cantidad de evaluadores necesarios para llevar a cabo una EH.
• J. Nielsen, “How to Conduct a Heuristic Evaluation”• http://www.useit.com/papers/heuristic/heuristic_evaluation.html
Evaluación heurística. PreparaciónSelección de los evaluadores
Evaluación - GEInformàtica, IPO 22 / 111
Evaluación heurística. Revisión
Evaluación - GEInformàtica, IPO 23 / 111
Evaluación heurística. Revisión
• Entrenamiento previo a la evaluación• Conocimiento del tema e información para los evaluadores • Si el interfaz es del tipo de "llegar y usar" los evaluadores no
necesitan esta introducción
• Evaluación propiamente dicha• Factores a valorar para cada principio• Forma de “puntuar” cada factor
• Discusión• Puesta en común de las evaluaciones parciales.• Este punto puede considerarse el último paso de la revisión
o el primero de formar parte de la síntesis final
Evaluación - GEInformàtica, IPO 24 / 111
• Cuantitativo• Herramientas como la Estadística • Gráficos y funciones matemáticas de
• los resultados obtenidos por un solo evaluador (“sumativa”)• los resultados obtenidos por diferentes evaluadores (“comparativa”)
• Ayudan a resumir de manera clara y precisa la ponderación de cada una de las preguntas
• Cualitativo• Herramientas como las Técnicas del Descubrimiento de
Conocimiento en Base de Datos (Datamining) • Hallar de manera algorítmica (imparcial y objetiva) patrones de
comportamiento desconocidos y potencialmente útiles presentes en los datos
Evaluación heurística. Síntesis: Análisis de resultados
Evaluación - GEInformàtica, IPO 25 / 111
Evaluación heurística. Síntesis
• Documento formal de la evaluación
• Prestar especial atención • a los comentarios añadidos por los evaluadores• a principios “echados en falta” con la finalidad de
inspeccionar correctamente la interfaz
• Algunos autores sugieren que es conveniente enviar un cuestionario a los evaluadores para recoger los grados de la severidad• enumerando completamente el sistema según los problemas
de usabilidad que se han descubierto, y pidiendo que clasifiquen la severidad de cada problema.
Evaluación - GEInformàtica, IPO 26 / 111
• Guían a los diseñadores durante el proceso de diseño
• Ayudan a los evaluadores a identificar problemas en las interfaces de usuario, comprobando que se respetan las reglas de usabilidad
• Explican• problemas de usabilidad observados• porqué los usuarios cometen determinados errores
Evaluación heurísticaLos Principios Heurísticos, además …
Evaluación - GEInformàtica, IPO 27 / 111
Evaluación heurística
• Económica• Intuitiva y motivación fácil• Poca planificación previa• Utilizable en etapas
tempranas• Menor tiempo que los tests de
laboratorio• Realizable por evaluadores
“inexpertos” !!!
• Se necesitan varios evaluadores
• Difícil de realizar en interfaces complejas
• Subjetividad de los diferentes evaluadores
• Puede tender a reportar falsas alarmas
• Falta de usuarios reales• Los evaluadores “expertos”
detectan un número más alto de problemas de usabilidadhttp://www.usabilitybok.org/methods/p275
Ventajas Inconvenientes
Evaluación - GEInformàtica, IPO 28 / 111
Evaluación heurística
• La Interacción Persona-Ordenador• Capítulo: “Evaluación Heurística”
• http://aipo.es/content/el-libro-electr%C3%B3nico#evaluacion_heuristica
• How to Conduct a Heuristic Evaluation• http://www.useit.com/papers/heuristic/heuristic_evaluation.html
• http://en.wikipedia.org/wiki/Heuristic_evaluation
• GRIHO’s excel sheet to conduct Heuristic Evaluations• http://www.grihotools.udl.cat/mpiua/wp-
content/uploads/2014/07/EvaluacionHEURISTICA.zip
• Nuevo: http://ixdchecklist.com
Evaluación - GEInformàtica, IPO 29 / 111
• Evalúa la facilidad de aprendizaje
• Está basado en los recorridos estructurales de la ingeniería de software
• Evalúa una propuesta de prototipo de interfaz en el contexto de una o más tareas
• Es idónea en la etapa de diseño, pero se puede aplicar en el resto de etapas
Recorrido cognitivo. Cognitive Walkthrough
Evaluación - GEInformàtica, IPO 30 / 111
Recorrido cognitivo. PASOS
• 1.- Definición de los datos necesarios para el recorrido:• identificar y documentar las características de los usuarios
• ¿Quiénes serán los usuarios del sistema? • La descripción incluirá la experiencia específica acumulada y el
conocimiento adquirido como factores determinantes para la comprobación del factor "cognitivo" durante el recorrido.
• descripción del prototipo a utilizar para la evaluación• no es preciso que sea ni completo ni detallado
• especificar el/los escenario/s concreto/s• enumerar las tareas concretas a desarrollar.
• Para cada tarea • se implementa por escrito la lista íntegra de las acciones necesarias para
completar la tarea con el prototipo descrito. • esta lista consta de una serie repetitiva de pares de acciones (del usuario) y
respuestas (del sistema).
Evaluación - GEInformàtica, IPO 31 / 111
Recorrido cognitivo. PASOS
• 2.- Recorrer las acciones• Los evaluadores realizan cada una de las tareas determinadas
anteriormente siguiendo los pasos especificados y utilizando el prototipo detallado.
• En este proceso, el evaluador utiliza la información del factor cognitivo (experiencia y conocimiento adquirido) de los usuariospara comprobar si la interfaz es adecuada para el mismo.
a partir de los perfiles de usuario y de los modelos mentales
• ¿Son adecuadas las acciones disponibles de acuerdo a la experiencia y al conocimiento del usuario?
• ¿Percibirán los usuarios que está disponible la acción correcta? • Una vez encontrada la acción en la interfaz, ¿asociarán estos usuarios
la acción correcta al efecto que se alcanzará?• Una vez realizada la acción, ¿entenderán los usuarios la realimentación
del sistema?.
Evaluación - GEInformàtica, IPO 32 / 111
Recorrido cognitivo. PASOS
• 3.- Documentar los resultados
• El evaluador describe para cada acción las respuestas del sistema y sus anotacionesprópias .
• El documento incluye el Usability Problem Report Sheet• los aspectos negativos de la evaluación relacionándolos con un grado
de severidad que permita distinguir aquellos errores más perjudiciales de los que no lo son tanto.
• Algunos autores/evaluadores/expertos sólo consideran importante esta parte de la documentación, pues contiene los problemas a solucionar.
Evaluación - GEInformàtica, IPO 33 / 111
• Estudio de un caso• Una persona con discapacidad visual deberá encontrar un local
social correspondiente a una vivienda con una dirección concreta
Recorrido cognitivo
Evaluación - GEInformàtica, IPO 34 / 111
Recorrido usabilidad plural
• Tres tipos de participantes, usuarios representativos, desarrolladores y expertos en usabilidad
• Las pruebas se realizan con prototipos de papel u otros materiales utilizados en escenarios. • Cada participante dispone de una copia del escenario de la tarea con datos que se
puedan manipular
• Todos los participantes han de asumir el papel de los usuarios
• Los participantes escriben la acción que tomarán para seguir la tarea que están realizando, escribiendo las respuestas lo mas detalladas posibles.
• Debate final. • En primer lugar deben hablar los usuarios representativos y una vez estos han
expuesto completamente sus opiniones, hablan los desarrolladores y después los expertos en usabilidad.
Evaluación - GEInformàtica, IPO 35 / 111
Revisión de Estándares
• Este método se realiza por medio de un experto en un estándar que puede ser facto o de iure de la interfaz • Estándar de facto: link en la web• Estándar de iure:
• ISO/IEC 25010:2011 – Quality In Use• ISO/IEC 25010:2011 – System/software Product Quality
• El experto realiza una inspección minuciosa de la interfaz para comprobar que cumple en todo momento y globalmente todos los puntos definidos en el estándar
Evaluación - GEInformàtica, IPO 36 / 111
Algunos Estándares
• Iconos para MS-Windows XPUser Interface Standards. Creating W-XP Icons
Proceso de creaciónIconos en
tres tamañosconceptualización
Evaluación - GEInformàtica, IPO 37 / 111
Microsoft Surface User Experience Guidelineshttps://www.microsoft.com/en-us/download/confirmation.aspx?id=19410
Design applications for the Windows desktophttps://dev.windows.com/en-us/desktop/design
Apple Icon Design Guidelineshttps://developer.apple.com/library/mac/documentation/userexperience/conceptual/applehiguidelines/IconsImages/IconsImages.html#//apple_ref/doc/uid/20000967-TP6
Evaluación - GEInformàtica, IPO 38 / 111
Ejemplo
• Las guidelines de Apple recomiendan poner el botón de aceptar después del de cancelar las de Microsoft lo plantean en el sentido contrario.
Evaluación - GEInformàtica, IPO 39 / 111
Algunos Estándares
• AIGA: American Institute of Graphic Arts (http://www.aiga.org)
http://www.aiga.org/content.cfm/symbol-signs
Evaluación - GEInformàtica, IPO 40 / 111
A generic File menu
Example of a property window
• Estándares para Linux
Algunos Estándares
Toolbar with labelsunder all buttons
Evaluación - GEInformàtica, IPO 41 / 111
Icon TypeSizes
(pixels)Perspectiv
eLight Source Examples
Object / Document Icons
24x24, 48x48*, 96x96 Table Upper Left
Application Icons
24x24, 48x48* Table Upper Left
Toolbar Icons 24x24*, 48x48 Shelf Overhead
Menu Icons 16x16 Shelf Overhead
(* denotes the primary size for this kind of icon)
Algunos Estándares
• Estándares para Linux
Evaluación - GEInformàtica, IPO 42 / 111
Algunos Estándares
• Apple Human Interface Guidelines• http://developer.apple.com/documentation/UserExperience/Conceptual/OSXHIGuidelines/index.html
Evaluación - GEInformàtica, IPO 43 / 111
Algunos Estándares
• Estándares de Apple
A Standard Alert
Layout dimensions for a changeable pane dialog
Alignment of labels and controls in a preferences dialog
Evaluación - GEInformàtica, IPO 44 / 111
Algunos Estándares
• Apple releases iOS Human Interface Guidelines on iBookstore (May 13, 2014)
https://itunes.apple.com/us/book/ios-human-interface-guidelines/id877942287?mt=11
Evaluación - GEInformàtica, IPO 45 / 111
Algunos Estándares
30 April 2014https://blogs.oracle.com/usableapps/entry/general_availability_simplified_user_experience
Aunque le llaman “Design Patterns”, en realidad son las guias de estilo del diseño de interfaces de Oracle
Evaluación - GEInformàtica, IPO 46 / 111
Guidelines que pueden servir como standares
http://usabilitygeek.com/official-usability-user-experience-user-interface-guidelines-from-companies
Evaluación - GEInformàtica, IPO 47 / 111
Índice
Evaluación, conceptos preliminaresEvaluación de la USABILIDADMétodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad
Evaluación - GEInformàtica, IPO 48 / 111
EVALUACIÓNGrau en Enginyeria InformàticaInteracció Persona-Ordinador
Toni Granollers http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion
How to Identify the Best Design
Problems ?
Índice
Evaluación, conceptos preliminaresEvaluación de la USABILIDADMétodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad
Evaluación - GEInformàtica, IPO 50 / 111
• Indagación• La información acerca de los gustos del usuario,
desagrados, necesidades y la identificación de requisitos son informaciones indispensables en una etapa temprana del proceso de desarrollo.
• Por tanto, inicialmente, hay que descubrir y aprender, hay que generar ideas de diseño, y va a resultar de especial interés que las metodologías a aplicar en las primeras fase del desarrollo, pues proporcionan información acerca de la usabilidad de un producto que aún no se ha empezado a fabricar.
Métodos de evaluación
Evaluación - GEInformàtica, IPO 51 / 111
• Indagación
• Estos métodos tratan de descubrir y aprender de los usuarios, sus opiniones, desagrados, gustos, necesidades
• Tipos• Observación de campo• Focus Groups• Entrevistas• Cuestionarios• Grabación del uso (Logging)
Métodos de evaluación
Evaluación - GEInformàtica, IPO 52 / 111
• Se realiza in situ, en el lugar de trabajo de usuarios representativos
• Se les observa trabajando para entender cómo están utilizando el sistema para lograr sus tareas y qué clase de modelo mental tienen sobre el sistema
• Este método se puede utilizar en las etapas de la prueba y del despliegue del desarrollo del producto
Observación de campo
Evaluación - GEInformàtica, IPO 53 / 111
• Preguntando, es decir entrevistar a los usuarios de su trabajo y la manera como utilizan el producto.
• Observando a las personas utiliza su producto de la manera en que lo hacen normalmente en el día-a-día
• Una manera de asegurar los datos adecuados es identificar tantos artefactos y afloramientos como sea posible• Artefactos: objetos físicos en uso en el sitio (blocs de notas,
formularios, informes, espacios, paredes )• Afloramientos: rasgos físicamente identificables que marcan o
caracterizan el sitio (tamaño de los cubículos, tamaño de laspizarras y que es lo que está escrito en ellos, tipos de uniformes).
• Ambos términos vienen de la antropología, de ahí quealgunos denominan la observación de campo tambiéncomo observación etnográfica
Observación de campo
Evaluación - GEInformàtica, IPO 54 / 111
• El focus group o grupo de discusión dirigido es una técnica de recolección de datos donde se reúne de 6 a 9 usuarios para discutir aspectos relacionados con el sistema
• El moderador• previamente, prepara la lista de aspectos a discutir, y• posteriormente, recoger los resultados y la información de la
discusión.
• Esta técnica permite • capturar reacciones espontáneas de los usuarios, e• ideas que evolucionan en el proceso dinámico del grupo.
Focus GroupGrupo de discusión dirigido
Evaluación - GEInformàtica, IPO 55 / 111
Focus Group Grupo de discusión dirigido
• Estudio de casos: Web Centro excursionista de Lleida, Web serveis personals
Evaluación - GEInformàtica, IPO 56 / 111
Técnicas de interrogación
• Las técnicas de interrogación se basan en que la mejor manera de saber si un sistema se adapta a los requisitos, es interrogar al usuario. La ventaja que ofrece este método es de tener directamente el punto de vista del usuario y por tanto encontrar opciones no contempladas en el diseño.
• Uno de los posibles problemas es que esta información es subjetiva y puede ser difícil conseguir respuestas a posibles alternativas en el diseño, porque el usuario no tiene experiencia.
• Los dos tipos mas importantes son: • Entrevistas y cuestionarios
Evaluación - GEInformàtica, IPO 57 / 111
• Entrevistar a los usuarios respecto de su experienciaen un sistema interactivo resulta una manera directay estructurada de recoger información. Además lascuestiones se pueden variar con tal de adaptarlas alcontexto.
• Normalmente, en una entrevista se sigue unaaproximación de arriba abajo
• Las entrevistas pueden ser efectivas para unaevaluación de alto nivel, particularmente para extraerinformación sobre las preferencias del usuario,impresiones y actitudes.
Técnicas de interrogación. Entrevistas
Evaluación - GEInformàtica, IPO 58 / 111
• Puede ayudar a encontrar problemas no previstos en eldiseño
• Para que la entrevista sea lo más efectiva posible, ha deser preparada con antelación, con todo un conjunto depreguntas básicas. El revisor puede adaptar la entrevistaal entrevistado y obtener el máximo beneficio.
Técnicas de interrogación. Entrevistas
Evaluación - GEInformàtica, IPO 59 / 111
• Es menos flexible que la entrevista, pero puede llegar a un grupo más numeroso, pero se puede analizar con más rigor
• Se pueden realizar diferentes tipos de preguntas
Técnicas de interrogación. Cuestionarios
Evaluación - GEInformàtica, IPO 60 / 111
• Pre-test• Información y perfil de los participantes
• Post-tarea• Recoger opiniones y valoraciones de
cada tarea
• Post-test• Recoger opiniones y valoraciones
despues que los participantes completen las tareas
Técnicas de interrogación. Cuestionarios
Premo
Evaluación - GEInformàtica, IPO 61 / 111
Técnicas de interrogación. Cuestionarios
• Tipos de preguntas• General
• Preguntas que ayudan a establecer el perfil de usuario y su puesto dentro de la población en estudio
• Incluye cuestiones como edad, sexo, ocupación, lugar de residencia y otras.
• Abierta• Preguntas útiles para recoger información general subjetiva
• Pueden dar sugerencias interesantes y encontrar errores no previstos
Evaluación - GEInformàtica, IPO 62 / 111
• Tipos de preguntas
• Escalar• Nos permite preguntar al usuario sobre un punto específico en una escala
numérica• Por ejemplo:
El diseño de los iconos es comprensiblepoco 1 2 3 4 5 mucho
• Opción múltiple• En este caso se ofrecen una serie de respuestas y se nos pide responder a
una de las opciones o a varias
¿Qué tipo de software has de utilizar?Tratamiento de textoHoja de cálculoBases de datosContabilidad
Técnicas de interrogación. Cuestionarios
Evaluación - GEInformàtica, IPO 63 / 111
• Tipos de preguntas• Ordenadas
• Se presentan una serie de opciones que hay que ordenar• Ordena la utilidad de cómo ejecutar una acción:(1 la mas útil, 2, etc, 0 si no se utiliza
Por iconosSelección de menú
Doble clic
Técnicas de interrogación. Cuestionarios
Evaluación - GEInformàtica, IPO 64 / 111
http://es.slideshare.net/DCU_MPIUA/user-centered-design-interviews-surveys
• Implica disponer en el ordenador de una ampliación del sistema que recoja automáticamente estadísticas sobre el uso detallado del sistema
• El registro se realiza generalmente modificando los drivers del sistema, por ejemplo del ratón o del teclado u otras partes del sistema que permitan el registro de las acciones del usuario o modificando la aplicación que estamos probando
Grabación del uso (Logging)
Evaluación - GEInformàtica, IPO 65 / 111
Moviments diaris del nombre de sol·licituds
0
1000
2000
3000
4000
5000
6000
7000
8000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
JunyJuliolAgostSeptembreOctubre
Web de la infancia
196.40.43.218 - - [31/May/2002:00:11:52 +0200] "GET /faq.php HTTP/1.0" 200 25258 "http://www.google.com/search?q=comercio+electronico" "Mozilla/4.77 [en] (Win98; U)"
Grabación del uso (Logging)
Evaluación - GEInformàtica, IPO 66 / 111
Grabación del uso (Logging)
• otra forma de analizar los logs
• Sólo debe copiar el código de seguimiento de Google Analytics en cada una de las páginas de su sitio web y el seguimiento se inicia inmediatamente.
• No debe realizar ningún proceso de compra. • No debe descargar nada. Si no suele editar su propio sitio, su
webmaster, diseñador o proveedor de alojamiento podrán hacerlo por usted en menos de cinco minutos.
Evaluación - GEInformàtica, IPO 67 / 111
Evaluación - GEInformàtica, IPO 68 / 111
Índice
Evaluación, conceptos preliminaresEvaluación de la USABILIDADMétodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad
Evaluación - GEInformàtica, IPO 69 / 111
EVALUACIÓNGrau en Enginyeria InformàticaInteracció Persona-Ordinador
Toni Granollers http://www.grihotools.udl.cat/mpiua/fases-mpiua/evaluacion
How to Identify the Best Design
Problems ?
Índice
Evaluación, conceptos preliminaresEvaluación de la USABILIDADMétodos de evaluación por INSPECCIÓN• Métodos de evaluación por INDAGACIÓN• Métodos de evaluación por TEST• Laboratorio de Usabilidad
Evaluación - GEInformàtica, IPO 71 / 111
Métodos de evaluación
• Test• Usuarios representativos trabajan en tareas utilizando el
sistema (o el prototipo)• Evaluadores analizan los resultados para ver como la
interfaz de usuario da soporte a los usuarios con sus tareas
• Tipos• Thinking Aloud (Pensando en voz alta)• Interacción constructiva• Método del conductor• Test remoto
Evaluación - GEInformàtica, IPO 72 / 111
• Consiste en que un usuario exprese en voz alta suspensamientos, sentimientos y opiniones mientras queinteracciona con el sistema [Lewis, 1982]
• Resultado• Datos cualitativos que puede recoger de un numero reducido de
usuarios
Thinking Aloud. Pensando en voz alta
Evaluación - GEInformàtica, IPO 73 / 111
• Método• Se les proporciona a los usuarios el producto que tienen que
probar (o un prototipo de la interfaz) y un conjunto de tareas a realizar.
• Se les dice a los usuarios que realicen las tareas y que expliquen que es lo que piensan al respecto mientras están trabajando con la interfaz
Thinking Aloud. Pensando en voz alta
Evaluación - GEInformàtica, IPO 74 / 111
• Derivación del método de pensando en voz alta (thinking aloud)
• En vez de uno, dos usuarios hacen el test simultáneamente
• Es más natural para el usuario verbalizar conjuntamente
• La desventaja es que los usuarios puedan tener diferentes estrategias de aprendizaje
Interacción constructiva
Evaluación - GEInformàtica, IPO 75 / 111
• Hay una interacción explicita entre el usuario que realiza el test y el evaluador (conductor) que conduce al usuario en la dirección correcta
• El objetivo es descubrir las necesidades de información de los usuarios
Método del Conductor
Evaluación - GEInformàtica, IPO 76 / 111
Complementar los métodos anteriores: Medida de Prestaciones• Los participantes han de ser usuarios reales realizando
tareas reales• Registrar y observar la actividad de los participantes • Analizar los datos, diagnosticar problemas y recomendar
cambios
• Selección de las tareas• que demuestren problemas de usabilidad• sugeridas de la experiencia propia• derivadas de otros criterios• que los usuarios normalmente utilizarán con el producto
Evaluación - GEInformàtica, IPO 77 / 111
Complementar los métodos anteriores: Medida de Prestaciones• ¿Cómo medir la usabilidad?
• Consideraremos como planificar las observaciones y medidas para un test de usabilidad
• En primer lugar trataremos de comprender que es lo que se puede medir: • Medidas de rendimiento, esto quiere decir contar las acciones y los
comportamientos que se puedan ver• Medidas subjetivas, esto quiere decir percepciones de las personas,
opiniones y juicios
Evaluación - GEInformàtica, IPO 78 / 111
• Medidas de rendimiento• Las medidas de rendimiento son cuantitativas,
se pueden contar cuantas personas hay, cuantos errores hacen, cuantas veces se repiten los mismos errores
• La mayor parte de las medidas de rendimiento requieren observaciones cuidadosas
Complementar los métodos anteriores: Medida de Prestaciones
Medir cada TAREA Excelente Aceptable Inaceptable
Tarea1tiempo <3 min 3-5 min > 5 minRecuperación error 0 <1 min > 1 minayuda en línea 1 2-3 min > 3 min
Criterios que podemos definir para medidas de prestaciones- Excelente- Aceptable- inaceptable
Evaluación - GEInformàtica, IPO 79 / 111
Complementar los métodos anteriores: Medida de Prestaciones
Tasca 1, 2 i 3 lliuresTasca 4, 5 i 6 obligant a utilitzar un assistent virtual
Evaluación - GEInformàtica, IPO 80 / 111
RESULTADOS
• Los Resultados de los tests tendrán:
• Una lista de problemas que han ido creciendo durante la realización del test
• Datos cuantitativos• de tiempo, errores y otras medidas de rendimiento • de valoraciones subjetivas y otras cuestiones de cuestionarios post-
tasca y post-test • Comentarios de los participantes de las grabaciones y de
los cuestionarios • Las notas escritas del equipo de test o sus comentarios
que pueden ser grabados • Datos cualitativos generales de los participantes, de sus
perfiles o de cuestionarios de pretest• (opcional) Las grabaciones de vídeo, presentando
diferentes vistas del test
Evaluación - GEInformàtica, IPO 81 / 111
Can YouMeasure Experience?
https://www.interaction-design.org/ux-daily/577/how-do-you-measure-the-ux-of-design
Evaluación - GEInformàtica, IPO 82 / 111
Índice
Evaluación, conceptos preliminaresEvaluación de la USABILIDADMétodos de evaluación por INSPECCIÓNMétodos de evaluación por INDAGACIÓNMétodos de evaluación por TEST• Laboratorio de Usabilidad
Evaluación - GEInformàtica, IPO 83 / 111
Laboratorio de usabilidad
…………..
Evaluación - GEInformàtica, IPO 84 / 111
• Observación de la Experiencia del Usuario • Un laboratorio de usabilidad es un espacio especialmente
adaptado para la realización de pruebas de evaluación de la usabilidad
• En el se registran y analizan las interacciones que los usuarios realizan mientras utilizan el sistema o producto a analizar
• Para ello es necesario disponer de equipamiento específico • Instalaciones adecuadas a las actividades que se van a realizar
en condiciones lo menos intrusivas posibles para el usuario simular las condiciones reales de la interacción
• Software especializado• Personas bien formadas
Laboratorio de usabilidad
Evaluación - GEInformàtica, IPO 85 / 111
Laboratorio de usabilidad
• Diversidad de productos y servicios
• Diversidad de usuarios finales• entre los que se pueden encontrar personas de edad avanzada y
personas con discapacidad
• Un laboratorio de usabilidad • Debe considerar también las condiciones de acceso para personas
con discapacidad, para poder llevar a cabo pruebas de usabilidad y accesibilidad que respondan a las necesidades de cualquier tipo de usuario
Evaluación - GEInformàtica, IPO 86 / 111
Laboratorio de usabilidad.Equipamiento básico• Consisten normalmente en dos salas o habitaciones,
• una es la sala de observación (para los evaluadores) y, • otra la sala de la prueba (para los usuarios)
Evaluación - GEInformàtica, IPO
• Ambas salas suelen estarseparadas por un cristal que sólopermite ver a los usuarios desdela sala de observación, pero nodesde el lado opuesto
87 / 111
Laboratorio de usabilidad.Equipamiento básico
Evaluación - GEInformàtica, IPO 88 / 111
Laboratorio de usabilidad.Equipamiento básico• Algunos laboratorios disponen de una sala adjunta a la sala de
observación • otros observadores, otras pruebas, …
• Cámaras de vídeo controladas remotamente desde la sala de observación • En la sala de observación se mezclan las señales de vídeo para
producir una sola secuencia que se graba junto al instante en el que se ha generado cada secuencia para posteriormente compararlo con la grabación del uso del sistema.
• Micrófonos inalámbricos• Mesa de mezcla digital• Escáner de entrada• Grabadora VHS .....
Evaluación - GEInformàtica, IPO 89 / 111
Laboratorio de usabilidad MÓVIL
• Con un laboratorio de usabilidad móvil, cualquier oficina o dependencia se puede convertir en una sala de evaluación y evitar así que los usuarios se desplacen
Montar un laboratorio de usabilidad portátil. Test de usuarios Ihttp://www.alzado.org/articulo.php?id_art=251 [Eduardo Manchón]
Evaluación - GEInformàtica, IPO 90 / 111
Laboratorio de usabilidad. Software especializado• El análisis resulta mucho más efectivo si se realiza con la
ayuda de un software específico
• El software NO sustituye al evaluador experto
Evaluación - GEInformàtica, IPO 91 / 111
Laboratorio de usabilidad. Personas bien formadas
Evaluación - GEInformàtica, IPO 92 / 111
Laboratorio de usabilidad. Personas bien formadas• Guidelines for Participants in a Separate Room (MORAE)
• Hablar lo mínimo durante la sesión• Los participantes deben sentirse apoyados por el evaluador a la vez
que deben sentirse “como en casa” • NO hacer comentarios a los participantes• Confidencialidad de la identidad• NO hacer cambios hasta el final de los resultados• Preparar una lista de preguntas finales para los participantes
Evaluación - GEInformàtica, IPO 93 / 111
Evaluación - GEInformàtica, IPO 94 / 111
Evaluación con usuariosmediante Morae
Éxito de la tarea
Encontrar un televisor LCD con la garantía más larga en el tiempo
5 de 14 (35%) participantes NO FINALIZARON la tarea
Video: El procedimiento de comparación no es claro
1.Buscar todos los televisores LCD
2.Seleccionar 2 TV a comparar
3.Escoger la opción “Comparar productos seleccionados”
Evaluación - GEInformàtica, IPO 95 / 111
• Dónde mira el usuario ??Eye Tracking
Eye Tracking Evaluation: https://www.youtube.com/watch?v=s-273rCl-yk
Evaluación - GEInformàtica, IPO 96 / 111
Evaluación - GEInformàtica, IPO 97 / 111
NINGÚN usuario se dió cuenta de
la existencia de la asistenta virtual
Evaluación - GEInformàtica, IPO 98 / 111
no se dan cuenta de las
gesticulaciones que representan un
comportamiento humano de la Berta
Evaluación - GEInformàtica, IPO 99 / 111
Permite “leer” el contenido de una
página
Google es ciego !!!
Evaluación - GEInformàtica, IPO 100 / 111
Algunos laboratorios de usabilidad
• Distribución y fotografía del Laboratorio de Usabilidad de Telefónica Móviles España
FUENTE: http://www.tid.es/documentos/boletin/numero27_3.pdf
Evaluación - GEInformàtica, IPO 101 / 111
La Salle (Barcelona)
Algunos laboratorios de usabilidad
Evaluación - GEInformàtica, IPO 102 / 111
http://www.sun.com/usability/
Algunos laboratorios de usabilidad
http://www.oracle.com/webfolder/ux/applications/getInvolved/labTours.html
Evaluación - GEInformàtica, IPO 103 / 111
Algunos laboratorios de usabilidad
BBC News - How Google fine tunes its search engine
http://news.bbc.co.uk/2/hi/programmes/click_online/9751991.stm
Evaluación - GEInformàtica, IPO 104 / 111
Remote Usability testing
Remote usability testing allows you to get customer insights when travel budgets are small, timeframes are tight, or test participants are hard to find
http://www.nngroup.com/articles/remote-usability-tests
http://gazept.com
http://www.userzoom.es
https://www.youtube.com/watch?v=L
RHPJmx7yKA
https://www.youtube.com/watch?v=t
M2tlAi-0lw
Evaluación - GEInformàtica, IPO 105 / 111
Don’t Make Me Think
S. Krug. 2nd Edition, pag. 136
Sinembargo
...
Evaluación - GEInformàtica, IPO 106 / 111
“Discount Usability Testing”
Evaluación - GEInformàtica, IPO 107 / 111
“Discount Usability Testing”
http://www.grihotools.udl.cat/mpiua/rocket-surgery-made-easy
http://youtu.be/QckIzHC99Xc
Evaluación - GEInformàtica, IPO 108 / 111
Guerrilla HCI – Discount Usability
• Guerrilla HCI: Using Discount Usability Engineering to Penetrate the Intimidation Barrier• Nielsen: http://www.nngroup.com/articles/guerrilla-hci
• Silverback 2.0• Guerrilla usability testing software for designers and
developers• http://silverbackapp.com/
Evaluación - GEInformàtica, IPO 109 / 111
Pros and Cons of Guerrilla Research for Your UX Project
Advantages
• is cheap• takes little effort• is very informative• can be squeezed into
nearly every timetable or deadline
• can be used to effectively test with large groups
Disadvantages
• is risky• can be shallow too• can be unreliable• poses recruitment
problems
SOURCE: https://www.interaction-design.org/ux-daily/102/the-pros-and-cons-of-guerrilla-research-for-your-ux-project
Evaluación - GEInformàtica, IPO 110 / 111
• La evaluación y el prototipado es una parte muy importante de las actividades a realizar en el desarrollo de un sistema interactivo centrado en el usuario
• Su objetivo es probar la usabilidad del diseño, identificar y rectificar problemas
• Puede hacerse en el laboratorio o en el puesto de trabajo del usuario y en general es importante una participación activa por parte del usuario
Conclusiones
Evaluación - GEInformàtica, IPO 111 / 111
El Curso de Interacción Persona-Ordenador ha sido realizado por Toni Granollers bajo la licencia Creative Commons Reconocimiento-NoComercial 4.0 Internacional License.
Evaluación - GEInformàtica, IPO 112 / 111
top related