presentación modelo sistemático para testeo con usuarios en startups
TRANSCRIPT
Modelo sistemático para testeo
con usuarios en Startups
Juan Paulo Madriaza & Gustavo Soto Miño
Hola! Somos Gustavo y Juan Paulo
¿Quién le puede sacar mas provecho a esta charla?
Pstt, no es para todos..
Startups que no acostumbran a validar con usuarios
01
¿Quién le puede sacar más provecho?
Startups que no usan métodos ágiles de diseño y desarrollo
02
¿Quién le puede sacar más provecho?
Interesados en realizar tests con usuarios de manera rápida y
económica
03
¿Quién le puede sacar más provecho?
¿Para qué sirve esta charla?
Objetivos
Reconocer una manera de incorporar la validación de usuarios como herramienta recurrente en la
vida de una Startup
01
¿Para qué sirve esta charla?
Revisar buenas prácticas de testeo con usuarios en ambientes de escasos recursos económicos y
tiempo
02
¿Para qué sirve esta charla?
Proponer un modelo metodológico que se alinee con la realidad de
una parte importante de las Startups latinoamericanas
03
¿Para qué sirve esta charla?
¿Cómo se diseñan hoy muchas de las Startups?
Realidades diferentes
La radiografía
S+D+BP
Suposición
S
Debate
D BP
Buena práctica
La realidad
S Suposición Necesita tener buenas suposiciones
Todos los CEOs tienen excelentes ideas. ¿no?
C Conversaciones cerradas Necesita personas idóneas para el debate
Sostener múltiples conversaciones sin las personas (y conocimientos) adecuados
BP Buena práctica Requiere conocimiento sobre qué buena práctica es la adecuada
Mirar al mercado Ver qué está haciendo la competencia Usar herramientas validadas
Los usuarios No entienden / No disfrutan / No compran
S D BP
¿El problema?
En vez de suponer > Conocer En vez de conversaciones cerradas > Debatir con los usuarios En vez de copiar modelos > Entender la lógica del usuario
S D BP
Lo que proponemos
¿Cómo entonces podemos validar nuestros prototipos?
User Testing para Startups
Buenas prácticas
User Testing para Startups
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Testea temprano (Para que no te enamores de tus prototipos)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Testea seguido (Los errores se pueden cometer en cualquier etapa)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Haz tu app usable lo antes posible
App de prototipado rápido
App de prototipado rápido
App de prototipado rápido
App de prototipado rápido
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
05 usuarios es suficiente para una ronda Encontrarás cerca del 85% de los errores
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Prepara un guión para evitar el sesgo (Si improvisas, puedes estar ayudando )
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Complementa tu estudio con otras fuentes
Inspectlet
Métricas de visita Screen Capturing Heat Maps A/B Testings
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Elabora hipótesis con las zonas que te generen dudas (Pero también déjate sorprender)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Usa la creatividad para definir los incentivos (¿Y si le invitas un café?)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Busca buenos testers (No todos entregan los mismos resultados)
•Tan “reales” como sea posible •Tan variados como permita la representatividad •Suspicaces •Habladores pero enfocados •Claros •Evidentes
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
No puedes volver a testear con los mismos usuarios (Las tareas les resultarán más simples aunque sean iguales)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Comportamiento mata opinión (Ver para creer)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
¿Y cómo se detecta un error? (Pistas para detectar un problema)
•El usuario hace una pausa al tratar de completar una tarea •El usuario deshace una acción •El usuario expresa frustración •El usuario toma una ruta diferente a la ideal •El usuario falla al ejecutar una tarea
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Que tu dispositivo se vea genérico (Evita las modificaciones de interfaz)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
El facilitador debe conocer el prototipo al revés y al derecho (Para saber cuando el usuario se pierde)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Oculta la app mientras estás entregando las instrucciones (Evitarás que el usuario comience antes de tiempo)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Antes de cada sesión, elimina la caché (También puedes usar la navegación privada)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Cuida la luz y el audio (para asegurar un buen registro)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Desactiva las notificaciones del dispositivo (excepto las que formen parte de la interacción a testear)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Sé un buen facilitador (No cualquiera puede hacerlo bien)
•Curioso •Atento •Amable •Profesional •Estimulante •Claro •Abierto •Objetivo
•No juzga (aún) •Cuida el tiempo •Resume y sistematiza •Prioriza •Informa
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Puedes medir la satisfacción luego de cada tarea (TLX / Likert)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Puedes / debes mezclar el orden de las tareas (Cuando el orden tenga un impacto en su facilidad de ejecución)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Puedes armar un Hangouts para tu equipo (Compartiendo pantalla, para que vayan analizando sobre la marcha)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Tener los ojos abiertos es mejor que tomar notas todo el tiempo
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Captura para poder recordar luego
Silverback
Captura en móviles Captura en Desktop (Mac) Captura en Desktop (PC)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Intenta que el usuario se sienta cómodo (iOS / Android | Mac / PC)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Cuida el tiempo de tu usuario (evita los tests no agendados de más de 30 minutos)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Puedes hacer preguntas post testing (Para conocer la opinión general – cuidado con la representatividad)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Toma acción cuanto antes (Debriefing session)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Se deben priorizar las modificaciones (Críticas | Medias | Leves)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Aplica criterios para aislar tus hallazgos (culpa usuario? Culpa prototipo? Culpa OS?)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
Escribe un mail durante el debriefing (Para enviarlo luego como minuta a los involucrados)
Startup User Testing
Recomendaciones
Hallazgos Aplicación Reclutamiento Planificación
El Debrief requiere tener en la mesa a CEO + diseñador + desarrollador
El testeo como proceso sistemático
La matriz de testeo
Matriz
Documentos descargables desde: http://goo.gl/tP0Qe3
Buenas Prácticas
Sketch Prototype
Interactive Wireframe
Interactive visual design
Producto
¿Qué probaremos?
¿Dónde lo probaremos?
¿Quién lo probará?
¿Cómo lo probaremos?
¿Qué haremos con los resultados?
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
A1 Probaremos los elementos de la interacción, la lógica general de la navegación y la comprensión general del modelo de interacción. ¿Se entiende la app en general? ¿Se percibe su valor? ¿Es esta es la secuencia de las pantallas adecuada para ejecutar esta tarea? ¿Estos son los contenidos que debería tener esta pantalla?
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
A2 Sobre un prototipo dibujado en papel que luego se pasó a una app como POP para colocar links entre las pantallas (puede ser análogo también)
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
A3 Usuarios que no conocen la plataforma, pero tienen cierta cercanía al proceso de diseño usando sketches. El objetivo es eliminar cuanto sea posible la confusión generada por maquetas en estado tan inicial
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
A4 Sesión informal de testeo con un prototipo funcional general de la lógica de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable. Se tendrán sesiones de debriefieng al terminar cada ronda de testing
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
A5 Se crearán nuevos sketches de manera rápida y se testeará cuanto antes con nuevos usuarios hasta validar los objetivos principales de esta etapa y poder continuar a la siguiente
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
B1 Probaremos las jerarquías relativas de los elementos, la lógica detallada de los patrones de interacción propuestos y la comprensión detallada de la arquitectura de información ¿Cuál es la secuencia en que se consumen los elementos de la pantalla? ¿Los contenidos de la pantalla han sido correctamente diseñados? ¿La efectividad con que se usa esta página es la adecuada?
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
B2 Lo probaremos sobre un prototipo ( creado por ejemplo en Axure) que permite navegar entre las pantallas. Haciendo posible de hacer navegables las pantallas y algunas de sus microinteracciones.
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
B3 Usuarios potenciales de la plataforma que han tenido la oportunidad de interactuar con wireframes entendiéndolos como parte de un proceso de diseño de aumento de fidelidad
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
B4 Sesión informal de testeo con un prototipo funcional detallado de la lógica de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable. Siempre es posible que ciertas interacciones regresen a estados previos (Sketching) Se tendrán sesiones de debriefieng al terminar cada ronda de testing.
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
B5 Se decidirá si la lógica actual soporta mejoras o requiere de volver a etapas de diseño anteriores. Se procede a ejecutar las mejoras (o a retroceder) para volver a testear con nuevos usuarios para eventualmente proceder al siguiente estado.
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
C1 Los colores, las imágenes, la tipografía, las formas, la gráfica de los elementos de la interfaz, la persuasión que provoca, las emociones que evoca, la personalidad de la plataforma, su diferenciación visual con otras, su usabilidad percibida. ¿El diseño es atractivo para mis usuarios? ¿Contribuye el diseño a mejorar la usabilidad de la plataforma? ¿Evoca las emociones proyectadas? ¿Se diferencia visualmente de otras plataformas? ¿Convence al usuario de ejecutar la tarea proyectada?
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
C2 Sobre el diseño visual navegable generado con las imágenes y contenidos más actualizados (Invision, Marvel, etc.). Debe ser probado sobre el dispositivo que los usuarios usan (Smartphone/Laptop)
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
C3 Usuarios potenciales de la plataforma que sean capaces de imaginarse la plataforma en su estado final al ver representaciones menos acabadas de la plataforma
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
C4 Sesión informal de testeo con un prototipo funcional general de la definición visual de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable que cumpla con los requerimientos expuestos en etapas anteriores más los propios de esta etapa. Se tendrán sesiones de debriefieng al terminar la ronda de testing
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
C5 Se seleccionarán y aislarán los elementos de interfaz que no aporten al objetivo planteado y se iterarán hasta conseguir los resultados esperados.
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
D1 La solución final, el despliegue real de información, el performance de uso, la pulcritud de la interacción, los detalles de interfaz de la solución final ¿Está el producto en su estado de publicación requerido? ¿Funciona a la velocidad adecuada? ¿Está alineado con la propuesta diseñada? ¿las microinteracciones aportan a la experiencia general?
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
D2 Sobre la versión final de la plataforma, ya programada, ya sea en estado beta o release público.
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
D3 Usuarios potenciales de la plataforma
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
D4 Sesión informal de testeo con la versión programada funcional de la plataforma, se requieren 5 usuarios y rondas iterativas hasta eliminar los principales errores y aprovechar las oportunidades de mejora. Se debe velar por validar también todos los objetivos de etapas anteriores. Se tendrán sesiones de debriefieng al terminar la ronda de testing
Sketch Prototype
Interactive Wireframe
Interactive Visual Design
Producto
¿Qué probaremos? A1 B1 C1 D1
¿Dónde lo probaremos? A2 B2 C2 D2
¿Quién lo probará? A3 B3 C3 D3
¿Cómo lo probaremos? A4 B4 C4 D4
¿Qué haremos con los resultados?
A5 B5 C5 D5
D5 Se identificarán los principales problemas y se decidirá la mejor manera de atacarlo ( ¿es necesario volver a etapas tempranas o se puede iterar directamente sobre esta interacción?)
¿Y luego qué?
Conclusiones
Creemos que una vez que las Startups valoren el testear con usuarios recurrentemente, estarán más
dispuestas a involucrarlo como parte central del método de diseño y así actualizar paulatinamente
sus metodologías
Más información… http://thenextweb.com/dd/2013/08/10/13-ways-to-master-ux-testing-for-your-startup/
https://www.usertesting.com/blog/2015/06/15/5-ways-to-improve-your-startups-user-experience/
http://www.designforfounders.com/usability-testing/
http://www.gv.com/wp-content/uploads/2013/02/User-Research-Workshop_Google-Ventures_Feb2013.pdf
Gracias Esta presentación ya está publicada en Slideshare
Juan Paulo Madriaza | Gustavo Soto @mad_uxd . @gusoto
No dejes de completar nuestra encuesta online
isa.ixda.org/2015/encuesta
¡Muchas gracias!
Modelo sistemático para testeo con usuarios en Startups
Juan Paulo Madriaza & Gustavo Soto Miño