presentación modelo sistemático para testeo con usuarios en startups

Modelo sistemático para testeo

con usuarios en Startups

Juan Paulo Madriaza & Gustavo Soto Miño

Hola! Somos Gustavo y Juan Paulo

¿Quién le puede sacar mas provecho a esta charla?

Pstt, no es para todos..

Startups que no acostumbran a validar con usuarios

01

¿Quién le puede sacar más provecho?

Startups que no usan métodos ágiles de diseño y desarrollo

02

¿Quién le puede sacar más provecho?

Interesados en realizar tests con usuarios de manera rápida y

económica

03

¿Quién le puede sacar más provecho?

¿Para qué sirve esta charla?

Objetivos

Reconocer una manera de incorporar la validación de usuarios como herramienta recurrente en la

vida de una Startup

01

¿Para qué sirve esta charla?

Revisar buenas prácticas de testeo con usuarios en ambientes de escasos recursos económicos y

tiempo

02

¿Para qué sirve esta charla?

Proponer un modelo metodológico que se alinee con la realidad de

una parte importante de las Startups latinoamericanas

03

¿Para qué sirve esta charla?

¿Cómo se diseñan hoy muchas de las Startups?

Realidades diferentes

La radiografía

S+D+BP

Suposición

S

Debate

D BP

Buena práctica

La realidad

S Suposición Necesita tener buenas suposiciones

Todos los CEOs tienen excelentes ideas. ¿no?

C Conversaciones cerradas Necesita personas idóneas para el debate

Sostener múltiples conversaciones sin las personas (y conocimientos) adecuados

BP Buena práctica Requiere conocimiento sobre qué buena práctica es la adecuada

Mirar al mercado Ver qué está haciendo la competencia Usar herramientas validadas

Los usuarios No entienden / No disfrutan / No compran

S D BP

¿El problema?

En vez de suponer > Conocer En vez de conversaciones cerradas > Debatir con los usuarios En vez de copiar modelos > Entender la lógica del usuario

S D BP

Lo que proponemos

¿Cómo entonces podemos validar nuestros prototipos?

User Testing para Startups

Buenas prácticas

User Testing para Startups

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Testea temprano (Para que no te enamores de tus prototipos)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Testea seguido (Los errores se pueden cometer en cualquier etapa)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Haz tu app usable lo antes posible

App de prototipado rápido

App de prototipado rápido

App de prototipado rápido

App de prototipado rápido

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

05 usuarios es suficiente para una ronda Encontrarás cerca del 85% de los errores

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Prepara un guión para evitar el sesgo (Si improvisas, puedes estar ayudando )

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Complementa tu estudio con otras fuentes

Inspectlet

Métricas de visita Screen Capturing Heat Maps A/B Testings

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Elabora hipótesis con las zonas que te generen dudas (Pero también déjate sorprender)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Usa la creatividad para definir los incentivos (¿Y si le invitas un café?)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Busca buenos testers (No todos entregan los mismos resultados)

•Tan “reales” como sea posible •Tan variados como permita la representatividad •Suspicaces •Habladores pero enfocados •Claros •Evidentes

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

No puedes volver a testear con los mismos usuarios (Las tareas les resultarán más simples aunque sean iguales)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Comportamiento mata opinión (Ver para creer)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

¿Y cómo se detecta un error? (Pistas para detectar un problema)

•El usuario hace una pausa al tratar de completar una tarea •El usuario deshace una acción •El usuario expresa frustración •El usuario toma una ruta diferente a la ideal •El usuario falla al ejecutar una tarea

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Que tu dispositivo se vea genérico (Evita las modificaciones de interfaz)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

El facilitador debe conocer el prototipo al revés y al derecho (Para saber cuando el usuario se pierde)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Oculta la app mientras estás entregando las instrucciones (Evitarás que el usuario comience antes de tiempo)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Antes de cada sesión, elimina la caché (También puedes usar la navegación privada)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Cuida la luz y el audio (para asegurar un buen registro)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Desactiva las notificaciones del dispositivo (excepto las que formen parte de la interacción a testear)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Sé un buen facilitador (No cualquiera puede hacerlo bien)

•Curioso •Atento •Amable •Profesional •Estimulante •Claro •Abierto •Objetivo

•No juzga (aún) •Cuida el tiempo •Resume y sistematiza •Prioriza •Informa

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Puedes medir la satisfacción luego de cada tarea (TLX / Likert)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Puedes / debes mezclar el orden de las tareas (Cuando el orden tenga un impacto en su facilidad de ejecución)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Puedes armar un Hangouts para tu equipo (Compartiendo pantalla, para que vayan analizando sobre la marcha)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Tener los ojos abiertos es mejor que tomar notas todo el tiempo

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Captura para poder recordar luego

Silverback

Captura en móviles Captura en Desktop (Mac) Captura en Desktop (PC)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Intenta que el usuario se sienta cómodo (iOS / Android | Mac / PC)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Cuida el tiempo de tu usuario (evita los tests no agendados de más de 30 minutos)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Puedes hacer preguntas post testing (Para conocer la opinión general – cuidado con la representatividad)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Toma acción cuanto antes (Debriefing session)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Se deben priorizar las modificaciones (Críticas | Medias | Leves)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Aplica criterios para aislar tus hallazgos (culpa usuario? Culpa prototipo? Culpa OS?)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

Escribe un mail durante el debriefing (Para enviarlo luego como minuta a los involucrados)

Startup User Testing

Recomendaciones

Hallazgos Aplicación Reclutamiento Planificación

El Debrief requiere tener en la mesa a CEO + diseñador + desarrollador

El testeo como proceso sistemático

La matriz de testeo

Matriz

Documentos descargables desde: http://goo.gl/tP0Qe3

Buenas Prácticas

Sketch Prototype

Interactive Wireframe

Interactive visual design

Producto

¿Qué probaremos?

¿Dónde lo probaremos?

¿Quién lo probará?

¿Cómo lo probaremos?

¿Qué haremos con los resultados?

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

A1 Probaremos los elementos de la interacción, la lógica general de la navegación y la comprensión general del modelo de interacción. ¿Se entiende la app en general? ¿Se percibe su valor? ¿Es esta es la secuencia de las pantallas adecuada para ejecutar esta tarea? ¿Estos son los contenidos que debería tener esta pantalla?

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

A2 Sobre un prototipo dibujado en papel que luego se pasó a una app como POP para colocar links entre las pantallas (puede ser análogo también)

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

A3 Usuarios que no conocen la plataforma, pero tienen cierta cercanía al proceso de diseño usando sketches. El objetivo es eliminar cuanto sea posible la confusión generada por maquetas en estado tan inicial

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

A4 Sesión informal de testeo con un prototipo funcional general de la lógica de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable. Se tendrán sesiones de debriefieng al terminar cada ronda de testing

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

A5 Se crearán nuevos sketches de manera rápida y se testeará cuanto antes con nuevos usuarios hasta validar los objetivos principales de esta etapa y poder continuar a la siguiente

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

B1 Probaremos las jerarquías relativas de los elementos, la lógica detallada de los patrones de interacción propuestos y la comprensión detallada de la arquitectura de información ¿Cuál es la secuencia en que se consumen los elementos de la pantalla? ¿Los contenidos de la pantalla han sido correctamente diseñados? ¿La efectividad con que se usa esta página es la adecuada?

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

B2 Lo probaremos sobre un prototipo ( creado por ejemplo en Axure) que permite navegar entre las pantallas. Haciendo posible de hacer navegables las pantallas y algunas de sus microinteracciones.

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

B3 Usuarios potenciales de la plataforma que han tenido la oportunidad de interactuar con wireframes entendiéndolos como parte de un proceso de diseño de aumento de fidelidad

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

B4 Sesión informal de testeo con un prototipo funcional detallado de la lógica de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable. Siempre es posible que ciertas interacciones regresen a estados previos (Sketching) Se tendrán sesiones de debriefieng al terminar cada ronda de testing.

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

B5 Se decidirá si la lógica actual soporta mejoras o requiere de volver a etapas de diseño anteriores. Se procede a ejecutar las mejoras (o a retroceder) para volver a testear con nuevos usuarios para eventualmente proceder al siguiente estado.

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

C1 Los colores, las imágenes, la tipografía, las formas, la gráfica de los elementos de la interfaz, la persuasión que provoca, las emociones que evoca, la personalidad de la plataforma, su diferenciación visual con otras, su usabilidad percibida. ¿El diseño es atractivo para mis usuarios? ¿Contribuye el diseño a mejorar la usabilidad de la plataforma? ¿Evoca las emociones proyectadas? ¿Se diferencia visualmente de otras plataformas? ¿Convence al usuario de ejecutar la tarea proyectada?

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

C2 Sobre el diseño visual navegable generado con las imágenes y contenidos más actualizados (Invision, Marvel, etc.). Debe ser probado sobre el dispositivo que los usuarios usan (Smartphone/Laptop)

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

C3 Usuarios potenciales de la plataforma que sean capaces de imaginarse la plataforma en su estado final al ver representaciones menos acabadas de la plataforma

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

C4 Sesión informal de testeo con un prototipo funcional general de la definición visual de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable que cumpla con los requerimientos expuestos en etapas anteriores más los propios de esta etapa. Se tendrán sesiones de debriefieng al terminar la ronda de testing

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

C5 Se seleccionarán y aislarán los elementos de interfaz que no aporten al objetivo planteado y se iterarán hasta conseguir los resultados esperados.

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

D1 La solución final, el despliegue real de información, el performance de uso, la pulcritud de la interacción, los detalles de interfaz de la solución final ¿Está el producto en su estado de publicación requerido? ¿Funciona a la velocidad adecuada? ¿Está alineado con la propuesta diseñada? ¿las microinteracciones aportan a la experiencia general?

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

D2 Sobre la versión final de la plataforma, ya programada, ya sea en estado beta o release público.

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

D3 Usuarios potenciales de la plataforma

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

D4 Sesión informal de testeo con la versión programada funcional de la plataforma, se requieren 5 usuarios y rondas iterativas hasta eliminar los principales errores y aprovechar las oportunidades de mejora. Se debe velar por validar también todos los objetivos de etapas anteriores. Se tendrán sesiones de debriefieng al terminar la ronda de testing

Sketch Prototype

Interactive Wireframe

Interactive Visual Design

Producto

¿Qué probaremos? A1 B1 C1 D1

¿Dónde lo probaremos? A2 B2 C2 D2

¿Quién lo probará? A3 B3 C3 D3

¿Cómo lo probaremos? A4 B4 C4 D4

¿Qué haremos con los resultados?

A5 B5 C5 D5

D5 Se identificarán los principales problemas y se decidirá la mejor manera de atacarlo ( ¿es necesario volver a etapas tempranas o se puede iterar directamente sobre esta interacción?)

¿Y luego qué?

Conclusiones

Creemos que una vez que las Startups valoren el testear con usuarios recurrentemente, estarán más

dispuestas a involucrarlo como parte central del método de diseño y así actualizar paulatinamente

sus metodologías

Más información… http://thenextweb.com/dd/2013/08/10/13-ways-to-master-ux-testing-for-your-startup/

https://www.usertesting.com/blog/2015/06/15/5-ways-to-improve-your-startups-user-experience/

http://www.designforfounders.com/usability-testing/

http://www.gv.com/wp-content/uploads/2013/02/User-Research-Workshop_Google-Ventures_Feb2013.pdf

Gracias Esta presentación ya está publicada en Slideshare

Juan Paulo Madriaza | Gustavo Soto @mad_uxd . @gusoto

No dejes de completar nuestra encuesta online

isa.ixda.org/2015/encuesta

¡Muchas gracias!

Modelo sistemático para testeo con usuarios en Startups

Juan Paulo Madriaza & Gustavo Soto Miño