DISEÑO E IMPLEMENTACIÓN DE UN MÓDULO DE ANALÍTICA DE

APRENDIZAJE EN LA PLATAFORMA

KHAN ACADEMY

Autor: José A. Ruipérez Valiente – jruipere@it.uc3m.es @JoseARuiperez – www.joseruiperez.com

Tutor: Pedro J. Muñoz Merino – pedmume@it.uc3m.es

Universidad Carlos III de Madrid Departamento de Ingeniería Telemática

Máster en Ingeniería de Telecomunicación

2

ÍNDICE

 Introducción

 Definición de parámetros de alto nivel

 Desarrollo del módulo ALAS-KA

 Evaluación del proceso de aprendizaje

 Conclusiones y resultados

 Vídeo demostración de ALAS-KA

INTRODUCCIÓN

3

4

MOTIVACIONES

Generan grandes

cantidades de

datos de bajo nivel

Plataformas e-learning

Difícil de interpretar

5

OBJETIVOS

1

2

3

Definición de un conjunto de parámetros de alto nivel

Implementación de ALAS-KA

Evaluación del proceso de aprendizaje

6

DEFINICIÓN Y PROCESO

Procesado de métricas

Generación y captura de datos

Definición 1ª conferencia internacional LAK:

“learning analytics es la medida, recolección, análisis e informe de los datos sobre los estudiantes y sus contextos, con el propósito de entender y optimizar el aprendizaje y el entorno en el que ocurre”

Trabajos como (Campbell et al., 2007) y (Clow, 2012) han

tratado las fases del proceso Visualizador

Recomendador

Actuador datos de

bajo nivel información

de alto nivel

7

KHAN ACADEMY: Estructura

8

KHAN ACADEMY: Ejercicios y vídeos

9

KHAN ACADEMY: Learning analytics

Informe Focus

Informe Activity

Informe Progress

PARÁMETROS DE ALTO NIVEL

10

11

BLOQUES DE PARÁMETROS

Correcto Progreso en la Plataforma

Distribución del Tiempo de Uso de la Plataforma

Hábitos Resolviendo

Ejercicios Hábitos de Ludificación

Uso Total en la Plataforma

CONJUNTO DE PARÁMETROS

12

Uso Total de la Plataforma

Uso efectivo de la plataforma

Abandono de vídeos y ejercicios

Tiempo total en la plataforma

Uso de elementos opcionales

Focalizador de vídeos o ejercicios

Correcto Progreso en la Plataforma

Progreso en ejercicios

Progreso en vídeos

Eficiencia temporal

Eficiencia resolviendo ejercicios por primera vez

Eficiencia viendo vídeos

13

Distribución del Tiempo de Uso de la Plataforma

Uso de la plataforma por tramos horarios

Eficiencia en tramos horarios

Media y varianza del tiempo de uso

Constancia

Hábitos Resolviendo Ejercicios

Seguidor de recomendaciones

Usuario olvidadizo

Evitador de vídeos y pistas

Usuario no reflexivo

Abusador de pistas

Hábitos de Ludificación

Interés en ganar medallas

Proporción de puntos por ludificación

MODELO COGNITIVO 14

Evitador de vídeos y pistas, usuario no reflexivo

Detectar usuarios evitadores de pistas y vídeos, y no reflexivos

Modelo de comportamiento

Ejemplo

DESARROLLO DEL MÓDULO ALAS-KA

15

FASES DEL DESARROLLO

16

Especificación de requisitos Análisis y

diseño

Implementación

Pruebas

Integración

Mantenimiento

Validación y verificación

ESPECIFICACIÓN DE REQUISITOS

17

  Visualizaciones individuales y de clase

  Tabla descriptiva de usuarios

  Descripción de los parámetros

  Soporte de distintos cursos en una instancia

  Procesado de estadísticas periódico

  Generación de estadísticas para cada curso

  Acceso mediante log-in Khan Academy

  Seguridad de acceso y gestión de permisos

Requisitos funcionales

Requisitos no funcionales

ANÁLISIS Y DISEÑO

  Lenguaje de programación Python: Algunas APIs utilizadas como Webapp2, Jinga2, Numpy o Matplotlib

  Google App Engine como infraestructura

  App Engine Datastore para la persistencia de datos

  Google Charts para las visualizaciones

18

TECNOLOGÍAS

19

DIAGRAMA DEL SISTEMA

  Estudiantes

  Profesores

  Datastore

  Procesado de datos

  Visualizaciones

  Recomendador

20

  Cron jobs

  Queue

  Tasks

  Procesado personalizado

PROCESADO DE DATOS

21

  Fase de codificación de toda la aplicación

  Código y entidades Datastore independientes de Khan Academy

IMPLEMENTACIÓN Y PRUEBAS

IMPLEMENTACIÓN PRUEBAS

  Pruebas unitarias

  Pruebas modulares

  Prueba global

  Pruebas de seguridad

22

INTEGRACIÓN, VALIDACIÓN Y MANTENIMIENTO

INTEGRACIÓN VALIDACIÓN

MANTENIMIENTO

  Integración e instalación de ALAS-KA en las plataformas Khan Academy de los cursos 0

  Comprobación correcto funcionamiento de Khan Academy y ALAS-KA una vez hecha la instalación

  Verificar correcto funcionamiento procesado datos

  Carga de nuevos usuarios

EVALUACIÓN DEL PROCESO DE APRENDIZAJE

23

24

DOS TIPOS DE EVALUACIÓN

Por combinación de parámetros...

Por perfiles de usuario a través de ALAS-KA...

... en los cursos 0 de 2012/2013

... en los cursos 0 de 2013/2014

COMBINACIÓN DE PARÁMETROS

25

Considerando un mínimo de 16 vídeos

para UEV2 o 21 ejercicios para UEE3

22 de 66 hicieron progreso correcto

Pero...

el parámetro EJ3 lo muestra

Correcto Progreso en la Plataforma

¿Quién fue más eficiente?

26

Si no ha hecho un progreso correcto... ¿Se ha esforzado?

Considerando un TT de 225 minutos, o

15 vídeos de UEV1 o 20 ejercicios de

UEE1

8 de 44 “suspensos”

se esforzaron

UEV1 UEV2 UEE1 UEE3

TT r=0.81 r=0.80 r=0.71 r=0.83

USO DE LA PLATAFORMA

La correlación de TT es indicativo de que puede ser

buen predictor

27

Mediante combinación

de los parámetros

UEV1 y UEV2 se estima

el abandono

USO DE LA PLATAFORMA

POR PERFILES DE USUARIO MEDIANTE ALAS-KA

28

Uso Total de la Plataforma

Recursos accedidos

Recursos abandonados

29

Progreso Correcto en la Plataforma Igual progreso,

¡distinta eficiencia!

30

Gran diferencia en la

constancia de dos

usuarios con similar

tiempo invertido

Distribución del Tiempo de Uso de la Plataforma

CONCLUSIONES Y RESULTADOS

31

CONCLUSIONES

32

  Los objetivos marcados han sido alcanzados

  Definir un conjunto de parámetros de alto nivel

  Implementar ALAS-KA con dichos parámetros y visualizaciones

  Usar los puntos anteriores para evaluar el proceso de aprendizaje

  Es necesario decidir entre las muchas formas de procesar la información

  Las interpretaciones pueden depender del contexto educativo

  La carga del procesado de datos aumenta exponencialmente

RESULTADOS ASOCIADOS

33

  Artículos en Journals en el índice JCR

  Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Leony, D., & Delgado Kloos, C. (2015). ALAS-KA: A learning analytics extension for better understanding the learning process in the Khan Academy platform. Computers in Human Behavior, 47(Learning Analytics, Educational Data Mining and data-driven Educational Decision Making), 139-148

Leony, D, Muñoz-Merino, P. J., Ruipérez-Valiente, J. A., Pardo A., Martín-Caro, D.A., Delgado Kloos, C. (In press). Detection and evaluation of emotions in Massive Open Online Courses. Journal of Universal Computer Science.

  Publicación en capitulo de libro

  Muñoz-Merino, P. J., Ruipérez-Valiente, J. A., Sanz, J. L., & Delgado Kloos, C. (In press). Assessment Activities in MOOCs. In Furthering Higher Education Possibilities through Massive Open Online Courses. IGI Global, E-Editorial Discovery

http://www.joseruiperez.com/mi-investigacion/

34

  Publicación en congresos internacionales

  Muñoz-Merino, P. J., Ruipérez Valiente, J. A., & Kloos, C. D. (2013). Inferring higher level learning information from low level data for the Khan Academy platform. In Proceedings of the Third International Conference on Learning Analytics and Knowledge - LAK ’13 (pp. 112–116). New York, New York, USA

Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., & Kloos, C. D. (2013). An architecture for extending the learning analytics support in the Khan Academy framework. In Proceedings of the First International Conference on Technological Ecosystem for Enhancing Multiculturality - TEEM ’13 (pp. 277–284). New York, New York, USA

Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., & Delgado Kloos, C. (2014). A demonstration of ALAS-KA : A learning analytics tool for the Khan Academy platform. In 9th European Conference on Technology Enhanced Learning (EC-TEL 2014) (pp. 518–521)

Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Delgado Kloos, C., Niemann, K., & Scheffel, M. (2014). Do Optional Activities Matter in Virtual Learning Environments? In Ninth European Conference on Technology Enhanced Learning (pp. 331–344). Graz, Austria: Springer International Publishing

  El proyecto es parte del laboratorio Gradient, ha sido expuesto en diferentes foros y conferencias

  Parte de los resultados de este trabajo han sido utilizados en los proyectos eMadrid y EEE-Virtual

35

  El módulo ALAS-KA y los parámetros obtenidos en este TFM han sido utilizados para evaluar el proceso de aprendizaje de los cursos 0 de 2012/2013, 2013/2014 y 2014/2015

  El software desarrollado ha sido liberado en GitHub bajo MIT license y puede ser accedido en este enlace

  Otros méritos:

  Premio al mejor proyecto Fin de Máster en Ingeniería de Telecomunicaciones patrocinado por Accenture en la Universidad Carlos III de Madrid del curso lectivo 2012/2013.

Premio eMadrid 2015 al mejor TFM/TFG/PFC relacionado con tecnologías educativas

Premio al mejor PFC/TFM/TFG del Capítulo Español de la Sociedad de la Educación del IEEE (CESEI)

Premio otorgado por el COIT-AIET al “Mejor Trabajo Fin de Máster en Nuevos Servicios, Aplicaciones y Modelos de Negocio Digitales” patrociado por Accenture

  El artículo “Do Optional Activities Matter in Virtual Learning Environments?” realizado a partir de este TFM y publicado en el EC-TEL 2014 fue seleccionado como uno de los mejores artículos de la conferencia

VÍDEO DEMOSTRACIÓN DE ALAS-KA

36

DISEÑO E IMPLEMENTACIÓN DE UN MÓDULO DE ANALÍTICA DE APRENDIZAJE EN LA PLATAFORMA

KHAN ACADEMY

¿Preguntas?

Universidad Carlos III de Madrid Departamento de Ingeniería Telemática

Máster en Ingeniería de Telecomunicación

Autor: José A. Ruipérez Valiente – jruipere@it.uc3m.es @JoseARuiperez – www.joseruiperez.com

Tutor: Pedro J. Muñoz Merino – pedmume@it.uc3m.es