método y modelo para el apoyo computacional a la evaluación en cscl directores: dr. yannis...
TRANSCRIPT
![Page 1: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/1.jpg)
Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL
Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo
UNIVERSIDAD DE VALLADOLIDDEPARTAMENTO DE INFORMÁTICA
Grupo EMIC
Tesis Doctoral
Alejandra Martínez Monés
Mayo 2003
![Page 2: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/2.jpg)
2
Índice
1. Introducción
2. Apoyo computacional a la evaluación
3. Método mixto para la evaluación en CSCL
4. Representación de la acción colaborativa
5. Trabajo experimental
6. Conclusiones y líneas abiertas
![Page 3: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/3.jpg)
3
Índice
1. Introducción Motivación– Objetivos– Metodología
2. Apoyo computacional a la evaluación3. Método mixto para la evaluación en CSCL4. Representación de la acción colaborativa5. Trabajo experimental6. Conclusiones
![Page 4: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/4.jpg)
4
Evaluación formativa en CSCL
Complejidad del dominio CSCL (Computer Supported Collaborative Learning)
Evaluación formativa – Heramienta estratégica
• Investigación• Práctica educativa
– No suficientemente tratada en CSCL– Interés incipiente
1.Introducción / Motivación
![Page 5: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/5.jpg)
5
1.Introducción / Motivación
Forma de investigación con fines prácticos (Gimeno Sacristán & Pérez Gómez, 1985)
CSCLCSCLEVALUACIÓN FORMATIVAEVALUACIÓN FORMATIVA
– Situaciones reales– Acción– Metáfora participativa
– Paradigma interpretativo– Métodos cualitativos
Elección de unaperspectiva teórica
Paradigma evaluación– Métodos– Aspectos / Variables
Teorías sociales del aprendizaje (Koschmann, 1996)
– Interacción– Contexto
APRENDIZAJE SITUADO
APRENDIZAJE SITUADO
Evaluación formativa en CSCL
![Page 6: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/6.jpg)
6
Apoyo computacional a la evaluación
Oportunidad– Nueva fuente de datos (Littleton, 1999)
– Configurar y estudiar nuevas situaciones (Dillenbourg,1999)
Propuestas actuales– Prototipos experimentales– Aspectos cognitivos – No integrados en evaluación cualitativa – Poco reutilizables– Análisis de redes sociales
1. Introducción / Motivación
![Page 7: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/7.jpg)
7
DELFOS Elementos
(Osuna, 1999)
– Modelo de aprendizaje constructivista
– Arquitectura en capas
– Método de diseño participativo
Estudio de necesidades (Martínez, 2000)
1. Introducción / Motivación
– Adaptar la evaluación a las necesidades del CSCL
– Soluciones eficientes para recogida y análisis de datos
– Modelar y evaluar interacciones
![Page 8: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/8.jpg)
8
Revisar propuestas y proponer soluciones
Método deevaluación
Modelo de representación de la interacción2. Describir un método de evaluación formativa
que integre herramientas automáticas en un marco que responda a las demandas del
aprendizaje situado
3. Describir un modelo de representación de la interacción generalizable e
independiente de la perspectiva de análisis
1. Introducción / Objetivos
Evaluación Formativa en CSCL
Aprendizaje Situado
• Métodos cualitativos • Herramientas • Aspectos participativos
DELFOS
Objetivos
Objetivos
1. Revisar propuestas relativas al apoyo a la evaluación formativa en CSCL y proponer soluciones– Enfoques de evaluación– Modelado computacional de la interacción– Herramientas
![Page 9: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/9.jpg)
9
Metodología
Proceso cíclico Estudio teórico
– Definición del problema– Revisión crítica de propuestas existentes– Propuesta de soluciones
Aplicación a la práctica real – caso AO – UVA
Validación con casos de estudio adicionales– caso IAG-UOC– Puzle Colaborativo
Refinamiento
Objetivos experimentale
s
1. Introducción / Metodología
![Page 10: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/10.jpg)
10
Índice
1. Introducción
2. Apoyo computacional a la evaluación
3. Representación de la acción colaborativa
4. Método mixto para la evaluación en CSCL
5. Trabajo experimental
6. Conclusiones
![Page 11: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/11.jpg)
11
ObjetivosRevisar
Propuestas y proponer soluciones
Método deevaluación
Modelo derepresentación
de la interacción
Evaluación Formativa en CSCL
Aprendizaje Situado
• Métodos cualitativos • Herramientas • Aspectos participativos
DELFOS
Sistematización- Sistemas de apoyo a la evaluación
![Page 12: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/12.jpg)
13
Localización del procesamientoProfesores /
Participantes Sistema
Ciclo de gestión de la colaboración extendido
2. Apoyo computacional a la evaluación
Herr.metacognitivas
Herr.correctoras
Herr. ''espejo'‘y de conciencia
de grupoHerramientas
Recogida dedatos sobre la
interacciónConstruccióndel modelo
de interacción
Comparar estado actual
/ estadodeseado
Aconsejar /guiar la
interacción
Sistemasorientados
al andamiaje(Jermann, Soller,
Mühlenbrock,2001)Fases
Herramientas de apoyo
al análisis de la
interacción
Herr.de reproduccióny sincronización
Herr.de apoyo a la
evaluación ?
Herramientas
datos sobre la
Análisis dedatos
Correccionesformativas
Recogida de
interacción
Construccióndel modelo
de interacción Sistemasorientados ala evaluación
(Jermann, Soller,
Mühlenbrock, Martínez, 2003)
Fases
![Page 13: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/13.jpg)
14
SISTEMAS DEAPOYO AL
ANÁLISIS DE LAINTERACCIÓN
CAPTURA DEEVENTOS
- Diálogo
- Acción
- Tarea
- Caja blanca
- Dimensión individual
- Dimensión interactiva-cognitiva
- Dimensión interactiva-social
- Reproducción de actividad
- Visualización de procesos interacción
- Sociogramas
- Caja negraACCESOAL
CÓDIGO
ANÁLISIS DEINTERACCIONES
PRESENTACIÓNDERESULTADOS
FUENTEDE
DATOS
Definición del espacio de diseño
2. Apoyo computacional a la evaluación
![Page 14: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/14.jpg)
15
Criterios de valoración
Externos – Transparencia– Eficiencia– Escalabilidad– Independencia del dominio de aprendizaje– Configurabilidad
Internos– Nivel adecuado de abstracción– Interoperabilidad– Modularidad
2. Apoyo computacional a la evaluación
![Page 15: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/15.jpg)
16
Fuente
de d
ato
sIn
stru
m
Reco
gid
a
de d
ato
s
Trans Efic Esc Indep Conf Abs Mod
Diálogo Precodificado - -
Diálogo Postcodificado - - -
Acción (estructurado) - -
Acción (no estructurado) - - -
Tarea - - - - -
Caja blanca - - - - Caja negra - - - - ~ Individual - - - - -
Interactivo -cognitivo - - - - - -
Interactivo– social - - - - - -
Reproducción - - - -
Proceso - - - - -
Sociogramas - - - - -
Anális
isPre
senta
c.
Revisión del espacio de diseño2. Apoyo computacional a la evaluación
Análisis de redes sociales
(SNA)
RepresentaciónAcción- Genérica- Nivel abstracción- Interoperable
Métodos cualitativos (recogida y análisis de
datos)
![Page 16: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/16.jpg)
17
Aprendizaje situado y SNA Red Social
– Conjunto actores + relaciones entre ellos Representación
– Matriz de adyacencia / Sociograma Medidas:
– Globales: • Densidad (), actividad global de la red • Centralización (CD), dependencia global de un actor
– Individuales: • Centralidad (CD (ni)), actividad del actor (ni)
Análisis de Redes Sociales (SNA)2. Apoyo computacional a la evaluación
![Page 17: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/17.jpg)
18
Atributos de imagen Escalamiento Multidimensional (MDS)
SNATécnicas de visualización
2. Apoyo computacional a la evaluación
= 24,45%
CD = 63,6%
CD (x00) = 81,9 %
CD (x21) = 9,1 %CD (x32) = 9,1 %
![Page 18: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/18.jpg)
19
SNADiscusión
Otras experiencias (Wortham, et al., 1999; Nurmela et al. 1999; Haythornthwaite, 1999; Lipponen et al., 2001; Cho et al., 2002)
– Confirman el interés del enfoque– Coinciden en el tipo de técnicas
Cuestiones no resueltas– Integración de diferentes fuentes de datos– Acercamiento de las técnicas a personas no
expertas– Complementar SNA con otras formas de análisis
2. Apoyo computacional a la evaluación
![Page 19: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/19.jpg)
20
Índice
1. Introducción
2. Apoyo computacional a la evaluación
3. Método mixto para la evaluación en CSCL
4. Representación de la acción colaborativa
5. Trabajo experimental
6. Conclusiones
![Page 20: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/20.jpg)
21
Objetivos
Evaluación Formativa en CSCL
Aprendizaje Situado
• Métodos cualitativos • Herramientas • Aspectos participativos
DELFOS
Propuestas evaluación
Revisar aproximaciones y
proponer soluciones
Método deevaluación
Modelo de representación
de la interacción
Método mixto deevaluación de aspectos
participativos
![Page 21: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/21.jpg)
22
Método Mixto Evaluación
Integrar contexto
Estudio de situaciones reales
Visión de los participantes
Nuevas formas de interacción
Sistemas de visualización
Aspectos participativos
Procesos eficientes y escalables
3. Método mixto para la evaluación en CSCL
Requisitos
– Fuentes etnográficas– Análisis cualitativo
– Datos registrados automáticamente
– Análisis cuantitativo– Herramientas
– Análisis de Redes Sociales
![Page 22: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/22.jpg)
23
Grupos discusión
CuestionariosObserva-ciones
Datos automat.
Fases
Fase final
Durante la
experiencia
Prepara-ción
Modos de
análisis
SNA
Eventosautom
Socio-metrías
Socio-metrías
Interacc. cara a cara
Análisis Cualitat.
Esquema de categorías
Análisis Cuantit.
Fuentes de datos
3. Método mixto para la evaluación en CSCL
Esquema general de evaluación
• Después de hitos significativos
• Críticas al proyecto
Final
Conceptosprevios
(individual)Inicial
Después de hitos
Trabajodiario
Final
Conclusiones.
![Page 23: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/23.jpg)
24
Observaciones
SAMSA
Profesor /evaluador
Parámetrosde configuración
Fichero DL (formato UCINET)
Herramientade
colaboración
QUEST
obs2xml
Participantes
Respuestascuestionarios
Interacciones através del ordenador
el2xml
Registro de eventos
Mapasde interacción
NUD*IST
Nuevascategorías
Herr. educativa
Herr. y módulode evaluación
Fichero
PAQUETEESTADÍSTICO
Categorías
3. Método mixto para la evaluación en CSCL
Índicesestadísticos
Apoyo computacional
Índices SNA y sociogramas
Respuestas a sociometrías
Registro de eventos
Mapasde interacción
Parámetrosde configuración
Respuestascuestionarios
Definición decuestionarios
ObservacionesNuevas
categoríasRespuestastextuales (RTF)
Respuestasnuméricas
Respuestas a sociometrías
Respuestasnuméricas
Respuestastextuales (RTF)
Respuestascuestionarios
Definición decuestionarios
Acciones
![Page 24: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/24.jpg)
25
3. Método mixto para la evaluación en CSCL
Discusión
Aportaciones originales– No restringido a entornos a distancia– Estudio de aspectos participativos– Herramientas de análisis de interacciones
Validación a través del trabajo experimental
![Page 25: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/25.jpg)
26
Índice
1. Introducción
2. Apoyo computacional a la evaluación
3. Método mixto para la evaluación en CSCL
4. Representación de la acción colaborativa
5. Trabajo experimental
6. Conclusiones y líneas abiertas
![Page 26: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/26.jpg)
27
Objetivos
Evaluación Formativa en CSCL
Aprendizaje Situado
• Métodos cualitativos • Herramientas • Aspectos participativos
DELFOS
Propuestas de modelado de de la acción
Revisar aproximaciones y
proponer soluciones
Método deevaluación
Modelo de representación
de la interacción
Método mixto deevaluación de aspectos
participativos
Modelo de la acción
colaborativa en XML
![Page 27: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/27.jpg)
28
3. Representación de la acción colaborativa
Acción vs interacción
Propuesta de definición de interacción:
– Supera problema del silencio– Síncrona / asíncrona; potencial / efectiva– Acción en la base de toda interacción.
Requisitos representación:– Representación genérica, flexible, e interoperable– Modelado del contexto
Acción que afecta, o puede afectar, al proceso de colaboración.
Una acción es interacción si puede ser percibida por al menos
un miembro del grupo o comunidad distinto del emisor
Acción que afecta, o puede afectar, al proceso de colaboración.
Una acción es interacción si puede ser percibida por al menos
un miembro del grupo o comunidad distinto del emisor
![Page 28: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/28.jpg)
29
3. Representación de la acción colaborativa
Propuestas
Análisis de la colaboración basado en la acción (Mühlenbrock, 2000)
– Enfoque inductivo (abajo-arriba)– Flexible– No genérica: sólo acciones sobre interfaces
estructuradas Ontologías CSCL (Inaba et al., 2001), (Barros et al., 2002)
– Enfoque deductivo (arriba-abajo)– Genérica– No flexible: influido por la perspectiva teórica
![Page 29: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/29.jpg)
30
Acciones de losparticipantes
Contexto
Modelo Acción
Modelo Acción
DELFOS(Situación,
Actividad, Sesión)
DELFOS(Situación,
Actividad, Sesión)
Tipos genéricos de acción en
CSCL
Tipos genéricos de acción en
CSCL
Representación: Interoperabilidad
– XML
Flexibilidad– DTD (Definición de Tipo de Documento)
Funciones genéricas
Características de la propuesta
3. Representación de la acción colaborativa
![Page 30: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/30.jpg)
31
3. Representación de la acción colaborativa
Contexto
Notación:Bosak et al., 2000
![Page 31: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/31.jpg)
32
3. Representación de la acción colaborativa
Tipos de acción
![Page 32: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/32.jpg)
33
3. Representación de la acción colaborativa
Discusión
Compromiso flexibilidad vs. estructuración Ventajas y limitaciones de XML
– Lenguaje estándar– Mayores posibilidades de aplicación de la
propuesta – Disponibilidad tecnológica– Sólo nivel sintáctico
• interpretación depende de cada desarrollador o usuario• mayor flexibilidad (potencial ventaja)
Validación mediante trabajo experimental
![Page 33: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/33.jpg)
34
Índice
1. Introducción
2. Apoyo computacional a la evaluación
3. Método mixto para la evaluación en CSCL
4. Representación de la acción colaborativa
5. Trabajo experimental
6. Conclusiones y líneas abiertas
![Page 34: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/34.jpg)
35
Planteamiento general
5. Trabajo experimental
AO-UVA IAG-UOC Puzle
Experiencia Real Real Experimental
Nº alumnos >100 >130 2-4
Int. tiempo Asíncrona Asíncrona Síncrona
Int.espacio Semi-presencial A distancia Presencial
Instrument. Caja negra Caja negra Caja blanca
Escenario Tarea abierta Tarea abierta Tarea cerrada
Objetivo Aplicación y refinamiento de propuestas
Caso externo Evaluación parcial SNA
Caja blanca SNA en entorno restringido
![Page 35: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/35.jpg)
36
Planteamiento general
5. Trabajo experimental
AO-UVA IAG-UOC Puzle
Experiencia Real Real Experimental
Nº alumnos >100 >130 2-4
Int. tiempo Asíncrona Asíncrona Síncrona
Int.espacio Semi-presencial A distancia Presencial
Instrument. Caja negra Caja negra Caja blanca
Escenario Tarea abierta Tarea abierta Tarea cerrada
Objetivo Aplicación y refinamiento de propuestas
Caso externo Evaluación parcial SNA
Caja blanca SNA en entorno restringido
![Page 36: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/36.jpg)
37
AO-UVA IAG-UOC Puzle
Experiencia Real Real Experimental
Nº alumnos >100 >130 2-4
Int. tiempo Asíncrona Asíncrona Síncrona
Int.espacio Semi-presencial A distancia Presencial
Instrument. Caja negra Caja negra Caja blanca
Escenario Tarea abierta Tarea abierta Tarea cerrada
Objetivo Aplicación y refinamiento de propuestas
Caso externo Evaluación parcial SNA
Caja blanca SNA en entorno restringido
Planteamiento general
5. Trabajo experimental
![Page 37: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/37.jpg)
38
Planteamiento general
5. Trabajo experimental
AO-UVA IAG-UOC Puzle
Experiencia Real Real Experimental
Nº alumnos >100 >130 2-4
Int. tiempo Asíncrona Asíncrona Síncrona
Int.espacio Semi-presenc. A distancia Presencial
Instrument. Caja negra Caja negra Caja blanca
Escenario Tarea abierta Tarea abierta Tarea cerrada
Objetivo Aplicación y refinamiento de propuestas
Caso externo Evaluación a posteriori Parcial
Caja blanca SNA en entorno restringido
![Page 38: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/38.jpg)
39
AO – UVAResultados
Diseño educativo:– Curso Proyecto. – 5 “clientes” o casos de estudio – Niveles de grupo:
• Parejas – colaboran todo el curso• Clientes – parejas asignadas a uno de los 5 casos de estudio
– Niveles de colaboración a lo largo del curso:• 3 subproyectos – nivel de parejas• Proyecto final – nivel de clientes
– Herramienta CSCL: BSCW (Basic Support for Cooperative Work) (Appelt, 1999)
Objetivo de evaluación:Estudiar cómo evolucionan las ideas y actitudes ante la colaboración de los alumnos, y cómo los recursos utilizados influyen en esta evolución.
5. Trabajo experimental
![Page 39: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/39.jpg)
40
Grupos discusión
CuestionariosObserva-ciones
Datos automat.
Fases
Fase final
Durante la
experiencia
Prepara-ción
Modos de
análisis
SNA
EventosBSCW
Socio-metrías
Socio-metrías
Interacc. cara a cara
Análisis Cualitat.
Esquema de categorías
Conclusiones.
Análisis Cuantit.
Fuentes de datos
5. Trabajo experimentalAO – UVADiseño de evaluación
• Después de subpr.• Críticas al proyecto
Final
Conceptosprevios
(individual)Inicial
Después subpr.
Trabajodiario
Final
Colaboración como compartición de
información
Colaboración como compartición de
información
![Page 40: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/40.jpg)
41
AO – UVAResultados
Análisis cuantitativo– Valoración ambiente en clase (encuesta Inicial y
Final)– Mejora de la percepción del ambiente en clase
( c ) ( d )
E n s e ñ a n z aM ó v i lB o l s aI m a g e nB i b l i o t e c a
Ambiente Inicial Final
Muy competitivo 11,7% 6,8%
Competitivo 30,6% 18,2%
Indiferente 10,6% 9,1%
Colab. sólo con amigos 30,6% 40,9%
Colaboración general 16,5% 25,0%
5. Trabajo experimental
![Page 41: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/41.jpg)
42
Redes de relaciones indirectas a través de BSCW
AO – UVAResultados
( c ) ( d )
E n s e ñ a n z aM ó v i lB o l s aI m a g e nB i b l i o t e c a
Subproyecto 2
Proyecto Final
=17,54% = 35,48%
CD=87,03% CD= 68,21%
![Page 42: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/42.jpg)
43
AO – UVAResultados
Análisis cualitativo– Compartir Información – BSCW – negativo:
“Claro, si compartiéramos todo todos, todos haríamos el mismo trabajo, todos tendríamos la misma nota”
“Como nunca hemos encontrado ... [nada interesante]”
“En mi caso ha sido fundamental no disponer de Internet en casa”
– Compartir Información – BSCW – positivo:“Utilizamos BSCW de manera que la persona encargada de
ponerlo todo junto lo pudiera hacer en casa, y entonces el día siguiente quedábamos [...]”
“BSCW: es un método muy útil para compartir información, al que siempre puedes volver en el momento que convenga. Por mi parte ha sido más útil para la elaboración del informe final”
( c ) ( d )
E n s e ñ a n z aM ó v i lB o l s aI m a g e nB i b l i o t e c a
5. Trabajo experimental
![Page 43: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/43.jpg)
44
AO – UVAResultados
Conclusiones– Resistencias culturales y prácticas para colaborar– El método educativo “obligó’’ a desarrollar mejores
prácticas colaborativas– Mejora de la percepción del ambiente de la clase
Correcciones formativas– Aumentar tiempo de trabajo en grupo grande
Validación de propuestas– Relevancia y complementariedad de las fuentes
de datos y métodos de análisis
5. Trabajo experimental
![Page 44: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/44.jpg)
45
Discusión general
Modelo Capaz de representar los diferentes tipos de acción
considerados Nivel apropiado para el análisis computacional (SAMSA)
Método Relevancia de las fuentes de datos y modos de análisis Necesidad de participación de profesores y alumnos en el
proceso Opinión positiva de profesores externos Método mixto vs. cuatitativo puro
Eficiencia, Complementariedad, Triangulación Más complejo
Desarrollo de guías para el diseño de experiencias de evaluación
5. Trabajo experimental
![Page 45: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/45.jpg)
46
Herramientas:– Aumento general de la eficiencia– SAMSA: apoyo al análisis de interacciones
– Quest y Nudist: gestión de los procesos de evaluación cualitativa
SNAComplementariedad de índices y sociogramasFlexibilidad– Posibilidades de uso de SNA en andamiaje
Discusión general
Trans Efic Esc Indep Conf Abs Mod Inter
5. Trabajo experimental
![Page 46: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/46.jpg)
47
5. Trabajo experimentalDiscusión general
Instrumentación de aplicaciones– Patrones de diseño
• Filtros (caja negra)• Envolturas (caja blanca)
– Componentes software y patrones Método y dimensión espacio-temporal
– Adaptable a situaciones presenciales, a distancia y semi-presenciales
– Adaptable al estudio de interacción síncrona y asíncrona Método y escenario de colaboración
– Necesidad de un mínimo de complejidad en las posibilidades de interacción social
– Tamaño mínimo de grupo: 3-4 personas
![Page 47: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/47.jpg)
48
Contribuciones
Objetivos
Evaluación Formativa en CSCL
Aprendizaje Situado
• Métodos cualitativos • Herramientas • Aspectos participativos
DELFOS
Sistematización- Herramientas- Concept. acción- Aprox. Evaluac.
Método mixto eval. de aspectos
participativos
Modelo de acción colaborativa
En XML
Caso AO – UVA Caso IAG- UOCPuzle
Colaborativo
Revisar aproximaciones y
proponer soluciones
Método deevaluación
Representación de la interacción
![Page 48: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/48.jpg)
49
Índice
1. Introducción
2. Apoyo computacional a la evaluación
3. Método mixto para la evaluación en CSCL
4. Representación de la acción colaborativa
5. Trabajo experimental
6. Conclusiones y líneas abiertas
6. Conclusiones y líneas abiertas
![Page 49: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/49.jpg)
50
Conclusiones
Objetivo 1: Revisar aproximaciones a la evaluación y proponer soluciones
Contribuciones (I)– Evaluación educativa: Aprendizaje situado como
síntesis de otros enfoques al estudio del aprendizaje
– Paradigma interpretativo– Aspectos participativos del aprendizaje – Acción como unidad de análisis– Necesidad de métodos cualitativos de análisis
6. Conclusiones y líneas abiertas
![Page 50: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/50.jpg)
51
Conclusiones
Objetivo 1: Revisar aproximaciones a la evaluación y proponer soluciones
Contribuciones (II)2. Modelado computacional de la acción colaborativa
• Criterios operativos para la relación entre acción e interacción
• Aproximación inductiva-deductiva al modelo de la acción
3. Revisión de los sistemas de apoyo al análisis de la interacción• Ciclo de gestión de la colaboración extendido
• Descripción del espacio de diseño con dimensiones originales
• Revisión sistemática de las propuestas existentes
6. Conclusiones y líneas abiertas
![Page 51: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/51.jpg)
52
Conclusiones
Objetivo 2: Describir un método de evaluación formativa que integre herramientas con las demandas del aprendizaje situado
Contribuciones:– Propuesta y descripción de un método mixto para la
evaluación de aspectos participativos del aprendizaje en CSCL
– Identificación y uso de medidas y técnicas de SNA – Desarrollo de herramientas de apoyo a la evaluación– Refinamiento de DELFOS
• Mejora del método de evaluación formativa para su uso en el proceso de diseño participativo
– Validación a través de diferentes experiencias de evaluación
6. Conclusiones y líneas abiertas
![Page 52: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/52.jpg)
53
Conclusiones
Objetivo 3: Describir un modelo de representación de la interacción colaborativa para el apoyo al análisis
Contribuciones:– Modelo de la acción: contexto y tipos genéricos de acción– Representación del modelo de la acción en XML – Refinamiento de DELFOS
• Modelo de la acción colaborativa
• Propuestas más eficientes para la recogida y análisis de datos
– Validación mediante las experiencias de evaluación
6. Conclusiones y líneas abiertas
![Page 53: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/53.jpg)
54
Conclusiones
Objetivo 4: Validación experimental de las propuestas
Contribuciones:– Evaluación AO-UVA, IAG-UOC, Puzle – Refinamiento de método y modelo– Identificación de líneas de trabajo futuro
6. Conclusiones y líneas abiertas
![Page 54: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/54.jpg)
55
Líneas abiertas
Modelo– Refinar el modelo mediante la aplicación a nuevos
entornos– Extender la representación con lenguajes que
proporcionen semántica– Aplicación del modelo en el diseño de
componentes software para CSCL
6. Conclusiones y líneas abiertas
![Page 55: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/55.jpg)
56
Líneas abiertas
Método– Refinamiento mediante aplicación a nuevas experiencias– Integración de otras perspectivas de evaluación
• Construcción de conocimiento
– Análisis de redes sociales• Exploración de medidas y técnicas adicionales• Aplicación a sistemas orientados al andamiaje
– Aumento de eficiencia y facilidad de uso• Mayor automatización del análisis de redes (Villacorta, 03)• Explotación de datos representados en XML con otras
herramientas (Ibáñez, 03)
– Reflexión sobre las contribuciones de las ideas planteadas a la Ingeniería del Software en general
– Contraste con otras aproximaciones metodológicas: investigación-acción
6. Conclusiones y líneas abiertas
![Page 56: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/56.jpg)
57
Publicaciones
15 comunicaciones en Congresos y Workshops especializados, un capítulo de libro, y un artículo de revista más otro en proceso de revisión.
Ciclo de gestión de la colaboración extendido– Capítulo en “Computers and Education: Towards a lifelong
learning society”, Kluwer (2003)– IJAIED (enviado)
Modelo– CSCL 03
Método– Aplicación del método al caso AO – CSCL 02– Métodos Investigación en Ing. Sw. – MIFISIS 02– Visión global: Computers & Education (2003)
6. Conclusiones
![Page 57: Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID](https://reader036.vdocumento.com/reader036/viewer/2022062323/5665b4a71a28abb57c92ee24/html5/thumbnails/57.jpg)
Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL
Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo
UNIVERSIDAD DE VALLADOLIDDEPARTAMENTO DE INFORMÁTICA
Grupo EMIC
Tesis Doctoral
Alejandra Martínez Monés
Mayo 2003