evaluacion de mecs panqueva
DESCRIPTION
CAPÍTULO 10 La evaluación, entendida como obtención de información para toma de decisiones (PDQ70) , es aplicable a todas y cada una de las etapas de la vida de un sistema. La descripción anterior es un ejemplo de este tipo de evaluación, la cual se aplica a cada aspecto de un sistema: su contexto, insumos, proceso y productos. Lo anterior no es una sorpresa ni una necedad. Es simplemente evaluación sistemática. proceso contexto Permite estructurar el sistema Evaluación de insumosTRANSCRIPT
Tomado de: Ingeniería de software educativo
Alvaro H. Galvis Panqueva Ediciones Uniandes 1992
CAPÍTULO 10
EVALUACIÓN DE MECs POR JUICIO DE EXPERTOS
LA EVALUACIÓN SISTEMATICA
La evaluación de software educativo es una actividad permanente a lo largo del ciclo del
desarrollo del mismo. En primera instancia, la determinación de necesidades de apoyo
computacional resulta de una evaluación de los problemas educativos que se podrían
atender con materiales computarizados. Por otra parte, hay necesidad de evaluar los
materiales existentes que aparentemente responden a las necesidades de instrucción
detectadas, a fin de decidirse si se adquieren, si se amerita preparar un nuevo material o
si se debe adecuar el existente. Así mismo, cuando se elabora el diseño de un MEC es
necesario juzgar la calidad de sus componentes y de las relaciones que los atan: el
diseño debe favorecer el logro de lo que se busca , en la forma mas eficiente.. En forma
semejante, durante el desarrollo del software es necesario evaluar la calidad de la
implementación del diseño, tanto para los productos parciales como finales. Por
supuesto, cuando el producto está completo su evaluación es insoslayable antes de darlo
para uso público.
Lo anterior no es una sorpresa ni una necedad. Es simplemente evaluación sistemática.
La evaluación, entendida como obtención de información para toma de decisiones
(PDQ70) , es aplicable a todas y cada una de las etapas de la vida de un sistema. La
descripción anterior es un ejemplo de este tipo de evaluación, la cual se aplica a cada
aspecto de un sistema: su contexto, insumos, proceso y productos.
En el caso de una aplicación computacional, tiene sus ventajas seguir este enfoque
sistémico: es garantía de relevancia y pertinencia en lo que se busca, favorece el uso
racional de los recursos, permite eficiencia y eficacia en el desarrollo. Estos atributos se
desprenden de los tipos de evaluación que se aplican, como se ilustran en la figura 10.1.
Evaluación de contexto
Permite definir objetivos
relevantes y prioritarios
Evaluación de productos
Permite verificar logro de
objetivos y ajustar el
siguiente ciclo.
Evaluación de insumos
Permite estructurar el
sistema
Evaluación de proceso
Permite reorientar el
desarrollo del sistema
proceso
contexto
Modelo CIPP de un sistema
(contexto, insumos, proceso, productos)
insumo
o
producto
Figura 10.1 Tipos de evaluación y decisiones asociadas. (PDK70)
La evaluación por juicio de expertos se puede aplicar a distintos tipos y momentos de la
evaluación de un MEC. Sin embargo, no es la única fuente y manera de evaluar un
material. Por este motivo es importante establecer qué es lo que interesa evaluar en cada
etapa y qué elementos cabe evaluar por arte de cada una de las diferentes fuentes (p.ej.
expertos, usuarios del material). A la definición de este marco comprensivo se dedicará
la siguiente sección del capítulo. La tercera sección tratará sobre la operacionalización
del diseño evaluativo, mediante juicio de expertos, integrada al proceso de producción o
efectuada sobre el producto de esta.
EVALUACIÓN SISTEMÁTICA DE MECs.
A diferencia de la evaluación subjetiva, en la cual cada cual juzga aquello que se evalúa
usando sus propios puntos de vista y según como le parece, en la evaluación sistemática
de software es necesario usar criterios preestablecidos que sean relevantes y
consistentes.
Por otra parte, para cada fuente de información hay necesidad de crear instrumentos de
evaluación valederos y que hagan operativos tales criterios; lo valedero tiene que ver
con que la fuente tenga autoridad para informar o emitir conceptos sobre lo que se
indague.
Así mismo, es imprescindible recolectar, procesar y analizar la información en forma
eficiente, práctica, válida y confiable, tomando en cuenta los criterios definidos para
valorar el estado de cada variable.
COMPONENTES, VARIABLES, Y CRITERIOS DE EVALUACIÓN.
Usar criterios preestablecidos tiene implícitos varios requerimientos. El primero de ellos
es la necesidad de hacer explícito un conjunto de variables que permitan evaluar aquello
que interesa. También conlleva otro elemento; debe buscarse fundamento sólido a la
definición de criterios de valoración asociados a cada variable en aras de asegurar
consistencia en la evaluación.
La figura 10.2 muestra estas ideas en forma operacional. Los procesos se encierran entre
cuadrados y las relaciones con otros procesos posteriores se apuntan con letras
encerradas entre círculos.
Caracterizar
el sistema
que se va a
evaluar
Definir los
componentes
que se van a
evaluar
Definir
variables e
identificadores
para cada
componente
Definir criterios
de valoración
para cada
variable
a
Ω
Figura 10.2 Paso 1: Definir variables, componentes y criterios de evaluación
Caracterización del sistema que se va a evaluar
Esta es la base del proceso. En el caso que nos interesa hablamos de MECs, materiales
educativos computarizados, orientados a satisfacer necesidades educativas prioritarias,
que cumplan un papel que otros medios de instrucción no están en capacidad de
desempeñar, que hagan el mejor uso del potencial educativo del computador (dentro de
las posibilidades que ofrezca la configuración disponible) y que sean viables de usar por
parte de los destinatarios del paquete.
Definición de componentes que se van a evaluar
Se llama componente a un aspecto importante que no se puede medir directamente a
través de una variable sino de un grupo coherente de estas.
En este caso debemos considerar tres componentes: de calidad educativa, la calidad
computacional y la viabilidad del uso del material.
Especificación de variables por componente.
Al desagregar un componente en las variables que indican, o permiten conocer, su
estado se especifica lo que significa, e incluye, cada una de estas variables agregadas.
Para el caso que nos interesa, la primera columna de las tablas 10.1, 110.2, y 10.3
específica las variables en que se desagrega cada componente.
Información de retorno
Tabla 10.1 Desagregación del componente CALIDAD EDUCACIONAL
Variables
Indicadores y criterios
1.- Aprendizaje del alumno Nivel de logro superior a un X% (nivel
mínimo en que se desea el logro)
2.- Opinión y actitud del alumno Positiva frente al estudio y frente al uso del
paquete
3.- Objetivos que persigue el material Se deben apoyar prioritariamente.
Nivel de dificultad apropiado para la
necesidad educativa detectada
4.- Función educativa que cumple el tipo
de MEC
No hay mejor medio de enseñanza
aprendizaje
Permite subsanar las necesidades
educativas detectadas
5.- Función administrativa que cumple el
MEC
Recopila información relevante para el
profesor
6.- Contenido – o micromundo de base
para descubrirlo-
Coherente y suficiente para lograr los
objetivos propuestos
7.- Ejemplos y ejercicios – o situaciones
excitantes – para resolver
Relevantes y congruentes con el contenido
y los objetivos
Suficiente para promover el logro de los
objetivos
Variados en forma y/o contenidos
8.- Reorientación sobre el desempeño Retroinformación (implícita o explícita)
relevante oportuna y amigable
9.- Estrategia de instrucción
Motivación y refuerzo
Secuencia y su control
Estilo de pensamiento
Coherente con la función educativa que
debe cumplir el material
Consistente con la didáctica especial o las
investigaciones aplicables
Coherente con la estructura de contenidos
y características del tema
Adecuada a las características de los
usuarios
10.- Forma de presentación
Diseño de pantallazos
Uso de gráficos y sonido
Amena.
Adecuada para la audiencia y contenido en
cuanto a mensajes, ilustraciones así como
en densidad de información.
Adecuado uso de apoyo visual y sonoro.
Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86)
Tabla 10.2 Desagregación del componente CALIDAD COMPUTACIONAL
VARIABLES INDICADORES Y CRITERIOS
11.- Funciones Para cada tipo de usuario
(alumnos/profesor)
Eficaz cumplimiento de funciones
Con ayudas para aprovechar funciones al
necesitarlas
Permite ajustes locales/usuario
12.- Interfaz programa - usuario Sencillez operativa. Ritmo de avance
controlable
Consistencia a lo largo del programa.
Posibilidad de abandono y reinicio.
Claridad de mensajes. Elástica captura de
respuesta.
13.- Tiempos de respuesta y de despliegue
de pantallas
Eficientes.
Adecuada a las características de los
destinatarios
14.- Manual del usuario Claro y suficiente en: Descripción del
propósito, instrucciones de iniciación,
instrucciones para uso de opciones,
mensajes de error e instrucciones de
corrección.
15.- Manual de mantenimiento Claro y suficiente en: macro estructura,
macro algoritmos, documentación del
diseño físico de datos
16.- Programación Estructurada, legible y documentada.
17.- Estructura de informática Eficiente para cumplir las funciones
propuestas
Eficientes con alto volumen de datos
18.- Uso de recursos computacionales Maximiza el uso de recursos disponibles
del equipo.
Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86
Tabla 10.3 Desagregación del componente VIABILIDAD DEL MATERIAL
VARIABLES INDICADORES Y CRITERIOS
19.-Requerimientos del software Sistema operacional, compilador, lenguajes
manejadores (gráficos, de periféricos, de
archivos est.) viables de usar
20.- Requerimientos del hardware Memoria principal y secundaria, tipo de
pantalla, periféricos para interfaz con
usuarios y otros equipos, viables de
disponer
21.- Requerimientos locativos Puestos de trabajo, condiciones de
aislamiento sonoro y/o espacial, instalación
eléctrica, viables de disponer
22.- Requerimientos de personal Personal para apoyo u orientación a
usuarios o para administrar paquete,
viables de conseguir y vincular
2.- Requerimientos financieros Costos de inversión y costos de operación
viables de atender
Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86
Determinación de indicadores y definición de criterios.
Los indicadores son hechos o fenómenos que permiten observar el estado de una
variable. Los criterios son estándares o niveles mínimos aceptables que sirven para
saber si la variable está en estado adecuado. Se definen consultando lo que la
investigación y la práctica muestran como evidencia de que el estado de cada variable es
el deseado.
Para el caso que nos interesa, la segunda columna de las tablas 10.1, 10.2 y 10.3
especifica los indicadores y criterios asociados a cada variable.
FUENTES, INSTRUMENTOS Y PROCEDIMIENTOS DE EVALUACIÓN.
Una vez que se ha identificado aquello que se quiere evaluar, es necesario determinar a
partir de que fuentes, con qué y como se realizará la recolección de la información. El
“con qué” implica preparar instrumentos y definir procedimientos que permitan recabar,
de cada fuente, la información que tiene autoridad para brindar.
Para la definición y preparación de instrumentos de recolección de información es clave
la identificación de fuentes que permitan recolectar información consistente de cada
variable. Los instrumentos deben ser, tan sencillos y claros como se pueda, un medio
para recolectar y sistematizar la información que interesa de cada fuente.
El gráfico siguiente muestra la operacionalización de estas ideas. Como se observa el
punto de partida es la definición de variables resultantes del paso 1 anterior (apuntador
a) y el resultado de esto en un conjunto de instrumentos que van a ser usados luego en la
redacción de la información. (Apuntador B)
Fuentes para obtener información
Son aquellas personas, documentos o medios a partir de los cuales se puede establecer
el estado de una variable. En el caso que nos interesa cabe considerar: especialistas en
contenido, en metodología y en informática, cada uno encargado de velar, desde su
perspectiva, por la calidad educativa y computacional del material. Así mismo, el
administrador del sistema de instrucción (profesor) y el usuario final (alumno) están
llamados a participar en la evaluación.
Momentos en que se deberá evaluar el MEC
Puesto que se está siguiendo un enfoque sistemático, estos son: antes, durante y al final
de su producción: en cada una de estas instancias la evaluación sirve para tomar
decisiones: efectuar ajustes o seguir adelante.
Cuadros de balanceo de instrumentos por fuente de información.
Define lo que en cada momento y a partir de cada fuente se debe evaluar. Se formula
mediante una matriz cuyo contenido son las variables que se van a evaluar por instancia
y fuente. En el caso que nos interesa el cuadro de balanceo de instrumentos de
evaluaciones se expresa en la tabla 10.4
Identificar
fuentes y
momentos para
recolectar la
información
Establecer
cuadro de
balanceo por
instrumento
Confeccionar
y probar
instrumento
Definir
procedimientos
Recolección
Información
Información de retorno
Tabla 10.4 Cuadro de balanceo de instrumentos de evaluación por fuente de
información
Momentos para evaluación Fuentes de información para la evaluación del software
E.C. E.M. E.I. A.S. AT/AR
Antes del desarrollo
(análisis y diseño)
3, 4 y 5 11, 16, 17 20, 21
3, 6, 7 8, 9 18, 19 22 3
4, 5, 8, 9 6, 7, 11 4, 5, 9
20, 21 20, 21
Durante y al final del
desarrollo
3 11, 12, 13
6, 7, 10 8, 9, 10 14 a 17 2
4, 5, 8, 9 6, 7, 11,
12
10 3, 6, 7, 8
9, 11, 12
Como producto terminado
3 3 a 5 14 a 17 20,21 1 y 2
6, 7, 10 8 a 13 18 y 19 22 3
4, 5, 8, 9 6, 7 10 a 13 6 a 12
20, 21 20, 21 21
Convenciones: EC - Especialista EN contenidos (profesor de la especialidad)
EM - Especialista en metodología (diseñador instruccional)
EI - Especialista en informática (ingeniero en sistemas)
A.S. - Administrador del sistema de instrucción
A.T. - Alumno Típico de la población objetivo
A.R. - Alumno representativo de la población objetivo
Números en resaltado - Variables sobre los que evalúa con propiedad
Número en normal - Variables sobre los que podría opinar
Instrumentos de evaluación
A partir de las especificaciones del cuadro de balanceo se preparan instrumentos de
evaluación para cada una de las fuentes que se desea consultar.
En el caso de nuestro interés, por ejemplo, para cada instancia del desarrollo del
material es posible construir instrumentos para las fuentes identificadas, elaborando
ítem a partir de lo que se desea evaluar y de los criterios predefinidos.
En la segunda parte de este capítulo se puede observar un conjunto de instrumentos
construidos para evaluar MECs, mediante juicio de especialistas, en contenido,
metodología e informática Estos instrumentos son de utilidad al final del desarrollo de
un Mec, como base para determinar sus cualidades. Así mismo, son útiles cuando se
está analizando la conveniencia de adquirir software disponible comercialmente, al final
de la etapa de análisis.
Procedimientos para la recolección de información
Los instrumentos por sí solos no son suficientes para que su uso sea eficiente. Se
necesita especificar como se deben usar, es decir, establecer procedimientos para
recolección de información. A diferencia de las instrucciones para diligenciar los
instrumentos, en esta guía se indica al responsable de conducir la evaluación como
escoger los evaluadores, como organizar la evaluación, como recopilar la información y
qué hacer con esta una vez obtenida. Para el caso que hemos venido desarrollando
también se tiene una guía para usar el material, que es complementaria al diseño de los
instrumentos y a estos; aparece al inicio de la siguiente sección del capítulo.
RECOLECCIÓN, PROCEDIMIENTO Y ANÁLISIS DE INFORMACIÓN
Esta fase final del proceso de evaluación sistemática no es menor importante que las
anteriores. De la adecuada recolección, procesamiento y análisis de la información
dependen en buena medida la pertinencia y relevancia de las recomendaciones sobre lo
evaluado.
Figura 10.4 Paso 3: Recolectar información, analizar y valorar resultados, recomendar.
Recolección de información de fuentes seleccionadas
Los procedimientos e instrumentos diseñados se utilizan para la recolección de
información a partir de las fuentes seleccionadas.
En el caso que analizamos, evaluación durante el desarrollo del MECs, es necesario
recabar información de cuatro tipos de fuentes: expertos en contenido, en metodología y
en informática, cuyas observaciones permiten hacer un primer ajuste; y los alumnos
representativos, con los que se efectúan las pruebas uno a uno del material, cuyos
resultados sirven de base para ajustar los elementos de la interfaz.
Procesamiento de la información recolectada
La información recopilada de cada fuente se procesa dependiendo de lo que se planeó
obtener de la evaluación y usando los métodos que correspondan. Los datos numéricos
pueden recibir tratamiento estadístico, mientras que los descriptivos categorización por
grupos afines.
Recolectar
información de
fuentes
seleccionadas
Procesar
información
recolectada
Analizar y
valorar
información
Formular
recomendaciones
sobre lo
evaluado.
Análisis y valoración de la información.
El análisis de los resultados se lleva a cabo con base en los criterios definidos al final
del primer proceso. El analista debe confrontar la información que, sobre cada una de
las variables, arrojan las diferentes fuentes, establecer su consistencia y las posibles
razones de inconsistencia, cuando las haya. Así mismo, se debe tratar de hallar la razón
de las valoraciones, pues los ajustes que haya que realizar al material son, precisamente,
aplicables a las posibles causas de los problemas detectados.
Formulación de recomendaciones sobre lo evaluado.
La formulación de las recomendaciones es la conclusión lógica del paso anterior. El
analista debe sugerir que aspectos del material requieren ajustes, en función de los
estándares de calidad que aun no hayan sido alcanzados.
VALORACIÓN DE MECs USANDO JUICIOS DE EXPERTOS: GUÍA DE
TRABAJO
Este material presupone que usted maneja la terminología y los conceptos relativos al
diseño de un MEC y que sabe observar y describir un MEC. En caso de que no sea así,
revise el capítulo 2 antes de seguir adelante.
A continuación se ofrece una metodología que le ayudará a observar y valorar los
componentes educativo, de control, de comunicación y computacional en un MEC. Esto
le permitirá dar una opinión fundamentada sobre el material observado, desde su
perspectiva de especialista en contenido, metodología o informática.
La guía de trabajo consta de 3 partes:
1.- Procedimiento que se debe seguir en la evaluación de software por parte de
expertos.
2.- Formatos para evaluación detallada de MECs por parte de expertos (EMEC.02,
EMEC-03,, EMEC-04) , que van a ser usados diferenciadamente por los especialistas en
contenido, metodología e informática.
-EMEC-02: Evaluación DE MECs por especialista en contenido
-EMEC-03: Evaluación de MECs por especialista en metodología
-EMEC-04: Evaluación de MECs por especialista en informática
3.- Formato para sintetizar resultados y recomendaciones para la evaluación de MECs
por parte de expertos (EMEC-05),para ser utilizados por quien conduce la evaluación.
PROCEDIMIENTO PARA EVALUAR SOFTWARE POR EXPERTOS
La evaluación de MECs puede ser necesaria por una o dos razones: se está en el
desarrollo de un material educativo computarizado o se está analizando la conveniencia
de adquirir o usar un material que podría servir como apoyo al proceso de enseñanza
aprendizaje.
Si se está desarrollando un MEC, es indispensable llevarla a cabo. Se describe
plenamente el MEC, se observa y se evalúa usando el formato EMEC-XX y se formula
conclusiones y recomendaciones.
Si se está evaluando un MEC existente, para establecer en que medida puede satisfacer
una necesidad, conviene hacer una depuración inicial mediante “valoración
comprensiva” (véase formato EMEC-01 en el capítulo 2) en la que se fundamenta la
necesidad de evaluar el material. De ser conveniente, se procede como en el caso
anterior.
Inicia evaluación
por expertos
Se trata de un
Material que
está en
desarrollo?
Hacer evaluación
comprensiva y diligenciar
formato EMEC-01
Diligenciar el formato
DEMEC para descripción
de MECs
Evaluar software con expertos en
contenido, metodología e informática y
diligenciar formato EMEC-02,03 Y 04.
Sacar conclusiones y
recomendaciones sobre el
software evaluado,
formato EMEC-055
Fin evaluación por
expertos
No
Vale la pena
seguir adelante
con la
evaluación?
Sí
No
Figura 10.5 Procedimiento para la evaluación de MECs mediante juicio de expertos.
Según se observa en el procedimiento, es fundamental que el evaluador esté en el
contexto de los que se va a observar y evaluar. Sin conocer los detalles que sustentan la
necesidad del material, es imposible hacer una valoración bien fundamentada del MEC.
Por otra parte,, es conveniente que las recomendaciones finales surjan por algo más que
agregación de las recomendaciones parciales de los especialistas. Si bien ésta es
conveniente, quien conduce la evaluación debe analizar ,, junto con los expertos y el
grupo de diseño y producción, las recomendaciones de aquellos acerca del material
objeto de evaluación. Lograr un consenso es importante.
FORMATO EMEC-02
VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN
CONTENIDO
DATOS BÁSICOS
Título:______________________________________________________________
Autor:______________________________________________________________
Versión:_________________ Fecha de elaboración:_________________________
Evaluador:_______________ Fecha de evaluación:_________________________
INSTRUCCIONES
Utilice la página 2 de este instrumento para tomar nota de los aspectos que, en su
criterio, requieren ser ajustados, por defectos de contenido. Cuando termine de observar
el material, diligencie las páginas 3 y 4. En ellas debe dar su opinión como experto en
contenido, sobre cada uno de los aspectos de interés y,, a partir de esto, concluir sobre
los aspectos positivos y negativos del material desde su perspectiva.
Finalmente sintetice en los siguientes espacios su opinión y recomendaciones.
VALORACIÓN COMPRENSIVA.
Como experto en contenido considero que
la calidad del material, en lo que se refiere
a las siguientes variables, puede expresarse
como:
(encierre con un círculo la opción que
mejor refleje su opinión)
ESCALA PARA VALORACIÓN
Ex = excelente
Bu = bueno
Rg = regular
Ma = malo
Na = no aplicable
Objetivos que persigue Ex Bu Rg Ma Na
Contenido que incluye Ex Bu Rg Ma Na
Desarrollo del contenido Ex Bu Rg Ma Na
Micromundo (s) para exploración Ex Bu Rg Ma Na
Herramientas para trabajar en el
micromundo
Ex Bu Rg Ma Na
Ejemplos que ofrece Ex Bu Rg Ma Na
Ejercicios o retos que propone Ex Bu Rg Ma Na
Retroinformación que provee Ex Bu Rg Ma Na
RECOMENDACIÓN (Marque solo una de las siguientes opciones y sustente en la página 4)
1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4)
2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver
pag 4)
3.- No recomiendo usar el material (ver mis razones en la pag. 4)
Formato EMEC-02
A medida que observe el material, tome nota de los defectos que encuentre desde el
punto de vista del contenido o de su tratamiento didáctico (forma de enseñarlo). En la
columna de la izquierda anote el problema y ubicación, en la de la derecha posibles
soluciones.
Problemas de contenido
Posibles soluciones
Formato EMEC-02 Especialista en contenido:
Cuando haya terminado de observar el material educativo
computarizado, de su opinión sobre los indicadores de cada una de las
variables siguientes, encerrando en un círculo el nivel de la escala que
mejor refleje su opinión.
TA total acuerdo
AC acuerdo
DA desacuerdo
TD total desacuerdo
NA no aplica Objetivos Vale la pena apoyarlos con computador TA AC DA TD NA
Su nivel corresponde a lo que conviene apoyar con computador TA AC DA TD NA Contenido Es coherente con los objetivos que se buscan TA AC DA TD NA
Es suficiente para lograr los objetivos si se tienen las bases TA AC DA TD NA Es actualizado TA AC DA TD NA Tiene vigencia y validez científica , aun para casos extremos TA AC DA TD NA Es transferible o aplicable a variedad de contextos TA AC DA TD NA
Desarrollo
Del
contenido
La información es clara y concisa TA AC DA TD NA El contenido está lógicamente organizado TA AC DA TD NA Hay transición gradual entre las partes del contenido TA AC DA TD NA La estructura del contenido es evidente para el usuario TA AC DA TD NA El usuario siempre sabe donde está dentro del desarrollo del
contenido TA AC DA TD NA
Micro-
mundo Tiene significado para el aprendiz TA AC DA TD NA Es relevante para lo que se desea que el alumno aprenda TA AC DA TD NA Permite proponer y enfrentar situaciones existentes TA AC DA TD NA Permite proponer y enfrentar situaciones de variado nivel de
complejidad TA AC DA TD NA
Permite aprender a partir de la experiencia TA AC DA TD NA Herramientas Son sencillas de usar por parte del usuario aprendiz esperado TA AC DA TD NA
Son suficientes para enfrentar las situaciones problemáticas que
se persiguen TA AC DA TD NA
Cuenta con ayuda de utilización para quien lo requiera TA AC DA TD NA Son las precisas que se requieren para explorar o resolver los
retos TA AC DA TD NA
Ejemplos Son relevantes para ilustrar el contenido TA AC DA TD NA Ilustran aspectos clave del contenido TA AC DA TD NA Son suficientes para entender el contenido TA AC DA TD NA
Ejercicios
O
Retos
Permiten ejercitar y comprobar el dominio de cada uno de los
objetivos TA AC DA TD NA
Su formato corresponde al nivel de los objetivos propuestos TA AC DA TD NA Son variados y suficientes como para lograr el dominio de cada
objetivo TA AC DA TD NA
Permiten transferir y generalizar el contenido a diferentes
contextos TA AC DA TD NA
Retro-
información
Corresponde en cada caso a la actuación o respuesta del
usuario TA AC DA TD NA
Es suficiente para reorientar la solución de ejercicios o para
confirmar su logro TA AC DA TD NA
Es amigable, no amenazante, no agresiva TA AC DA TD NA Orienta con luz indirecta (da pistas, claves o explicaciones) TA AC DA TD NA
Formato EMEC-02
Aspectos Positivos en el contenido – mayores cualidades del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
____________
Aspectos negativos en el contenido – mayores debilidades del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
Uso potencial del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
Sugerencia para lograr que el MEC se pueda usar:
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
FORMTO EMEC –03
VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN
METODOLOGÍA
DATOS BÁSICOS
Títuuoo:_______________________________________________________________
___
Autor:_________________________________________________________________
___
Versión:__________________Fecha de elaboración:___________________________
Evaluador:_________________Fecha de
evaluación:_____________________________
INSTRUCCIONES
A medida que observe el material, utilice la página 2 del instrumento para tomar nota
de los aspectos que, a su criterio, requieren ser ajustados por defectos de metodología.
Cuando termine de observar el material, diligencie las páginas 3 y 4. En ellas debe dar
su opinión como experto en metodología, sobre cada uno de los aspectos de entrés y, a
partir de esto, concluir sobre los aspectos positivos y negativos del material, desde su
perspectiva.
Finalmente, sintetice en los siguientes espacios su opinión y sus recomendaciones.
VALORACIÓN COMPRENSIVA
Como experto en metodología considero
que la calidad del material, en lo que se
refiere a las siguientes variables,, puede
expresarse como:
(encierre en un circulo la opción que mejor
encierre su opinión.
Escala para valoración
Ex – excelente
Bu – Bueno
Rg – regular
Ma – malo
Na – no aplica
Objetivos que persigue Ex Bu Rg Ma Na
Sistema de motivación Ex Bu Rg Ma Na
Sistema de refuerzo Ex Bu Rg Ma Na
Actividad del usuario Ex Bu Rg Ma Na
Metodología utilizada Ex Bu Rg Ma Na
Reorientación para la actividad del usuario Ex Bu Rg Ma Na
Ayudas que ofrece Ex Bu Rg Ma Na
Interfaz de entrada Ex Bu Rg Ma Na
Interfaz de salida Ex Bu Rg Ma Na
RECOMENDACIÓN (marque solo una de las siguientes opciones y sustente en la
página 4)
1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4)
2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver
pag 4)
3.- No recomiendo usar el material (ver mis razones en la pag. 4)
Formato EMEC 03
A medida que observe el material, tome nota de los defectos que encuentra desde el
punto de vista metodológico o del tratamiento didáctico. En la columna de la izquierda
anote el problema y la ubicación, en la de la derecha posibles soluciones.
Problema de metodología
Posibles soluciones
Formato VSE – 03
Especialista EN metodología. Cuando haya terminado de observar el material educativo
computarizado, de su opinión sobre los indicadores de cada una
de las variables siguientes, encerrando en un círculo el nivel de la
escala que mejor refleje su opinión.
TA total acuerdo
AC acuerdo
DA desacuerdo
TD total desacuerdo
NA no aplica
Objetivos
Están claramente definidos o se interfieren
fácilmente del material TA AC DA TD NA
Son coherentes con la necesidad educativa que
es prioritaria atender TA AC DA TD NA
Motivación
Es apropiada a la audiencia a quien se dirige el
material TA AC DA TD NA
Mantiene el interés para lograr los objetivos
con un buen nivel de eficacia TA AC DA TD NA
Refuerzo
Corresponde a la expectativa creada en la
motivación TA AC DA TD NA
Está asociada a eventos claves en el logro de
los objetivos de instrucción TA AC DA TD NA
Actividad
usuario
La metodología favorece que el usuario
participe activamente en el aprendizaje TA AC DA TD NA
Se aprende mediante una relación dialogal
entre el usuario y el programa TA AC DA TD NA
Exige que el usuario piense, para resolver las
situaciones problemáticas TA AC DA TD NA
Metodología
Está fundamentada en una didáctica apropiada
para lo que se desea enseñar TA AC DA TD NA
Utiliza consistentemente los principios
metodológicos aplicables TA AC DA TD NA
Está muy bien escogida, considerando las
opciones aplicables al caso TA AC DA TD NA
Reorientación
Es amigable, no es amenazante ni agresiva TA AC DA TD NA Da pista, claves o explicaciones antes que
resolver el problema TA AC DA TD NA
Permite saber por qué se ha fallado en la
solución del problema TA AC DA TD NA
Ayudas
Permite consultar sobre la forma de uso del
paquete cando se requiere TA AC DA TD NA
Permite consultar la teoría o síntesis de ella
cuando se requiere TA AC DA TD NA
Da pistas metodológicas para resolver las
situaciones problemáticas TA AC DA TD NA
Interfaz de
entrada
La forma de usar los dispositivos de entrada es
sencilla para el usuario típico TA AC DA TD NA
Hay formas de consultar con facilidad los
comandos disponibles TA AC DA TD NA
Los comandos o mecanismos de control se
adecuan a las características del usuario TA AC DA TD NA
Hay consistencia en la forma como se piden las
respuestas a los usuarios TA AC DA TD NA
El programa entiende mensajes abiertos
semejantes al mensaje natural TA AC DA TD NA
Interfaz de
salida
La selección de dispositivos de salida soporta
bien las funciones de apoyo TA AC DA TD NA
Las pantallas NO están sobrecargadas de
información TA AC DA TD NA
La velocidad de desligues de mensajes es
apropiada para el usuario TA AC DA TD NA
El tamaño y tipo de letra permiten leer en
forma rápida y comprensivamente TA AC DA TD NA
Los gráficos y animaciones enriquecen lo que
se aprende TA AC DA TD NA
Las cortinas musicales son agradables TA AC DA TD NA Los efectos sonoros fijan la atención , destacan
ideas y aspectos claves TA AC DA TD NA
El vocabulario o terminología es adecuada para
el nivel cultural del usuario TA AC DA TD NA
Los símbolos o íconos utilizados corresponden
a los dela disciplina del material TA AC DA TD NA
FORMATO EMEC – 03
Aspectos Positivos en la metodología – mayores cualidades del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
____________
Aspectos negativos en la metodología – mayores debilidades del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
Uso potencial del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
Sugerencia para lograr que el MEC se pueda usar:
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
FORMATO EMEC 04
VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN
INFORMÁTICA
DATOS BÁSICOS
Títuuoo:_______________________________________________________________
___
Autor:_________________________________________________________________
___
Versión:__________________Fecha de elaboración:___________________________
Evaluador:_________________Fecha de
evaluación:_____________________________
INSTRUCCIONES
A medida que observe el material, utilice la página 2 del instrumento para tomar nota
de los aspectos que, a su criterio, requieren ser ajustados por defectos de computación.
Cuando termine de observar el material, diligencie las páginas 3 y 4. En ellas debe dar
su opinión como experto en metodología, sobre cada uno de los aspectos de interés y, a
partir de esto, concluir sobre los aspectos positivos y negativos del material, desde su
perspectiva.
Finalmente, sintetice en los siguientes espacios su opinión y sus recomendaciones.
VALORACIÓN COMPRENSIVA
Como experto en informática considero
que la calidad del material, en lo que se
refiere a las siguientes variables,, puede
expresarse como:
(encierre en un circulo la opción que mejor
encierre su opinión.
Escala para valoración
Ex – excelente
Bu – Bueno
Rg – regular
Ma – malo
Na – no aplica
Funciones de apoyo a los usuarios Ex Bu Rg Ma Na
Estructura lógica del material Ex Bu Rg Ma Na
Interfaz entre usuario y programa Ex Bu Rg Ma Na
Estructuras de datos Ex Bu Rg Ma Na
Requerimientos de uso del paquete Ex Bu Rg Ma Na
Mantenimiento del paquete Ex Bu Rg Ma Na
Documentación del paquete Ex Bu Rg Ma Na
RECOMENDACIÓN (marque solo una de las siguientes opciones y sustente en la
página 4)
1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4)
2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver
pag 4)
3.- No recomiendo usar el material (ver mis razones en la pag. 4)
Formato EMEC – 04
A medida que observe el material, tome nota de los defectos que encuentra desde el
punto de vista informático o del tratamiento didáctico. En la columna de la izquierda
anote el problema y la ubicación, en la de la derecha posibles soluciones.
Problema de computación
Posibles soluciones
Formato VSE – 04
Especialista en computación. Cuando haya terminado de observar el material educativo
computarizado, de su opinión sobre los indicadores de cada una de
las variables siguientes, encerrando en un círculo el nivel de la
escala que mejor refleje su opinión.
TA total acuerdo
AC acuerdo
DA desacuerdo
TD total desacuerdo
NA no aplica
Funciones de
apoyo
Las funciones de apoyo para el alumno son las
previstas en el diseño TA AC DA TD NA
Las funciones de apoyo para el alumno son
están bien implementadas TA AC DA TD NA
Las funciones de apoyo para el profesor son
las requeridas en el diseño TA AC DA TD NA
Las funciones de apoyo para el profesor son
están bien implementadas TA AC DA TD NA
Estructura
lógica
Atiende todas las funciones de apoyo
definidas para los usuarios TA AC DA TD NA
Es modular, muestra estructuración en el
trabajo de programación TA AC DA TD NA
Favorece un tratamiento eficiente a los
problemas de dimensión del programa TA AC DA TD NA
Hay separación entre la estructura lógica y los
datos del programa TA AC DA TD NA
Interfaz
Hace buen uso de las oportunidades que
brinda el equipo y el software TA AC DA TD NA
Es eficiente para el intercambio de
información entre usuario y programa TA AC DA TD NA
Tiene consistencia a todo lo largo del
programa TA AC DA TD NA
Estructuras de
datos
Aprovechan posibilidades que brinda la
herramienta y el equipo seleccionado TA AC DA TD NA
Permiten un manejo eficiente de los datos que
utiliza el programa TA AC DA TD NA
Tienen un límite de crecimiento apropiado a
los requerimientos de uso TA AC DA TD NA
Hay manejadores para consultar o adecuar el
contenido de los archivos TA AC DA TD NA
La organización y modo de acceso a los
archivos favorece eficiente ejecución TA AC DA TD NA
Requerimientos
de uso
Los requerimientos de memoria principal no
obstaculizan “correr” el programa TA AC DA TD NA
El tipo de pantalla y tarjeta gráfica
corresponden o se pueden emular TA AC DA TD NA
Las unidades de almacenamiento
corresponden o se pueden adecuar TA AC DA TD NA
El tamaño de los archivos de datos es
manejable en las unidades disponibles TA AC DA TD NA
El sistema operacional requerido está
disponible o se puede obtener TA AC DA TD NA
Están disponibles los sistemas de
comunicación en redes requeridos TA AC DA TD NA
Las interfaces con otros equipos están
disponibles, o se pueden obtener TA AC DA TD NA
Las utilidades o librerías requeridas están
disponibles, o se pueden obtener TA AC DA TD NA
El personal para dar soporte al uso del paquete
está disponible, o se puede conseguir TA AC DA TD NA
El contenido variables del programa se puede
editar mediante manejadores TA AC DA TD NA
Mantenimiento El código fuente está disponible TA AC DA TD NA La programación es estructurada y legible,,
está documentada en el programa TA AC DA TD NA
El manual es suficientemente completo para
dar mantenimiento al programa TA AC DA TD NA
Permite consultar la teoría o síntesis de ella
cuando se requiere TA AC DA TD NA
Da pistas metodológicas para resolver las
situaciones problemáticas TA AC DA TD NA
Hay formas de consultar con facilidad los
comandos disponibles TA AC DA TD NA
Los comandos o mecanismos de control se
adecuan a las características del usuario TA AC DA TD NA
Hay consistencia en la forma como se piden
las respuestas a los usuarios TA AC DA TD NA
El programa entiende mensajes abiertos
semejantes al mensaje natural TA AC DA TD NA
Las pantallas NO están sobrecargadas de
información TA AC DA TD NA
La velocidad de desligues de mensajes es
apropiada para el usuario TA AC DA TD NA
El tamaño y tipo de letra permiten leer en
forma rápida y comprensivamente TA AC DA TD NA
Los gráficos y animaciones enriquecen lo que
se aprende TA AC DA TD NA
Las cortinas musicales son agradables TA AC DA TD NA Los efectos sonoros fijan la atención ,
destacan ideas y aspectos claves TA AC DA TD NA
El vocabulario o terminología es adecuada
para el nivel cultural del usuario TA AC DA TD NA
Los símbolos o íconos utilizados
corresponden a los dela disciplina del material TA AC DA TD NA
Documentación
La documentación para el usuario – alumno es
clara y suficiente TA AC DA TD NA
La documentación para el usuario – profesor
es clara y suficiente TA AC DA TD NA
La documentación para mantenimiento es
clara y suficiente TA AC DA TD NA
FORMATO EMEC – 04
Aspectos Positivos en la implementación – mayores cualidades del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
____________
Aspectos negativos en la implementación – mayores debilidades del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
Uso potencial del MEC
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
Sugerencia para lograr que el MEC se pueda usar:
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_______________
Formato EMEC – 05
INFORME FINAL EVALUATIVO SOBRE UN MEC
Identificación
Título:
___________________________________________________________________
Autor:
___________________________________________________________________
Versión:________________ Fecha de
elaboración:________________________________
Distribuidor del MEC:
_______________________________________________________
Participantes en la evaluación
Expertos en contenido Fecha de evaluación
_____________________________
_________________________________
_____________________________
_________________________________
_____________________________
__________________________________
Expertos en metodología Fecha de evaluación
_____________________________
_________________________________
_____________________________
_________________________________
_____________________________
__________________________________
Expertos en informática Fecha de evaluación
_____________________________
_________________________________
_____________________________
_________________________________
_____________________________
__________________________________
Coordinador (es) de la evaluación
______________________________________________________________________
______________________________________________________________________
______
Síntesis de recomendaciones sobre el material (frecuencia)
Recomendaciones E. Contenido E. Metodología E. Informática Usarlo con ningún p poco
cambio
Usarlo solo si se ajusta
previamente
NO usarlo (ni adquirirlo)
Síntesis de opiniones sobre el material (frecuencia)
Expertos en contenido
excelente
Bueno
Regular
Malo
No aplica Objetivos que persigue Contenidos que incluye Desarrollo del contenido Micromundos para exploración Herramientas para el micromundo Ejemplos que ofrece Ejercicios que propone Retroinformación que provee
Expertos en metodología
excelente
Bueno
Regular
Malo
No aplica Objetivos que persigue Sistema de motivación Sistema de refuerzo Actividad del usuario Metodología utilizada Reorientación a actividad usuario Ayudas que ofrece Interfaz de entrada Interfaz de salida
Expertos en informática
excelente
Bueno
Regular
Malo
No aplica Funciones de apoyo a los estudiantes Estructura lógica del material Interfaz entre usuario y programa Requerimientos del paquete Mantenimiento del paquete documentación del paquete
Síntesis de aspectos positivos
Perspectiva de contenido
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________
Perspectiva de metodológica
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________
Perspectiva de informática
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________
Síntesis de aspectos negativos
Perspectiva de contenido
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________
Perspectiva metodológica
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________
Perspectiva informática
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________
Síntesis de sugerencias para lograr que el paquete se pueda utilizar
Perspectiva de contenido
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________
Perspectiva metodológica
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________
Perspectiva informática
______________________________________________________________________
______________________________________________________________________
______________________________________________________________________
_________