enfoques y modelos de evaluacion e learning

8/9/2019 Enfoques y Modelos de Evaluacion E Learning

1/20

Rubio, M. J. (2003). Enfoques y modelos de evaluacin del e-learning. RELIEVE, v. 9, n. 2, p. 101-120.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm

Revista ELectrnica de Investigacin yEValuacin Educativa

ENFOQUES Y MODELOS DE EVALUACIN DEL E-LEARNING(Focus and models of evaluation of the e-learning)

por

Article record

About authors

HTML format

Mara Jos Rubio ([email protected])

Ficha del artculo

Sobre los autores

Formato HTML

Abstract

The aim of this article is to present the state of arts aboute-learning evaluation. Different evaluative approaches,different models, tools and experiencies are showed, inorder to determine the quality of virtual learning. Twomain approaches are showed: partial evaluation, withemphasis in some aspects of e-learning (materials, tech-nology resources, teaching, etc.) and global evaluation,

that uses management quality models and the practice ofbenchmarking.

Resumen

El objetivo del artculo es presentar el estado de la cues-tin sobre la evaluacin del e-learning. Con este propsi-to se muestran los diferentes enfoques evaluativos, ascomo diferentes modelos, herramientas y experienciasencaminadas a determinar la calidad de la formacin vir-tual, o e-learning. Se destacan dos enfoques principales, laevaluacin de enfoque parcial, que enfatiza aspectos di-versos del e-learning (los materiales, los recursos tecno-

lgicos, la docencia, etc.) y la evaluacin de enfoque glo-bal, que utiliza modelos de la gestin de la calidad y laprctica del benchmarking.

KeywordsEvaluation, quality, virtual education, virtual learning, e-learning

Descriptores

Evaluacin, calidad, formacin virtual, aprendizaje vir-tual. e-learning

Introduccin

E-learning es un producto ms de los genera-dos por la sociedad de la informacin y la eradigital, que cobra una especial importancia en elmarco de los nuevos modelos de ensean-za/aprendizaje y del aprendizaje a lo largo detoda la vida en convergencia con las posibilida-des que las tecnologas de la informacin y lacomunicacin ofrecen a las aplicaciones educati-vas.

Desde el punto de vista conceptual e-learning es un trmino susceptible de diferen-tes definiciones y a menudo intercambiable porotros: formacin on-line, cursos on-line, for-macin virtual, teleformacin, formacin adistancia, campus virtual En sentido literal,del ingls, significa aprendizaje electrnico, elaprendizaje producido a travs de un mediotecnolgico-digital.

Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE] pag. 101

Rosenberg (2001) lo define como el uso delas tecnologas basadas en internet para pro-

porcionar un amplio despliegue de soluciones
http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmmailto:([email protected]:([email protected]://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmmailto:([email protected]://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm


2/20


a fin de mejorar la adquisicin de conocimientosy habilidades. El mismo autor establece tres cri-terios que se han de cumplir para poder aplicarcorrectamente el trmino (Rosenberg, 2001: 28-

29):a) que se produzca en red, lo que permite unaactualizacin inmediata, almacenamiento y re-cuperacin, distribucin y capacidad de com-

partir los contenidos y la informacin,

b) que llegue al usuario final a travs de unordenador, utilizando estndares tecnolgicosde Internet,

c) que est centrado en la visin ms ampliade soluciones para el aprendizaje que van msall de los paradigmas tradicionales de laformacin.

Sin embargo estos criterios son fuertementerestrictivos. El aprendizaje electrnico no slose produce a travs de estndares tecnolgicos deInternet, las plataformas ad hoc son un elementocada vez ms importante; y los materiales off lineo descargables de apoyo al resto de la formacinson un componente primordial mientras no mejo-ren las infraestructuras de las comunicaciones enla propia red.

Desde su irrupcin en el mundo educativo yformativo, el e-learningha generado importantesexpectativas no slo de carcter pedaggico, sinotambin de carcter social y econmico, lo queunido al creciente inters por la calidad educativa(Gonzlez, 2000:53) en cualquiera de sus mani-festaciones y mbitos, hace que se imponga lanecesidad de desarrollar modelos de evaluacin

adecuados al objeto y a los distintos contextos enlos que se produce.

1. Tendencias en la evaluacin del e-learning

La inquietud por evaluar el e-learning estdando lugar a importantes iniciativas y experien-cias a nivel mundial encaminadas a establecerestndares que permitan certificar su calidad.

Aunque los mecanismos de parametrizacinde la calidad varan en funcin tanto del con-texto (Tait, 1997), como del propio conceptode calidad (Harvey y Green, 1993), hasta el

momento se puede hablar de dos grandes ten-dencias en relacin a las prcticas para evaluarla calidad de las instituciones y de los proyec-tos que utilizan el e-learning como actividadformativa con entidad propia (Sangr, 2001).El objetivo se centra sobre todo en buscar crite-rios e indicadores especficos que den respues-ta a las preguntas que se plantea la evaluacinde la calidad de la formacin en entornos espe-cficos, con medios especficos y dirigida a

personas con un perfil diferente al del alumna-

do tradicional (en el caso de las universidades).

Enfoque parcial. Centrado principal-mente en alguno de los siguientes aspectos:

La actividad formativa

Los materiales de formacin

Las plataformas tecnolgicas

La relacin coste/beneficio

Enfoque global. Se distinguen dos ten-dencias:

Los sistemas de evaluacin centradosen modelos y/o normas de calidad estn-dar y calidad total

Sistemas basados en la prctica delbenchmarking

1.1. La evaluacin de enfoque parcialEs la evaluacin centrada en alguno de los

elementos considerados de mayor inters de-ntro de una solucin e-learning.

1.1.1. Evaluacin de la actividad forma-tiva


Es el proceso orientado a evaluar una accinconcreta de formacin, como puede ser un cur-

so on-line, de mayor o menor duracin. Lafinalidad de esta evaluacin se orienta hacia


3/20


tres aspectos bsicamente: comprobar el nivel decumplimiento de los objetivos educativos, mejo-rar la propia accin formativa y determinar elretorno de la inversin realizada.

Belanger y Jordan (2000:187) identifican tresmodelos principales en la evaluacin de accionesformativas (adaptados algunos de la formacintradicional). Modelos que ponen el nfasis bienen la evaluacin diagnstica, antes de introducirla accin formativa, bien en la evaluacin final,una vez se ha producido la formacin.

Modelo Sistmico de Vann Slyke et al.

(1998)El modelo provee de un conjunto de variables

que interactan como factores predictores delxito de la accin formativa on-line. Estas seconcentran en las siguientes:

Caractersticas institucionales

Las caractersticas institucionales estn rela-cionadas con la capacidad de la organizacin

para implementar acciones de e-learning, tales

como los objetivos de la institucin, la infraes-tructura de soporte a la accin, la capacidad eco-nmica,

Caractersticas de los destinatarios de la for-

macin

Estas caractersticas estn relacionadas con losintereses, expectativas y habilidades de los estu-diantes (autosuficiencia, gestin personal deltiempo, dominio del ordenador y actitud hacia la

tecnologa, capacidad para la resolucin de pro-blemas, ). Es el nico modelo que presenta lavariable caractersticas del alumnado comofactor de xito o fracaso de la formacin on-line,aunque son varios los autores que enfatizan lasdiferencias individuales de los usuarios comoelemento importante predictor del xito de laformacin virtual (Richardson, 2001; Oliver,1998; Ramussen y Davidson, 1996).

Caractersticas del curso

Las caractersticas del curso tienen que vercon la capacidad del sistema de e-learningen

relacin a las necesidades y metodologas deenseanza-aprendizaje para el curso. Por ejem-plo, si el curso requiere una metodologa basa-da en el trabajo colaborativo el entorno virtualdebe poder facilitarlo.

Caractersticas de la formacin a distancia

Estas caractersticas se refieren al hecho de lanecesidad de crear nuevos modelos de acomo-dacin de los usuarios a los nuevos entornos,de forma que se asegure su tranquilidad, con-fort y facilidad de aprendizaje.

Estas variables deben ser estudiadas para laimplementacin de acciones formativas on-linede forma que se adapten al alumnado, al profe-sorado, a la institucin y a la sociedad. As porejemplo los estudiantes pueden acabar reci-

biendo una alta interaccin con el profesor si lonecesitan, la institucin puede incrementar la

productividad entre los docentes o a nivel so-cial puede mejorarse el acceso a la educacin,la calidad de vida, la fuerza del trabajo, etc.

Modelo de los cinco niveles de evalua-cin de Marshall and Shriver (enMcArdle, 1999)

Este modelo se centra en cinco niveles de ac-cin orientados a asegurar el conocimiento ycompetencias en el estudiante virtual.

Docencia


Este nivel se centra en la capacidad del do-cente en la formacin on-line para proyectarsea travs del medio tecnolgico (el correo elec-trnico, el chat, el aula virtual, ), haciendouso de habilidades comunicativas adecuadas aese entorno, tales como la claridad en la re-daccin de los mensajes, intervencin frecuen-te en el aula virtual, inmediatez y eficacia enlas respuestas a los mensajes del alumnado,

apropiacin adecuada de los recursos que pro-vee el entorno tecnolgico,


4/20


Materiales del curso

La evaluacin de los materiales debe ser reali-zada por el alumnado con relacin al nivel de

dificultad, pertinencia, inters o efectividad.Curriculum

Los contenidos o el currculum del curso debenser evaluados con un nivel elevado de anlisis y

por comparacin con otros curricula.

Mdulos de los cursos

La modulacin es una caracterstica de los cur-sos on-line que debe igualmente ser valorada en

relacin a su estructura y orden.Transferencia del aprendizaje

Este ltimo nivel persigue determinar el gradoen el que el curso on-line le permite a los partici-

pantes transferir los conocimientos adquiridos alpuesto de trabajo.

El modelo combina diferentes elementos delacto educativo, pero pone un especial nfasis enel docente, como agente dinamizador de la for-

macin en entornos virtuales. De hecho asistimosa un renovado inters por la calidad docente(Mateo, 2000a), que se est convirtiendo en unfactor estratgico de primera magnitud. En elentorno virtual el docente se ha de situar en unnuevo espacio formativo como gua y acompa-ante del protagonista del aprendizaje, el partici-

pante, siendo la interaccin la base para el desa-rrollo formativo (Duart, 2001a). Aunque los es-tndares sobre los niveles de actuacin del profe-sorado son distintos en la formacin on-line, mu-chos de los parmetros considerados en los mo-delos de evaluacin del docente presencial (Ma-teo, 2000b) pueden ser los mismos.

Modelo de los cuatro niveles de Kirkpa-trick (1994)

El modelo de Kirkpatrick ha sido y es amplia-mente utilizado en la evaluacin de accionesformativas tradicionales, y en la actualidad son

varios los autores que recomiendan su adaptacin

y uso en el e-learning(Rosenberg, 2001, Man-tyla, 2000, Belanger y Jordan, 2000).

El modelo est orientado a evaluar el impacto

de una determinada accin formativa a travsde cuatro niveles: la reaccin de los participan-tes, el aprendizaje conseguido, el nivel detransferencia alcanzado y finalmente el impac-to resultante.

Reaccin

Es sin duda el tipo de evaluacin ms utiliza-da en la mayora de cursos de formacin. Pue-de realizarse a travs de un cuestionario deopinin, o de forma ms cualitativa mediantegrupos de discusin. En el e-learning cobraun inters especial si se tiene en cuenta que esel nico feed-back sobre la reaccin de losusuarios con el que cuentan los gestores delcurso (frente a distintos elementos, como el/ladocente, los materiales, los contenidos, el en-torno, el aprendizaje, la transferencia o la per-cepcin del impacto de la formacin recibida).

Aprendizaje

Esta evaluacin ( en su versin formativa y/osumativa) persigue comprobar el nivel de co-nocimientos y habilidades adquiridos por elalumnado a travs de tests o pruebas de rendi-miento validadas y fiabilizadas (Mantyla,2000: 267). Kirkpatrick (1999) recomienda eluso de una metodologa cuasiexperimental co-mo estrategia para poder establecer de formams objetiva la efectividad del curso. Otrosautores en cambio consideran que ms que

buscar la efectividad del curso esta evaluacin

debe utilizarse como mtodo de retroalimenta-cin para mejorarlo (Rosenberg, 2001). Encualquier caso el reto en la formacin on-linecon relacin a la evaluacin de los aprendizajesest en configurar estrategias y sistemas devalidacin que no requieran de la presenciali-dad.

Transferencia


La evaluacin de la transferencia consiste en

detectar si las competencias adquiridas con laformacin se aplican en el entorno de trabajo y


5/20


si se mantienen a lo largo del tiempo (mejor des-empeo de la tarea, ms rapidez, menos errores,cambio de actitud, etc.). Evaluar la transferencia

permite demostrar la contribucin de la forma-

cin a la mejora de las personas y los beneficiosque aporta a la organizacin para determinar mstarde su impacto y rentabilidad. A pesar de seruna evaluacin crucial en la formacin empresa-rial, slo un 62% de las organizaciones la utili-zan, segn investigaciones realizadas (EPISE,2000, Pineda et al., 1999). Los instrumentos oestrategias ms utilizados son la observacin, lasentrevistas a los supervisores y pares y la auto-evaluacin de los participantes (Pineda, 2002).

ImpactoIgual que sucede con el nivel anterior tambin

esta evaluacin es utilizada sobre todo por lasempresas. Aunque tradicionalmente la evalua-cin del impacto o de los resultados se ha basadoen criterios econmicos (demostrar un mayornmero de ventas, mayor productividad, menoserrores, calidad de servicio, menos reclamacio-nes, ), estos no siempre son posibles de probar,

por lo que Rosenberg (2001: 223) afirma que Es

mejor conformarse con la evidencia que reclamarpruebas. Si al preguntar al gerente de la empresay a todos los supervisores si la introduccin re-ciente de soluciones e-learning genera una mayor

productividad, la gran mayora de ellos contestanque s, ello es una buena evidencia de que existecorrelacin entre las soluciones e-learning y lamedicin de los negocios. El objetivo de la eva-luacin tambin podra ser determinar hasta qu

punto la falta de formacin puede llegar a tenerun impacto perjudicial en la organizacin. De

igual forma hay que advertir que el impacto dela formacin no slo se produce a nivel econ-mico, el conocimiento producido, la capacidadde innovacin que genera o la fidelizacin de las

personas empleadas es tambin importante.

El problema general que presentan todos losmodelos referenciados en este epgrafe es queninguno de ellos esclarece con nitidez los indica-dores de evaluacin, ni los estndares de valora-cin, ni los procesos y formas de obtencin de

evidencias de cada uno de los elementos eva-luados.

1.1.2. Evaluacin de los materiales

La calidad de los materiales formativos cobrauna significacin especial en la formacin no

presencial, al ser el instrumento principal detransmisin bsica de conocimientos del quedispone el alumnado. De ah que su evaluacinse haya convertido en una de las evaluaciones alas que se le han dedicado mayores esfuerzos.

Los materiales utilizados en el e-learning pueden ser textuales, hipertextuales (o hiper-media [1]) o multimedia, y estar diseados parasu uso tanto on-line como off-line

En el mbito de la evaluacin destaca la lneade evaluacin de materiales multimedia, tam-

bin llamada evaluacin de software educativo,con una larga tradicin desde la aparicin delas primeras aplicaciones informticas educati-vas (EAO). Bajo parmetros de la evaluacinde programas, las experiencias relacionadascon la evaluacin de materiales multimedia hanvenido centrndose segn el objetivo de la eva-luacin y el agente evaluador en la evaluacinde necesidades, del input, delproceso, delpro-ducto y/o de los resultados (tabla 1). Pero deforma particular destaca el despliegue desarro-llado para la evaluacin del producto orientadaa certificar la calidad de los materiales y/ofacilitar la toma de decisiones en su seleccin.

Cabero (2001:451-455) identifica tres tiposde evaluacin con respecto a los medios tecno-lgicos en general: la evaluacin del medio ens (caractersticas del medio), la evaluacincomparativa con otro medio y la evaluacindidctico curricular (el comportamiento delmedio en el contexto de enseanza-aprendizaje); y tres agentes evaluadores: los

productores, los expertos (en contenidos, dise-o instructivo, ), y los usuarios.


Existen numerosas iniciativas encaminadas adisear instrumentos de medidas estndar decalidad para la evaluacin de los materialestecnolgicos educativos. Entre ellas destacan


6/20


por su magnitud: theInstructional ManagementSystems Project(http://ims.org), que rene a em-

presas americanas multinacionales informticas einstituciones educativas para definir estndares

tencolgicos; o thePromoting Multimedia Acces Education and Training in European Society(http://www.perseus.tufts.edu), un proyectoorientado a definir la calidad formativa de losmateriales multimedia. De forma ms modesta,

pero tambin destacable, encontramos, a modode ejemplo: el Modelo Sistmico de Calidad deSoftware (Mendoza et al., 2001) orientado a de-

terminar la calidad del software en baja, mediay elevada; el proyectoE-CumLaude (Rodr-guez et al., 2001) para certificar la calidad delos materiales multimedia educativos centrado

en criterios de calidad de mnimos y de exce-lencia; el mtodo deEvaluacin de Materiales Educativos Computerizadosbasado en el juiciode expertos (Galvis, 2000); o la escala de Cata-logacin y Evaluacin Multimedia SAMIAL(Navarro, 1999) centrada en distintas categor-as y orientada a establecer la calidad del mate-rial en excelente, alta, correcta y baja.

Funciones de la evaluacin Objetivos de la evaluacin y agentes

evaluadores

Criterios para la evaluacin Instrumentos de obtencin

de informacin

De necesidades Aportar informacin sobre las mejo-ras que puede introducir el nuevomaterialProductores

Estudio de otros materialescon objetivos similares

Anlisis cualitativo

Del input Determinar las capacidades para larealizacin del materialProductores

Software y hardware (dedesarrollo y del usuario)Programacin

Anlisis cualitativo

Del proceso Corregir y perfeccionar el materialdurante su desarrolloProductores, usuarios potenciales

Control de los contenidosControl funcional

Protocolo de evaluacin

Del producto Juzgar la calidad del material en s

una vez acabado y/o tomar decisio-nes para su utilizacinExpertos externos, seleccionadores,

productores

mbito disciplinario

mbito didcticombito tecnolgico

Protocolo de evaluacin,

entrevistas, grupos dediscusin

De los resultados Determinar los usos y el funciona-miento del material en un contextode enseanza-aprendizajeComparar el material con otros encuanto a efectividadUsuarios reales, investigadores,seleccionadores

Opinin de los usuariosUtilidadRelacin coste-beneficios

Cuestionarios, escalas deactitud, pruebas de aptitud

Tabla 1. Perspectivas metodolgicas de la evaluacin de materiales educativos en soporte tecnolgico

Frente a instrumentos estructurados como losque acabamos de presentar aparecen propuestasms flexibles que conducen a la identificacin deuna serie de criterios para que sea el usuario,seleccionador o evaluador el que determine la

ponderacin de los mismos y la reflexin sobrela pertinencia de su presencia o ausencia. En estalnea se encuentra el instrumento promovido porla European Academic Software Award(Baum-gartner y Payr, 1997) desarrollado en torno a

doce criterios: exactitud, relevancia, cobertura,

interaccin, aprendizaje, uso, navegacin, do-cumentacin, interface, uso del ordenador,adaptabilidad e innovacin. Tambin encon-tramos numerosas iniciativas encaminadas a laadaptacin de las normas ISO para el softwarey materiales web [2].


Una crtica general a la evaluacin de softwa-re es la baja fiabilidad y validez de muchos delos instrumentos diseados para tal fin que cir-

culan entre la comunidad de educadores y for-madores, y la necesidad de consensuar estnda-
http://ims.org/http://www.perseus.tufts.edu/http://www.perseus.tufts.edu/http://ims.org/


7/20


res de calidad cuya presencia no sea simplementechequeada mediante listas de control, sino a tra-vs de un anlisis ms cualitativo, contextual eintensivo del material y por parte de distintos

agentes evaluadores.

1.1.3. Evaluacin de las plataformas tec-nolgicas

La evaluacin de las plataformas tecnolgicasest orientada a valorar la calidad del entornovirtual o campus virtuala travs del cual se im-

plementa el e-learning. La dimensin y funciona-lidad de un campus virtual puede variar sustan-cialmente segn se trate de dar soporte a un curso

o cursos o a una institucin entera, como es elcaso de las universidades virtuales.

En el mercado existen numerosas plataformasestndar con posibilidades de adaptacin a lasnecesidades de los distintos tipos de formacinon-line, objetivos de la misma y usuarios, perotambin pueden ser creadas ad hoc por la institu-cin que adopta una solucin e-learning.

Adquirido o creado, el campus virtual es unelemento dinmico, que evoluciona paralelamen-te a la propia solucin e-learning. De ah la im-

portancia que adquiere la evaluacin formativa ode proceso orientada a la mejora progresiva delentorno virtual. Esta evaluacin va ganando te-rreno a la evaluacin diagnstica, a travs de lacual se decide la estrategia ms adecuada en fun-cin de los objetivos formativos y las necesida-des. La competencia del mercado de plataformasvirtuales ha obligado a equilibrar los servicios ycapacidades de las ms importantes, de forma

que ya no es tan importante cul se elija sinocomo mejorarla una vez implementada. Aunqueello no elimina la necesaria etapa de anlisis denecesidades, sin la cual a menudo se realizangrandes inversiones en tecnologa sin saber quse necesitar.

A la hora de determinar la calidadpotencialdeun campus virtual, se debe poder establecer, deforma general, que sea:

Estable y fiable

Tolerante a fallos

Estndar en implementacin de conte-nidos y recursos tecnolgicos

gil y flexible

Actual e intuitivo para facilitar la inter-accin con el usuario

La mayora de instrumentos existentes paraevaluar campus virtuales (diseados bien porlas propias distribuidoras de plataformas paraestablecer comparaciones, bien por agenciasindependientes o universidades), estn orienta-dos a determinar las caractersticas de los mis-

mos en funcin de una serie de categoras deanlisis (tabla 2).

Sobre la base de estas categoras existen ini-ciativas que han elaborado modelos o estnda-res de calidad de plataformas virtuales, entrelas que destacamos: el Cybernetic Model for

Evaluating of Virtual Learning Enviroments(Britain y Liber, 1999) orientado a la interrela-cin de los siguientes aspectos: recursos denegociacin, coordinacin, tutorizacin, indi-

vidualizacin, autoorganizacin y adaptacin;o los Quality Standards on the Virtual Campu-

ses desarrollados por la Universidad Virtual dePensilvania, (http://www.vup.org/standards/),

basados en el interface de usuario, los media,elsoftware, los permisos y licencias y la acce-sibilidad.

Un modelo ms cualitativo y flexible es elmodelo ACTIONS de Bates (1999), que estespecialmente orientado a la toma de decisio-

nes antes de introducir un determinado mediotecnolgico, y permite hacer una valoracin delas ventajas e inconvenientes con relacin acinco componentes (cuyos trminos se corres-

ponden con las siglas del modelo): acces, costs,teaching and learning, interactivity and usefacility, organizational issues, novelty and

s peed. Es la nica iniciativa que introduce laestimacin de variables econmicas, siendoaplicable a cualquier tecnologa utilizada por ele-learning.



8/20


Categoras AnlisisCosteRequerimientos de hardware y software

Caractersticas

Capacidad de desarrollo

Herramientas para el estudiante

Herramientas para el instructor

Herramientas para el administrador

General y de los servicios extrasBajo qu sistemas operativos y navegadores funciona, lenguajes quesoporta, Tcnicas, servicios y soporte que ofrece,

Posibilidad de implementar nuevas funciones, de realizar reports, tests,soporte de VMRL para crear un entorno tridimensional,Interaccin que permite (sncrona/asncrona, grupal/individual), acceso a

recursos (biblioteca, secretara, ), trabajo en grupos, evaluacin,Qu le permiten hacer sin necesidad de programar en html (tests, conte-nidos, diseo instructivo, )Qu le permiten hacer (dar autorizaciones, soporte al usuario, al docente,registro, personalizacin de mensajes, )

Tabla 2. Categoras de anlisis de plataformas tecnolgicas para el e-learning

Pese a estas y otras experiencias, coincidimos

con la European Network on Intelligent Techno-logies for Smart Adaptive Systems(http://www.eunite.org) en que falta todava es-tablecer y consensuar criterios a nivel europeosobre los campus virtuales, relacionados con elestablecimiento de estndares de acreditacin

para su calidad, as como orientaciones en el de-sarrollo de cursos que se implementan a travs deestas plataformas, o el establecimiento de normasrelacionadas con el copyright y los derechos deautor, de forma que la evaluacin de todos ellos

pueda realizarse sobre categoras comparables.

1.1.4. Evaluacin financiera

Una de las evaluaciones que est reclamandouna mayor atencin, especialmente por parte delas empresas, es la relacionada con factores demedicin econmicos. La implantacin de unasolucin e-learning requiere una inversin inicialimportante, que es injustificable, desde el puntode vista financiero, si finalmente no puede evi-denciarse un retorno de dicha inversin. Es loque en economa se denomina ROI (Return On

Investment). Se trata de una frmula muy simple(ROI= beneficios/costes) para valorar el retornoesperado de una inversin. Aunque detrs de lasimplicidad de conceptos se esconden muchosmatices, especialmente cuando se aplican alcampo de la formacin, y an ms del e-learning.

La formacin en las organizaciones producebeneficios y genera costes. El problema radica en

cmo medir o determinar los beneficios conse-guidos, ms all del valor positivo que por smisma representa para las personas y la propiaorganizacin. El reto no es fcil, ya que los

beneficios ms productivos de la formacinson los ms intangibles y difciles de cuantifi-car (satisfaccin, iniciativa y liderazgo, y lashabilidades propias de las personas que confi-guran la organizacin), mientras que los msoperativos, si bien producen resultados a corto

plazo, se deben al resultado de conocimientosmecnicos (aumento de la productividad, aho-

rro de tiempo, ) Horton (2001).Pese a las dificultades evidentes que presenta

la evaluacin financiera de la formacin y dele-learning, existen experiencias y propuestas

para su planificacin y ejecucin, entre las quedestacamos un modelo tomado de Duart(2001b), insertado en el proceso de planifica-cin de la accin formativa. El modelo presen-ta una serie ordenada de acciones con una listade indicadores de estimacin para cada una deellas.


La importancia del ROI como instrumento deevaluacin reside en no atribuirle a la forma-cin exclusivamente los beneficios derivadosde la mejora de habilidades y conocimientos,sino en poder estimar como esta mejora reper-cute en los resultados econmicos de la organi-zacin, convirtindose as en un instrumento

para controlar la eficacia y eficiencia en la apli-cacin de las inversiones.
http://www.eunite.org/http://www.eunite.org/


9/20


Acciones Instrumentos de evaluacin

Definir los objeti-vos de la accin

formativa

Redactar objetivos acordes con la estrategiade la institucin y con la operativa de la

unidad de negocio en la que se va a imple-mentar

Frases concretas y concisas que expresen quresultados esperamos conseguir

Definir los objeti-vos de aprendizajede los participan-tes

Redactar objetivos de aprendizaje de acuer-do con los participantes

Compromiso de cada uno de los participantescon sus objetivos al inicio de la accin formati-vaTabla de relacin entre los objetivos de aprendi-zaje y los resultados esperados

Determinar lamodalidad forma-tiva (presencial, e-learning, dual, etc.)

Analizar qu modalidad formativa puedealcanzar mejor los objetivos esperados deforma ms eficiente

Tabla comparativa de ventajas e inconvenientesde las modalidades de formacin valoradasValoracin de las resistencias o motivacionesexistentes en cada modalidadValoracin de los costes de introduccin de una

nueva modalidad formativa en funcin de losresultados esperados

Determinar losbeneficios de laaccin formativa

Exponer los beneficios esperados, tantocuantificables como no, para la organizaciny para los participantes de la modalidad deformacin elegidaEstablecer los resultados esperadosExponer los resultados en datos cuantifica-

bles, sealando tambin logros y beneficioscualitativos esperadosEstablecer los niveles de satisfaccin espe-rados (clientes / proveedores; internos o

externos)

Lista de beneficios concretos esperados expre-sados en porcentajes de mejoraLista de beneficios internos a la unidad denegocio, propios de los participantes y de losclientes y proveedores de la unidadLista de logros expresados en perodos cortosde tiempoPlan de comunicacin, interno y/o externo a la

propia unidad de negocio, que incluya los obje-tivos y los logros esperados

Determinar loscostes de la accinformativa

Exponer los costes de la modalidad elegida,tanto para la institucin como para la unidadde negocio o los participantes

Lista de costes de la accin formativa

Diseo

Calcular el ROI dela accin formativa

Analizar los beneficios, las inversiones y loscostes en funcin de los objetivos y resulta-dos esperados

Clculo del ROIPublicacin del clculo del ROI

Im

plementacin

Desarrollo de laaccin formativa

Desarrollar la accin formativa de acuerdocon la planificacin prevista

Recogida de informacin durante el procesoInformacin sobre el proceso a los participantesy a los beneficiarios de la accin formativaCorreccin de errores de desviacin sobre la

planificacin

Evaluacin de laaccin formativa

Evaluar la accin a partir de los diferentesinstrumentos realizados

Anlisis y difusin de los resultados de la eva-luacin

Evaluacin

Evaluacin deldiseo realizado eimplementado

Valorar mejoras a realizar en el diseo defuturas acciones formativas a partir de lasomisiones, debilidades o fortalezas deldiseo actual

Lista de elementos a incorporar, mantener oevitar en futuros diseos de acciones formativas

Tabla 3. Modelo de evaluacin del ROI para soluciones e-learning (Duart, 2001b)



10/20


1.2. La evaluacin de enfoque global

Es la evaluacin que tiene presente el conjuntototal de elementos que intervienen en una solu-

cin e-learninga la hora de establecer lneas ycriterios para gestionar o evaluar su calidad.

1.2.1. Evaluacin y gestin de la calidad

Sustentada por planteamientos del enfoque sis-tmico (Prez Juste et al., 2000) y del paradigmaactual de la complejidad (Lpez Ruprez, 1997)y basada en el concepto de mejora continua(Deming, 1981), la gestin de la calidadse dis-tingue por su enfoque global e integral, siendo

una estrategia organizativa y una metodologa degestin que hace participar a todos los miembrosde una organizacin con el objeto fundamentalde mejorar continuamente su eficacia, eficienciay funcionalidad.

La implantacin de un sistema de calidad enuna organizacin viene fundamentada por lossiguientes principios (Gonzlez, 2000: 66-68):

Proceso orientado a la satisfaccin de las

necesidades y expectativas de los destinatarios Mejora permanente de todo lo que la or-ganizacin pretende alcanzar sobre la base deunos objetivos claros y explcitos

La garanta de la calidad de los procesosinternos como medida para alcanzar la calidaddel producto

La prevencin en lugar de la supervisin ydeteccin de errores

Adems de la importancia de:

El liderazgo

El trabajo en equipo, la calidad es tarea detodos

La resolucin sistmica de los problemas

Basar la toma de decisiones en datos obje-tivos

La agilidad en la transmisin de infor-macin

La formacin de las personas implica-

dasSobre la base de estos principios se han gene-

rado diferentes herramientas, como las normasISO y los modelos de evaluacin propios de laTQM (Total Quality Management).

Una de las herramientas ms extendidas es laaplicacin de las normas ISO, ese conjunto denormas (de carcter no prescriptivo), que sim-

plemente exigen que una organizacin: a) defi-na y planifique sus procesos, b) los documentede manera correcta, c) compruebe su actitud, yd) garantice el control y revisin de los mis-mos.

Los principios sobre los que se articula esteconjunto de normas son los siguientes:

La organizacin posee objetivos de ca-lidad claros

Existen acuerdos claros entre todos los

participantes La organizacin posee los recursos ne-cesarios para conseguir el nivel requerido decalidad

Todos los procesos y sistemas estnsometidos a controles, con evaluaciones ymodificaciones cuando sea conveniente

Todo lo necesario para garantizar la ca-lidad se halla documentado

Los registros de la calidad permiten unaverificacin y una comprobacin de la ga-ranta de la calidad

La interpretacin de estos trminos aplicada acontextos de e-learning queda recogida en latabla 4, a modo de propuesta, y recogiendo lasrecomendaciones de Van De Berghe, W.(1997).



11/20


Trmino de las ISO Interpretacin para una organizacin (educativa o formativa) que adopta una solucin e-learning

Proveedor La institucin u organizacin que imparte la enseanza o formacin

Clientes Alumnado o participantes

Producto Curso, programa, currculumCuadros ejecutivos Direccin general/Direccin de centro/Rectorado/Comit de direccin

Contrato Todos los tipos de acuerdos con los clientes: matriculacin, acceso al sistema de comunicacin,distribucin de materiales, tutorizacin, acreditacin, .

Diseo Definicin de las especificidades de la plataforma tecnolgica y sus capacidades instructivas yadministrativas y los sistemas de seguridad

Compras Adquisicin de recursos materiales y humanos y servicios necesarios: contratacin de profeso-rado, licencias de software, compra de hardware,

Procesos Proceso de imparticin de la enseanza o formacin: metodologa (trabajo en grupo, indivi-dual), uso de los espacios de comunicacin, materiales (on-line, off-line, multimedia, textuales),evaluacin (presencial o a distancia),

Inspeccin y pruebas Evaluacin de la accin formativa, del profesorado, de los materiales, de la tecnologa, .porparte del alumnado o participantes

Calibracin Validacin de los sistemas de evaluacin utilizados

Tabla 4. Equivalencia de conceptos de las normas ISO al mbito del e-learning

Los modelos de la TQM, como EFQM (Euro-pean Foundation Quality Management) o el msrecientemente implantado CMI [3] (Cuadro deMando Integral) poseen unas fases de implemen-tacin y una serie de reas clave o criterios bsi-

cos de calidad en torno a los cuales se articula elmodelo.

Se trata en todos los casos de herramientas deevaluacin de uso frecuente en las organizacio-nes y en la actualidad se estn adaptando a loscontextos de formacin virtual. Pero como hanadvertido algunos autores (Mateo, 2000b, Barbe-r, 2001) se trata de modelos ms prximos a lagestin (management) que a los procesos educa-tivos. Estos modelos enfatizan fundamentalmente

los aspectos de gestin organizativa, satisfaccindel cliente, o relacin coste-beneficio, aspectossin duda importantes, pero insuficientes en unaactividad cuyo ncleo es la enseanza-aprendizaje.

Barber (2001) propone como dimensiones quedeben ser evaluadas en la formacin virtual: elescenario en el que se produce la accin educati-va (bases psicopedaggicas, estructura generaldel sistema, etc.); las propuestas de los partici-

pantes involucrados en el proceso de instruccin(motivaciones, objetivos y demandas cognitivas);

los agentes instruccionales (roles de estudian-tes, de dicentes, y de la misma institucin); laintervencin y la interaccin educativa (organi-zacin de la actividad educativa, patrones deinteraccin y discurso virtual); y la construc-

cin misma del conocimiento (caractersticasdel conocimiento, dinmicas y tipos de cons-truccin).

Muchas de estas dimensiones son recogidas atravs de la prctica del benchmarking, queest cobrando una gran importancia en la eva-luacin del e-learning.

1.2.2. Prcticas de evaluacin del e-learning basadas en el benchmarking


El benchmarkinges el proceso que permite aun centro u organizacin compararse con otroque obtiene resultados excelentes de calidad,con el fin de emularlo. En el mbito del e-learnig este sistema pretende ofertar herra-mientas e indicaciones para mejorar las accio-nes a partir de la observacin, comparacin ycooperacin basada en las buenas prcticas. Enesta lnea se encuentran las Guidelines for

Electronically Offered Degree and CertificatePrograms del Council of Regional AcreditedComissions de los Estados Unidos o el proyec-


12/20


to Benvic Benchamarking of Virtual Campusesde la Unin Europea.

1.2.2.1. Sistema benchmarking BENVIC

En el mbito de la Unin Europea el Bench-marking of Virtual Campuses Project(EuropeanCommission, 2002) est siendo desarrollado porocho instituciones universitarias de los pasesmiembros en el marco del programa MINERVAdesde el 2001. Dicho proyecto, conocido con elnombre de BENVIC, est orientado al desarrolloy aplicacin de criterios de evaluacin para pro-mover estndares de calidad en los campus vir-tuales y en la formacin on-line en general.

Los objetivos del proyecto son:

Desarrollar, validar y establecer un siste-ma de evaluacin de las experiencias concampus virtuales o soluciones e-learningen elcontexto europeo.

Promover una red colaborativa para im-plementar la evaluacin a travs de la compa-racin y el benchmarking.

Promover el conocimiento compartido. Desarrollar un mapa de competencias re-lacionado con el diseo y la implementacinde campus virtuales a fin de ayudar a las insti-tuciones a mejorar sus prcticas y alcanzar lacalidad para sus soluciones e-learning.

Fases del proyecto:

Definir indicadores de calidad de e-

learning y el mapa de competencias

Las caractersticas de los indicadores toma-dos son: a) estn orientados al cambio, b) soncontextuales, c) combinan benchmarking ex-ternos e internos, subjetivos y objetivos, cuali-tativos y cuantitativos.

Como grandes reas de indicadores el pro-yecto define las siguientes:

Servicio al estudiante

Recursos de aprendizaje

Apoyo al profesorado

Evaluacin

Accesibilidad

Eficiencia (relacionada con el aspectofinanciero)

Recursos tecnolgicos

Ejecucin institucional

Los distintos indicadores de estas reas es-tn agrupados en tres tipos de medidas: detipo estructural,prctico y ejecutivo.

El mapa de competencias es una herra-mienta que le permite al socio BENVIC ve-rificar el nivel de habilidades en su institu-cin con relacin al manejo del campus vir-tual que posee el profesorado, el alumnado,los tcnicos y la organizacin. Por tanto

puede estimar la diferencia entre las habili-dades requeridas y las habilidades disponi-

bles. Al mismo tiempo le facilita una audito-ra pedaggica, cuyos resultados pueden ser:un ayuda, un plan de formacin, compartirconocimiento, certificar competencias, etc.

Se han considerado cuatro tipos de compe-tencias interrelacionadas:

Competencias propias de la institu-cin

Competencias comunes para diferen-tes sectores

Competencias sectoriales, las adapta-das de un campus tradicional al campusvirtual

Competencias virtuales, las relativasexclusivamente al campus virtual

Invitar a varias instituciones por prime-

ra vez a ser auto-evaluadas


Las primeras instituciones que participanpasan a integrar los primeros datos de la ba-

se de datos. Han sido cinco casos de estudio.


13/20


Determinar socios benchmarking (que

demuestren tener buenas prcticas)

A partir de las primeras experiencias se pue-

den ya establecer ejemplos de buenas prcti-cas, que servirn de comparacin a otros so-cios.

Crear club BENVIC con una base de

datos de diferentes instituciones

La base de datos se va agrandando con la

entrada de nuevas instituciones para la auto-evaluacin.

Indicador: Servicio al estudianteN Medidas Estructurales Puntuacin

(0-1-2)Cmo se ha implementado en su campus

1 Disponibilidad de sistemas y servicios para el soportede la comunicacin pedaggica entre el alumnado y el

profesorado (inter-intra)

n

Medidas de prctica Puntuacin

(0-1-2)

Cmo se ha implementado en su campus

n La organizacin invierte en recursos para proveer uninterface efectivo y amigable al alumnado

Medidas de ejecucin Nivel al-canzado

Comentarios

n % de exmenes realizados on-line

Cree que debe mejorar alguna medida?

Cree que falta alguna medida importante en la lista?

Describa las medidas a mejorar y la forma de llevarlas a cabo

Tabla 5. Ejemplo de indicadores pertenecientes a una gran categora en el sistema BENVICBenchmarking

Fases del proceso BENVICBenchmarking:

1. En la fase primera, un representante delcampus virtual utiliza los indicadores de la

plantilla para realizar el diagnstico inicial conrelacin a indicadores de la estructura (recur-sos disponibles en el campus virtual para con-seguir los objetivos, que incluye las compe-tencias humanas, la plataforma, administra-

cin y gestin); de la prctica (cmo el cam-pus virtual utiliza los recursos en relacin a laestrategia de organizacin en acceso y diseo

pedaggico); y de la ejecucin (el impacto delos resultados: aprendizajes, coste-beneficio,efectividad tecnolgica).

2. En lasegunda fase la institucin aplica losresultados del diagnstico inicial a la prctica

de la organizacin. A partir de aqu se iden-tifican reas clave que necesitan ser mejora-das. El equipo examina la base de datosBENVIC e identifica socios benchmarkingdel club BENVIC, los cuales son ejemplosde buenas prcticas en las reas identificadascomo deficientes. Se pueden consultar las

puntuaciones medias de los socios en esasreas y la forma en que los socios bechmar-kinglas han solucionado.

3. En la tercera fase el campus virtual esllevado a un proceso de mejora y de bench-marking. El conocimiento y el aprendizajegenerado pasa a formar parte del sistemaBENVIC benchmarking.



14/20


Figura 1. Proceso de aplicacin de los indicadores BENVICBenchmarking

Cuando el campus ha sido mejorado sus res-

ponsables o socios pueden volver a entrar losdatos y pueden llegar a convertirse en un nuevobenchmarking, que servir de ejemplo de buenas

prcticas y comparacin para nuevos socios.

El sistema club BENVIC puede funcionar en lamedida que sea bien gestionado y en la medidaque las diferentes instituciones estn dispuestas acompartir sus propias experiencias y a involu-crarse en planes de mejora continua. Siendo unade las primeras aportaciones sistemticas a la

elaboracin de estndares de calidad en la forma-cin on-line.

1.2.2.2. Buenas prcticas en el marco de laAcreditacin y de las universidadesnorteamericanas

En el contexto norteamericano, las Comisiones Regionales para la Acreditacin han elaboradouna gua de buenas prcticas en la educacinsuperior ofrecida electrnicamente: Best Practi-ces for Electronically Offered Degree and Certi-

ficate Programas (Middle States Commission onHigher Education, 2001). El desarrollo de la guaha contado con la colaboracin inicial de organi-zaciones expertas en el campo, y est abierta a

posibles cambios a medida que la propia educa-cin superior on-line evolucione. Estas guasestn siendo utilizadas para la acreditacin deinstituciones universitarias que ofertan formacinon-line.

Las consideradas buenas prcticas han sido

divididas en cinco componentes, cada uno delos cuales se dirige a un rea particular de laactividad institucional relevante para la ofertaelectrnica. Estas reas son:

Contexto institucional

Currculum y formacin

Soporte a la facultad

Soporte al alumnado

Evaluacin

Cada componente comienza con una descrip-cin general seguida de pargrafos numeradosdirigidos a problemas especficos, describiendolos elementos esenciales para la calidad. Acontinuacin figuran protocolos con cuestionesorientadas a determinar la existencia de esoselementos en las revisiones externas o internasde las actividades de la educacin on-line.


Sobre el sistema de las buenas prcticas va-rias universidades norteamericanas han elabo-rado guas o estndares de calidad de la forma-cin on-line. Entre ellas destaca la MichiganVirtual University(http://standards.mivu.org/standards/) y susQuality Standards on the on-line Courses(2002), agrupados en cuatro grandes reas:tecnologa, usabilidad, accesibilidad y diseode la instruccin. O the Indiana University

Center for Research on Learning and Technol-
http://standards.mivu.org/standards/http://standards.mivu.org/standards/


15/20


ogy y sus Seven Principles [4] of Effective Teach-ing. A Practical for Evaluating Online Courses:

buenas prcticas que promuevan la relacin delalumnado con la facultad, buenas prcticas que

impulsen la cooperacin entre estudiantes, bue-nas prcticas que favorezcan el aprendizaje acti-vo, elfeed-backinmediato, buenas prcticas queenfaticen el time on task, buenas prcticas quegeneren altas expectativas y buenas prcticasrespecto a diversas formas de aprendizaje. Unarelacin completa de todas las universidades quehan elaborado guas de buenas prcticas y estn-dares de calidad del e-learningpodemos encon-trarla en la pgina de Minessota State Collegesand Universities

(www.oit.mnscu.edu/mitss/peerreview1.htm).

1.2.3. Estudios empricos sobre el bench-markin

Entre los estudios empricos sobre la prcticadel benchmarkingdestaca el Quality On the Linedesarrollado por elInstitut for Higher Education

Policy en el 2000, orientado a determinar losbenchmarks determinantes de la calidad en la

formacin on-line[5]

, y cuyos resultados revelan,de forma similar a las experiencias expuestas, 24buenas prcticas importantes:

1. Existencia e implantacin de un plan tecno-lgico, documentado, que incluya medidaselectrnicas de seguridad.

2. Mxima fiabilidad del sistema tecnolgico.

3. Existencia de un sistema centralizado desoporte, para crear y mantener la infraestructu-ra educativa.

4. Utilizacin de directrices en el diseo y de-sarrollo de los cursos.

5. Actualizacin y revisin peridica de losmateriales.

6. Disear el proceso de enseanza/aprendizajede forma que obligue al alumnado a implicar-se.

7. Papel esencial de la interaccin del alum-nado consigo mismo y con el profesorado, yfacilitarla a travs de diversos medios (e-mail, chat, voz, etc.).

8. Ofrecer respuestas constructivas a las con-sultas y aportaciones del alumnado, y hacer-lo en un plazo breve.

9. Ensear al alumnado los mtodos adecua-dos de bsqueda.

10. Antes de comenzar el curso, dar al alum-nado informacin suficiente para determinarsi tienen la motivacin necesaria y los recur-sos adecuados.

11. Dar a los estudiantes informacin com-plementaria sobre el curso, incluyendo obje-tivos, conceptos e ideas, y especificar clara-mente qu resultados se esperen del progra-ma.

12. Dar acceso a una biblioteca suficiente, queincluya recursos accesibles a travs de lared.

13. Acordar expectativas referentes a plazosde entrega y correccin de actividades.

14. Dar al alumnado informacin suficientesobre los programas, incluyendo requeri-mientos de admisin, precios, libros, acceso-rios, requerimientos tcnicos y servicios desoporte.

15. Dar al alumnado informacin y formacinprcticas sobre cmo obtener recursos a tra-vs de bases de datos, redes de bibliotecas,servicios pblicos, servicios de noticias yotras fuentes.

16. Ofrecer al alumnado acceso fcil al sopor-te tcnico durante todo el curso, instruccio-nes detalladas sobre el funcionamiento delos medios tecnolgicos utilizados y sesio-nes prcticas antes del inicio del curso.


17. Ofrecer una respuesta rpida y precisa alas consultas dirigidas al servicio de soporte
http://www.oit.mnscu.edu/mitss/peerreview1.htmhttp://www.oit.mnscu.edu/mitss/peerreview1.htm


16/20


al alumnado y disponer de un sistema estruc-turado de atencin de reclamaciones.

18. Dar asistencia tcnica al profesorado y ani-

marlo a utilizarla.19. Facilitar la transicin del profesorado desde

estrategias presenciales a estrategias on-line.

20. Mantener el soporte al profesorado durantetodo el curso.

21. Facilitar al profesorado informacin referen-te a como resolver problemas derivados deluso que el alumnado pueda hacer de los datosque reciba.

22. Elaborar un proceso de evaluacin de laefectividad pedaggica del programa, aplican-do exigencias especficas.

23. Evaluar la efectividad del programa condatos sobre inscripciones, costes y aplicacio-nes innovadoras y adecuadas a la tecnologa.

24. Revisar peridicamente los resultados deaprendizaje previstos, para garantizar que seanclaros, tiles y adecuados.

Otros aspectos resultaron no ser relevantes,como por ejemplo la promocin del trabajo enequipo, la divisin de cursos en mdulos o laconsideracin de los diferentes estilos de apren-dizaje.

En definitiva, la formacin on-line de calidadsegn este estudio ha de hacer nfasis por igualen un conjunto de factores: un funcionamientotcnico impecable; un modelo docente a la medi-

da del cliente; buenos materiales, buena ofertacurricular; sistemas independientes de soporte

para resolver problemas de tipo tcnico (relacio-nados con el sistema informtico), cientfico (re-lacionados con la materia del curso) y pedaggi-co (relacionados con el modelo de enseanzaaprendizaje); alumnado y profesorado formado einformado; y una buena organizacin interna.

Otro estudio realizado en la Swinburne Univer- sity of Technology (Cashion y Palmieri, 2002)

Quality in On-line Learning, identific 6 grandes

dimensiones relacionados con buenas prcticas(tecnologa, soporte, adecuacin a los objeti-vos, materiales, comunicacin y evaluacin),muchas de ellas coincidentes con las anteriores.

Sin embargo encontramos a faltar, de formageneralizada, la evaluacin de la generacin deconocimiento e investigacin en el contextouniversitario. La universidad virtual debe serevaluada tambin con relacin a las estructurasque promuevan la investigacin, los camposcientficos y de especializacin en los que in-vestiga, la difusin de los resultados o el mis-mo personal investigador (Sigals, 2001, citado

por Sangr, 2001: 9)

En sntesis, la evaluacin a travs del bech-markingest formada por un proceso de auto-evaluacin y comparacin de unas institucionescon relacin a lo que est considerado como

buenas prcticas, bien sean casos reales o defi-niciones tericas establecidas por expertos.

A modo de sntesis

Diferentes perspectivas y soluciones intentan

dar respuesta al tema de la evaluacin de lacalidad del e-learning, unas de base ms eco-nomicista, otras del mbito del management,otras ms tecnolgicas y algunas pedaggicas.Sin embargo, hasta el momento ninguna por ssola logra cubrir todas las necesidades de unmbito basto y complejo, que abarca numero-sas variables y factores, y que justo acaba decomenzar. Desde diferentes organismos, insti-tuciones y personas implicadas, se reclama lanecesidad de crear estndares de calidad, certi-

ficar la calidad o evaluar la calidad de la for-macin on-line en sus diferentes contextos yniveles. A lo que cabe aadir la necesidad desatisfacer las demandas de formacin de lanueva sociedad o generar una cultura de la ca-lidad y de la mejora continua. Desde el puntode vista metodolgico cabe sealar tambin laimportancia de explorar modelos de evaluacinde orientacin ms cualitativa.



17/20


Referencias bibliogrficas

Belanger, F. y Jordan, D.H. (2000) Evaluationand Implementation of Distance Learning:technologies, tools and techniques. London.Idea Group Publishing.

Barber, E. (2001) (Coord.) La incgnita de laeducacin a distancia. Barcelona. Horsori.

Bates, A.W. (1999) Research and Evaluation. EnA.W. Bates, Managing Technological Change,

pp. 198-210. California. Jossey-Bass.Baumgartner, P. y Payr, S. (1997) Methods andpractice of software evaluation. The case of theEuropean Academic Software Award. Pro-ceedig of ED-MEDIA 97 & ED-TELECOM 97,

AACE.Britain, S. y Liber, O. (1999) A framework for Pedagogical Evaluation of Virtual LearningEnviroments. University of Wales. Consultadael 5 de mayo de 2003 enhttp://www.leeds.ac.uk/educol/documents/00001237.htm

Cabero, J. (2001). La evaluacin e investigacinsobre los medios de enseanza. En J. Cabero,Tecnologa Educativa. Diseo y utilizacin demedios de enseanza, pp. 447-490. Barcelona.

Paids.Cashion, J. y Palmieri, P. (2002). Evaluation ofQuality in On-line Learning. TAFE School ofSocial Sciences. Swinburne University of Tech-nology. Consultada el 12 de abril de 2003 enhttp://www.tafe.swin.edu.au/ncver/

Deming, W.E. (1981). Management and statisti-cal techniques for quality and productivity. NewYork. New York University.

Duart, J.M. (2001a). Avaluaci de la qualitatdocent en entorns virtuals daprenentatge. Con-

sultada el 5 de mayo de 2003 enhttp://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.html

Duart, J.M. (2001b).ROI i e-learning: ms enllde beneficis i costos. Consultada el 15-mayo-2003 enhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.html

EPISE (2000).Evaluacin de la formacin en lasempresas espaolas. Barcelona. EPISE.

European Commission DG Education and Cul-ture (2002).Benchmarking of Virtual Campuses

Project. Barcelona. Universitat Oberta de Cata-lunya.Galvis, A. (2000). Evaluacin de materialeseducativos computerizados por juicio de ex-

pertos. En A. Galvis,Ingeniera de softwareeducativo. Colombia. Universidad de los An-des.

Gonzlez, T. (2000). Evaluacin y gestin dela calidad educativa. En T. Gonzlez (Coord.)

Evaluacin y gestin de la calidad educativa.Un enfoque metodolgico,pp. 49-80. Mlaga.Aljibe.

Harvey, L. y Green, D. (1993). Defining qual-

ity. Assessment and Evaluation in HigherEducation, 18 (1), pp. 9-34.Horton, W. (2001). Evaluating e-learning.California. ASTD (American Society forTraining and Development).

Institute for Higher Education Policy (2000).Quality on the line. Benchmarks for Succes in

Internet-Based Distance Education. Washing-ton. National Education Association.

ISO/IEC 9126 (1991).Information technology.Software product evaluation. Montreal.

Kaplan, R.S. y Norton, D.S. (1997). El cuadrode mando integral. Barcelona. Gestin 2000.Kirkpatrick, D.L. (1999).Evaluacin de accio-nes formativas: los cuatro niveles. Barcelona.EPISE-Gestin 2000. 1 edicin 1994.

Len, J.A. (1998). La adquisicin de conoci-miento a travs del material escrito: texto tra-dicional y sistemas de hipertexto. En C. Viz-carro y J.A. Len (Ed.), Nuevas tecnologas

para el aprendizaje. Madrid. Pirmide.Lpez Ruprez, F. (1997). Complejidad y edu-

cacin. Revista Espaola de Pedagoga, 206, pp. 103-112. Mantyla, K. (2000) EvaluatingProgram Succes. En K. Mantyla, Distance

Learning Yearbook, pp. 259-287. New York.McGraw-Hill.

Mateo, J. (2000a). La evaluacin del profeso-rado y la gestin de la calidad de la educacin.Hacia un modelo comprensivo de evaluacinsistemtica de la docencia.Revista de Investi-

gacin Educativa, 18 (1), pp. 7-34.


Mateo, J. (2000b).La evaluacin educativa, suprctica y sus metforas. Barcelona:. Horsori.
http://www.tafe.swin.edu.au/ncver/http://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.htmlhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.htmlhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.htmlhttp://www.uoc.edu/web/cat/art/uoc/duart0902/duart0902.htmlhttp://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/0109041/duartmartin_imp.htmlhttp://www.tafe.swin.edu.au/ncver/


18/20


McArdle, G.E. (1999). Training Design and De-livery. Alexandria, VA. American Society forTraining and Development.

Mendoza, L., Prez, M. y Rojas, T. (2001). Mo-

delo sistmico para estimar la calidad de los sis-temas de software (MOSCA). Acta CientficaVenezolana. Universidad Simn Bolvar. Con-sultada el 15 de mayo de 2003 enhttp://lisi.usb.ve/publicaciones

Middle States Commission on Higher Education(2001). Interregional Guidelines for Electroni-cally Offered Degree and Certificate Programs.Middle States Commission on Higher Educa-tion.

Navarro, E. (1999). Evaluacin de materiales

multimedia. Comunicacin y Pedagoga, 157,pp. 36-39.Oliver, M. (1998) (Ed.) Innovation in the Evaluation of Learning Technology. London.University of North London.

Prez Juste, R., Lpez Ruprez, F., Peralta, M.D.y Municio, P. (2000) Hacia una educacin decalidad. Gestin, instrumentos y evaluacin.Madrid. Narcea.

Pineda, P. (2002) Formaci, transferncia i ava-luaci: un triangle complex.Revista Econmicade Catalunya, 44, pp. 79-89.

Pineda, P. et al. (1999) Cmo se evala la for-macin en las organizaciones?. Capital Hu-mano, octubre y noviembre, pp. 126-127.

Promoting Multimedia Acces Education andTraining in European Society (1999). Memo-randum of Understanding. Consultada el 10 de

junio de 2003 enhttp://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/

Ramussen, K. y Davidson, G.V. (1996). Dimen-sions of learning styles and their influence on performance in hypermedia lessons. CD-ROM Proceedings from the anual ED-MEDIA/ED-TELECOM conference. Article n 385.

Richardson, J. (2001). An evaluation of VirtualLearning Enviroments and their learners: do in-dividual differences effect perception of virtuallearning enviroments. Interactive EducationalMultimedia, 3, october. Consultada el 25-abril-2003 en http://www.ub.es/multimedia/iem/

Rodrguez, J.L., Rubio, M.J. y Escofet, A.(2001). Certificacin de la calidad de materia-

les multimedia educativos. E-CumLaude.Universidad de Barcelona. Documento indi-to.

Rosenberg, M. (2001).E-learning:Estrategias

para transmitir conocimiento en la era digital.Bogot. McGraw-Hill Intramericana.Sangr, A. (2001).La qualitat en les experin-cies virtuals deducaci superior. Consultadael 5 de mayo de 2003 enhttp://www.uoc.edu/web/cat/art/uoc/0106024/sangra.html

Sigals, C. (2002).El potencial interactiu delsentorns virtuals densenyament i aprenentatgeen leducaci a distncia. Consultada el 5 demayo de 2003 en

http://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.html

Silvio, J. (2000). La virtualizacin de la uni-versidad. Cmo podemos transformar laeducacin superior con al tecnologa?. Cara-cas. IESALC/UNESCO.

Tait, A. (Ed.)(1997). Quality Assurance in Higher Education: Selected Case Studies.Vancouver. The Commonwealth of Learning.

Van De Berghe, W. (1997). Aplicacin de lasNormas ISO 9000 a la enseanza y la forma-cin. Interpretacin desde una perspectivaeuropea. Luxemburgo. CEDEFOP.

Van Slyke, C. Kittner, M. y Belanger, F.(1998). Identifying Candidates for Distanceeducation: A telecommuting perspective.Pro-ceedings of the Americas Conference on In-

formation Systems , pp. 666-668. Baltimore.

Referencias de portalesEuropean Network on Intelligent Technologiesfor Smart Adaptive Systems (EUNITE) (2003)

Instructional Management Systems Project(IMS) (2000)

MOU-Perseus project (2000)

Quality Standards on the on-line Courses of

Michigan Virtual University (2002)

Quality Standards on the Virtual Campusesofthe Virtual University Penn (2001)

http://lisi.usb.ve/publicacioneshttp://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/http://www.ub.es/multimedia/iem/http://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.htmlhttp://www.eunite.org/http://ims.org/http://www.perseus.tufts.edu/http://standards.mivu.org/standards/http://standards.mivu.org/standards/http://www.perseus.tufts.edu/http://ims.org/http://www.eunite.org/http://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.htmlhttp://www.uoc.edu/web/cat/art/uoc/sigales0102/sigales0102_imp.htmlhttp://www.ub.es/multimedia/iem/http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/http://www.ecotec.com/sharedtetriss/news/mou1198/mou3-slidepresentation/http://lisi.usb.ve/publicaciones


19/20


[1] Los materiales hipertextuales o hiper-media son especialmente adecuados en los

entornos virtuales de aprendizaje, ya que porel hecho de no proceder de una forma se-cuencial el usuario ha de aplicar un procesointeractivo mediante el cual deriva informa-cin simultnea de diferentes niveles. Lasasociaciones que permite un sistema hiper-textual de hecho se asemejan ms a la formacomo el ser humano adquiere conocimientoque no la lectura lineal (Len, 1998). Peroesto slo se consigue si el material es de ca-lidad tcnica y pedaggica.

[2]ISO/IEC 9001-Quality Systems-Modelfor quality assurance in desig/development,

producti, installation and servicing.

[3] Del ingls, Balanced Scorecard, las primeras formulaciones aparecen a principios de los noventa y recientemente se ha

expuesto el modelo completo (Kaplan y Nor-ton, 1997).

[4] Se trata de hecho de los siete principiosdefinidos por the American Association forHigher Education (http://www.aahe.org/), ysobre los que Jos Silvio (2000:207) planteauna serie de dudas e interrogantes.

[5] El estudio parta de 45 referentes obuenas prcticas identificados a travs de la bibliografa relevante sobre el tema e insti-tuciones con experiencia en e-learning. En elestudio participaron seis instituciones, con

una experiencia importante en educacin adistancia, reconocidas como lderes dentrodel sector, acreditadas por las agencias re-gionales, y que ofertaran programas de ense-anza on-line. Los benchmarks estuvieronidentificados tanto por la organizacin como

por el alumnado (los dos agentes implicados principalmente en la formacin y evalua-cin).

ABOUTTHEAUTHORS / SOBRE LOS AUTORES

Mara Jos Rubio Hurtado ([email protected]). Profesora titular del Departamento MIDEde la Universidad de Barcelona. Es miembro del Grupo de InvestigacinEnseanza y AprendizajeMultimedia del Instituto de Ciencias de la Educacin de la Universidad de Barcelona, desde dondeha participado en diferentes proyectos e investigaciones relacionadas con el mbito de las TICaplicadas a la educacin y la formacin. Direccin postal: Edifici de Llevant, dpto. MIDE, Passeig

de la Vall dHebrn, 171, 08035 Barcelona.

http://www.iso90012000software.com/17025.htmlhttp://www.iso90012000software.com/17025.htmlmailto:[email protected]:[email protected]://www.iso90012000software.com/17025.htmlhttp://www.iso90012000software.com/17025.html


20/20


ARTICLE RECORD / FICHA DEL ARTCULO

Reference /Referencia

Rubio, Maria Jos (2003). Enfoques y modelos de evaluacin del e-learning.RevistaELectrnica de Investigacin y EValuacin Educativa, v. 9, n. 2.http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm. Consultado en (poner fe-cha).

Title / Ttulo Enfoques y modelos de evaluacin del e-learning. [Focus and models of evaluation of the e-learning]

Authors / Autores Mara Jos RubioReview /Revista

Revista ELectrnica de Investigacin y EValuacin Educativa (RELIEVE), v. 9, n. 2

ISSN 1134-4032Publication date /

Fecha de publicacin

2003 (Reception Date: 2003 Sept 16; Approval Date: 2003 Oct. 19 Publication

Date: 2003 Oct. 22 )

Abstract /Resumen

The aim of this article is to present the state of arts about e-learning evaluation. Dif-ferent evaluative approaches, different models, tools and experiencies are showed, inorder to determine the quality of virtual learning. Two main approaches are showed:partial evaluation, with emphasis in some aspects of e-learning (materials, technol-ogy resources, teaching, etc.) and global evaluation, that uses management qualitymodels and the practice of benchmarking

El objetivo del artculo es presentar el estado de la cuestin sobre la evaluacin dele-learning. Con este propsito se muestran los diferentes enfoques evaluativos, ascomo diferentes modelos, herramientas y experiencias encaminadas a determinar lacalidad de la formacin virtual, o e-learning. Se destacan dos enfoques principales,la evaluacin de enfoque parcial, que enfatiza aspectos diversos del e-learning (losmateriales, los recursos tecnolgicos, la docencia, etc.) y la evaluacin de enfoqueglobal, que utiliza modelos de la gestin de la calidad y la prctica del benchmarking

KeywordsDescriptores

Evaluacin, calidad, formacin virtual, aprendizaje virtual. e-learning

Evaluation, quality, virtual education, virtual learning, e-learningInstitution /Institucin

Universidad de Barcelona (Espaa)

Publication site /Direccin

http://www.uv.es/RELIEVE

Language / Idioma Espaol (Title, abstract and keywords in english)

Revista ELectrnica de Investigacin y EValuacin Educativa(RELIEVE)

Electronic Journal of Educational Research, Assessment and Evaluation

[ ISSN: 1134-4032 ]

Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modifiedand their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).

Revista ELectrnica de Investigacin y EValuacin Educativa [ www.uv.es/RELIEVE ] pag. 120

Copyright, RELIEVE. Se autoriza la reproduccin y distribucin de este artculo siempre que no se modifique elcontenido y se indique su origen (RELIEVE, volumen, nmero y direccin electrnica del documento).
http://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htmhttp://www.uv.es/RELIEVEhttp://www.uv.es/RELIEVE

enfoques y modelos de evaluacion e learning

Documents