Autor: Francesc Llorens CerdàTutora: Lourdes Guàrdia Ortiz

DISSENY I APLICACIÓ D’UN INSTRUMENT D’AVALUACIÓ DE LA FUNCIÓ DEL CONSULTOR EN EL

“MÀSTER UNIVERSITARI D’EDUCACIÓ I TECNOLOGIES DE LA INFORMACIÓ I LA COMUNICACIÓ (E-LEARNING)” DE

LA UNIVERSITAT OBERTA DE CATALUNYA (UOC)

Seminari d'Iniciació a la Recerca amb TIC. Juny de 2010

Màster Universitari d’Educació i Tecnologies de la Informació i la Comunicació (E-Learning)

TEMA I PROBLEMA DE LA INVESTIGACIÓ

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

La present recerca ha analitzat la funció del consultor en els estudis superiors de Màster de la Universitat Oberta de Catalunya i, específicament, en el ‘Màster Universitari d’Educació i Tecnologies de la Informació i la Comunicació (E-Learning)’, d’acord amb els trets que la personalitzen a dintre el model pedagògic de la institució, i amb els objectius que es descriuen més endavant en aquesta presentació.

Hem afrontat, en la nostra recerca, el problema de determinar si la funció de consultoria, en el marc dels actuals estudis superiors, s’adequa als paràmetres que la revisió teòrica proposa com a idonis en la formació dels docents virtulas. Pensem que els resultats del nostre estudi poden servir a la institució per a comprovar en quina mesura la percepció de la funció de consultoria que tenen els seus estudiants es correspon amb les línies teòriques que sosté.

PREGUNTES DE RECERCA

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

El propòsit de la nostra investigació és doble:

1. Fase 1. (d'anàlisi, justificació i construcció). Establir els trets específics de la funció de consultoria en els estudis esmentats, per a la qual cosa hem recorregut a la literatura científica, i, en conseqüència,

2. Fase 2 (de validació i aplicació). Elaborar i aplicar un instrument d’avaluació d’aquesta funció, amb els objectius operatius que es descriuen en l’apartat “Objectius”.

El propòsit de la investigació ______________________

Les preguntes_____________________________ Les preguntes d'investigació s'associen, doncs, a ambdues fases: -Fase 1

Quins són, segons la justificació teòrica realizada, els trets que caracteritzen la funció del consultor en educació superior, i, en conseqüència… Quins indicadors fonamentats constitueixen criteris d’avaluació de la seva qualitat?

-Fase 2

Quina validesa presenta l’instrument, d’acord amb les estratègies de comprovació previstes? Quina percepció tenen els alumnes que reben formació en línia de la qualitat de la funció docent exercida pel consultor, mesurada a partir dels indicadors que conformen l’instrument avaluatiu desenvolupat?

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

OBJECTIUS

Associats a la fase 1 (d’anàlisi, justificació i construcció)

1. Assenyalar, d’acord amb la revisió bibliogràfica, els trets crítics que caracteritzen la funció docent de consultoria en ensenyaments superiors, en un model formatiu virtual centrat en l’estudiant que assumeix principis constructivistes.

2. Especificar els tipus d’avaluació possibles dintre el model esmentat i les seves funcions específiques.

3. Identificar els elements que carateritzen l’avaluació externa, a la qual s’adreça la nostra investigació.

4. Definir el conjunt de dimensions, variables i indicadors que ens han de permetre mesurar la qualitat de la funció de consultoria.

Associats a la fase 2 (de validació i aplicació)

1. Sotmetre l’instrument provisional a un sistema de validació peer-checking.

2. Fiabilitzar l’instrument d’acord amb la revisió resultant. 3. Realitzar l’aplicació empírica definitiva de l’instrument a la mostra

triada.4. Descriure i interpretar les dades retornades, contrastant els

resultats amb el marc teòric de referència de l’estudi.

Els objectius de la recerca, per fases ______________________

METODOLOGIA

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

La metodologia ______________________

Metodologia d'investigació: quantitativa.Tipus d'estudi: descriptiu, compartint objectius amb el disseny d'investigació avaluativa. Instrument: qüestionari de 39 indicadors, mesurats per una escala Likert de cinc trams.Estructura interna de l'instrument: 3 dimensions i 8 variables.Lliurament del qüestionari: virtualitzat i emplenat mitjançant un formulari web.

El disseny mostral ______________________

Tipus de mostra: no probabilística-discrecional.Tamany de la població: 6 aules de català amb un total d'alumnes no repetits de 117. Tamany de la mostra: 40 estudiants.Fiabilitat de la mostra: interval de confiança del 1.96, error mostral de 0.13, variabilitat de 0.5.

TÈCNIQUES I INSTRUMENTS

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

En els moments inicials de l'estudi, el nostre instrument s'insipira en diverses tipologies:

MECA-ODLADECURCEVAPU

Després de l’examen bibliogràfic i l’anàlisi de diversos instruments quantitatius, el nostre disseny experimental ha contemplat quatre moments ben diferenciats, a cadascun dels quals correspon un instrument desenvolupat:

1. Entrevista exploratòria prèvia. En aquesta fase hem recollit mitjançant un qüestionari valoratiu obert les opinions d’experts sobre els elements que hauria de contindre un instrument d’investigació com el que hem desenvolupat.

2. Disseny del qüestionari i validació peer-checking. La versió preliminar de l’instrument passa a validació. Per tant, s’ha hagut de dissenyar també el qüestionari de validació que s’ha enviat als jutges.

3. Per últim, en funció dels resultats de la validació s’ha refinat el qüestionari preliminar, obtenint com a resultat el qüestionari definitiu.

4. El qüestionari definitiu s’ha convertit en el formulari web que ha gravat les dades de la població, buidades posteriorment a diversos fulls de càlcul i sotmeses a anàlisi.

Inspiració inicial de l'instrument _________________

El disseny experimental__________________

ESTRATÈGIA ANALÍTICA

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

En la nostra recerca hem realitzat un estudi detallat de les dades proporcionades pels tres instruments que han retornat resultats en els diferents moments del procés: l’entrevista exploratòria prèvia, el qüestionari de validació enviat als jutges i, naturalment, el qüestionari definitiu lliurat a la mostra poblacional

La estratègia analítica, per fases ______________________

-Entrevista exploratòria previaSíntesi de resultatsReducció de conceptesIncorporació de conceptes al qüestionari

-Qüestionari de validació peer-checkingAnàlisi de la validesa subjectiva i la intel·ligibilitat dels indicadors (Univocitat)Anàlisi de la validesa de contingut (Pertinença i Importància). Refinat dels indicadors (exclusió, reposicionament o reformulació)

-El qüestionari definitiuFiabilitat (alfa de Cronbach, prova de les dues meitats, coeficient Spearman-Brown.Validesa (matriu de correlacions, matriu anti-imatge, índex KMO, prova MSA, test d'esfericitat de Bartlett, anàlisi factorial confirmatori).

RESULTATS (I)

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

Puntuacions per dimensions ______________________

Resultat bo, però amb un ampli marge de millora.Equil·libri en la valoració de les dimensions.Més homogeneitat interdimensional en la dimensió pedagògica

Les variables ______________________

Molt bona valoració de la funció formativa i transmissora.Unanimitat en la consideració central de la motivació i dels processos comunicatius.La tecnologia està ben integrada en el procés docent.Bona percepció del valor de la innovació pedagògica.Cal identificar i acurar amb més precisió les funcions capacitadores del consultor.Cal aprofundir en un model coherent de socialització on l'individu mantinga la seva personalitat dintre el "grup" i l'aula.

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

RESULTATS (i II) Els indicadors ______________________

Homogeneitat en les puntuacions.Normalitat en la distribució de freqüencies.Els valors desviats es reparteixen en les dimensions.La variable 'Socialització' situa dos indicadors en la zona taronja. Cal acurar aquests aspectes.Amb un passe pilot el qüestionari podria haver-se ajustat millor al disseny teòric de la recerca.

LÍNIES FUTURES D'INVESTIGACIÓ

>> Accés a la bibliografia

Disseny i aplicació d’un instrument d’avaluació de la funció del consultor en el ‘Màster Universitari d’ETIC (E-Learning)’ de la UOC

La investigació de la funció de consultoria ha de considerar en un futur immediat els estàndards internacionals en e-learning, en particular aquells que ha decidit adoptar la institució. Si la fonamentació teòrica que hem fet d’aquesta figura és correcta, s’hauran de determinar amb més detall les tasques associades a cadascuna de les dimensions establertes en el nostre estudi. Així, les investigacions futures podran centrar-se en àmbits concrets i aprofundir en l’ajust entre la definició d’aquests i l’assoliment que s’espera per part dels consultors.

Cal investigar les relacions entre el vessant tecnològic del model docent de la institució i la seva implementació real per part dels consultors: per quines eines s’aposta, si aquestes són o no presents nativament al Campus virtual, si s’integra de manera sistemàtica el seu ús als Plans Docents de les assignatures... Això, a la vegada, potser també implique traçar estratègies de millora de la formació dels consultors, especialment en l’àmbit metodològic.Particularment important resulta estudiar i revisar en detall els processos de socialització i el desenvolupament d’un sentiment de comunitat en aules i grups de treball. Aquests processos són percebuts com a crítics per part dels estudiants. La investigació en personalització, flexibilització metodològica i adaptació als estils d’aprenentatge ha d’ocupar un lloc central en les perspectives futures de recerca.

Suggeriments per a la investigació futura ______________________

Francesc Llorens Cerdà. 2010

FI