guia per a l’avaluaciÓ de la formaciÓ · cions de guy le boterf. a poc a poc, pensant en termes...

PERSPECTIVA

2

GUIA PER A L’AVALUACIÓDE LA FORMACIÓ

Perspectiva 2 12/7/99 18:17 Página 1

PERSPECTIVA2

GUIA PER A L’AVALUACIÓDE LA FORMACIÓÁNGELES PAREDES MARIÑO

Diputació de Barcelona


Primera edició: novembre de 1995© de l'edició: Diputació de Barcelona© del text: Ángeles Paredes Mariño

Disseny gràfic: DIÈDRICRealització: Institut d'EdicionsImpressió: Gráficas Almogávares SAISBN: 84-7794-415-6Dipòsit legal: B-46484-95

Edició no venal


Í N D E X

INTRODUCCIÓ 7

PASSAT, PRESENT I FUTUR DE L’AVALUACIÓ 11

QUÈ ENTENEM PER AVALUACIÓ DE LA FORMACIÓ? 15

EL REPTE DE L’AVALUACIÓ: LA DECISIÓ D’AVALUAR

I AVALUAR PER PRENDRE DECISIONS 17

FITXA NÚM. 1: ANÀLISI SOBRE EL SISTEMA AVALUATIU

ETAPES DE LA FORMACIÓ: FINS A QUIN PUNT PODEM AVALUAR? 25

AVALUACIÓ TÈCNICO-PEDAGÒGICA: DE L’ANÀLISI

DE NECESSITATS A L’EXECUCIÓ DE LA FORMACIÓ 29

FITXA NÚM. 2: ANÀLISI DE NECESSITATS

FITXA NÚM. 3: DEFINICIÓ D’OBJECTIUS

FITXA NÚM. 4: AVALUACIÓ DE DISSENY I EXECUCIÓ

AVALUACIÓ DE GESTIÓ 43

FITXA NÚM. 5: REGISTRE PER A L’AVALUACIÓ DE LA GESTIÓ

NIVELLS DE L’AVALUACIÓ: DE LA SATISFACCIÓ

DE L’ALUMNE A L’IMPACTE DE LA FORMACIÓ 47

FITXA NÚM. 6: AVALUACIÓ DE L’APLICACIÓ

AL LLOC DE TREBALL

FITXA NÚM. 7: AVALUACIÓ DE L’IMPACTE ECONÒMIC

FITXA NÚM. 8: IMPACTE EN L’ORGANITZACIÓ


INSTRUMENTS I TÈCNIQUES D’AVALUACIÓ 57

L’OBSERVACIÓ 59

FITXA NÚM. 9: OBSERVACIÓ

LA REUNIÓ DE GRUP 65

FITXA NÚM. 10: REUNIÓ DE GRUP

L’ENTREVISTA 69

FITXA NÚM. 11: ENTREVISTA

EL QÜESTIONARI 75

FITXA NÚM. 12: QÜESTIONARI

CONCLUSIONS 79

BIBLIOGRAFIA 81


INTRODUCC IÓ

Quan em vam proposar l’elaboració d’un dossier sobre avaluació de la for-mació, la meva primera reacció va ser pensar que ja està tot escrit, quehi ha molta bibliografia que s’hi refereix, sobretot si tenim en compte cer-tes aportacions molt valuoses, entre les quals hi ha les darreres publica-cions de Guy Le Boterf. A poc a poc, pensant en termes de màrqueting,em vaig plantejar quin podia ser el meu lector potencial, amb quins inte-ressos… Les respostes em van anar engrescant.

Les preguntes que van guiar la meva reflexió van ser:

• Quin pot ser el públic potencial d’aquest dossier? Possiblement treba-lladors i treballadores de l’Administració local que pensen que la for-mació és una eina que pot ajudar a la modernització i a l’adaptació deles nostres organitzacions als nous reptes que se’ns plantegen.Professionals de la formació o dels recursos humans que vulguin fer ohagin de fer avaluacions sistemàtiques i que no han tingut formació teò-rico-metodològica en el camp de l’avaluació.

• En quin moment es troba la formació a les nostres organitzacions?L’interès de l’Administració local per la formació és un fenomen enalça. Els darrers quatre o cinc anys hem assistit al naixement dels plansde formació lligats a la política de recursos humans dels ajuntaments,i també al disseny –en institucions, universitats i escoles de negocis–de programes de formació adreçats especialment al personal del’Administració pública en general, i en certs casos específicamentorientats al de les corporacions locals.Paral·lelament s’han designat professionals de les nostres organitzacionsper portar a terme aquesta qüestió o per responsabilitzar-se’n.

• Quines preguntes ens fem les persones que ens ocupem de qüestionsrelacionades amb la formació? En primer lloc, la pregunta potser és: ho

7


fem bé? I a continuació: ¿els treballadors i les treballadores que assis-teixen als cursos que organitzem o les persones que enviem a cursosexterns, en treuen profit, n’aprenen?, ¿apliquen els coneixements, leshabilitats i les actituds apresos al seu lloc de treball?, ¿els nostres pro-grames, responen a les necessitats de l’organització? L’avaluació enspot ajudar a trobar la resposta a aquestes preguntes.

A partir d’aquestes respostes vaig anar elaborant aquest dossier, que noté més pretensió que ser una síntesi d’algunes de les aportacions més inte-ressants sobre l’avaluació i també una guia de suport a la reflexió a l’ho-ra d’encarar-nos-hi, però també vol ser un dossier simple i didàctic sobreavaluació de formació en les organitzacions.

Pel que fa al contingut del dossier, podem distingir dues parts: la prime-ra és una ràpida visió històrica sobre el tema a la consideració dels dife-rents nivells de l’avaluació; a la segona intento fer una síntesi valorativade les principals tècniques que es fan servir dins les estratègies d’ava-luació.

Cadascuna de les dues parts conté uns epígrafs amb un resum de diferentsaportacions teòriques sobre l’avaluació de la formació. Aquests punts decontingut teòric van acompanyats d’unes fitxes pràctiques, que he plan-tejat com un suport a la reflexió, amb interrogants o aspectes concrets ques’han de tenir en compte sobre els punts tractats.

Abans d’entrar en matèria, haig de reconèixer que una raó que em va ani-mar a elaborar aquest dossier va ser el fet que em donava l’oportunitatde desmitificar i intentar posar a lloc el tema de l’avaluació; personalment,això em va costar molt temps. Un dels mites relatius a l’avaluació és voleravaluar-ho tot o pensar que l’avaluació és un examen; d’altra banda, desd’una perspectiva més pessimista, es pot pensar que els resultats de l’es-forç en formació no són mesurables o bé que, com que hi ha tantes varia-bles que afecten l’aprenentatge, és impossible avaluar l’impacte de la for-mació.

Tres constatacions per fer boca:

1. Avaluar és necessari.

2. Avaluar és possible.

3. Avaluar és imprescindible per poder prendre decisions en matèria deformació.

8


Ara bé:

1. No tot és avaluable.

2. L’avaluació no és únicament responsabilitat del departament de for-mació.

3. L’estratègia d’avaluació està directament relacionada amb el paper ques’atorga a la formació en les nostres organitzacions i amb la situacióque hi ocupen el departament o el responsable de la formació.

9


PASSAT , PRESENT I FUTUR DE L ’AVALUAC IÓ

No pretenc fer un recorregut exhaustiu ni de caràcter científic per totesles aportacions fetes durant les últimes dècades sobre avaluació de la for-mació. Sintèticament, intentaré exposar algunes de les contribucions queconsidero més significatives i que ens situen en els models que fem ser-vir avui dia.

Originalment –des de començament de segle–, el concepte d’avaluació dela formació va lligat fonamentalment amb l’àmbit de l’educació reglada,centrat sobretot en l’alumne i els resultats de l’aprenentatge. És un tipusd’avaluació que respon més al concepte de mesura que no pas al d’ava-luació tal com avui l’entenem en el món de les organitzacions.

Als anys cinquanta Tyler formula l’avaluació fonamentant-la sobre el con-cepte d’objectius. El procés d’avaluació, diu Tyler, és essencialment elprocés de determinar fins a quin punt s’han assolit realment els objectiusde l’educació. La formació comença a ser entesa, no pas com una cosamomentània, sinó com un procés. L’avaluació ja es concep com un meca-nisme que pot ajudar a millorar el procés de formació i els seus resultats.

És Cronbach, als anys seixanta, qui, recollint les aportacions de Tyler,estableix les bases del que avui entenem per avaluació en el context deles organitzacions i relaciona avaluació amb presa de decisions.L’avaluació intentarà actuar durant tot el procés de desenvolupament dela formació, no tan sols al final, per poder-hi anar introduint canvis.

Ja a la dècada següent són fonamentals les aportacions de Stufflebeam,que defineix l’avaluació des d’un punt de vista sistemàtic: «L’avaluacióés el procés d’identificar, obtenir i proporcionar informació útil i des-criptiva sobre el valor i el mèrit de les metes, la planificació, la realitza-ció i l’impacte d’un objecte determinat, amb la finalitat de servir de guia

11


a la presa de decisions, solucionar els problemes de responsabilitat i pro-moure la comprensió dels fenòmens implicats» (Stufflebeam, 1987).Stufflebeam (1987) crea el model CIPP (avaluació de context, input, pro-cés i producte), model que proporcionarà informació útil per respondreles preguntes següents:

• ¿Quines necessitats s’han plantejat, amb quina transcendència iimportància i fins a quin punt els objectius del projecte són un reflexde les necessitats valorades? (context).

• ¿Quin pla s’ha adoptat per plantejar les necessitats, quines alternativess’han considerat, per què se n’ha escollit una i no les altres? (input).

• Fins a quin punt s’ha realitzat el pla del projecte i com i per quin motius’ha modificat? (procés).

• Quins resultats s’han observat, com han jutjat els diferents clients elvalor i el mèrit dels resultats i fins a quin punt s’han satisfet les neces-sitats dels usuaris del producte? (producte).

Per Stufflebeam, l’objectiu bàsic de l’avaluació no és demostrar, sinó per-feccionar: és un instrument per ajudar que els programes siguin millorsper a la gent que ha de fer-los servir.

Crec que també és interessant l’aportació de Stake, que a final dels anyssetanta, des d’un punt de vista més qualitatiu, considera transaccional elmodel avaluatiu: l’avaluador negocia amb el client una part de l’estratè-gia d’avaluació, és a dir, fins on s’ha d’arribar, quin tipus d’informacióinteressa més en cada programa.

Veiem que gradualment les diferents concepcions, seguint la mateixacomplexitat de les organitzacions, van fent abordatges de les realitats desde diverses perspectives, i van enriquint les possibilitats i la potencialitatcom a eines de l’avaluació, que, al mateix temps, es fa més complexa.

Ens trobem, doncs, als vuitanta i començament dels noranta amb lasegüent concepció de l’avaluació:

• Instrument al servei de la presa de decisions.

• Instrument que recull la informació significativa d’un procés de for-mació des de punts de vista qualitatius i quantitatius.

• Instrument que per a la recollida d’informació requereix el maneig dediferents tècniques (qualitatives i quantitatives).

12


• Instrument que ha de ser present en els diferents moments d’un procésde formació (anàlisi de necessitats, planificació, programació, etcè-tera).

• Instrument que incorpora diferents agents (tècnics de formació, alum-nes, responsables directes, etcètera).

• Instrument que té en compte diferents nivells, des de la satisfacció del’alumne fins a l’impacte de la formació en l’organització.

Quin és el futur de l’avaluació? No ho podem predir. En aquesta èpocade canvis accelerats, quan encara estem assimilant aquest concepte d’a-valuació en les nostres organitzacions, quan estem insatisfets dels nos-tres sistemes d’avaluació, ja truquen a la porta noves formes d’entendrela formació en les organitzacions que ens diuen que la formació a l’aulaés obsoleta i que és l’organització la que ha d’aprendre, no tan sols elsindividus un per un.

Sorgiran noves idees que no trigaran a fer-nos reflexionar sobre el paperdel departament de formació i dels formadors en els processos d’apre-nentatge. Puc aventurar que l’avaluació cada vegada serà més a prop dellloc de treball, perquè l’aprenentatge en grups en el lloc de treball tindràuna importància creixent, perquè l’aprenentatge s’ha d’anar orientant al’experiència i als problemes reals dels usuaris de la formació.

És a dir, no està gens malament saber per on vindran els trets. De momentels nostres objectius han de ser posar en marxa un pla de formació querespongui al màxim als objectius estratègics de les nostres organitza-cions, i dissenyar i portar a terme unes accions de formació d’alt nivellde qualitat. L’avaluació serà l’eina per analitzar i comprovar que realmentcomencem a aconseguir aquests objectius.

13


QUÈ ENTENEM PER AVALUAC IÓ DE LA FORMAC IÓ?

Seguint les aportacions de Stufflebeam, l’avaluació és un procés que ensha d’ajudar a «perfeccionar», a millorar el que fem. Avaluar no consis-teix a examinar, mesurar, controlar o qualificar, sinó a recollir i analit-zar informació significativa que serveixi de base per emetre un judici devalor sobre els aspectes avaluats.

Resumint diferents aportacions, podem definir l’avaluació de la manerasegüent:

«Un procés de reflexió sistemàtic a través del qual es recull i s’analitza la informació amb la finalitat de prendre decisions destinades a millorar la qualitat del funcionament de la formació».

Aquesta definició conté el que considero que són els quatre aspectes claude l’avaluació de la formació en les organitzacions i que guiaran el con-tingut d’aquest dossier:

• Entendre l’avaluació com un procés, amb un caràcter dinàmic. L’ava-luació no és un moment puntual al final d’un curs, l’avaluació ha de serpresent a les diferents fases del procés formatiu.

• La incorporació d’estratègies de disseny, recollida i anàlisi de la infor-mació rigoroses i sistematitzades, combinades amb d’altres d’infor-mals.

• L’ús de la informació: l’orientació a la presa de decisions.

• La introducció del concepte de qualitat de la formació, entenent per qua-litat «el conjunt de condicions que cal reunir i posar sota control permaximitzar la possibilitat d’obtenir el nivell previst de les competèn-cies que s’han de produir amb una acció de formació» (Le Boterf,1993).

15


Aquesta definició suscita una confirmació i un repte: d’una banda, la con-firmació de l’avaluació com una eina d’una gran potencialitat per opti-mitzar el funcionament de la formació; i, de l’altra, un repte per la com-plexitat que comporta, per la quantitat d’interrogants que planteja i queconfiguraran l’elecció d’un mètode o l’altre, el major o menor grau d’a-profundiment en els nostres estudis avaluatius i el subjecte i l’objecte del’avaluació.

16


EL REPTE DE L ’AVALUAC IÓ :

LA DEC I S IÓ D ’AVALUAR I AVALUAR PER PRENDRE DEC I S IONS

Durant les jornades d’AFYDE del juny de 1994, en què es va dedicar unaatenció especial a l’avaluació de la formació, es va passar una enquestaal públic assistent, fonamentalment consultors i directors de formació,amb la finalitat d’obtenir algunes respostes sobre aquest fet.

La conclusió principal (Capital Humano, 1994) extreta dels resultats vaser que, encara que l’opinió majoritària (87%) és que val la pena avaluarles accions formatives i que l’avaluació serveix per mesurar la consecu-ció d’objectius (68%), basant-se en l’experiència professional, els con-sultats reconeixen que l’aplicació que es dóna a l’avaluació esmentada ésescassa (62%) o nul·la (6%).

Unes conclusions semblants es poden deduir d’un estudi de la UniversitatAutònoma de Barcelona, publicat per AFYDE l’any 1992, sobre l’ava-luació de la formació fet en un nombre important d’empreses deCatalunya, tant del sector públic com del privat. Algunes dades que se’npodien extreure eren les següents:

• Els aspectes de la formació més avaluats són l’assoliment d’objectius,l’adquisició de coneixements, la resposta a les necessitats de formaciói la reacció dels participants davant la formació o el seu nivell de satis-facció.

• La formació externa és la menys avaluada.

• Els agents d’avaluació més habituals són el participant, el gestor i elformador.

• Els aspectes menys avaluats són la transferència de l’aprenentatge a lafeina, la modificació d’actituds i valors, l’adequació del pla de forma-ció i els efectes en el departament.

17


• Els aspectes rarament avaluats són la relació cost/benefici de la formaciói els efectes en l’organització.

• Hi ha una correlació directa entre els aspectes avaluats i l’agent d’a-valuació.

• Es fa avaluació final, no inicial ni de procés, i poca avaluació diferida.

• Els instruments més utilitzats són els qüestionaris, seguits de llunypels tests i els exàmens, les observacions, les entrevistes i les discus-sions de grup.

• L’opinió sobre la retroalimentació que dóna l’avaluació és molt posi-tiva.

Les conclusions que es poden extreure de l’anàlisi de les dades anteriorssón les següents:

1. En l’avaluació no hi intervenen tots els agents responsables d’un pro-cés d’aprenentatge.

2. L’avaluació no és completa i global; sempre es deixen aspectes peravaluar.

3. No hi ha una estratègia d’avaluació de tot el procés, sinó que es fanavaluacions parcials, planificades separadament i a posteriori.

4. No es fa avaluació en totes les fases temporals del procés.

5. Els instruments d’avaluació són reduïts i només quantitatius.

6. Rarament s’avalua el cost-efectivitat de la formació.

Crec que per començar-nos a situar seria interessant proposar-nos algu-nes d’aquestes reflexions com a punt de partida. Hi ha unes quantes pre-guntes prèvies que ens hem de plantejar, perquè es correlacionen direc-tament amb el disseny d’avaluació que farem:

• Quin paper atorguem a la formació en les nostres organitzacions?¿L’entenem com una cosa que s’ha de fer, com una moda, que oferimcom a part dels beneficis socials dels treballadors, o pensem que pot seruna eina estratègica que pot ajudar a introduir canvis organitzatius?Dues consideracions no unívoques, que poden tenir molts matisos inter-medis (despesa necessària, sistema complementari de retribució, moti-vació dels empleats, etcètera).

• ¿Pensem en la formació com una cosa estàndard o bé l’adaptem a les

18


necessitats de la nostra organització i als problemes detectats en els llocsde treball?

• Fem selecció dels assistents o practiquem el cafè per tothom?

• És una formació dirigida a l’individu o a grups i equips de treball?

• Per acabar, però no per això és menys important: ¿quins resultats espe-rem obtenir dels processos de formació?

La resposta a aquestes preguntes ens donarà les primeres claus per deci-dir quin tipus d’avaluació hem de fer o quina avaluació ens interessa més.

Però no hem acabat les reflexions: a partir d’aquí, ja més o menys orien-tats, comença la cascada de preguntes que ens hem de repetir a cada pro-cés de formació:

• Qui és el nostre client, qui ens demana la informació?

• Què pretenem amb l’avaluació, quina utilitat o aplicació li donarem;concretament, quina decisió hem de prendre?

• Què interessa avaluar?

• Qui hem d’avaluar?

• En quin moment?

• Qui ha de fer l’avaluació?

• Amb quins instruments?

• De quins recursos disposem?

En aquest moment podríem fer classificacions de l’avaluació d’acordamb quasi totes aquestes preguntes; segons el moment que s’avalua,podríem parlar d’avaluació prèvia, simultània o ex-post; segons la pro-cedència de l’avaluador, d’avaluació interna o externa; segons els aspec-tes del programa que avaluem, d’avaluació de necessitats, de procés, deresultat, de costos, etcètera. En parlaré més endavant, però el que crec queés prioritari i el que m’interessa ressaltar en aquest punt és la funció quehi donem, el perquè de l’avaluació.

Respecte a aquesta qüestió, són especialment interessants les aportacionsde Patton (1978) quan parla de «l’avaluació centrada en la utilització»(Utilization-Focused Evaluation). Això correspon a una concepció desistema obert en la teoria de les organitzacions. En un moment caracte-

19


ritzat per la complexitat i la necessitat de prendre decisions d’una mane-ra ràpida, és més important aconseguir la informació segons criteris desatisfacció suficient que tractin d’optimitzar o de maximitzar com pro-posen altres enfocaments, que no fer estudis llargs i costosos.

Quan Patton parla d’avaluació centrada en la utilització, vol dir que caladaptar contínuament els mètodes seleccionats per l’avaluador a situacionsparticulars. L’element essencial és la participació contínua en tot el pro-cés avaluatiu tant dels elements decisoris com dels destinataris de l’ava-luació.

És a dir, paral·lelament al disseny d’un programa de formació, ens hemde plantejar quina serà la nostra estratègia d’avaluació i repetir-nos elsinterrogants que s’han anat plantejant.

20


F I TXA NÚM. 1 : ANÀL IS I SOBRE E L S ISTEMA AVALUAT IU

Programa o curs: ________________________________________________________________________

1. Quin paper atorguem a aquest programa o curs?

Despesa social _____________________________________ ❏Sistema indirecte de retribució ________________ ❏Canvi organitzacional ___________________________ ❏Inversió ______________________________________________ ❏Motivació dels empleats ________________________ ❏Desenvolupament dels recursos humans ___ ❏

_______________________________________________________________________________________________

2. Quins resultats esperem de la formació?

_______________________________________________________________________________________________

3. Quins tipus de formació donarem?

Interna (a l’aula) __________________________________ ❏Interna (al lloc de treball) ______________________ ❏Externa ______________________________________________ ❏Autoformació ______________________________________ ❏

____________________________________________________________

4. Qui ens l’encarrega, qui és el nostre client, a qui hem de donar elsresultats de l’avaluació?

____________________________________________________________

21


5. Quina informació li serà més útil?

_______________________________________________________________________________________________

6. De quins recursos disposem per avaluar?

_______________________________________________________________________________________________

7. Quin ús farem dels resultats de l’avaluació?

_______________________________________________________________________________________________

8. Què hem d’avaluar?

Aprenentatge de:

habilitats _______________________________________ ❏coneixements _________________________________ ❏

Modificació d’actituds __________________________ ❏Satisfacció __________________________________________ ❏Assoliment d’objectius __________________________ ❏Organització _______________________________________ ❏

22


Contingut ___________________________________________ ❏Utilitat _______________________________________________ ❏Desenvolupament _________________________________ ❏Cost-efectivitat ____________________________________ ❏Aplicació ____________________________________________ ❏Impacte ______________________________________________ ❏Altres _________________________________________________ ❏

_______________________________________________________________________________________________

9. Per què avaluem (ús, decisió que s’ha de prendre)?

Certificar ____________________________________________ ❏Identificar necessitats de formació __________ ❏Fer un balanç ______________________________________ ❏Seleccionar _________________________________________ ❏Introduir canvis en un programa _____________ ❏Fer o no fer un programa de formació ______ ❏Repetir un programa _____________________________ ❏Augmentar el pressupost de formació ______ ❏Altres _________________________________________________ ❏

_______________________________________________________________________________________________

10. Qui hauria d’avaluar (agent)?

Alumne ______________________________________________ ❏Professor ____________________________________________ ❏Gestor formació ____________________________________ ❏Director de formació/recursos humans _____ ❏Responsable directe de l’alumne _____________ ❏Altres _________________________________________________ ❏

_______________________________________________________________________________________________

23


11. A qui hem d’avaluar (subjecte)?

Alumne ______________________________________________ ❏Professor _____________________________________________ ❏Gestor de la formació ____________________________ ❏Altres _________________________________________________ ❏

_______________________________________________________________________________________________

12. Quan hem de fer l’avaluació (moment)?

Abans de la formació ____________________________ ❏A l’inici _____________________________________________ ❏Durant el procés ___________________________________ ❏Al final ______________________________________________ ❏Després (6 mesos, 1 any…) ____________________ ❏

_______________________________________________________________________________________________

13. Com farem l’avaluació (tècniques i instruments)?

Tests __________________________________________________ ❏Exàmens _____________________________________________ ❏Qüestionaris ________________________________________ ❏Proves pràctiques _________________________________ ❏Escales d’actitud __________________________________ ❏Incidents ____________________________________________ ❏Projectes ____________________________________________ ❏Plans d’acció _______________________________________ ❏Observació __________________________________________ ❏Entrevista ___________________________________________ ❏Reunió de grup ____________________________________ ❏

_______________________________________________________________________________________________

24


ETAPES DE LA FORMAC IÓ : F INS A QU IN PUNT PODEM AVALUAR?

Les estratègies d’avaluació que portem a terme s’han de correlacionar ambel sentit o amb la finalitat que donem a la formació en la nostra organit-zació, tal com he avançat al punt anterior.

Peiró (1986) defineix la formació com «un procés intencional i sistemà-tic de modificació de conducta dels membres de l’organització, en unadirecció que contribueixi a l’eficàcia organitzacional, que permeti esta-blir una harmonia més gran entre els objectius de l’individu i els de l’or-ganització i que millori especialment la relació persona-lloc de treball».

Si donem per vàlida aquesta definició, concedim a la formació un paperestratègic i funcional d’una gran transcendència dins les nostres organit-zacions.

Una acció formativa constitueix una transmissió d’informació o una rea-lització d’experiències que poden tenir un impacte immediat individual-ment:

• Increment de coneixements. La persona sap o té més conceptes i dades,coneixements tècnics o sobre l’organització.

• Millora de les capacitats i habilitats. La persona sap fer coses noves, éscapaç d’utilitzar noves tècniques o de millorar-ne el nivell d’utilització.

• Transformació dels valors i les actituds. La persona incorpora nousvalors, noves visions i noves idees que poden modificar els que teniaanteriorment.

Però aquest impacte per si mateix no equival forçosament a aprenentat-ge. Només hi ha aprenentatge real si hi ha un canvi de comportament, sies genera una actuació diferent davant d’un problema o d’una situació.

25


L’aprenentatge individual depèn de molts factors: nivell previ de cada per-sona, intel·ligència o aptitud per aprendre, motivació i predisposició aaprendre, mètodes pedagògics emprats, actitud del grup de formació,etcètera.

A banda d’aquest primer nivell individual, hi ha l’impacte organitzacio-nal, és a dir, el desenvolupament de les capacitats de l’organització.

Segons Xavier Mendoza (1989), podem diferenciar set etapes en el pro-cés de formació:

1. La fase de comprensió conceptual. Les persones que prenen part enun programa de formació han de saber el perquè dels conceptes o deles tècniques que se’ls exposin i entendre quina importància podentenir per a l’organització.

2. La capacitació. S’han de desenvolupar en els participants les habili-tats per aplicar els conceptes o les tècniques anteriors en una situacióconcreta.

3. La confiança i el convenciment. La persona que ha entès el perquè,que comprèn conceptualment una tècnica determinada i ha estat ensi-nistrada per utilitzar-la, ha d’adquirir confiança en l’eina en qüestiói apreciar-ne el valor. A més ha de tenir el convenciment que val lapena experimentar-la al seu lloc de treball.

4. Creació d’un clima organitzatiu adequat que permeti l’experimentaciói accepti els possibles errors com a part dels costos de l’aprenentatge.

5. Experimentació, prova. Facilitar a les persones els mitjans necessa-ris per poder aplicar els nous coneixements. Hi ha d’haver unes dosisde motivació importants i el suport dels superiors, sobretot de l’im-mediat.

6. Incentius per repetir l’actuació. Una de les etapes més crítiques delprocés.

7. Consecució de resultats. En definitiva, és el que perseguim quan ensplantegem un procés de formació: obtenir resultats i millores orga-nitzatives.

Fins a la tercera etapa, l’avaluació depèn del departament de formació iés allò que ensenyem als alumnes dels cursos quan expliquem tècniquesde gestió, és una de les nostres «àrees clau de resultats», una cosa que hemde fer molt ben feta en un departament de formació, l’avaluació tècnico-

26


pedagògica, que comprèn des de l’anàlisi de necessitats de formació finsa la definició d’objectius, passant per la decisió del tipus de programa deformació que farem, la seva execució i, no cal dir-ho, l’avaluació de l’a-prenentatge.

A partir del punt quatre, el tema comença a complicar-se, perquè l’avaluaciós’enriqueix amb altres actors: ens referim sobretot als responsables direc-tes de les persones que han passat per un procés de formació i d’un actorindefinit, «la cultura organitzativa», que ha de permetre l’experimentació,l’assaig-error, és l’avaluació d’aplicació i l’avaluació d’impacte.

27


29

AVALUAC IÓ TÈCN ICO -PEDAGÒGICA :

DE L ’ANÀL I S I DE NECESS I TATS A L ’ EXECUC IÓ DE LA FORMAC IÓ

L’avaluació tècnico-pedagògica correspondria a les etapes del que s’a-nomena enginyeria de la formació, que és, segons Le Boterf (1991), «elconjunt coordinat dels treballs metòdics de concepció i implantació delssistemes de formació, és a dir, el pas de la política al pla de formació».

L’enginyeria de la formació aniria, doncs, des de l’anàlisi de necessitatsfins a l’execució de la formació, passant per la definició d’objectius i laplanificació de les accions.

Si, com hem dit abans, entenem l’avaluació com la recollida d’informa-ció per a la presa de decisions, es trenca l’esquema tradicional linealsegüent:

Anàlisi necessitats → Planificació → Execució → Avaluació

i l’avaluació s’integra en tot el procés d’enginyeria de la formació:

Anàlisi de necessitats

Definició d’objectius

PlanificacióAVALUACIÓ

Execució

En el procés d’avaluació hi hauria, doncs, tres fases (Mateo, 1994):

1. Fase analítica, que comença amb l’anàlisi i l’especificació de lesnecessitats de formació, la valoració dels obstacles previsibles i l’es-tabliment dels recursos necessaris per poder dur a terme un programade formació determinat. És l’avaluació inicial o diagnòstica.


30

2. Fase interactiva: es dissenya el programa, es concreten els objectiuspedagògics, operatius i d’impacte, es decideix la metodologia oestratègia pedagògica que s’ha de seguir, es tradueixen les necessitatsde formació a continguts, se selecciona el professorat més adequat, esfa la selecció dels alumnes, s’escullen els instruments i els criteris d’a-valuació pedagògica. És l’avaluació formativa.

3. Fase avaluativa: és l’avaluació final o sumativa, avaluació dels can-vis produïts a partir de l’aplicació d’un programa determinat. En par-larem més endavant.

Segons el moment del pla de formació, el sistema de formació que femservir, els recursos de què disposem, etcètera, en les nostres organitza-cions, estarem en disposició d’arribar, més o menys endavant, en una faseo en una altra d’aquest procés.

Vegem a continuació cadascuna de les fases del procés d’avaluació tèc-nico-pedagògica.

1. ANÀLIS I DE NECESS ITATS DE FORMACIÓ

Entenem per anàlisi o avaluació de necessitats de formació l’estudi sis-temàtic d’un problema o innovació, amb la incorporació d’informacionsde diferents fonts per tal de prendre decisions efectives o d’oferir reco-manacions (Rossett). Amb aquesta definició podem confirmar el seuaspecte avaluatiu.

El punt de partida d’una anàlisi de necessitats de formació pot ser moltvariat: es pot fer una demanda de formació per problemes de rendimento disfuncions observades; per la introducció de sistemes, tecnologies oprocediments nous; pel canvi o l’evolució d’un lloc de treball; per un can-vi organitzatiu; per un canvi cultural, etcètera. A partir d’aquest momentcomença la recerca d’informació per centrar la demanda i la possible res-posta.

QUINA INFORMACIÓ NECESSITEM PER PODER PRENDRE DECISIONS?

Sobre el tema que ha generat la demanda:

• Què és l’òptim, el més desitjable, és a dir, quins coneixements, quineshabilitats i quines actituds es requereixen.


31

• Quines són les opinions, quins són els sentiments sobre el problema oel canvi que s’ha de produir.

• Si el que ha generat la demanda és un problema de rendiment, quinesen són les causes (manca de destreses, manca d’incentius o incentiusinsuficients, manca de motivació, entorn inadequat, etcètera).

• Quines són les possibles solucions.

Sobre el grup o els grups de persones que s’han de formar.

• Quin és el seu nivell, és a dir, els coneixements i les destreses actuals.

• Quina és la seva actitud i quins són els seus sentiments.

• L’homogeneïtat de nivell.

Sobre els plans estratègics i polítics de l’empresa.

• Relació de la demanda amb aquests plans i prioritat.

A QUI HEM DE DEMANAR LA INFORMACIÓ QUE NECESSITEM?

Segurament, en cada cas seran diferents les fonts per obtenir informació.És important, com hem comentat al principi, diversificar la recollidad’informació, intentar tenir punts de vista diferents. Algunes de les fontsa què normalment hem d’acudir són les següents:

• La persona o les persones que ens han formulat la demanda.

• El responsable o els responsables de les persones que s’han de formar.

• Les persones que s’han de formar.

• Materials escrits: descripció del lloc de treball, informes previs, docu-mentació sobre el tema.

Les eines que podem fer servir per obtenir la informació són les matei-xes a què ens referirem respecte a les altres fases d’avaluació, és a dir,entrevistes, qüestionaris, reunions de grup, observació sistemàtica, docu-ments i dades del departament de personal (índex d’absentisme, proble-mes disciplinaris, etcètera).

Una vegada feta la recerca d’informació, arriba el moment de la decisió,de les propostes més adequades a cada demanda, que poden ser:


32

• Desenvolupar un programa de formació.

• Suggerir altres accions per resoldre el problema: canvi de lloc de tre-ball, canvi de condicions de treball, incorporació de noves eines, etcè-tera.

• Recomanar una combinació de les dues propostes anteriors, és a dir,combinar un programa de formació amb altres accions.

2. DEFINIC IÓ D’OBJECTIUS

Qualsevol que sigui l’autor, la font consultada o l’experiència estudiada,veurem que un pas previ imprescindible si volem fer avaluació, encara quea vegades ens faci mandra, és la definició d’objectius, és a dir, hem d’ex-plicitar la finalitat que pretenem amb un procés d’aprenentatge determi-nat. Personalment crec que si dediquem una bona estona a definir objec-tius tindrem avançat, sense exagerar, un 50% del camí de l’avaluació.

Penso que és interessant distingir aquí diferents tipus d’objectius, elsquals he intentat classificar a partir de les aportacions de diferentsautors:

• Objectius globals. Són els que es formulen per identificar el resultat ques’espera de la formació des d’una perspectiva àmplia. La definició d’a-quests objectius correspon als nivells directius, responsables últims deles decisions que afecten les grans polítiques relacionades amb la for-mació: director de formació, director de recursos humans, agentssocials, etcètera.

• Objectius pedagògics: les representacions, els coneixements, les capaci-tats o els comportaments que els alumnes han d’haver adquirit al finalde l’acció de formació. Són objectius d’aprenentatge que han de ser defi-nits generalment per la persona encarregada d’impartir la formació.

• Objectius operatius. Indiquen, no pas allò que l’alumne ha d’haveraprès, sinó el que ha de ser capaç de fer en el lloc de treball una vega-da acabat el període de formació. Aquests objectius fan una descripciód’activitats operatives que es poden realitzar amb millors o pitjorsresultats, i són, per tant, els que ens permetran avaluar l’adquisició dela competència i la transferència que tindrà en el lloc de treball.Han de ser definits pels tècnics responsables de la formació en col·la-boració amb els responsables directes de les persones que s’han deformar.


33

• Objectius d’impacte (els més difícils de definir i per tant d’avaluar):representen els efectes previstos de la formació sobre l’organització, tantpel que fa a les condicions d’explotació com als canvis globals. Igualque els primers, han de ser definits pels nivells directius.

Podríem parlar d’un altre nivell d’objectius que cal tenir en compte, elsobjectius individuals, és a dir, les expectatives i els desitjos de l’alumnequan assisteix a accions de formació, que influeixen en gran manera entot el procés i que hem de tenir presents.

3. DISSENY I EXECUCIÓ DEL PROGRAMA

(AVALUACIÓ DE PROCÉS O DE PROGRAMA)

Si amb l’avaluació de necessitats hem decidit fer formació i tenim iden-tificada la població destinatària, les seves característiques i les sevesnecessitats concretes, si ja hem definit els objectius que volem aconse-guir, el pas següent és el disseny del programa o del curs de formació.

En aquesta etapa hem de decidir quin contingut és el més apropiat, comel plantegem i com el desenvolupem i amb quines activitats; quin pro-fessor és l’idoni per dur a terme la formació, quina metodologia és la mésútil i quins recursos hem de fer servir.

En la fase de disseny també hem de decidir quins instruments d’avalua-ció farem servir i en quin moment i a qui demanarem la informació, és adir, l’estratègia d’avaluació.

Abans de posar en marxa un programa hem de comprovar que compleixtres requisits: pertinència, viabilitat i rendibilitat econòmica. Ha de ser unprograma pertinent, és a dir, ha de tenir coherència amb la realitat que s’hade modificar; ha de ser viable, és a dir, possible de realitzar; i rendibleeconòmicament, s’ha de ponderar cost/eficàcia del programa.

Durant l’execució del programa hem de tenir informació sobre la sevamarxa per poder prendre decisions si cal, sobretot si el programa és dellarga durada. L’objectiu és avaluar fins a quin punt es van complint lesprevisions i els objectius predefinits. Això permet un feedback constantal llarg de tot el desenvolupament del procés.

Finalitzada la fase d’execució ens interessa tenir informació sobre dife-rents aspectes per poder valorar el contingut i altres variables que podeninfluir en el procés d’aprenentatge:


34

• El disseny mateix del programa, és a dir, si els objectius, el contingut,la metodologia i els recursos són els adequats.

• L’organització, els aspectes d’infrastructura, els materials, etcètera.

• El professor, la seva metodologia i els criteris d’actuació, la prepara-ció tècnica, les qualitats pedagògiques i la claredat de l’exposició.

• L’aprenentatge de l’alumne, la seva participació durant el procés.

• La utilitat del contingut per a la capacitació de l’alumne, l’aplicació allloc de treball i l’adequació a les seves necessitats.

Normalment, en aquesta fase els subjectes i els agents d’avaluació són elsmateixos: els alumnes, el professor i el gestor de formació.

Els instruments que es fan servir són el qüestionari, l’observació, ambinformes escrits, informació en situació informal, entrevistes, i el contrastde les expectatives inicials i les conclusions finals.

Per avaluar l’aprenentatge es fan servir tests, proves de coneixements pro-fessionals, proves pràctiques, simulacions o treball de grup.

El moment de l’avaluació dependrà de l’extensió del programa i delsobjectius de l’avaluació. Per exemple, si l’objectiu és avaluar l’aprenen-tatge, s’aconsella fer una avaluació inicial per comprovar la preparacióprèvia dels alumnes, el seu nivell de coneixements i/o destreses, si esconeix el que serà objecte del curs; una avaluació durant el procés percomprovar el ritme d’aprenentatge i les possibles dificultats plantejades;i una avaluació final per comprovar el nivell d’aprenentatge i en quin graus’han aconseguit els objectius del curs.

Amb la informació obtinguda al llarg de tot el procés podrem treure con-clusions per poder prendre les decisions oportunes.

Segons l’adaptació d’Aguilar i Ander-Egg (1992), podrem:

1. Establir els graus següents:

• Pertinència: el programa ha estat capaç de resoldre el problema ola causa d’origen?

• Idoneïtat: ha estat coherent amb els objectius proposats?


35

• Efectivitat o eficàcia: en quin grau s’han aconseguit els objectiusproposats? Comparació entre la qualitat i el temps estimat i el ques’ha realitzat.

• Eficiència i rendiment: quina és la relació entre els esforçosesmerçats i els resultats obtinguts?

2. Determinar les causes de l’èxit o del fracàs i en quina mesura erendegudes al programa o a causes extrínseques.

3. Facilitar el procés de presa de decisions per millorar o modificar elprograma.

4. Establir en quin grau s’han produït altres conseqüències o efectesimprevistos. Le Boterf (1993) assenyala, entre d’altres, els efectessegüents: sol·licituds de remuneració complementàries; creació devincles entre els participants; millor coneixement de la vida de l’or-ganització, dels diferents serveis; sol·licituds de mobilitat; marxes;desig de promoció; resistència al canvi per part de les jerarquies; pujao baixa del nivell de motivació, etcètera.


36

F I TXA NÚM. 2 : ANÀL IS I DE NECESS ITATS

1. Descripció de la demanda:

_______________________________________________________________________________________________

2. Què l’ha generada?:

Problema de rendiment __________________________ ❏Realització d’un projecte _______________________ ❏Evolució o canvi del lloc de treball __________ ❏Canvi cultural ______________________________________ ❏Nou sistema o procediment ____________________ ❏Canvi organitzatiu ________________________________ ❏Altres _________________________________________________ ❏

_______________________________________________________________________________________________

3. Quina contribució s’espera de la formació?

_______________________________________________________________________________________________

4. Informació sobre òptims, reals, sentiments, causes i solucions:

_______________________________________________________________________________________________


37

5. Anàlisi del lloc de treball:

_______________________________________________________________________________________________

6. Anàlisi del col·lectiu:

_______________________________________________________________________________________________

7. La formació, és la solució o hi ha altres alternatives? Quines?

_______________________________________________________________________________________________

8. Quin tipus de formació?

_______________________________________________________________________________________________

9. Necessitats de formació

Coneixements:

_______________________________________________________________________________________________


38

Habilitats:

_______________________________________________________________________________________________

Actituds:

_______________________________________________________________________________________________


39

F I TXA NÚM. 3 : DEF IN IC IÓ D ’OBJECT IUS

1. Objectius globals (del pla de formació):

_______________________________________________________________________________________________

2. Objectius operatius (del curs):

_______________________________________________________________________________________________

3. Objectius pedagògics o d’aprenentatge (del curs, de la sessió):

_______________________________________________________________________________________________

4. Objectius d’impacte (d’un programa de formació):

_______________________________________________________________________________________________

5. Expectatives individuals (objectius dels alumnes):

_______________________________________________________________________________________________


40

F I TXA NÚM. 4 : AVALUAC IÓ DE D ISSENY I EXECUC IÓ

1. Avaluació de satisfacció o reacció:

Opinió dels alumnes sobre:

Adequació del curs a les expectatives.Acompliment dels objectius.Organització del curs.Correlació teoria/pràctica.Preparació/capacitat/claredat/amenitat del professor.Metodologia.Qualitat.Utilitat de la formació rebuda.

Valoració del professorat:

Breu radiografia del grup (grau de participació, motivació, interès,homogeneïtat/heterogeneïtat, etcètera).Adequació i grau d’assoliment dels objectius proposats.Desenvolupament del programa.Grau d’adaptació a la metodologia proposada.Infrastructura i organització.Aplicabilitat del contingut en l’àmbit de treball.Incidències.Aspectes que caldria mantenir i aspectes que caldria modificar.Aspectes més positius i més negatius del conjunt del curs.Valoració quantitativa.

Valoració del gestor o coordinador del curs:

Respecte al diagnòstic:Anàlisi del lloc de treball.Anàlisi del col·lectiu.Necessitats de formació.

Respecte a l’execució:Grau d’acompliment dels objectius.Grau d’acompliment del contingut.Grau d’adequació del contingut al temps disponible.Grau d’adequació del contingut a les necessitats dels alumnes.Dificultats.


41

Propostes de millora.Idoneïtat de la metodologia.Correlació teoria/pràctica.Recursos.Valoració sobre el professor.Valoració sobre els alumnes (grau de participació, nivell deconeixements, motivació i interès, etcètera).Aspectes que caldria mantenir i aspectes que caldria modificar.Aspectes més positius i més negatius del conjunt del curs.

Respecte a l’avaluació:Idoneïtat de l’estratègia d’avaluació.Decisions que s’han de prendre.Necessitat d’avaluació posterior: aplicació al lloc de treball,impacte.

Instruments o tècniques que s’han d’utilitzar:

Alumnes Professor Gestor

Qüestionari final ______________________ ❏ ❏ ❏

Observació ______________________________ ❏ ❏ ❏

Informe escrit _________________________ ❏ ❏ ❏

Informació en situació informal __ ❏ ❏ ❏

Diari del curs___________________________ ❏ ❏ ❏

Entrevista _______________________________ ❏ ❏ ❏

2. Avaluació d’aprenentatge

• Nivell inicial dels alumnes

_______________________________________________________________________________________________


42

• Els alumnes, han adquirit o millorat els seus coneixements?

• Han desenvolupat noves habilitats i actituds com a resultat de la for-mació?

• Hem de completar la seva formació en algun aspecte, tant indivi-dualment com en grup?

Instrument o tècnica que s’ha d’utilitzar:

Qüestionari ______________________________________________ ❏

Test o examen ___________________________________________ ❏

Estudi de casos pràctics ______________________________ ❏

Prova de coneixements professionals ____________ ❏

Simulació _________________________________________________ ❏

Treball de grup _________________________________________ ❏

Projecte ___________________________________________________ ❏

Prova pràctica ___________________________________________ ❏


43

AVALUAC IÓ DE GEST IÓ

Cada vegada més, les exigències de treballar amb eficàcia i eficiència arri-ben als treballadors i treballadores de l’Administració pública, acostumatsfins fa poc que un dels factors d’avaluació de la seva gestió era si havienexhaurit el pressupost a final d’any. Aquesta exigència, unida al fet quecada vegada tenim menys recursos i els hem d’aprofitar al màxim fentencara més coses, ens porta a incorporar a la nostra feina eines de gestióinèdites fins ara en el món de les organitzacions públiques.

Els missatges que ens van arribant des de ja fa uns quants anys, dels qualsnosaltres fem de transmissors en els cursos de gestió als directius i alscomandaments de les nostres organitzacions, han de recalar en primer llocen el mateix servei de formació, que ha d’introduir l’avaluació econòmi-ca i de gestió com un dels seus objectius.

Quan parlem d’avaluació de la gestió, què volem avaluar? L’objectiu defer avaluació de gestió és controlar les accions de formació en relació ambles previsions, l’acompliment temporal, l’acompliment pressupostari i l’a-compliment de les variables que componen un curs.

Podríem diferenciar tres components:

1. Gestió operativa, és a dir, la producció o activitat del centre o serveide formació, que es mesura en relació amb:

• Els cursos.

• Les hores.

• Els alumnes.


44

Alguns indicadors de la gestió operativa són els següents:

• Nombre d’hores de formació.

• Nombre d’alumnes.

• Nombre d’hores de formació × nombre d’hores de feina.

Hores totals (nre. hores curs × nre. alumnes)

Hores formació/empleat = ___________________________________________

Nre. empleats

Hores totals(nre. hores curs × nre. alumnes)

Hores formació/alumne = ____________________________________________

Nre. alumnes

Nre. alumnes × 100% d’alumnes sobre el total d’empleats = ____________________________

Nre. empleats

2. Gestió econòmica, que correspondria a l’anàlisi de costos del pla, delprograma o de l’acció de formació en relació amb:

• El cost del curs.

• El cost per hora.

• El cost per alumnes.

En l’apartat de costos hem de diferenciar:

• Costos directes. Són els que es produeixen com a conseqüència de lapreparació i el desenvolupament dels diferents programes o activitatsde formació: professor, materials pedagògics, documentació, organit-zació, lloguers d’aules, etcètera.

• Costos indirectes. Són els que, igual que els costos directes, es pro-dueixen com a conseqüència del desenvolupament dels diferents pro-grames però que no s’apliquen a conceptes formatius, com ara dietesper desplaçament dels alumnes, manutenció, etcètera.


45

• Costos associats. Són conseqüència de l’absència dels participants alseu lloc de treball. Els principals són els salaris i les càrregues socialsdels participants i professors interns durant els períodes de formació.La valoració d’aquest apartat depèn de cada organització; si no es volfilar gaire prim es pot optar per fer una valoració mitjana per partici-pant segons la categoria o el grup en què s’inscriu (tècnic superior, tèc-nic mitjà, administratiu, auxiliar administratiu o subaltern).

• Costos generals o estructurals. Corresponen al conjunt de despeses deformació no incloses als apartats precedents: la part corresponent delsalari i càrregues del personal del servei de formació, despeses de man-teniment de les instal·lacions pròpies (lloguers, calefacció, telèfon,llum, etcètera), despeses de manteniment i amortització d’inversions(per exemple, equips informàtics, software, àudio-visuals, etcètera).

Encara que el càlcul es faci d’una manera rigorosa, s’ha de tenir en comp-te que en el cas de la imputació dels costos estructurals l’estimació de lesmesures de vegades és discutible. Tot i així, és un bon exercici començara fer-ho, si més no d’una manera general, per tot el pla de formació, perpoder trobar indicadors del que realment representa la inversió de l’orga-nització en formació i del percentatge de la massa salarial de què parlem.

Alguns indicadors d’aquest apartat són els següents:

• Pressupost global de formació.

• Preu d’una hora de formació per programa o tipus de formació.

• Estructura i evolució de les despeses de formació.

Costos de formacióCost de formació per empleat = _____________________________

Total d’alumnes

Costos de formacióCost d’una hora de formació = _____________________________

Nre. hores de formació

Esforç formatiu a raó Costos de formacióde les despeses salarials = _____________________________

Massa salarial × 100


F I TXA NÚM. 5 : REG I STRE PER A L ’AVALUAC IÓ DE LA GEST IÓ

Nom del curs o de l’acció formativa _____________________________

Nre. hores ______________ Assistents _____________ Nre. accions _____________

Hores/ Hores dins Hores foraassistents _____________ hor. treball _____________ hor. treball. _____________

Pressupost:

Capítol I _______ Capítol II _______ Capítol IV ________ TOTAL ________

Costos:Cost parcial Cost total

Cost professor extern ___________________ __________________

Cost professor intern ___________________ __________________

Cost materials ___________________ __________________

Documentació ___________________ __________________

Lloguer d’aules ___________________ __________________

Total costos directes ___________________ __________________

Dietes desplaçament alumnes ___________________ __________________

Manutenció ___________________ __________________

Allotjament ___________________ __________________

Total costos indirectes ___________________ __________________

Cost hora/assistent ___________________ __________________

Total cost associat ___________________ __________________

Cost hora/local ___________________ __________________

Cost hora/equip de formació ___________________ __________________

Nre. d’hores dedicades ___________________ __________________

Total costos estructurals ___________________ __________________

TOTAL COST CURS O ACCIÓ ___________________ __________________

46


NIVEL LS DE L ’AVALUAC IÓ :

DE LA SAT I S FACC IÓ DE L ’ALUMNE A L ’ IMPACTE DE LA FORMAC IÓ

Podem distingir quatre nivells de l’avaluació.

1. Satisfacció o reacció: ¿quina és l’opinió d’alumnes, professors i ges-tors sobre la formació duta a terme?

2. Adquisició de coneixements o aprenentatge: ¿els alumnes, han adqui-rit els coneixements, les habilitats i les tècniques que se’ls hantransmès durant la formació?

3. Aplicació al lloc de treball: ¿hi ha transferència dels coneixements,les habilitats i les actituds de la situació de formació al lloc de treball?

4. Impacte en l’organització: ¿quins són els efectes de la formació enl’organització tant en l’àmbit econòmic (anàlisi cost/benefici) com pelque fa a possibles millores, canvis o iniciatives en el funcionament del’organització?

Els nivells 1 i 2 formen part del que s’ha tractat com a avaluació tècnico-pedagògica, que es desenvolupa en un punt anterior. Són els nivells ques’avaluen amb més freqüència. L’avaluació comença a complicar-se a par-tir del moment que acaba l’acció de formació, quan l’alumne torna al seulloc de treball, i encara més quan volem avaluar els efectes de la forma-ció sobre l’organització.

APLICACIÓ AL LLOC DE TREBALL

Com hem vist, amb aquest nivell d’avaluació volem constatar si els alum-nes han transferit al seu lloc de treball els coneixements i les habilitatsadquirits i, si hi ha hagut un canvi d’actitud, fins a quin punt els alumneshan aplicat el que han après en la millora del seu rendiment.

47


A banda de l’alumne, que continua sent l’actor principal, en aquest nivellhi ha altres actors amb un paper molt rellevant: en primer lloc, el princi-pal responsable de l’avaluació, el cap directe del participant; i, en sego-na línia, tots els actors que intervenen en la situació de treball (companys,usuaris, subordinats, etcètera).

Així mateix, hi entren en joc altres factors que poden facilitar o dificul-tar l’aplicació o la no-aplicació de les competències, com poden ser can-vis en l’organització del treball, actitud de la direcció, canvis de perso-nal, funcionament dels circuits d’informació, etcètera, que s’han de teniren compte a l’hora de fer l’avaluació.

L’avaluació de l’aplicació s’ha de fer en diferit, quan ha transcorregut unperíode de temps després d’haver acabat la formació, aproximadament alcap de sis mesos o un any. L’alumne ha de tenir temps d’integrar els seusaprenentatges i transferir-los a la situació de treball.

Com ja hem dit, el cap superior és el més adequat, i encara diria més, el res-ponsable, de l’avaluació en aquest nivell, perquè pot comparar la situacióabans i després de la formació, mesurar els progressos i els canvis en el com-portament professional i valorar la importància que adquireixen de cara alsobjectius fixats. Ens adonem del valor de disposar de la col·laboració delscaps per fer l’anàlisi de necessitats prèvia a la formació i l’operativitzaciódels objectius. La participació o la no-participació dels caps en tot el pro-cés es pot convertir en un factor clau de l’èxit o del fracàs de la formació.

També hi poden col·laborar altres actors implicats, com subordinats ousuaris, la inclusió dels quals fa més complex l’estudi, o bé fer directa-ment l’avaluació amb algun tècnic del departament de formació, però sem-pre amb el consens i la participació del superior directe de l’alumne.

Potser convé recordar el que s’ha dit en els capítols inicials d’aquestdossier sobre la utilitat de l’avaluació i de la importància de veure clarsl’objectiu i la decisió que s’ha de prendre. Quan avaluem l’aplicació dela formació al lloc de treball, la inversió en temps i recursos augmentaconsiderablement, per la qual cosa és molt important tenir ben clar perquè ens serviran els resultats d’aquesta avaluació.

Buckley i Capley (1991) recullen al seu llibre el criteri de diferents autorsque cal tenir en compte per decidir en aquest moment quines tècniques iquina estratègia hem d’emprar segons els punts següents:

48


• La importància de la formació i dels beneficis esperats.

• La freqüència amb què es farà la formació (i jo hi afegiria l’ampli-tud del col·lectiu que s’ha de formar).

• El cost de l’avaluació.

• La utilitat, és a dir, les necessitats d’informació que satisfarà i lesdecisions que es podran prendre.

• La fiabilitat.

• L’ètica.

Els instruments que es fan servir normalment en aquest nivell són els qües-tionaris, les entrevistes amb els diferents actors, els projectes o plans d’ac-ció de l’alumne, l’avaluació de rendiment, l’observació directa en situa-ció de treball i l’examen de resultats o productes del treball.

IMPACTE EN L ’ORGANITZACIÓ

L’objectiu en aquest nivell d’avaluació és determinar els efectes i elvalor de la formació des del punt de vista de l’organització i amb una pers-pectiva a mitjà i a llarg termini. El que es pretén és trobar indicadors d’eficàcia, és a dir, els resultats de les accions de formació dins l’orga-nització.

Els indicadors d’impacte de la formació es poden valorar a diferentsnivells (Córdova, 1993):

• Resultats econòmics quantificables de les persones o unitat de treball,és a dir, beneficis de la formació, com ha influït la formació en ter-mes econòmics (per exemple, augment de la productivitat i el que potsignificar de reducció del personal necessari per fer determinades tas-ques; disminució de les queixes; simplificació de les tasques admi-nistratives que pot comportar disminució del temps de telèfon, delnombre de fotocòpies o del temps invertit en l’anàlisi de documents,etcètera).

• Millores, canvis i iniciatives en l’organització, en els processos, enla gestió, noves formes més eficaces de treballar.

• Canvis o millores en la motivació, la satisfacció, les actituds i el cli-ma en el medi de treball.

• Desenvolupament personal o enriquiment professional dels empleats.

49


Encara fa molt pocs anys que s’ha començat a parlar d’aquest nivell d’a-valuació, sobretot pel que fa a la valoració dels beneficis de la formació,al càlcul de la seva rendibilitat econòmica. En una de les seves últimesobres (Post-Capitalist Society), Peter Drucker diu: «No és possible quan-tificar el saber. Podem estimar què costa de produir i de distribuir, peròno es pot dir res gaire precís sobre el que pot produir, del «rendiment delsaber». Tota teoria econòmica pressuposa l’existència d’un model derelacions quantitatives entre diferents paràmetres» (recollit per Le Boterf,1994).

Això és la màxima dificultat en aquest nivell: poder establir les relacionsdirectes causa/efecte de la formació sobre els possibles resultats, per totsels factors aliens a la formació que hi poden influir. Quan parlem de fac-tors aliens, ens referim tant a factors externs a l’organització, com és arala legislació, la situació social i econòmica, etcètera, com a factors interns,entre els quals hi ha el grau de compromís i suport dels caps i de la direc-ció en general, els canvis en l’àmbit polític, els canvis organitzatius, lareestructuració de personal o de procediments, etcètera.

Segons el tipus i el contingut de la formació, també varien les possibili-tats de deduir un nivell d’avaluació o un altre. Per exemple, és difícil tro-bar l’impacte econòmic de la formació per al desenvolupament de coman-daments o del personal que presta atenció al ciutadà, i potser és més fàcilquan es tracta d’implantar un nou procediment.

El quadre següent pot reflectir les possibilitats d’avaluar un nivell o unaltre segons el tipus de formació.

50


Tipus de formació i nivell d’avaluació (exemples)

Nivell d’avaluació

Tipus de formació AprenentatgeAplicació

Impactea la feina

Formació lligada a problemes d’execució

Formació lligada a projectes específics

Formació d’habilitats (management) ?

Formació per a l’actualització ? ?

Formació per transmetre cultura organitzacional ? ? ?

(Font: Guy Le Boterf, 1994. Traducció i adaptació de l’autora.)

Malgrat la complexitat i els inconvenients que podem trobar en aquestnivell d’avaluació, i sempre tenint en compte la idea principal de la uti-litat de la informació que puguem aconseguir i de la decisió que cal pren-dre, és possible que ens interessi introduir aquest tipus d’avaluació enalgun dels nostres programes, començant per algun que tingui unaimportància estratègica per a l’organització o per a la formació feta en unaàrea organitzativa determinada.

Per fer avaluació d’impacte des del punt de vista econòmic podem dife-renciar tres nivells que s’han de tenir en compte:

1. Reducció dels costos amb la reducció de les despeses (més fàcil dequantificar), per exemple la reducció del temps o de les despeses deformació, la reducció de la contractació de serveis externs, la reduc-ció del consum de material i energia, etcètera.

2. Reducció dels costos amb augment de la productivitat, per exemple,la reducció del nombre de feines repetides, l’augment de la rapidesaen el servei, la reducció del nombre de persones necessàries per pres-tar un servei determinat, etcètera.

51


3. Augment d’ingressos (més difícil de quantificar), per exemple l’in-crement del servei o l’increment d’ingressos.

Per obtenir informació sobre l’impacte de la formació, hem de tenir nor-malment un suport extern al servei o al departament de formació, tant pelque fa a l’impacte econòmic que requereix dades que ens poden aportardes de departaments de gestió econòmico-financera com per l’avaluaciód’impacte de caràcter més global (millores en el clima de treball, desen-volupament dels treballadors, etcètera). Aquí, doncs, ens pot interessarcontractar un estudi o una auditoria externs.

El nivell d’avaluació d’impacte és, com el d’aplicació a la feina, una ava-luació que s’ha de fer en diferit, sis mesos o un any després d’haver fina-litzat el període de formació.

Els instruments que es poden fer servir en aquest nivell són les entrevis-tes i els qüestionaris. És de molta utilitat servir-se de dades de l’organit-zació, com ara indicadors del departament de personal (índex d’acci-dents de treball, índex d’absentisme, conflictivitat laboral, etcètera) o deldepartament d’organització.

52


F I TXA NÚM. 6 : AVALUAC IÓ DE L ’APL ICAC IÓ AL L LOC DE TREBALL

Possibles aspectes que haurien de ser valorats (pel superior jeràrquic)segons els programes:

• Augment del nivell de coneixements i habilitats.

• Aplicació dels coneixements adquirits amb l’acció de formació(rapidesa, qualitat de la feina, etcètera).

• Augment o disminució del nivell de motivació (interès, bona dis-posició, desig d’aprendre, etcètera).

• Capacitat i iniciativa en la resolució de problemes.

• Organització de la feina.

• Servei i atenció a l’usuari.

• Augment de la productivitat.

• Integració laboral.

• Competència professional.

• Millora del clima de treball.

• Millora de la comunicació.

• Augment de la polivalència.

• Resposta de la formació a les necessitats detectades.

• Aspectes complementaris que s’haurien de treballar.

• Dificultats per traspassar la formació al lloc de treball.

• Demanda de més formació.

• Demanda/augment dels desitjos de promoció.

Instrument o tècnica que cal utilitzar:

Qüestionari: al cap directe _________________________________ ❏als subordinats _______________________________ ❏als usuaris _____________________________________ ❏a companys del mateix nivell ___________ ❏

Entrevista: al cap directe _________________________________ ❏als subordinats _______________________________ ❏als usuaris _____________________________________ ❏a companys del mateix nivell ___________ ❏

Observació directa a la feina __________________________________ ❏Projecte o pla d’acció de l’alumne ___________________________ ❏Examen de resultats o productes del lloc de treball _____ ❏

53


54

F I TXA NÚM. 7 : AVALUAC IÓ DE L ’ IMPACTE ECONÒMIC

1. Estimació dels costos (vegeu fitxa núm. 5). Comparació entre els cos-tos pressupostats i els costos reals.

2. Estimació dels beneficis:

• Reducció dels costos per reducció de despeses.

• Reducció dels costos per augment de la productivitat.

• Augment d’ingressos.

3. Buscar indicadors objectius i mesurables:

• Quantitats (hores, etcètera).

• Efectius (nombre de persones).

• Índex (errors, absentisme, etcètera).

• Terminis (temps de tramitació, temps de durada d’una feina).

4. Fer l’anàlisi cost/benefici del programa, quina és la relació entre elsresultats obtinguts i l’esforç realitzat en termes de diners, recursos itemps.


55

F I TXA NÚM. 8 : IMPACTE EN L ’ORGANITZAC IÓ

Alguns aspectes que cal valorar:

• Modificació de la situació dels assistents al procés de formació.

• Desenvolupament personal o enriquiment professional dels as-sistents.

• Modificació de la situació dels usuaris o beneficiaris del seu servei.

• Modificació del clima de treball.

• Efectes en la comunicació interna.

• Canvi en els estils de direcció.

• Resultats dels canvis, iniciatives o millores introduïdes en l’orga-nització a partir del programa de formació.

• Efectivitat del programa com a resposta als objectius plantejats.

• Resultats o efectes no previstos observats de resultes del programa.


57

INSTRUMENTS I T ÈCN IQUES D ’AVALUAC IÓ

Entenem per tècniques d’avaluació qualsevol instrument, situació, recurso procediment que s’utilitzi per obtenir informació sobre la marxa d’unprocés (Zabalza, 1987). L’elecció d’una tècnica determinada o d’un con-junt de tècniques dependrà dels objectius i de les circumstàncies queenvolten l’avaluació.

Decidirem, doncs, quina tècnica o quines tècniques utilitzem segons,entre altres coses, l’objectiu de l’avaluació, els recursos de què disposem,la prioritat donada al procés que cal avaluar, les persones implicades,l’amplitud de l’avaluació, el temps disponible, etcètera.

Una vegada tenim clara la reflexió inicial sobre què és el que hem d’a-valuar, qui ha de fer-ho, en quin moment, etcètera, el fet d’escollir la tèc-nica o les tècniques correctes determinarà en gran manera l’èxit de l’a-valuació. Hem de tenir en compte que la utilització de tècniques variadesi de diferents fonts condicionarà la validesa i la fiabilitat dels resultatsobtinguts.

Podem dir que una avaluació és digna de crèdit si quan s’aplica repeti-dament i en la mateixa situació proporciona resultats iguals o semblants,i quan parlem de validesa fem referència al grau de precisió amb què uninstrument serveix o satisfà les exigències per a les quals va ser creat, ésa dir, recollir la informació dels aspectes sobre els quals volíem obtenirinformació i no sobre d’altres (Aguilar i Ander-Egg, 1992).

Trobar una fiabilitat i una validesa perfectes rarament és possible en ava-luació de formació a les organitzacions, perquè hi intervenen factorsmúltiples en els subjectes i en les situacions que impedeixen la recollidade dades en condicions idèntiques.


58

Com hem dit abans, sempre pensant en la practicitat i la utilitat de l’es-tudi avaluatiu, hem d’incorporar, en la mesura possible, diferents instru-ments i l’opinió de més d’un actor del procés per poder generalitzar elsresultats.

Hi poden haver moltes maneres de classificar les tècniques d’avaluació.Una possibilitat és fer-ho de la manera següent:

– Tècniques quantitatives. Són tècniques de recollida de dades amb un altnivell d’estandardització i d’objectivitat (Cabrera, 1987). En proposemalgunes:

• Qüestionari

• Test

• Prova pràctica

• Proves de rendiment o de coneixements professionals.

– Tècniques qualitatives. Són tècniques que s’acosten a la realitat des d’u-na perspectiva més fenomenològica i etnogràfica (Cabrera, 1987):

• Observació

• Entrevista

• Reunió de grup

• Tècniques grupals d’investigació: grups nominals (TNA), grups de creació participativa, Delphi, etcètera

• Estudi de casos

• Simulacions

• Anàlisi de contingut

• Anàlisi de documentació

A les fitxes següents he intentat exposar d’una manera molt breu els tretsprincipals d’alguna d’aquestes tècniques, les que al meu judici es fan servir més sovint per avaluar la formació a les organitzacions, amb l’ob-jectiu de posar en comú alguns trets metodològics d’elaboració, prepa-ració, posada en marxa i registre que ens ajudi a obtenir el màxim d’in-formació.


59

L ’OBSERVAC IÓ

QUÈ ÉS?

L’observació és una tècnica qualitativa amb una potencialitat enorme derecollida d’informació útil per al procés d’avaluació. Encara que el seugrau d’utilització no és gaire freqüent, entre altres motius pel cost quecomporta, és interessant tenir-la en compte a l’hora de plantejar-nos l’es-tratègia d’avaluació.

Knapp (1965) la defineix com «un conjunt de registres d’incidents de com-portament que es donen en el curs normal dels esdeveniments i que es con-sideren significatius perquè descriuen models de desenvolupament».

PER QUÈ ES FA SERVIR?

L’observació és un bon instrument per utilitzar en els diferents momentsdel procés de formació:

• Abans del procés: com a ajuda a l’anàlisi de necessitats de formació,després d’una o més sessions d’observació podem tenir informació perdescriure les activitats de les persones estudiades, l’entorn, les eines queutilitzen, etcètera. Això ens ajudarà en la descripció del lloc de treball.

• Durant el procés: com a descripció de les activitats de les persones queparticipen en l’aplicació del programa, tant alumnes com professors.

• Després del procés: com a instrument per avaluar l’aprenentatge d’ac-tivitats que impliquen habilitats o destreses i per analitzar la influèn-cia de la formació en l’actuació en el lloc de treball.


60

ARGUMENTS A FAVOR I EN CONTRA

Els arguments a favor de la utilització de l’observació són els següents:

• És una eina flexible que ens permet tenir informació de tot el sistema,no tan sols sobre els punts on en principi prevèiem focalitzar el nostreinterès.

• Tenim informació sobre el terreny, amb la qual cosa també tenim mésinformació del context.

• Tenim informació més enllà de les paraules que hàgim pogut obteniren una entrevista o en un qüestionari escrit.

• Ens pot portar a altres informacions d’utilitat per a l’avaluació, compoden ser els «productes» o resultats lligats al lloc de treball, per exem-ple expedients, indicadors, etcètera.

Els arguments en contra podrien ser els següents:

• La subjectivitat de l’observador, que pot filtrar o esbiaixar la informa-ció obtinguda, tant pels perjudicis que pugui tenir respecte a una deter-minada tasca com per les seves pròpies deduccions.

• La influència que pot tenir una persona aliena a un procés, és a dir, lapresència de l’observador, ¿afectarà la manera d’actuar de les personesobservades? En general, la resposta és afirmativa, però es pot pal·liaramb mostratges en diferents llocs i amb diferents treballadors, i fins itot amb la utilització d’observadors encoberts, com és el cas del clientfantasma a les oficines d’atenció al públic.

• El cost. Com he dit al principi, aquest és un dels punts que poden afec-tar més negativament la utilització d’aquest instrument, el nombred’hores i els desplaçaments per la persona o les persones que fan l’ob-servació.

PREPARACIÓ DE L’OBSERVACIÓ

Després d’analitzar els arguments a favor i en contra, i si optem peraquesta observació, hem de tenir en compte que no és convenient impro-visar un procés d’observació i que si volem aprofitar al màxim la infor-mació que ens ofereix una situació determinada hem de tenir present unasèrie de factors (adaptat de Mateo, 1989):


61

• Tenir idees ben clares sobre els objectius que perseguim amb l’obser-vació.

• L’explicitació o no de l’observació: ¿les persones observades, han deconèixer l’existència de l’observador i el propòsit de l’observació?

• La durada de l’observació, ha de ser única o múltiple?

• ¿La focalització de l’observació, ha de tenir un enfocament restringit ianalitzar aspectes aïllats, o bé un d’ampli, atent a qualsevol aspecte quesucceeixi? Alguns autors aconsellen un primer acostament assumint deforma holística la situació, observant-la en conjunt; la segona fase jaseria més estructurada, per captar-ne els detalls.

• L’estructuració de l’observació: ¿és preferible tenir una guia d’obser-vació sistematitzada o bé un paper en blanc obert a qualsevol possiblesuccés?

• L’agent d’observació: ¿ha de ser algú del departament de formació opodem aprofitar altres recursos de l’organització més preparats perobtenir informació útil en cada cas?

Un observador ha de reunir una sèrie de característiques:

• Curiositat sobre el que ha d’observar i els seus detalls.

• Paciència per reunir tots els detalls necessaris i les percepcions sobreuna situació.

• Tacte per explicar, si cal, el perquè de la seva presència en un contextdeterminat i suavitzar les preocupacions de les persones observades.

• Bona disposició per confondre’s amb l’entorn com a part interessada.

• Comprensió del sistema que és el centre de l’observació.

• Habilitat per percebre tant el bosc com els arbres.

• Habilitat per enregistrar el que succeeix, analitzar-ho i arribar a deduc-cions vàlides per al procés d’avaluació.

Com hem dit anteriorment, un dels punts que hem de tenir en compte ésla utilització o no d’una guia d’observació. La guia d’observació és unmaterial de suport que ens serveix per optimitzar el temps en el lloc ones fa l’observació, durant l’anàlisi de la informació existent, i, a poste-riori, per posar en clar tota la informació recaptada. És útil també, si l’ob-servació ha d’anar a càrrec de persones diferents i en diversos processos,per homogeneïtzar i estandarditzar la recollida d’informació.


62

Una guia d’observació ha de ser fàcil de comprendre i d’utilitzar i ha d’es-tar directament relacionada amb els objectius de la fase del procés (anà-lisi de necessitats, execució, etcètera) en la qual l’estem utilitzant.

A vegades podem fer servir un instrument en el qual la informació espugui quantificar i el mitjà de recollida de la informació sigui l’observa-ció. És el cas de les proves per a l’avaluació de les pràctiques, instrumentsque ens faciliten l’avaluació de l’aprenentatge de les activitats que impli-quen destreses o habilitats, i que es poden dividir en aspectes claramentdefinits, com poden ser un treball de taller, d’oficina, l’aprenentatge del’ús d’una determinada eina informàtica, etcètera.

Consisteix en una sèrie de preguntes o enunciats sobre un aspecte que s’had’avaluar seguida d’una escala d’opcions graduades en intensitat. Elstrets i les característiques han de ser directament observables i els ítemshan de ser unívocs, no han de donar lloc a interpretacions.

Segons el tipus de resposta poden ser de quatre classes:

• Numèriques: quan la intensitat del tret que s’ha d’observar s’expressaen xifres.

• Gràfiques: quan la intensitat del tret que s’ha d’observar s’expressa encategories (per exemple, sempre, generalment, a vegades, etcètera).

• Descriptives: quan les categories de l’escala fan una descripció breu,però al més exacta possible, de la característica o del tret que s’had’observar.

• De judici: sí o no.


63

F I TXA NÚM. 9 : OBSERVAC IÓ

1. Situació que s’observa:

_______________________________________________________________________________________________

2. Objectiu de l’observació:

_______________________________________________________________________________________________

3. Objecte de l’observació:

_______________________________________________________________________________________________

4. Llista de tasques, aspectes o conductes que s’han d’observar:

_______________________________________________________________________________________________

5. Categories d’observació:

_______________________________________________________________________________________________

6. Escales de valoració:

_______________________________________________________________________________________________


65

LA REUNIÓ DE GRUP

QUÈ ÉS?

La reunió amb un grup també és una tècnica qualitativa de recollida d’in-formació que ens pot ser útil per a l’avaluació. Igual que l’observació,és una tècnica infrautilitzada; d’una banda, perquè és més costosa quealtres tècniques i, de l’altra, per la mateixa dificultat que comporta diri-gir un grup. També, com en el cas de l’observació, és una tècnica útilabans del procés de formació, durant el procés i fins i tot després, és adir, com a ajuda a l’anàlisi de necessitats, al disseny, a l’execució i a l’a-plicació.

Una reunió de grup és una trobada de tres o més persones amb un objec-tiu determinat que permet la interacció. Treballar en grup aporta un majornombre d’idees i d’energia que el que és possible amb un sol participant,un resultat superior a la suma de les parts.

PER QUÈ ES FA SERVIR?

Amb el treball de grup es pot recollir informació, se’n pot donar i es podencrear llaços d’unió. Els grups es poden utilitzar en avaluació per:

• Demanar opinions dels usuaris d’un procés determinat, o bé d’alumnes,professors o caps directes dels assistents.

• Oferir una sèrie d’alternatives, de possibilitats per decidir entre dife-rents opcions.

• Establir prioritats i prendre decisions.


66

ARGUMENTS A FAVOR I EN CONTRA

A favor:

• El contrast d’opinions de diferents persones.

• És possible obtenir informació de diferents aspectes.

• La discussió i el debat del grup poden enriquir les opinions personals.

En contra:

• Com comentava al principi, el treball en grup és complex per diferentsraons. En primer lloc, és important tenir en compte l’autoritat que pottenir el professional de formació per treballar amb un grup que nodepèn d’ell jeràrquicament; en segon lloc, l’interès que pot moure elsparticipants a col·laborar i a aportar el seu temps i la seva informacióen un procés determinat; en tercer lloc, el paper dels assistents derepresentació d’un col·lectiu determinat; finalment, i en quart lloc, lesmateixes característiques personals dels assistents a una reunió de grup.

• Pot ser costosa i exigir molt de temps, tant de realització com d’anàli-si de la informació.

PREPARACIÓ I DESENVOLUPAMENT DE LA REUNIÓ DE GRUP

Quan decidim utilitzar la reunió de grup com a instrument d’avaluació,és important seguir una sistematització determinada de preparació i desen-volupament:

1. Preparació prèvia

• Explicitar amb exactitud els objectius de la reunió.

• Seleccionar-ne els participants, en principi segons els seus coneixe-ments i l’experiència o altres raons estratègiques que consideremimportants per al procés (interès de la direcció, representativitat delsassistents, recerca de suport a un projecte, etcètera).

• Preparar el local i les eines necessàries.

2. Preparació del grup

Els primers moments d’un grup són els més importants. La presenta-ció del director de la reunió i dels participants, el plantejament dels


67

objectius que es pretenen assolir i les normes de funcionament són pas-sos que cal atendre especialment per optimitzar-ne el funcionamentposterior.

3. La reunió

Els dos eixos d’una reunió d’avaluació són els objectius plantejats ila participació de tots els assistents en el procés.

El paper del director de la reunió és sobretot de facilitador del pro-cés, i com a tal té diferents funcions: iniciar idees, aclarir les idees quepuguin sorgir, fer preguntes, respondre les preguntes formulades pelgrup, acceptar o rebutjar idees, passar del que és general al que és espe-cífic, analitzar, avaluar i resumir les aportacions que vagin sorgint iinformar sobre el progrés.

Per norma general, la reunió amb un grup que plantegem amb l’ob-jectiu d’avaluar és una ocasió única, per la qual cosa hem d’intentaraprofitar-la al màxim. Abans que finalitzi és important que el res-ponsable es faci les preguntes sobre si s’han aconseguit els objectius,si s’han obtingut dades i informacions prou específiques per ajudar-lo en l’avaluació, si cal complementar la informació obtinguda ambalgun altre instrument, etcètera.

4. Seguiment

Si s’ha establert algun compromís amb els assistents, és importantcomunicar els resultats a què s’hagi arribat a la reunió i, tant com siguipossible, les conseqüències de la informació, els canvis en el dissenyd’un curs, les accions portades a terme després d’una anàlisi de neces-sitats, etcètera.


68

F I TXA NÚM. 10 : REUNIÓ DE GRUP

1. Objectiu de la reunió:

_______________________________________________________________________________________________

2. Selecció dels assistents:

_______________________________________________________________________________________________

3. Mitjà de registre de la informació (notes personals, enregistrament,etcètera):

_______________________________________________________________________________________________

4. Qüestions que s’han de plantejar:

_______________________________________________________________________________________________

5. Compromisos a què s’ha arribat:

_______________________________________________________________________________________________

6. Necessitat d’utilització d’un altre o d’altres instruments comple-mentaris:

_______________________________________________________________________________________________


69

L ’ENTREV I STA

QUÈ ÉS?

L’entrevista també és una tècnica qualitativa d’accés a la informaciómolt emprada en avaluació. L’entrevista, igual com les altres tècniques,s’ha d’entendre com a complement i mai com un instrument únic de reco-llida d’informació.

Sota el nom d’entrevista podem incloure diferents situacions comuni-catives, des de la més oberta i informal fins a la més estructurada.Independentment del tipus d’entrevista, l’entrevistador s’ha de preocuparde preparar-la, de realitzar-la, d’enregistrar-la i d’avaluar-ne les dades.

Hem de tenir present, com he comentat per a les tècniques anteriors, queesperem que l’entrevista ens aporti una informació que nosaltres neces-sitem. Per tant, demanem la col·laboració de la persona entrevistada i hemde fer-li veure l’objectiu i la importància que té per a nosaltres la sevaaportació.

No serà sobrer recordar quatre idees que cal tenir en compte, resumidesa l’estil americà: què hem de procurar i què hem d’evitar en una entre-vista (recollit per Jiménez, 1990, de Román i Pastor).

Hem de procurar:

• Que l’entrevistat estigui relaxat.

• Que se suprimeixi el protocol.

• Preparar-la convenientment.

• Posar-nos en el lloc de l’entrevistat.


70

• Ser un oient atent.

• No fer gala d’autoritat.

Hem d’evitar:

• Parlar massa i voler controlar la situació.

• Sotmetre l’interlocutor a un interrogatori.

• Aparentar pressa i preocupació.

• Tractar d’aconseguir massa coses en una sola entrevista.

• Fer judicis prematurs.

• Que l’entrevistat digui coses que després pensa que no hauria volgutdir.

PREPARACIÓ I DESENVOLUPAMENT DE L’ENTREVISTA

1. Preparació prèvia:

• Determinar la situació inicial i els objectius.

• Planificar les preguntes, amb l’obtenció d’un màxim d’informació ini-cial.

• Valorar la longitud de l’entrevista i el nivell de detall necessari.

• Escollir el tipus de preguntes: comportaments, activitats i experiènciesdel present, interpretacions, opinions i sentiments, coneixements i habi-litats.

2. Entrevista:

• Explicar-ne els objectius i els propòsits.

• Explicitar com o per què va ser seleccionada la persona que és entre-vistada.

• Recordar la naturalesa anònima i confidencial de la informació.

• Crear un clima agradable, evitar xerrades trivials, descriure l’operati-va de la reunió.


71

• Centrar-se en el tema concret.

• Fer algunes preguntes obertes i altres d’estructurades o de respostaobligada.

• Les preguntes han de ser clares i formulades amb un llenguatgeintel·ligible i adaptat a l’entrevistat.

• De tant en tant, fer intervencions mirall que reflectexin el punt de vis-ta de l’interlocutor.

• Registrar la informació i les opinions.

• Mantenir una actitud de neutralitat.

• Controlar en tot moment el ritme de l’entrevista tenint en compte quèvolem esbrinar, i formular les qüestions adequades per obtenir la infor-mació que ens cal, facilitant feedback verbal i no verbal, i resumint elcontingut i el significat de les preguntes.

3. Conclusions de l’entrevista:

• Oferir a l’entrevistat la possibilitat de preguntar.

• Resumir la informació obtinguda.

• Descriure el camí que seguirà el projecte.

• Agrair a l’entrevistat la seva col·laboració.

Patton insisteix que una bona entrevista també és una observació.L’entrevistador ha d’escoltar i observar. Les dades no verbals també ensdonen informació.


72

F I TXA NÚM. 11 : ENTREVISTA

1. Objectiu de l’entrevista:

_______________________________________________________________________________________________

2. Selecció de la persona o de les persones que s’han d’entrevistar:

_______________________________________________________________________________________________

3. Mitjà de registre de la informació (notes personals, enregistrament,etcètera):

_______________________________________________________________________________________________

4. Qüestions que s’han de plantejar (preguntes obertes i estructurades):

_______________________________________________________________________________________________

5. Compromisos a què s’ha arribat:

_______________________________________________________________________________________________

6. Necessitat d’utilització d’instruments complementaris:

_______________________________________________________________________________________________


73

ALGUNES ORIENTACIONS COMUNES A LA UTILITZACIÓ DE QUALSEVOL TÈCNICA

QUALITATIVA PODRIEN SER LES SEGÜENTS (PATTON, 1987):

• Tractar de ser descriptiu a l’hora de prendre notes.

• Recollir una gran varietat d’informació procedent de diferents pers-pectives.

• Fer validacions encreuades recollint diferents tipus de dades: observa-cions, entrevistes individuals o grupals, documents, etcètera.

• Utilitzar cites i relats literals, en el llenguatge emprat per ell o pels par-ticipants.

• Seleccionar atentament els informants clau, tenint en compte que lesseves perspectives poden ser molt limitades.

• Ser conscient de les diferents etapes: guanyar-se la confiança d’entra-da, estar alerta i amb una actitud disciplinada durant la fase rutinàriaintermèdia, centrar-se en l’elaboració d’una síntesi útil, ser conscientdurant la presa de notes.

• Diferenciar clarament descripcions, interpretacions (pròpies i d’altres)i judicis valoratius (propis i d’altres).

• Aportar un feedback formatiu com a part del procés de verificació.

• Incloure en l’informe d’avaluació experiències, pensaments i impres-sions pròpies.


75

QÜEST IONAR I

QUÈ ÉS?

És un instrument escrit que es fa servir per a la recollida de dades amb laintenció de descriure la naturalesa de les condicions existents i per com-parar-les amb estàndards prèviament definits.

QUAN ES POT FER SERVIR?

És l’instrument més utilitzat per valorar la satisfacció dels alumnes i delsusuaris de la formació. També es fa servir en els altres nivells d’avalua-ció com a complement a l’entrevista.

Arguments a favor i en contra

A favor:

• Rapidesa.

• Facilitat d’aplicació.

• Economia d’elaboració i administració.

• Possibilitat d’aplicació i resposta d’un gran nombre de subjectes.

En contra:

• Manca de sinceritat en les respostes.

• Superficialitat.

• Necessitat d’adequació del llenguatge a diferents poblacions.

• Lentitud per normalitzar/quantificar les preguntes obertes.


76

ELABORACIÓ I APLICACIÓ

1. Consideracions prèvies

• Definir els objectius: delimitar el propòsit essencial del qüestionari(per exemple, anàlisi de necessitats, avaluació de satisfacció, etcète-ra), les àrees específiques (tipus d’activitat, contingut, professorat,etcètera) i els aspectes concrets (adequació dels continguts, amenitatdel professor, etcètera).

• Revisar la informació de què disposem sobre el tema.

• Pensar en la població a què s’adreça (nombre de persones, nivell cul-tural, etcètera).

• Avaluar els recursos disponibles: persones, temps, etcètera.

2. Elaboració pròpiament dita

• Seleccionar les preguntes, evitar que n’hi hagi d’intencionades o quedirigeixen la resposta, evitar les complicades, les complexes, les irri-tants, les negatives, etcètera.

• Escollir la forma de resposta: oberta, d’escala, de classificació, de cate-gorització, etcètera.

• Revisar les preguntes:

– El contingut: és necessari? S’hauria de concretar més?

– La redacció: podria expressar-se amb més claredat? És interpreta-ble la resposta?

– La col·locació de la pregunta: està emplaçada en un lloc lògic?

Sempre que sigui possible és convenient que una persona diferent dela que hagi elaborat el qüestionari revisi les preguntes.

• Assegurar-se del nivell de comprensió de l’usuari, tenint cura de la ter-minologia.

3. Aplicació

• Estructuració: mirar que el disseny sigui clar i simple. És convenientintroduir preguntes motivadores i senzilles al principi i al final.

• Presentació: instruccions ben clares, indicant-ne els objectius, l’ús ques’hi donarà, si és anonim o no, etcètera, tenint cura que l’aparença delqüestionari sigui atractiva.


77

F I TXA NÚM. 12 : QÜEST IONARI

1. Objectiu del qüestionari

Propòsit esencial:

___________________________________________________________________________________________

Àrees específiques:

___________________________________________________________________________________________

Aspectes concrets:

___________________________________________________________________________________________

2. Població a la qual va dirigit

___________________________________________________________________________________________

3. Model de pregunta (preguntes obertes o tancades)

___________________________________________________________________________________________

4. Elecció del tipus de resposta

___________________________________________________________________________________________

5. Necessitat d’utilització d’altres instruments complementaris

___________________________________________________________________________________________


79

CONCLUS IONS

Penso que potser és una bona idea acabar aquesta guia amb quatre ideestelegràfiques que poden resumir moltes coses que he volgut transmetre.

Quatre recomanacions assenyades

Els ja esmentats Stufflebeam i Shinkfield (1987) recullen al seu llibreEvaluación sistemática les normes del Joint Committee per a l’avaluacióde la formació. Un estudi avaluatiu ha de ser:

• Útil: al servei de la presa de decisions.

• Factible: senzill i eficaç.

• Ètic: honestedat dels resultats.

• Exacte: net de pressions i influències.

Quatre criteris de qualitat (Le Boterf, 1991)

• Pertinència.

• Coherència.

• Oportunitat.

• Eficàcia i eficiència.

Quatre consideracions finals

• Objectius, objectius i objectius.

• L’eficàcia de la formació és responsabilitat de diferents actors. Hem detenir en compte les seves opinions per poder obtenir conclusions vàli-des que ens ajudin a la presa de decisions.


• Disposar de la participació dels caps directes de les persones que s’hande formar és un factor clau per a l’èxit de tot el procés.

• És responsabilitat directa del departament de formació tot el procésd’enginyeria formativa (com s’ha dit, des de l’anàlisi de necessitats finsa l’execució). Per tant, és missió nostra aconseguir en aquest procés unalt nivell de qualitat. A partir d’aquest moment entren en joc factors queno podem controlar directament; malgrat això, si volem que el nostrepaper en les organitzacions sigui cada vegada més influent, hem d’ac-tuar com a facilitadors en el procés posterior i com a referent d’ajudaals caps i als alumnes.

80


BIBL IOGRAF IA

• Ander-Egg, E. i Aguilar, M.J. (1992). Evaluación de servicios y pro-gramas sociales. Siglo Ventiuno Editores. Madrid.

• Buckley, R. i Caple, J. (1991). Formación. Teoría y práctica. Díaz deSantos. Madrid.

• Cabrera, F. (1987). Técnicas de evaluación y seguimiento de progra-mas de Formación Profesional. Ed. Largo Caballero. Madrid.

• Córdova, P. y Equipo Técnico de DIRFO (1993). Evaluación de lacalidad, eficacia y rentabilidad de la formación. Article de la revistaCapital Humano. Núm. 56. Maig. Madrid.

• Jiménez, B. (1990). Evaluación de programas de adultos: seguimien-to y evaluación. Fondo Formación.

• Le Boterf, G. (1991). Cómo invertir en formación. Ediciones Gestión2000, Barcelona.

• Le Boterf, G. (1992). Ingeniería y evaluación de planes de formación.Ediciones Deusto. Bilbao.

• Le Boterf, G. (1993). Cómo gestionar la calidad de la formación.Ediciones Gestión 2000. Barcelona.

• Le Boterf, G. (1994). Peut-on evaluer les effets de l’investissement enformation dans une enterprise, et comment? Ponència per a les XVJornadas Nacionales de AFYDE (juny 1994). Palma de Mallorca.

• Mateo, J. (1994). La evaluación de la formación en la empresa.Comunicació per a les XV Jornadas Nacionales de AFYDE (juny 1994).Palma de Mallorca.

81


• Mateo, J. (1989). Documentació del mòdul d’avaluació del Màster deDirecció de Formació a l’em sa. Universitat de Barcelona/ConsultoresEspañoles.

• Mendoza, X. (1989). L’actualitat de la formació a les AdministracionsPúbliques. Documents de Formació. Ajuntament de Barcelona.

• Patton, M.Q. (1978). Utilization focused evaluation. Sage Pub. BeverlyHills.

• Peiro, J.M. (1986). Psicología de la organización. Universidad Nacionalde Educación a Distancia. Madrid.

• Pineda, P. (1992). Recerca sobre l’avaluació de la formació a l’empresacatalana. Estudi de la Universitat Autònoma, publicat per AFYDE.

• Rossett, A. (s.d.). Training Needs Assessment. Englewood Cliffs. NovaJersey.

• Stufflebeam, D. i Shinkfield, A. (1987). Evaluación sistemática. Ed.Paidós.

• Zabalza, M.A. (1987). Diseño y desarrollo curricular. Narcea, Madrid.82
