Evaluaciónde Programasde IntervenciónTutorial

RAFAEL CARBALLO SANTAOLALLA

DepartamentodeMétodosdeInvestigacióny DiagnósticoenEducaciónUniversidadComplutensedeMadrid

RESUMEN

El presenteartículopretendeofrecerunaspautasquesirvande ayudaalos respon-sablesde la tutoríaen un Centroescolaralahorade planificar laevaluaciónde la calidadde suactividad,de modoquepuedandeterminarsunivel de funcionalidad,eficacia y efi-ciencia,controlandotodasy cadaunade las variablesqueintervienenenel proceso,loqueles permitiráir modificandoy reajustando,de acuerdocon los resultados,susactua-cionescomo tutoresocoordinadores.

SLJMMARY

In thispaperit’s presentaevaluation’smodel of quality for aprogramof Guidence.This modelwould aids to thetutorial staff to planificateteevaluationof bis programandassesthefuntionality, eficacyandefficiency of his action.The evaluation’sresultwouldpermitedthento ajusteandamelioratethetutorial actions,

La necesidadde evaluarlos Programasde Orientacióny elaborarinstru-mentosquepermitandeterminarla eficaciadelos programasy de los resultadosde las intervencionesquese llevanacaboen el complejomundode laOrienta-ción, vienesiendounaconstantepreocupaciónen estosúltimos añosparalos pro-fesionalesdedicadosa estecampo(Gerler, 1976; Wilson, 1986; Browny Sans-tead, 1982; RodríguezEspinar, 1986; RodríguezMoreno, 1986, 1988, 1992;Repetto,1988,Bartolomé,1990;SanzOro, 1990; Alvarezy otros, 1991; Rodrí-

RevistaComplutensedeEducación, vol. 7, n.0 1, 1996. ServiciodePublicaciones.UniversidadComplutense.Madrid, 1996

98 RafaelCarballo Santuolalla

guezEspinary otros, 1993; FernándezBallesterosy otros, 1995; Valdivia, 1987,1992, 1995; Sanz,Castellanoy Delgado(ed.), 1995).

En los estudiosmásrecientessepercibelanecesidadde superarlos habitualesmodelosdeinformesadministrativos,en los queúnicamentese recogíala docu-mentaciónque avalabala cantidadde actividadesrealizadasen el programa,elnúmerode alumnoso personasatendidasy el tiempodedicadoa cadauna de lasintervenciones.En estetipo de informesno se hacíareferenciaala eficaciade lalabor realizada,al nivel de coberturaalcanzadoni, muchomenos,a las pautasdemejora. A ello contribuíanentreotros problemas:la falta de operativizacióndemuchosde los objetivos;la faltade colaboraciónde losdiferentesagenteseduca-tivos tanto en la elaboraciónde los objetivos,que se veíancomoalgoajenoa suactividadeducativa,comoenlaparticipaciónen los programasy en la facilitacióndela informaciónnecesariaparavalorarlos;el aislamientoque,en muchoscasos,hantenido los orientadoresde los órganosde toma de decisiones;la falta deuna-nimidadentrelos profesionalessobrecuálesdebenserlos criterios paraenjuiciarquéresultadosson losmásadecuados;y, comoes lógico, los derivadosde laapli-cacióndelos supuestode la investigaciónevaluativaalos programasdeorientación.

Actualmentela Evaluaciónde ProgramasdeOrientaciónse entiendedesdeunaperspectivaampliaqueconcibela evaluacióncomoel procesode recogida,análisise interpretaciónde la infonnaciónquevaa servirde soporteparala tomade decisionesen basea un juicio de valor (Stufflebeam, 1971; Beeby, 1977;Orden,1985; Cabrera,1987).La adopcióndeestenuevoenfoqueha sidoparalelaal cambioen laconcepciónde laOrientaciónquehapasadode considerarseúni-camentecomointervencionesbasadasen serviciosa intervencionesbasadasenprogramas.

En cuantoprocesosistemáticode recogida,análisise interpretaciónde infor-mación,la evaluaciónse identificaconunaactividadcientífica,conun procesode búsquedadisciplinadade conocimiento.El juicio de valoren queconsistetodaevaluaciónsuponelacomparaciónde la informaciónconunainstanciareferen-cial de la mismanaturaleza,el criterio. Y la toma de decisionesimplica quelaevaluaciónes un instrumento,esencial,peroinstrumentoy, en consecuencia,nopuedeconvertirseen un fin en simismo.

En general,ala evaluaciónsele asignandos funcionesbásicas:elperfeccio-namientoy mejoradel propio objeto o realidadevaluados,en nuestrocasolasintervencionestutoriales(evaluaciónJbrmativa);y laverificacióny constatacióndelméritoo calidaddelobjetoo realidadevaluados,ennuestrocaso,el controldela calidadde las accionestutoriales(evaluaciónsumativa).Aunqueenocasionesse contraponenambasfunciones(Schwandty Halpern, 1988; BroeijenstijnyAcherman, 1990; Orden, 1992), la evaluaciónsumativatambiénpuedeactuarcomoun factorde perfeccionamientoy mejorade la realidadobjetode evaluación,dadoquela evaluacióngeneraunatendenciaala adecuaciónde losprocesosaloscriterios evaluativos,determinandolas característicasde los productos.Portanto,en la medidaenquetalescriterios represenlennivelessatisfactoriosdecalidad, la

EvaluacióndeProgramasdeIntervenciónTutorial 99

evaluaciónsumativa,lo mismoquela formativa,se transformaen unapoderosapalancade optimizacióndelosprocesosy productosobjetode evaluación.

Porprogramasseentiendetodaactividadsistemáticae intencionaldiseñadaparaproducircambiosesperadosen los sujetosquese exponenaella(Rodríguez,1986; Cabrera,1987; Repetto,1988;Sanz,1990;Fernández-Ballesteros,1995).Desdeestepunto de vistalosprogramastutotiales,comocualquierprogramadeorientacióny educativo,constade los siguientescomponentes:

1. Metasy objetivos—en teoríaclaramenteformulados—queconducenaunosresultadosesperadosenautoconocimientodel alumno,relacionesinterpersonales,toma de decisiones,etc.

2. Actividadesy procedimientosparaconseguiresosresultados.3. Recursospersonalesy materialesparallevarlo acabo.

La Evaluaciónpuedeabarcartodaslas etapasdel desarrollode un programa:desdelaprevia tomadedecisionessobreel tipo de programaqueseimplantará,hastasu diseño,ejecucióny resultados.La evaluaciónse constituyeasí en elnúcleodel programay no seefectúaen un único momentosino alo largo de todoelproceso,proporcionandoinfonnaciónparalas decisionesquese van tomandoensu puestaen marchay desarrollo,asícomoal final del mismo.

REALIDADA EVALUAR

PROPOSITO DE LAEVALUACIÓN

loo RafaelCarballo Santaolalla

Parapoderrealizarunaevaluaciónseráprecisocumplir lossiguientesrequi-sitos (M. Rodríguez,1988; Sanz,1990; 5. Rodríguezy otros. 1993):

a) Los objetivoshande estarenunciadosexplícitamenteen forma de com-petencias.

h) Sehande establecerlos indicadores.c) La evaluaciónha de estarprevistadesdeel inicio del programa.

Por lo tanto,alahoradeplanificar unaevaluaciónes importanteconocerquéaspectosdel programadebenserevaluados,ya seanestosrelativosal contextoenque se desarrollael programa,a la maneraen quehasido diseñadoy estructu-rado, a cómo se implantao a qué resultadosse llega como consecuenciadetodo ello. Esaespecificaciónde dimensionesaevaluardebehacersede lamane-ra másoperativaposible,basándoseen conductaso manifestacionesobservablesy medibles.

Pero tambiénes necesarioestablecerlos referentesque nos vana servirparaenjuiciarlos diferentescomponentesdel programa.Parapoderestablecerlos criteriosde valoracióny cuálesson los nivelesde éxito es necesariodeter-minar la finalidad de la evaluacióny los destinatariosde la misma,ya quedeellosdependeen granmedidala orientacióndel procesoevaluativo.Dehecho,cadaelementodel programapuedeadoptarformasdiferenteso serconcebidode modo distinto, siendotodas ellas expresiónde un nivel de calidad de laaccióntutorial, quedependede la concepciónde lo quees la tutoría, la edu-cación, lasociedad,etc. del quejuzga. En otraspalabras,los distintossistemasde valores,lasdistintasideologías,las actitudese interesesde los grupose indi-viduosse proyectaránen otrastantascaracterizacionesde lo quees unatutoríadecalidad.

En estesentido,el mérito y calidadde la acción tutorial aparececomounconceptorelativo alno corresponderconunaseriefija y únicade característicasdelos diversoselementosdel procesoy del producto.Aunquees muy probablequeen cadasituaciónconcretala valoracióndadaestécondicionadapor loscri-teriosque se fijen, la intenciónde esteartículoes poderllegar a establecerunmodelo generalde evaluaciónde la acción tutorial que ayudea planificar ydesarrollarun estudioevaluativo,quedeberáconcretarseen cadacasopanicular.

Modelo evaluativode lacalidadde la accióntutorial

Paraello nosbasaremosen elmodeloenunciadoporOrden(1992),en cuyodesarrollovenimostrabajandoen los últimos años.Segúnestemodelode eva-luacióndela calidad,seconcibelainstitucióneducativa,o laeducaciónen gene-ral, comoun sistemaintegradode elementos,entrelos cualeshabríaqueidenti-ficar las relacionesqueseestablecenentreloscomponentesdecontexto,entra-da/diseño,procesoy producto(en cstecasodel modelode accióntutorial quese

EvaluacióndeProgramasdeIntervenciónTutorial 101

ANÁLISIS DEL CONTEXTO Y DE NECESIDADES

— Análisis del Contexto sociocultural y económico del Centro.— Determinación de las expectativas y necesidades a las que

debe responder el sistema tutorial.

• Necesidades académicas.• Necesidadesafectivas.• Necesidades vocacionales.• Otras. Nivel de

— Selección del modelo Tutotial. asignación

ENTRADAS-DISEÑO

Planificación. UN— Formulación de Metas y Obietivos de la acción Tutorial.— Diseño de las estrategias.— Asignación de funciones y responsabilidades.— Determinación de los destinalarios: Alumnos, Padres, Profeso- N

res,etc. A

E — Descripción de los destinatarios: Número y características. L— Análisis de los recursos.

E¡ • Recursos personales. oc • Recursos materiales. AA Oc PROCESOS

A — Organizativos. — Directivos y de liderazgo.

— Curriculares. — Administrativos y gerenciales. Nivel deE — Instructivos. — Recursos humanos.E — Afectivos. — Recursos materiales, utilización

— Evaluativos. — Recursos económicos.c

E PRODUCTOS DE LA ACCIÓN TUTORIALNc RESULTADOS INMEDIATOS

— Logros cognitivosalcanzados por los alumnos.A — Actitudes desarrolladas por los alumnos.

— Elecciones vocacionales.— Nivel de satisfacción de los alumnos.— Nivel de satistacción de los agentes educativos: Padres, profe-

sores...— Indices de participación en las actividades de los alumnos,

padres...— Número y tipo de actividades tutoriales,— Otros.

IMPACTOS— Transferencias de las competencias adquiridas a otros ámbi-

tos.

102 RafaelCarballo Santaolalla

adopte)y valorarlasen función de un conjuntode reglasbienestablecido,derivadodeun principiogeneral;esdecir, lacalidadde laaccióntutoriai vienedefinida porun conjunto de relacionesde coherenciaentre los componentesde un modelosistémicode intervencióntutorial (véasemodeloen la páginaanterior).

Segúnlo dicho en el párrafoanterior,lacalidaddela tutoríavienedetermi-nadapor la relaciónde coherenciaquese establezcaentretodosy cadauno delos componentesdel sistemarepresentado.En unoscasosestarelaciónde cohe-renciao incoherenciaserápatente,dadala proximidadestructuraly/o funcionalentrelos componentesrelacionados.Tal seríael casode la relaciónpostuladaentre«Metasy Objetivosde laaccióntutorial» y las «Expectativasy necesidadesa las quedeberesponderel sistematutoriabs;o entre«Los logroscognitivosyActitudesdesarrolladaspor los alumnos»y las «Metasy Objetivosde la accióntutorial».En estoscasos,la relaciónaparececomodirectae inmediata.En otroscasosla relación es menosevidente,como, por ejemplo, la relaciónentrelos«Procesosde gestión»y las «Necesidadesdel sistematutorial». Aquí se trataderelacionesindirectasy mediatas.

Los factoresmásimportantesquesuelendeterminarla calidadde la accióntutorial, y en generalde cualquiersistema,son las relacionescentradasen loscuatrocomponentessiguientes:

— Expectativasy necesidadessociales— Metasy Objetivos— Procesos— Productosinmediatose impactos

La coherenciaentre,porun lado, las entradas,los procesosy los productosy,por otro, las necesidadesy expectativassocialesdefine la calidadde la accióntutorialcomofuncionalidad.

La coherenciadel productocon las metasy objetivosdefine lacalidadtuto-rial comoeficaciao efectividad.

Mientrasquelacoherenciaentre,porun lado,entradasy procesosy, porotro,productose definecomoeficiencia.

En resumen,lo quegenéricamentese denominacalidadde un programaoprocesode intervención,segúnestateoría,«seident4ficacon un complejocons-tructoexplicativode valoraciones,apoyadoenla consideración(:onjuntadetresdimensionesinterrelacionadas:funcionalidad,eficaciay eficiencia, expresión,asuvez, de un conjunto integradode relacionesde coherenciaentrelos compo-nentesbósicosdela educacióno de una institución (...) concebidoscomoun sis-tema»(Orden, 1992).

Lasrelacionesentrelas tresdimensionessonevidentes.No tienesentido,porejemplo,hablarde eficienciaen ausenciadeeficacia,y esdudosoconsiderarefi-cazunainstituciónquelograunosobjetivospocorelevantesparalosestudiantesy paralasociedad,es decirconun bajonivel de funcionalidad.Porotrolado,unCentroseráconsideradoescasamenteeficaz y funcional si solamentealcanza

Evaluaciónde ProgramasdeIntervenciónTutorial 103

algunosobjetivosde altarelevanciasocialy falla en otros a causade unadefi-cientedistribucióny uso derecursosdocentes.

Comoindicael propiodela Orden(1992) «la calidadaparece,pues,comoun continuo escalarcuyospuntosrepresentancombinacionesdefuncionalidad,eficaciay eficienciamutuamenteimplicados.Sugradomáximode excelencia,suponeun óptimonivel decoherenciaentre todosloscomponentesprincipalesrepresentadosen el modelosistémico».

Determinaciónde los componentesdel modelode evaluaciónde la calidad tutorial

Para poder desarrollar el modelo y de cara a poder evaluar un programa deintervencióntutorial, lo primeroquehabríaqueespecificarsedacuálesson loselementosqueconformanlos componentesquelo definen,paradespuésproce-der aestablecerlas relacionesde coherenciaentreellos(indicadoresde calidad)segúnlas tresdimensionesantesseñaladas.

Agruparemoslos diferenteselementosen loscuatrocomponentesbásicosdeun programa:Contexto/Necesidades,Entradas/Diseño,Procesosy Productos.

1. Elementosdel Contexto

Son aquellosque nos permiten identificar las característicasdel entornodóndese va a realizarel programay las necesidadesy problemasque debeintentarresolverEn estecasoloselementosaconsiderarson muchosy diversosyaquehacenreferenciaa: las característicasde los Centros(ubicación,tamaño,estudiosqueimparte,recursosmaterialesy humanos,modeloorganizativo...);alos agenteseducativos(alumnos,padres,profesores,tutores,coordinadores,directores...)y sus características(número,género,niveles socioeeonómicos,niveleseducativosy formativos,funcionesy responsabilidadesasignadas,inte-reses,expectativas,destrezas...);alas funcionessocialesasignadasal tutor..

Centrándonosen los elementosespecíficosde la intervencióntutorial —

paralo cual nos basaremosen los señaladosporValdivia (1995)y plasmadosdemaneramásprecisaen el cuestionarioCEAT (1992)—cabríaseñalarlossiguien-tes (Véaseen estemismovolumen«La tutoría en la actual reformadel sistemaeducativo»«Contenidosde la intervencióntutorial» y «Aspectosdiferencialesdela intervencióntutorial»):

• Metasy objetivosdela Tutoría:

— Objetivosgeneralesde la accióntutorial.— Objetivosde la tutoríaen funciónde los ciclosy niveles.

ExigenciasnormativasdeJa accióntutoria].

Y

104 RafaelCarballo Santaolalla

• Necesidadesde los destinatariosde laaccióntutorial (Alumnos y padres).

— Demandasrealizadaspor los alumnosy padres.— PropuestasdelDepartamentode Orientación.

• Funciónasignadaal«Profesor-Tutor»:

Conceptode Orientaciónquepredominaenel Centro y gruposdeprofesoresquese asocianacadauno delos modelosteóricosde Orien-tación.

— Funcionesquedebenllevar acabo,de acuerdocon losplanteamientosde la Administracióneducativa.

— Nivel depreparaciónde los tutores.— Actitudespersonalesenrelacióna su integraciónenel Departamento

de Orientación.— Gradode aceptaciónde las funcionesbásicasde orientación.— Nivel de satisfaccióncon la propiaexperiencia.— Necesidadescon las quese encuentranlosprofesoresen susactivida-

descomotutores.— Necesidadesde formaciónquepercibenlosprofesorestutores.— Gradode acuerdoentre las necesidadespersonalesde los miembrosde

la organización.

• Modelo organizativode las tutoríasen el Centro:

— Tipo de Departamentode Orientación:composicióny funcionesasig-nadas.

— Funcionesasignadasacadaagenteeducativoen la acciónorientadoray tutorial y coordinaciónentreellos.

— Responsabilidade importanciadeotrasinstituciones,equiposo gabi-netesen laorientaciónen elCentro.

El objetivodelos elementosdel Contextoes proporcionarinformaciónparala toma de decisionessobrela implantacióny el diseñodel programade accióntutorial. Se handeobservarlos aspectosorganizativosy relacionalesdel Centroquepermitiránla implantacióny viabilidadde la tutoría.

2. ElementosdeEntrada/Diseño

Los elementosde entradason los quepermitendescribirel programaquepretendeserimplantado,cómollevarlo acabo,los recursosquedebenemplear-se parasupuestaen marchay los costosqueprevisiblementeva asuponersudesarrollo.Segúnesto, los elementosa teneren cuentaserían(Véaseen estemismovolumen«Contenidosde la intervencióntutorial»):

Evaluaciónde ProgramasdeIntervenciónTutorial 105

• Metasy objetivosde la Tutoría.• Contenidosasignadosa la Tutoría:

— ContenidosFuncionales:funcionamiento,organizacióny dinámicaacadémicadel centroy delgrupode alumnos.

— ContenidosInformativos: informaciónal alumnode tipo académico,profesionaly medioambiental.

— ContenidosFormativosu Orientadores:desarrollode la personalidadglobal del alumno.

— ContenidosMetodológicos:programaciónde aquellosaspectosquefacilitan y garantizanel aprendizaje.

• Actividadesdiseñadasparadesarrollarlos objetivos:

— Actividadesconlos gruposde clase.— Actividadesindividualescon losalumnos.— Actividadesconlos padres.— Actividadesconlos profesoresy elDepartamentode Orientación.

• Recursoshumanosconlosquese cuenta:característicasde los profesorestutoresy del Departamentode Orientación

• Recursosmateriales.• Planificacióny estructuraciónde las actividadesy tiempos(Cronogra-

ma).• Previsionesde problemasa superaren la implantación.• Costosdel programa.

3. Elementosde Proceso

Sonaquellosquenos aportaninformaciónacercade cómoseestállevandoacaboelprogramaen laprácticadiaria.Su importanciaresideen quenospermi-ten conocerquépartesdel programasehan llevadoacabo,quédiscrepanciassedetectanentrelos planificadoy lo realizadoy servir de control parcialdel pro-gresode los alumnoshaciael cumplimientode los objetivosdelprograma.Enlíneasgeneralessetrataríadehacerunadescripciónpormenorizadadeldesarro-lío del programaparadetectarlos problemasqueseproducendurantesu implan-tación,ya seaparaadoptarmedidascorrectivasdemanerainmediata(evaluaciónformativa)o bienparaevitaríasenfuturasaplicaciones(evaluaciónsumativa).

Los elementosquehay queobservarsonprincipalmente,los queconformanel diseñodel programa:

• La relaciónorganización-funciones:

— Las relacioneshumanas:conel Orientador,los profesores,los padres,los alumnos...

106 RafaelCarballo Santaolalla

El funcionamientoestructuralo interdependenciasentrelos miembros.

— Los procesosdetoma de decisiones.

• Actividadesplanificadasrealizadaspor los tutores:

Con el grupodeclase.Con los alumnosindividualmente.Con los padres.Con losprofesores.Con elDepartamentode Orientación.

• Modificacioneso variacionesde las actividadesplanificadas.• Tiempodedicadoa cadaactividad.• Nivelesy tipos departicipaciónpor partede los asistentesen las diferentes

actividades.• Reaccionesalas actividadespor partede losasistentes.• Sucesosy problemasrelevantessurgidosdurantelas actividades.• Materialesy recursosempleados.• Canalesde comunicaciónutilizados.

4. Elementosde Producto

Son aquellosefectoso logros que se producencomoconsecuenciade laacciónintencionalde la tutoría. Cabriaclasificarlossegún:elmomentoen queestosse producen—inmediatoso mediatos—;las personas,institucioneso con-textosa los queafecta—alumnos,clase,padres,profesores,centro,sociedad...—y, por último, segúnrespondanaobjetivosplanificadoso, por el contrario,seanimprevistos. Seandel tipo quesean,aportaninformacióny evidenciasa los res-ponsables,e interesadosen el programa,sobrelos resultadosalcanzadosporéstede caraa la tomade decisionessobreel mismo(Véaseen estemismovolumen«La tutoría en la actual reforma del sistemaeducativo»y «Contenidosde laintervencióntutorial»).

RESULTADOS

• Niveles de informaciónalcanzadosy/o adquiridos(mejoras)por losalum-nos:— Nivel de conocimientosacadémico.— Nivel deconocimientosprofesionales.— Nivel de conocimientosmedioambientales.

• Nivel dedesarrollosocio-emocionalde los alumnos:— Nivel deautoconocimientopersonaly de conocimientosobresu edad

y su problemática.

Evaluaciónde Programasde IntervenciónTutorial 107

— Desarrollode actitudesy responsabilidaden problemasde ámbitosocial.

— Nivel de desarrollode Hábitossociales:conductassocialesbásicas,res-petoa las normasde convivencia,a los derechosy deberesde losdemás.

— Capacidadde relación social: relacióncon los demás,integraciónendiferentesgrupos...

— Capacidaddecolaboración.— Desarrollodel espíritucrítico de los alumnos.— Etc.

• Desarrolloy mejoradela capacidadde eleccióndel alumno:

— Académica.— Personal.— Profesional.

• Satisfaccióndel alumno:

— A nivel académico.A nivel personal.

— A nivel familiar

• Participacióne implicacióndelospadresen:

— La educacióndesushijos.En las actividadesdel centro.

• Satisfacciónde los padres

IMPACTOS

• Mejoradel funcionamientodel Centro:

— Mejoradelas relacionesentrelos profesores.— Mejorade los procesosde enseñanza-aprendizaje.

Mejoraen la coordinacióny canalesde comunicación.Mejorade la formacióndelos tutores.

— Satisfaccióndelostutores.— Etc.

• Implicación de los alumnosy agenteseducativosen la solución de pro-blemaseducativosy sociales.

• Niveles de conductassocialmenteinadaptadas:alcoholismo,drogadic-ción, violencia,delincuencia...

• Índicesde éxito en laelecciónprofesionalde los alumnos.• Aumentode la tomade concienciasobrelosproblemassociales.• Efectosno planificadosy/o esperados.

108 Rafael Carballo Santaolalla

La relación deelementosde cadaunade las dimensionesde un programa,quehemosreflejadohastaahora,no debeconsiderarseexhaustivay cerrada,yaquees meramenteorientativay ejemplificadora.Sesobreentiendequeen cadaprogramatutorial y Centroconcretosdeberáespecificarsequéelementosdeberánserobjetode evaluación.

Indicadoresde calidadde laaccióntutorial

Desdeel modelo de evaluaciónde la calidadquehemosdefinido anterior-mente,parececlaroquela elaboraciónde indicadoresde lacalidadde laTutoríase enmarcadentrode criterios y predictoresde funcionalidad,eficaciay efi-ciencia,susceptibles,en muchoscasos,de cuantificación.Asimismo, laconsta-taciónde incoherenciasentrelos componentesbásicosdeun DepartamentodeOrientacióno un programade intervencióntutorial en un Centro,constituyeelmejorpuntodepartiday laguíamásprecisaparatomardecisionesdemejoraenunadirecciónespecífica.

En general,un indicadorse definecomounavariablesignificativa, frecuen-tementecuantitativa,quetienecarácternormativo(Lázaro, 1991, 1992; Orden,1992).Es decir,es unavariablecreadaa partirde unamedidade relaciónentrelos componentesde un programa,enestecaso,de accióntutorial.

Hastaahora,se veníanutilizando exclusivamentelos indicadoresde eficaciay eficienciabajo el nombregenéricode indicadoresde rendimiento,sin unareferenciaclaraa un modeloo teoríadecalidad. En el modeloqueproponemosseincluyen,además,los indicadoresdefuncionalidad,queconsideramosdecapitalimportancia.Estoquieredecirquela eficaciao laeficienciade un Departamen-to de Orientaciónno garantizanporsísolas lacalidadde laaccióntutorial, ya quelos objetivoslogradosno tienenpor qué serlos másrelevantesy urgentes.Porejemplo, si el objetivo principal de la accióntutorial en COU es quelos sujetosseancapacesde elegir lacarreraaestudiaro laactividadprofesionala laquierendedicarsey lo queseconsiguees quelos sujetosdesarrollenunosbuenoshábitosde estudiosy mejorensucapacidadde crítica, evidentementepuedehabersidomuy eficaz,perono respondeal objetivo preferentede estenivel académico.

En consecuencia,podemosagruparlos indicadoresde funcionalidad,efica-cia y eficienciacomosigue:

1. IndicadoresdeFuncionalidad

Son los quepermitendeterminarla bondado méritode los componentesdeun programade acuerdocon su concordanciacon las necesidadessociales/per-sonalesde los destinatariosy/o conel modeloutópicoal quedeberíaresponderla actividadprogramada,es decir, con el deberser La determinaciónde losindicadoresdefuncionalidadaplicablesen el campode laOrientacióneducativa,

EvaluacióndePmgramasdeIntervenciónTutorial 109

en general,y en elde laaccióntutorial, en panicular,planteadificultadespues,comodecíamosalprincipio,los objetivosno suelenestarfonnuladosen términosde conductasmediblesy las metasy objetivosdependenen granmedidade loscontextosen que sedesarrollael programa.Estehechoha provocadoqueno exis-ta unanimidadentrelos profesionalesde la orientaciónsobrecuáles son losresultadosmásadecuadosparamedirlos logrosen orientacióny cuálessonloscriterios valorativosconsecuentes.

De caraa laelaboraciónde indicadoresdefuncionalidades necesariocontarconun marcode referenciaconcretoquepermitaconceptualizar,de forma clara,cuál debeserla actividadtutorial. Acertaren esaconceptualizaciónsuponedarun pasoimportanteparapoderestablecerlos serviciose integrarlosprogramasde intervención.

Luego la primera función que se deberárealizarserála elaboracióndelmarcoreferencial.En estecaso,loscuatrocriterios básicosparapoderdetermi-nar el «deberser» (Kaufmany English, 1979; Kaufman, 1982; Witkin 1984;McKillip, 1987; Pérez-Campanero,1991;Valdivia, 1995)deberíanconsiderarsede lamanerasiguiente(Valdivia, 1995):

1. NecesidadesNormativas:Son las quefijan los expertos,profesionalesocientíficossociales.En estesentidoel referentenormativoseríala legis-lación y normativaAdministrativa,en laquesefijan cuálesdebenserlasfuncionesy tareasdel Departamentode Orientacióny de lostutores.Sesuponequelos contenidosde estemarcolegislativohansido suficien-tementecontrastados.(Véaseen estemismovolumen«La tutoría en laactual reformadel sistemaeducativo».)

2. NecesidadesPercibidas: Son las necesidadessubjetivaspercibidasporlos propios tutoresya seaenrelaciónal marconormativoo al modeloorganizativoy de funcionamientodel Centroen lo que respectaa laactividad tutorial y orientadora.(Véaseen este mismo volumen «Laformaciónde tutores»y «Peifil delprojésortutor».)

3. NecesidadesExpresadas:Sonlas quese derivande las demandasreali-zadassobredeterminadotipo de servicio o programade orientación.Vienen a reforzarlas especificacionesnormativas,matizadaspor el«sentidocomún»y el contextode los Centros.En estesentidohayqueconsiderarlas necesidades,tanto personalescomogrupales,queexpre-san los alumnos,padresy profesoresde caraa la acción tutorial y laOrientación.

4. NecesidadesRelativas:Son lasqueresultande comparardistintassitua-cioneso grupos.Es decir, las necesidadesrelacionadascon la accióntutorial dentrode un mismoCentrovienencondicionadasporel niveleducativode losalumnos,el nivel educativode los tutores,suedad,lasnecesidadespersonalesy grupales,etc. (Véaseen estemismovolumen«Aspectosdiferencialesde la intervenciónTutorial».)

lío RafáelCarballo Santaolalla

Por tanto,lo primeroque habráquehacerseráclasificanordenary estructu-rar cadaunade estasnecesidadesen sus diferentesmodalidadesy niveles,demaneraquese puedaelaborarel modelode Tutoría queseprecisay estándis-puestosaasumir los agenteseducativosde un Centro(Martínezde Toda, 1991;Valdivia, 1995). A partir de estemarcoreferencialse podrádeterminary espe-cificar cuálesson las necesidadesquese deberánsatisfacer,estableciendoentreellasunajerarquíade importanciay/o urgencia,quepermitaestablecerel ordendeprelaciónen las actuacionesarealizarpor la Tutoría.

Una vez quetengamoselaboradoelmarcoreferencialdel «deberser»podre-mos elaborarlos indicadoresde funcionalidad,que podríanagruparseen lassiguientescategorías:

A) Los queexpresanrelacionesentreel sistemareferencial y elcontex-to. Son los queponende manifiestolasnecesidadesde los Centrosy delos tutoressegúnel déficit o contrasteentrela situaciónquesedeberíadar («deberser»)y lasituaciónreal. Tienenla finalidad de identificarypriorizarlas necesidadesde los destinatariosy responsablesdecaraa laformulaciónde las metasy objetivosque deberáabarcarla Tutoría.Debentambiéndescribirlas condicionesrealesquecaracterizanel Cen-tro y la medidaen queéstepuedecubrir tales necesidades:necesidadesde los alumnossegúnciclos y niveles, necesidadescon las que seencuentralosprofesoresen su actividadcomotutores; necesidadesdeformación quepercibenlos profesorestutores; funcionesasignadasacadaagenteeducativoen la acciónorientadoray tutorialy coordinaciónentreellos; necesidadesestructuralesy organizativasdel Centroparalapuestaen marchadel programade intervencióntutorial; viabilidad delproyectotutorial...

B) Los queexpresanrelacionesentreel sistemareferencial y las Entra-dasy el Diseñodel programa.En estetipo de indicadoresde funcio-nalidadcabríadistinguirdos tipos de sistemareferencial.Por un lado,eldefinido por el «deberser» contextual,que permiteenjuiciar la rele-vanciay adecuaciónde los objetivosy entradasa las necesidadessocia-les y personales,y, porotro, lospropiosobjetivosdel programa,quesonlosquenos permitirándeterminarlacoherenciay consistenciadel pro-pio diseñodel programa.Se podríanseñalarentreotros: Adecuacióny pertinenciade las metasyobjetivos;relevanciasocial de los contenidosde la tutoría;capacidadderespuestaa las necesidadesde los alumnosde cadanivel y al proyectosocial y educativodel Centro;claridaden la definiciónde las metasyobjetivos; coherencialógica del diseño; equidaden la asignaciónderecursoshumanos;suficientenivel de formación de los tutores;cohe-renciade laestructuray funcionesdel Departamentode Orientaciónconel sistematutorial propuesto;suficiencia,pertinenciay actualidadde los

EvaluacióndeProgramasdeIntervenciónTutorial III

recursosmateriales;equidaden el repartodelos mismos;suficienciaytemporalizaciónlógicade lostiemposdestinadosacadaactividad..,

C) Los que expresanrelacionesentre el sistemareferencial y losProce-sos: capacidad de respuestade las accionestutorialesalos problemascurricularesy del Centro;flexibilidad de adaptaciónde las actividadesa las demandasde los alumnosy padres;actualidadde las actividadesrealizadasy capacidadpararelacionarlascon las demandassocialesylos temasde actualidad...

O) Los que expresanrelacionesentreel sistemareferenciady los Pro-ductos: vigenciade los conocimientos,aptitudesy competenciasadqui-ridos; relevanciade losvaloresy actitudes;relevanciay transcendenciasocial de las accionesllevadasa cabopor los alumnosen el Centro,barrio...;relevanciade las áreasde prevencióndesarrolladas...

2. Indicadoresde Eficacia

Son losquese apoyanfundamentalmenteen laevaluaciónde losproductos,tomandocomoreferencialosobjetivos y metasdel programa.El objetivobásicode los indicadoresde eficaciaes señalarsi se han alcanzadolos objetivos y elgradoo nivel de consecución:nivelesde informaciónalcanzadospor los alumnosen los diferentesámbitos(académicos,profesionalesy medioambientales),mejo-ra endichosnivelesrespectoal inicio de laaccióntutorial,mejoraen laadquisi-ción de hábitos(sociales,de estudios,actitudhaciael estudio...),nivel de desa-rrollo socio-emocionaly de lapersonalidad(madurezemocional,estadomotiva-cional y actitudinal, relacionesinterpersonaleso competenciasocial, autocon-cepto...),satisfaccióndel alumno(con el programa,el tutor, el centro...),capaci-daddeeleccióndel alumno,satisfacciónde los padres...Tambiénhablaremosdeeficaciareferidaaun proceso,cuandoes capazdeproducir un determinadoefec-to: incidenciade cadaunadelas actividadesenel desarrollode las habilidadesydestrezas,númerode intervencionesrealizadas,actividadesquehantenido unamejoracogiday valoración,importanciaasignadapor los profesoresalas activi-dadesconjuntasconelDepartamentode Orientaciónen el desarrollode su acti-vidadtutorial,valoraciónde los tutoresporpartede susalumnosy los padres...

La ambigliedady/o faltade especificaciónde los objetivos,junto ala defi-cientedefinicióndelos productos,es la grandificultad con la quenos solemosencontraren elámbito educativoy especialmenteen estetipo de programas.Sibien en los aspectosaptitudinalesy cognitivos, en principio, parecemás fácildelimitarcuálesson los nivelesa alcanzar,en los ámbitosactitudinalesy afecti-vos estáoperativizaciónpuedecomplicarseenormemente:¿Cuándoconsidera-mosque un sujetoha alcanzadola madurezsuficienteparatomardecisiones?,¿Cómosabemosquehaelegido la salidaprofesionalcorrecta?,¿Tieneel alum-no un espíritucrítico?,¿Quéescalade valoreses la quedebeasumirel alumno

112 RafaelCarballo Santaolalla

paraconsiderarquees correcta?...Estasy otrasmuchaspreguntasson un refle-jo de la ambigíledadconlaquenos encontramosparapoderdefinir los diferen-tes productosde laacción tutorial, lo queplanteaseriosproblemasde caraa sumedicióny evaluación.

En la mayoríade los casosdebemosestablecerdosnivelesdecriterios: los deéxito individual —quenos permitendeterminarcuándoun sujeto(o la unidaddeanálisis)ha alcanzadoun objetivo— y losgrupales—queespecificanel nivel delogros individualesrespectoa un objetivo quedebealcanzarel programaparapoderconsiderarqueha sidoeficaz—.Los problemasde ambigtiedady falta deoperatividadsedanbásicamenteen losprimeros,mientrasqueenlos segundosseplanteanmásproblemasrelacionadoscon nivelesdeexigenciaquese demandanalprograma.Los primerosson losmásdifíciles deresolvery losquepreocupanmás,tanto alosorientadoresy tutores,ya que suactividaddependeráen granmedidadeunaclaradefinición del logro y de losobjetivos,comoalos evaluadores,yaquedeello dependesu capacidadde mediry evaluarlosefectos.La indefinición de losproductoslleva al orientadoratornardecisionesy ahacerapreciacionessubjetivassupeditadasal contextoenquelas hace,loquenoes unaalternativafiable. De ahíla necesidadqueseñalábamosal principio de operativizardesdeel principio losobjetivosdel programaparaasegurarla eficaciadelaaccióntutorial.

Aunquelo expuestohastaahoraes decapital importanciaalahorade evaluarlos productosinmediatos,no menoscuidadose ha de teneral enjuiciarlosimpactossocialesde laaccióntutorial. Nos estamosrefiriendoa los electosqueproduceen el contextola accióntutorial.Cabríadistinguirlos siguientestipos deimpactos:a) en el entornoacadémicoinmediatode los alumnos(mejora delclima de clase,disminuciónde los índicesde problemasconductualesy disci-plina enel Centro,aumentode laparticipaciónde padresy alumnosen las acti-vidadesdel centroescolar...);b) en el entornodelos tutores(mejorade la coor-dinaciónentreprofesores,mejorade los procedimientosde enseñanza—apren-dizaje, niveles de motivacióne implicación de los profesoresen su actividaddocente,cursosde formacióndetutores,modificacióndelos canalesdecomu-nicación y participación,aceptación,implicacióny mejoradel funcionamientodel Departamentode Orientación...Y—; y c) en el contextoexternoal Centro(resoluciónde problemasfamiliares,implicacionesdel Centroen la vida delbarrio, disminuciónde los niveles de desadaptacionessociales,delincuencia,drogadicciones éxito en laelecciónprofesional,en la opciónacadémicauni-versitaria...).En estoscasosalosproblemasya señaladosparasu evaluación,hayqueañadir: ladistanciatemporalqueen muchoscasosse da entrelaaccióntuto-rial y el impacto;la co-existenciade otros muchosfactoresquepuedentambiéninfluir en esossupuestosimpactosy el hechode que dichosimpactosno secorrespondanconobjetivosespecíficosde la accióntutorial sinocon metasedu-cativas,por lo quees difícil probarel nexocausalentreellas.

Por último, hayquehacerreferenciaa los efectosno planificadoso impre-vistosque seproducencomoconsecuenciade la intervencióntutoflal. Hablarde

EvaluacióndeProgramasdeIntervenciónTutorial 113

eficaciade la accióntutorial respectoa los efectosno previstoses,aparente-mente,un tantocontradictorio,yaqueal serproductosno relacionadosconnin-gún objetivo o metapreviamenteestablecida,el criterio de valoraciónno es elquehemosestablecidoparalos indicadoresde eficacia.En estoscasosle efica-cia hayqueconsiderarlareferida ala magnitudde losefectos,a suimportanciarespectoalosresultadosplanificados(ya seanestosefectospositivoso negativos)y ala determinaciónde quéfactorde laaccióntutorial hasido el causantede losmismos.La primera dificultad de estosefectosresideen su identificación ydespuésen su definicióne importancia.

3. Indicadoresde Eficiencia

Estosindicadoresse centranen la valoraciónde los costosde todo orden(personales,sociales,materiales,temporales,económicos,renunciaa otroslogros, etc.) que suponenlos resultadosobtenidos.En definitiva, se trata deestablecerla relaciónentrelos mediosdestinadosy loslogros.Segúnsedefinane identifiquenlas entradasy los productos,se puedehablarde tresgrandescate-goríasde índicesde eficacia(Lindsay,1982; Orden , 1992):

A) Económica,o indicede productividadde capitaly recursoshumanos.En laaccióntutorialy orientadoraestetipo de indicadoresde eficienciano sonmuy utilizados,porel carácteresencialeconomicistaquesele daa los resultadosfrente al carácterprioritariamentecualitativoy humanode losproductosde laorientación.

B) Administrativasy de gestión,hacenreferenciaala organizaciónde losrecursosmaterialesy humanos,desdeunaperspectivadelcorrectousode los mismos,la obtencióndel máximorendimientode uso, suficienciade losrecursos,nivel de uso de losmateriales,distribución,etc.

C) Pedagógica,adecuacióndelos profesoresasu tareacómotutores,perti-nenciadelas actividadestutorialespropuestasy eliminadas,suficienciadeltiempodestinadoy de su distribuciónparala obtencióndelos resultados.

Comopuedededucirsedelo dichohastaahora,la elaboraciónde indicadoresrelevantes,no sesgados,verificablesy asequiblesno es unatareafácil, sobretodoen camposcomola orientacióneducativay la tutoría,queadolecen,enmuchoscasos,de unaespecificaciónexplícitade losobjetivosadesarrollaral comienzode losprogramasy de unaoperativizaciónunívoca,así comode unoscriteriosclarosdel «deberser».

Con el presenteartículohe pretendidohacerunaprimeraaplicaciónde estanuevaconcepcióndel procesoevaluativo,quese enmarcadentrodelos modelosdeevaluacióndelacalidad,al ámbitode laOrientacióny la Tutoría,en elquesecon-cibe laevaluacióncomoun procesoglobalen elquehayqueestablecercuálessonlas relacionesentretodos los elementosde un programade accióntutorial para

RafaelCarballo Santaolalla

poderdeterminarquése entiendeporunaactuacióndecalidad,no sólocentradaensu eficaciay eficiencia,sino tambiénen su funcionalidad.Dentrodel ámbitodelaaccióntutorial, laevaluacióndebeenmarcarsedentrode! propio programa,comounafunción más,con vistasa mejorarlay controlarla.Estopermitiráy obligaráaltutoraplanificar susactuaciones,ahacerun seguimientomásresponsablede lasmismas,asistematizarla recogidade informaciónde su quehacerdiario y apre-veerquéanálisisy lecturadeberáhacerde lamisma,de maneraqueleseaútil.

Desdeel punto de vistade laorganizacióny planificaciónde las tareaseva-luativas sirva de ejemplo el esquemaque aparecea continuacióncomo guíageneral(Carballo, 1990, 1991),aunque,comoes lógico, laconcrecióndelos ele-mentosaevaluardependeráde losrecursosy del moriclo tutorial y de Orienta-ción queadoptenel Centroy cl tutor y losdestinatariosdel procesoevaluativo.

PRINCIPALES PREGUNTASY TAREAS A REALIZAR ENLAS DIFERENTESFASESDE LA EVALUACIÓN DE UN PROGRAMA

Determinación de

los objetivos

Diseñode la evaluación

Fasesde/aevaluacwn preguniasprincipales 7hreasa realizar

1. ¿Qué se va a evaluar?

2. ¿Cuálesel objetivo de laevaluación?

3. ¿Quiénseva a ver afectadoo implicado en la evalua-cio

4. ¿Quéelementosdel con-texto van a influir en laevaluación’?

5. ¿Cuálesson las principalespreguntas a contestar conla evaluación?

6. ¿Va a servir la evaluaciónpara niejorarla aplicacióndelprograma?

1. ¿Cuáles son los posiblestipos dediseños parareali-zarla evaluación?

2. ¿Quédebeincluir cl diseñode la evaluación?

3. ¿Cómo realizar el diseñodela evaluación’?

4. ¿Cómo reconocer un buendiseño evaluativo?

1. Investigar qué se va a eva-luar.

2. Identificar y justificar losobjetivos de la evaluación.

3. identificar las personasinteresadas e involucradasen la evaluación.

4. Estudiar y analizar el con-lexto en eí que se desarro-lla el programa.

5. identificar las principalespreguntas.

6. Decidirsi se lleva a cabola evaluación.

1. Determinar el tipo de pla-nificación, el objetivogeneral y el grado dc con-trol que se pretende alcan-zar con el diseño.

2. Considerar todas las deci-siones, tareas y productosque se pretenden obtenercon la evaluación.

3. Determinar los métodosgenerales a uiíluar pararealizar la evaluación.

4. Valorar la calidad de] diseño.

114

EvaluacióndeProgramasde IntervenciónTutorial

Recogidadela informacion

Análisis e interpretacióndelos datos de la evaluación

Presentacióndelos resultados

Fasesde la evaluación Preguntasprincipales Tareasa realizar

1. ¿Qué tipo de informaciónse debe recoge?

2. ¿Qué procedimientos sevan a utilizar para recogerla información?

3. ¿Cuántainformación esnecesariorecoger?

4. ¿Hay que seleccionaroelaborar instrumentos demedida?¿Cómo elaborar instrumen-tos válidos y fiables?

5. ¿Cómoplanificar la reco-gidade la información paraobtener la máxima infor-mación con el mínimocosto?

1. ¿Qué tipo de datos se van arecoger?

2. ¿Son válidos los datosrecogidos?

3. ¿Cómose va a analizar lainformación?

4. ¿Cómose van a interpretarlos resultados de los análi-sis?

1. ¿A quién va dirigido elinforme de la evaluación?

2. ¿Qué información deberecogerel informe?

3. ¿De qué forma deben pre-sentarse los resultados?

4. ¿Cuáles el estilo y estruc-tura más adecuada parapresentar los resultados?

5. ¿Cómo se puede ayudar alos interesados a interpre-br y utilizar los resultadosrecogidosen el informe?

1. Determinar las fuentes deinformación que se van autilizar.

2. Decidir cómo se va a ruco-gerla información.

3. Decidirsi es necesario rea-lizar algún tipo de mues-treoy cómo.

4. Determinar el grado deexactitud que exige lainformaciónque se necesitay seleccionar o diseñar losmedios para conseguirla.Establecer los procedi-mientosfiables y válidos.

5. Seleccionary organizaraquellos procedimientos yrecursos que permitan unarecogida de la informaciónlo más económica posible.

1. Agrupar y codificar losdatossi es necesario.

2. Verificar la calidad de losdatos y comprobar si estosestán completos.

3. Seleccionary ejecutar losanálisis más adecuados.

4. Interpretarlos resultadosutilizando criterios preesta-blecidoso diferentes tiposde ertíerios.

1. tdentificar a quién o quié-nes va dirigido el informe.

2. Determinar la informaciónque es necesario incluir.

3. Decidir si la informaciónse va a presentar de formaoral, escrita, etc.

4. Elegir el formato que va atener el informe.

5. Planificar reuniones, entre-vistas, consultas y activida-des que faciliten el inter-cambio de opinionesacer-ca delos resultados presen-tados.

115

Ns

RafaelCarballo Santaolalla

PRINCIPALESPREGUNTASY TAREAS A REALIZAR EN LAS DIFERENTESFASESDE LA EVALUACIÓN DE UN PROGRAMA (continuación)

Fasesdela evaluación

Gestión, direccióny organizacióndelaevaluación

Meta-evaluación

Preguntasprincipales

1. ¿Quién debe realizar laevaluación?

2. ¿Cómo se deben formali-zar y asignar las responsa-bilidades de la evaluación?

3. ¿Cuál debe ser el costo dela evaluación?

4. ¿Cómodeben programarsey organizarse las tareasevaluativas?

5. ¿Qué tipo de problemaspueden plantearse?

1. ¿Cuáles pueden ser losusos de la mcta-evalua-ción?

2. ¿Quién debe realizar lamcta-ev aluación?

3. ¿Qué criterios o normasdeben utilizarse para hacerla mcta-evaluación?

4. ¿Cómo aplicar los criteriospara llevar a cabo la mcta-evaluación?

5. ¿Qué procedimientos seutilizaran para realizar lameta-evaluación?

Tareasa realizar

1. Seleccionar, contratar y/oentrenaral evaluador

2. Redactar un contrato odocumento de acuerdoentre las partes interesadas,

3. Elaborar un presupuesto.

4. Elaborar un programa esta-bleciendo los horarios asig-nados para cada tarea.Controlar y supervisar laevaluación y prever losposibles problemas quepueden surgir

5.

1. Determinarla necesidad derealizar la mcta-evaluacióny cuándo.

2. Elegir un mcta-evaluador.

3. Elegir o proponer normasparala meta-evaluación.

4. Establecer un orden deimportancia entre las nor-mas.

5. Seleccionar los procedi-mientos para evaluar laevaluación.

Referenciasbibliográficas

Aix: ?.ÑZ, M. y otros (1991). ~<Evaluaciónde Programasde Orientación. La evaluacióndel contextoy deldiseño»,Revistade investigaciónEducativa, (9), n.0 17, 49-82.

BARTOLOMÉ, M. (1990). «Evaluacióny optintzaciónde los diseñosde intervención»,Revistade InvestigaciónEducativa, (8), nY 16, 39-59.

BEEBY, C. E. (1977). «The meaningof Evaluation»,en CurrentLssuesin ftiducation: n.”4 t=valuation,Wellington,New Zealaud,Departmentof Education.

BRoriJtíNsTiJN, 1. 1. y ACHERMAN, H. (1990). ~<Controlorientedverstís improvementorientedquality assesinent».en Leo C.C. GOEDEGEBLUREy otros (Eds.)Peer reviewandperfcrmanceindicators, DV Ulrecht,Uitgeverij Lcnima.

116

EvaluacióndePmgramasdeIntervenciónTutorial 117

CABRERA, E. (1987). «La investigaciónevaluativaen la educación»,en Gelpi y otros,Técnicasde evaluacióny seguimientode programasde formaciónprofesional.Madrid,LargoCaballero.

CARBALLO, R. (1990). Evaluaciónde un programade Formación Ocupacional.Tesisdoctoral.Madrid,Editorial dela UniversidadComplutensedeMadrid.

— (1991>. «Introduccióna la evaluacióndeprogramasdeacciónsocial: Decisionesparasu realización»,RevistaComplutensedeEducación,2(1), 111-126.

DIEGO GARCÍA, J. (199$. «La evaluaciónde programasde la acción tutorial», en VJornadassobre la LOGSE:Tutoría yOrientación.Actas:Comunicacionesy Talleres.Barcelona,Cedecslid.

FERNÁNDEZ BALLESTEROS, R. (lid.) (1995). Evaluaciónde Programas. Una guía enámbitossociales,educativosy desalud. Madrid, Síntesis.

GERLER, E. R. ir (1976). «Newdirectionsfor schoolcounselors»,School&unselor 23.

JOHNSON,5. 1<. y WHITPIELD, E. A. (1991).EvaluatingguidancePrograms.AmericanCollegeTesting andthe NationalConsortiumof StateCareerGuidanceSupervisors.

KAUFMAN, R. (1982). ldent(fyingand solvingproblems:A systemapproach.SanDiego,UniversityAssociatesPublishers.

KAUFMAN, R. y ENGLtsH, F. W. (1979).Needassesment:Conceptandapplication.EnglewoodCliffs, EducationalTecbnology.

LÁZARO, A. J. (1991). «Los indicadoresen el procesoevaluador»,Apuntesdeeducación,43,10-12.

— (1992). «Laformalizaciónde indicadoresde evaluación»,Bordón, 43, 477-494.LINDsAY, A. W. (1982). «Institutionalperformancein higher education:The efficiency

dimension»,ReviewofEclucationalResearch,52(2), 175-199.MANZANO Soro,N. (1995).«Planificaciónde laevaluaciónde losserviciosde orienta-

ción: Propuestade un sistemadeautoevaluación»,en y Jornadassobre la LOGSE:Tutoría y Orientación.Actas: Comunicacionesy Talleres.Barcelona,CedecsEd.

MARTÍNEZ DETODA FERNÁNDEZ, M. J. (1991).Metaevaluacióndenecesidadeseducati-vas: Hacia un sistemadenormas,TesisDoctoral no publicada.

McKILLíP, J. (1987). NeedAnalysis. Toolsfor tbe Human servicesand Education.Beverly Hilis, Sage.

ORDEN, A. de la (1985). «Modelosde evaluaciónuniversitaria»,RevistaEspañoladeNdagogía,n.’~ 169-170,52 1-537.

— (1992). «Calidady evaluaciónde la enseñanzauniversitaria»,Actasdel Congreso~hzzernacionalde Universidades.

PÉREZ-CAMPANERO,M. 1’. (1991). Cómodetectarlas necesidadesde intervenciónvacio-educativa,Madrid,Narcea.

REPETTO, E. (1988). ~<Evaluaciónde Programasde Orientación»,enMetodologíade laOrientaciónEducativa,Sevilla, Alfar.

RODRÍGUEZ ESPINAR, 5. (coord.) y otros (1993). Teoría y práctica de la OrientaciónEducativa, Barcelona,PPU.

-~ (1986). Proyectodocentee investigadonMemoriaparala cátedrade OrientaciónEducativa.Barcelona,inédito.

-~ (1988). «LaOrientaciónEducativay la calidadde laeducación»,Bordón, 40(2),235-255.

RoDRíGUEZMoRENo, M. L. (1988). OrientaciónEducativo.Barcelona, CEAC.SANZ Oao (1990>. Evaluacióndeprogramasdeorientacióneducativa.Madrid, Pirámide.

11 8 Rafriel Carballo Santaolalla

SANZ, R., CASTELLANO, E? y DE¡nAnO, J. A. (eds.) (1995). Tutoría y Orientación,Bar-celona.Cedecslid.

SCI-IWANDT, T. A. y HAt,PERN, E. 5. (1988). Linkingauditingandmeíaevaluation.Enhan-e/ngqualily in appliedresearch.Newbury Parck,CA., Cage.

VALDIvIA SÁNCHEZ,C. (1987). La OrientaciónenEGBy BUP y susignificaciónparaelprofesoradode Vizcaya.UniversidaddeBarceiona.

— (1992).La Orientacióny la Tutoría en los centroseducativos:CuestionariodeEva-luación y AnálisisTutorial. Bilbao, KL Universidadde Deusto.Ed. Mensajero.

— (1995). «Evaluacióny análisisde lasnecesidadestutorialesen los centroseducati-vos», en R. Sanz,E. Castellanoy J. A. Delgado(eds.) Tutoría ~ Orientación.Bar-celona,Cedecslid.

WlusoN, (1986).WITKíN, B. R. (1984). Assesingneedsin educationalandsocialprograms.SanFrancis-

co, Jossey-Bass.