Pedagogia oggi n. 2/2012 semestrale SIPED Direttore Responsabile Michele Corsi Condirettori Luigi D’Alonzo, Francesco Gatto, Umberto Margiotta, Franca Pinto Minerva, Carla Xodo Comitato Scientifico Marguerite Altet, Stefanija Ališauskienė, Massimo Baldacci, Vito Antonio Baldassarre, Enver Bardulla, Gaetano Bonetta, Franco Cambi, Enza Colicchi, Mireille Cifali, Claudio Desinan, Jean-Marie De Ketele, Gaetano Domenici, Consuelo Flecha García, Alberto Granese, Jagdish Gundara, Franco Frabboni, Luciano Galliani, Antonio Genovese, Larry A. Hickman, Cosimo Laneve, Paolo Orefice, Giuseppe Refrigeri, Luisa Santelli, Cesare Scurati, Francesco Susi, Simonetta Ulivieri, Rosabel Roig Vila, Isabelle Vinatier, Letterio Smeriglio, Leonardo Trisciuzzi Caporedattori Anna Gloria Devoti, Loredana Perla, Maria Grazia Riva Redattori Michele Caputo, Marco Catarci, Massimiliano Fiorucci, Maria Cristina Morandini, Ivana Padoan, Simona Perfetti, Rosella Persi Comitato dei referee È composto da studiosi di chiara fama italiani e stranieri i cui nomi sono resi pubblici nel primo numero di ogni annata successiva a quella pubblicata. Ogni articolo, anonimo, è sottoposto al giudizio di due revisori anonimi. Il giudizio viene poi comunicato agli autori con eventuali indicazioni di modifica e pubblicato ad avvenuta correzione. In caso con-trario, l’articolo non viene pubblicato. Abbonamento annuo € 35,00 (singolo fascicolo) € 20,00 da versare sul CCP 27238807 intestato a Tecnodid Editrice - Piazza Carlo III, 42 - 80137 Napoli tel 081 441922 - fax 081 210893 - www.tecnodid.it Partita IVA: 00659430631 Codice IBAN: It65007601034000000272388

Hanno collaborato a questo numero LUIGINA MORTARI: ordinario di Pedagogia Generale e Sociale, Università degli Studi

di Verona

UMBERTO MARGIOTTA: ordinario di Pedagogia Generale, Università Cà Foscari di Venezia

MASSIMO BALDACCI: ordinario di Pedagogia Generale, Università degli Studi di Ur-bino “Carlo Bo”

GAETANO DOMENICI: ordinario di Didattica e Pedagogia Speciale, Università degli Studi di Roma TRE

LOREDANA PERLA: associato di Didattica Generale, Università degli Studi di Bari Aldo Moro

PIERPAOLO LIMONE: associato di Pedagogia Sperimentale, Università degli Studi di Foggia

MASSIMILIANO FIORUCCI: associato di Pedagogia Generale e Sociale, Università degli Studi di Roma TRE

GABRIELLA ALEANDRI: associato di Pedagogia Generale e Sociale, Università degli Studi di Macerata

RUBÉN COMAS: professore del Departamento de Pedagogía Aplicada y Psicología de la Educación de la Universitat de les Illes Balears

MERCÈ MOREY: professore del Departamento de Pedagogía Aplicada y Psicología de la Educación de la Universitat de les Illes Balears

JEAN-MARIE DE KETELE: emerito dell’Università di Louvain-la-Neuve

EKKEHARD NUISSL VON REIN: professore di Technische Universitaet Kaiserslautern, Universitatea de vest din Timisoara

LUCA GIROTTI: ricercatore di Pedagogia Sperimentale, Università degli Studi di Macerata

INDICE

Editoriale

La stagione della valutazione Massimo Baldacci - Michele Corsi .................................................................................................. 5

Studi e ricerche Metodi e problemi della valutazione Luigina Mortari ........................................................................................................................... 11 Cultura valutativa ed effetti sulla ricerca scientifica Gaetano Domenici ........................................................................................................................ 21 The nature of evidence: improving educational research in Italy Umberto Margiotta ....................................................................................................................... 37 La valutazione delle riviste pedagogiche Massimo Baldacci ......................................................................................................................... 57 Évaluer la recherche scientifique en éducation Jean-Marie De Ketele .................................................................................................................... 68

Interventi e prospettive The directions of scientific writing: digital, collaborative, distributed Pierpaolo Limone ......................................................................................................................... 89 Which assessment counts? Questions and reflections regarding the Italian debate about assessment of educational research Gabriella Aleandri, Luca Girotti ............................................................................................... 107

Intersezioni

La evaluación de la investigación en España. Objetivos, características y criterios de evaluación de la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) y de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) Mercè Morey, Rubén Comas, Massimiliano Fiorucci .................................................................. 117 Erziehungswissenschaftliche Evaluation in Deutschland Ekkehard Nuissl von Rein ........................................................................................................ 138

Lessico Pedagogico Assessing research Loredana Perla .......................................................................................................................... 147

Recensioni e segnalazioni Franco Frabboni, Edoardo Puglielli, Maria Cristina Morandini, Paolina Mulè, Federica Cirulli, Giorgia Pinelli, Nunzia Schiavone ............................................................................................. 167

5

Editoriale

La stagione della valutazione

Massimo Baldacci Michele Corsi

Per il sistema universitario è arrivata la stagione della valutazione. E con essa

il coro di polemiche e conflitti che si accompagna inevitabilmente a una trasfor-mazione come questa. Polemiche e conflitti che, purtroppo, si svolgono per lo più in modo acritico e settario, sotto l’insegna dello spirito di fazione invece che sotto quella del pensiero razionale.

Le fazioni che si fronteggiano sono due. Da un lato, gli ideologi della valutazione che, impugnando un’idea riduzionista e competitiva del lavoro accademico, ten-tano di ridurne ogni aspetto a dimensioni di tipo quantitativo, e di applicare al sistema universitario la filosofia della concorrenza come motore della “produtti-vità”. Dall’altro lato, gli ideologi dell’anti-valutazione che rifiutano, per partito preso, qualsiasi possibilità di stimare in maniera formalizzata la qualità della ricerca uni-versitaria, sostenendo che si tratta di una limitazione della libertà di ricerca e di un inquinamento della sua purezza. Per i primi la valutazione ci darà il migliore dei mondi possibili, il peggiore per i secondi.

Fedeli ai canoni del pensiero critico, riteniamo che la questione della valuta-zione della ricerca universitaria vada disincagliata dalle secche ideologiche in cui si è arrenata. Il problema non può essere esaurito con un verdetto lapidario e pregiudiziale, del tipo: valutazione sì, valutazione no. È necessaria un’analisi a grana fine che consenta di cogliere pregi e rischi della valutazione, entrando nel merito del come essa vada praticata per massimizzare i primi e minimizzare i se-condi. Perché il punto è che, con ogni probabilità, una valutazione correttamente intesa può contribuire a migliorare le cose, ma una valutazione mal concepita rischia di peggiorarle.

Così, a nostro parere, la crescita di una cultura della valutazione, nell’ambito inerente alla ricerca accademica, va salutata con favore. Essa, se bene impostata, può stimolare la qualità del lavoro dei dipartimenti e dei singoli ricercatori (circo-scrivendone le sacche parassitarie e improduttive), e dare informazioni importan-ti per le politiche della ricerca. Forzare le dinamiche della valutazione, con ver-sioni hard e dal profilo ideologico, rischia invece di mettere inutilmente sotto stress tutto il sistema e di generare una catena di effetti perversi che potrebbero finire per deteriorarlo, generando tensioni e conflitti interminabili. Così, non sembra auspicabile il tentativo di ridurre la qualità della ricerca a meri indicatori misurabili (certi aspetti della valutazione richiedono un giudizio critico qualitati-

6

vo); meno ancora di perseguire sistematicamente il ranking dei soggetti, per di più con fasce contingentate (percentuale x di A, y di B ecc.); e di legare immediata-mente questioni delicate come la carriera dei ricercatori e i finanziamenti della ricerca a meccanismi valutativi ancora da perfezionare.

Occorre una valutazione autentica, dunque, ma sostenibile e ragionevole. E, soprattutto, è necessaria una filosofia scientifica della valutazione, consapevole della fallibilità e dell’imperfezione delle proprie strategie, e quindi aperta a un processo autocorrettivo di miglioramento progressivo dei propri dispositivi.

Ma ormai, su tutti questi crinali, siamo entrati definitivamente in una specie di “fase 2”, tanto a livello nazionale, quanto in pedagogia.

Da qui, questo numero di “Pedagogia oggi” che viene dedicato, non a caso, e proprio ora, al tema della “valutazione della ricerca”. Sullo sfondo, generale e complessivo, della valutazione tout court. E che offre pure le ragioni del perché questo Editoriale porti la doppia firma del direttore pro-tempore della rivista e del collega Massimo Baldacci, per il suo ruolo di presidente della commissione preposta da anni alla valutazione delle riviste e dell’editoria scientifica, per l’intero ambito pedagogico, così come sarà per gli anni immediatamente a seguire. Mas-simo Baldacci che, tra l’altro, è stato, di recente, anche componente del gruppo di lavoro istituito dall’ANVUR, in capo all’area 11, per la valutazione e la selezione delle riviste scientifiche, relativamente alla prossima abilitazione scientifica na-zionale.

Nondimeno, questo fascicolo esce alla vigilia della prima convocazione (il prossimo 9 novembre) quasi di una sorta di “stati generali” per la nostra area CUN, da parte dell’ANVUR, con riferimento proprio alle differenti sfaccettature, e particolarmente in prospettiva, dei tanti aspetti, che si intersecano tra loro, del variegato “cristallo” della valutazione: dall’editoria alla carriera accademica, sino alle molteplici sfide, nazionali e internazionali, rappresentate, ad esempio, dalla costituzione delle banche dati, laddove mancanti, o dall’ingresso di molti settori umanistici, a più largo raggio, in quelle già esistenti.

In una sinergia, progressiva e di “merito”, che non è mai mancata tra le socie-tà scientifiche pedagogiche e la nostra area CUN presso l’ANVUR, di cui dob-biamo dare totalmente atto, e pieno riconoscimento, alla paziente opera di ascol-to, e di intelligente mediazione “in alto”, da parte del GEV preposto: prof. An-drea Graziosi.

Dunque, davvero, un’auspicata e necessaria “fase 2” sia per l’ANVUR che per la nostra area 11, come per i saperi pedagogici in specie, dopo il quinquennio 2007-2012 che è stato caratterizzato, per noi, dall’istituzione della commissione Baldacci (di cui si è scritto poco sopra), dall’individuazione degli indicatori di produttività scientifica da parte della “Consulta pedagogica” (ratificati, poi, dalla nostra comunità accademica nel Convegno di Otranto, il 10 giugno 2011), dalla discussione intorno a un eventuale, e per ora fortunatamente remoto, o rimosso, ranking classificatorio, e ad excludendum, delle case editrici, e da molto altro ancora.

7

Insieme ai tanti e qualificati seminari che si sono tenuti su queste materie, orga-nizzati dalle nostre società scientifiche come da diverse università, e ai numerosi volumi e articoli che abbiamo pubblicato in proposito, e così via.

“Pedagogia oggi”, quale organo della Società Italiana di Pedagogia, non pote-va, allora, mancare a tutti questi validi “motivi” di “appuntamento”, con questo fascicolo.

Un fascicolo che, in aggiunta, segna un’ulteriore svolta di qualità, per una rivi-sta, come la nostra, che punta a raggiungere obiettivi di presenza e inserimento a livello internazionale.

Su nove articoli, infatti, tre sono di autorevolissimi colleghi stranieri (Belgio, Germania e Spagna); di cui uno, italo-spagnolo, a firma di Morey, Comas e Fio-rucci, resoconta del corrispettivo spagnolo della nostra Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR).

E, per la “parte italiana”, i contributi di autentici, e riconosciuti, esperti del settore.

Complessivamente, infine, il 70% di questo numero “esce” scritto in “lingua”, con l’inglese a farla da padrone. Non già per un provincialismo anti-nazionale, ma per l’evidente ragione che l’italiano, purtroppo, non è un codice linguistico, o un canale, che veicola “comunicazione” più di tanto, per cui, se si vuole che la riflessione pedagogica italiana varchi proficuamente i ristretti confini nazionali, dobbiamo attrezzarci in forma differente rispetto al passato.

Per concludere: l’argomento che è stato affrontato in questo fascicolo è or-mai, per usare il linguaggio di Franco Frabboni, una “stella polare” che segnerà, opportunamente e indefettibilmente, il nostro cammino per gli anni a venire. Perciò, su tale importante tematica, torneremo di sicuro nelle prossime annate della rivista.

STUDI E RICERCHE

11

Metodi e problemi della valutazione

Luigina Mortari Come possiamo interpretare la pratica della valutazione della ricerca? Quali sono le condizioni che garantiscono un buon processo di valutazione? Malgrado non esistano procedure di valutazione il cui valore sia universalmente riconosciuto, non è possibile sottrarsi al compito di valu-tare i progetti e i prodotti della ricerca, specialmente nel quadro dell’accresciuta autonomia delle università pub-bliche italiane. In questa presentazione, sviluppo una riflessione critica su alcune delle procedure di valutazione maggiormente riconosciute (analisi bibliometrica e peer-review), prendo in considerazione alcuni dei dilemmi e degli esiti paradossali a cui possono condurre, e discuto la necessità di superare un approccio positivistico alla valu-tazione, soprattutto nel settore umanistico e educativo.

How can we interpret the practice of research assessment? What are the conditions that provide for a good assess-ment process? In spite of the fact that there is no univer-sal consensus about how research should be assessed, we cannot evade the task of assessing research projects and products, especially in the context of the enhanced auton-omy of the Italian Public Universities. In this presenta-tion I critically review some of the currently most valued assessment procedures (bibliometrics and peer-review), consider some of the dilemmas and paradoxical outcomes to which they can lead, and discuss the need to move beyond a positivistic approach to assessment, especially in the fields of humanities and education.

Parole chiave: bibliometria, peer review, valutazione progetti, valutazione ricerca. Keywords: bibliometrics, peer review, evaluation projects, evaluation research. Articolo ricevuto: 14 maggio 2012 Versione finale: 11 giugno 2012

Oggi si parla molto di valutazione. La valutazione è un atto essenziale, perché una corretta valutazione è condizione necessaria per pianificare processi di mi-glioramento.

Tuttavia va rilevato l’affermarsi di concezioni tecnicistiche e riduttive della va-lutazione e, dal momento che l’atto docimologico ha un effetto non meramente descrittivo ma performativo sugli oggetti, si rende necessario promuovere un’attenta riflessione critica sui modelli correnti, mettendo in questione le virtù taumaturgighe attribuite alla cosiddetta valutazione oggettiva. Pur essendo diffici-le individuare un corretto modello valutativo, non è possibile evitare di misurarsi con questo compito. L’alternativa è quella di soggiacere ai criteri correnti che penalizzano le discipline umanistiche.

Alla fine degli anni ottanta, per opera della “conferenza europea dei rettori” che assume come riferimento le prime esperienze sperimentali condotte in Gran Bretagna e in Olanda, comincia a prendere corpo il tema della valutazione sulle attività di ricerca e didattiche in ambito universitario. Poiché nella ricerca univer-sitaria vengono impiegate risorse pubbliche (anche se in quantità insufficiente e comunque sempre sotto la media di quanto accade a livello europeo), una «pub-blica, trasparente, onesta valutazione della qualità e quantità» della ricerca è una

12

condizione essenziale per ridare credibilità al sistema universitario legittimare l’investimento di risorse1.

Se è vero che ancora non si dispone di dispositivi adeguati per attuare una va-lutazione soddisfacente, tuttavia non si può prescindere dalla valutazione dal momento in cui l’università aumenta la sua autonomia ma allo stesso tempo fun-ziona con risorse statali del cui uso è chiamata a rendere conto. È il principio di responsabilità nell’uso di beni comuni che impone una seria valutazione.

Fondamentale nello sviluppo di un sistema di valutazione della ricerca univer-sitaria è stata l’esperienza inglese iniziata dalla metà degli anni ottanta per stabilire in termini premiali l’attribuzione agli atenei dei fondi per la ricerca attraverso i RAE (research Assessment Exercise), che si sono trasformati nei REF (Research Excellence Framework) di cui la prima implementazione si concluderà nel 2014. Direttamente ispirato ai RAE inglesi fu la prima sistematica esperienza italiana di valutazione della ricerca realizzata dal CIVR (Comitato di Indirizzo per la Valu-tazione della Ricerca). Il fatto che si parli di “comitato di indirizzo” e non di valu-tazione è indice della cautela con cui si intendeva introdurre nella politica univer-sitaria italiana la pratica della valutazione.

È con l’istituzione dell’ANVUR (Agenzia Nazionale per la Valutazione del si-stema Universitario e della Ricerca) che anche in Italia arriva un sistema di valu-tazione della ricerca, denominato VQR. Il VQR è stato elaborato sulla scorta del RAE inglese e i suoi esiti avranno un impatto considerevole sulla vita culturale degli atenei, poiché il risultato della valutazione inciderà in modo premiale sul meccanismo di incentivo al FFO. Di fatto si parla di valutazione delle strutture e non delle persone, ma poiché il crinale fra valutazione di una struttura e valuta-zione delle persone è sottile e con implicazioni etiche rilevanti è quanto mai ne-cessaria una riflessione attentamente critica sui sistemi di valutazione dei prodotti della ricerca.2

BIBLIOMETRIA E PEER REVIEW

Quando si prende in esame il tema della valutazione della ricerca, le domande che si profilano sono essenzialmente due, una di tipo fattuale e una di tipo teori-co: come viene interpretata in questo momento la valutazione della ricerca? e quali sono le condizioni che garantiscono un buon processo valutativo?

Prima però di prendere in esame le due questioni esplicitate è necessario pre-cisare cosa si intende per ricerca. La ricerca scientifica è un’attività volta a pro-durre conoscenza. Oggetto di valutazione può essere il progetto di ricerca o il

1 Modica, P. (2012). Passato e futuro della valutazione della ricerca universitaria (pp. 13-34). In P. Modica e A. Fabris. Valutare la ricerca. Capire, applicare, difendersi. Pisa: Edizioni ETS, p. 14. 2 Uehara, D.L. and Tom, T. The Context of Evaluation: Balancing Rigor and Relevance, Journal of MultiDisciplinary Evaluation, Volume 7, Number 14, pp. 296-305.

13

prodotto del processo d’indagine. Nel “Manuale di Frascati” (prima edizione 1963; ultima versione 2002) dell’OCSE si trova la seguente distinzione: ricerca di base (basic research), ricerca applicata (applied research) e ricerca sperimentale (experimental development). La ricerca di base, sia teorica sia sperimentale mira ad aprire nuovi campi d’indagine; la ricerca sperimentale mette alla prova ipotesi teoriche; la ricerca applicata ha obiettivi eminentemente pratici.

Detto questo valutare la ricerca significa stabilire criteri che consentano di de-terminare la qualità dei processi e dei prodotti scientifici.

Da sempre la valutazione è stata di competenza della comunità dei pari, col tempo tale valutazione ha assunto procedure sistematiche definite con il termine peer review; più recentemente, con la crescente necessità da parte di chi finanzia la ricerca (sia i finanziatori pubblici sia quelli privati) di disporre di dati precisi si è sviluppato un approccio quantitativo, a partire dal quale hanno preso forma due campi di indagine: la scientometria (scientometrics) e la bibliometria (bibliomtrics).

ANALISI BIBLIOMETRICA

Un metodo ampiamente diffuso di valutazione è costituito dall’analisi biblio-metrica3, che consiste nel prendere in considerazione: il numero di pubblicazioni prodotte da un autore in un certo periodo, l’impact factor della rivista su cui è stato pubblicato un preciso articolo scientifico, il numero di citazioni ricevute da un lavoro, l’h-index4 di un ricercatore.

3 Il sistema bibliometrico nasce da una domanda che si erano posti due chimici negli anni venti

del secolo scorso: come arrivare a stabilire in modo oggettivo quali riviste scientifiche devono esse-re presenti in una buona biblioteca universitaria; rispetto a questa domanda si ipotizzò di conside-rare le riviste contenute nelle citazioni degli articoli pubblicati su quella che era allora considerata la vista più rappresentativa della ricerca in ambito chimico, e poi calcolare per ciascuna di esse il nu-mero di citazioni ricevute. L’idea elaborata dai due chimici, che stabilisce una relazione diretta fra qualità e numero di citazioni, fu pubblicata in un articolo apparso su Science (vol. 66, n. 1713, pp. 385-389) e da allora ha influenzato la storia della bibliometria. Sarà poi un altro chimico, Eugene Garfield, ad elaborare nel 1955 il concetto di Impact Factor (IF), cioè l’indice di qualità di una rivista in un dato periodo (Science, vol. 122, n. 3159, pp. 108-111). L’applicazione di questa idea, che sarà resa possibile dai progressi compiti dall’informatica, consiste nel censire con regolarità nel tempo gli articoli scientifici pubblicati catalogando e calcolando tutte le citazioni in essi contenuti.

4 L’h-index o Indice di Hirsch è un indice proposto nel 2005 da Jorge E. Hirsch della University of California di San Diego per quantificare la prolificità e l’impatto del lavoro degli scienziati, ba-sandosi sul numero delle loro pubblicazioni ed il numero di citazioni ricevute, determinando il numero N tra gli articoli pubblicati che hanno almeno N citazioni ciascuno (es. h-index 13, signifi-ca che quell’autore ha pubblicato almeno 13 articoli che hanno ricevuto almeno 13 citazioni cia-scuno).la valenza di questo indicatore consiste nel verificare l’influenza della produzione scientifi-ca di un ricercatore sulla comunità, prescindendo da singoli articoli di grande successo, o anche dai lavori di autori che pur avendo pubblicato molto, hanno prodotto solo articoli di scarso interesse, come invece avviene usando l’impact factor. L’h-index è direttamente collegato al database che inter-

14

Il valore di una rivista è stabilito dall’impact factor, un valore che si ottiene cal-colando il numero medio di citazioni ottenute dagli articoli pubblicati su quella rivista in quel periodo da parte di altri articoli pubblicati sulle riviste di un vasto e fissato repertorio. L’assunto che sta alla base dell’utilizzo dell’IF è che il valore di un articolo deriva dal valore della rivista. Si tratta di un assunto molto debole, poiché presume che la qualità di una rivista si estenda a tutti gli articoli in essa pubblicati, con un passaggio automatico del livello di qualità dal contenitore al contenuto.

La cultura della valutazione della ricerca si sta orientando sempre più verso un approccio quantitativo, dal quale sicuramente non si può prescindere, ma che rischia di essere riduttivo rispetto al principio di una valutazione fondata e sensa-ta. Poiché la logica bibliometrica condiziona la cultura della valutazione, sembra necessario avviare una riflessione su questo modello docimologico.

Innanzitutto va precisato che è scorretto paragonare gli indici bibliometrici di ricercatori che appartengono ad ambiti disciplinari differenti, perché fondamen-talmente diverse sono le regole e prassi citazionali di ogni disciplina. Inoltre gli indici citazionali vanno commisurati alla dimensione della comunità scientifica internazionale di riferimento. Inoltre sarebbe scorretto applicare la misurazione bibliometrica a produzioni scientifiche che si collocano in periodi storici diffe-renti, poiché nel passato la prassi della citazione non aveva le implicazioni doci-mologiche che ha oggi e quindi veniva usata indipendentemente da questo fine. In altre parole se si tiene conto di un fisico del calibro di Richard Feynman, que-sti avrebbe un H index pari a 23, mentre ricercatori di fisica a noi contemporanei hanno H index superiori a 80 senza essere premi Nobel.

Inoltre, esistono lacune nelle banche dati citazionali che si trasmettano ai loro indici; non solo ci sono riviste non coperte dalle banche dati ma intere aree di ricerca e questo accade indipendentemente dal valore dei contenuti. Un altro problema che sarebbe necessario affrontare è quello rappresentato dalle citazioni in negativo o, più generalmente, dei differenti significati e delle differenti valenze delle citazioni. Si deve poi considerare, in conseguenza di un uso extrascientifico della citazione, il possibile prefigurarsi, in un ambito così competitivo come quel-lo della ricerca, l’insorgere di comportamenti opportunistici dei ricercatori: auto-citazioni (che non in tutte le banche dati sono cancellabili), citazioni incrociate fra scuole scientifiche differenti o non citazioni di riviste in competizione fra loro, uso della citazione per acquisire riconoscenza da altri ricercatori. Il proble-ma è che quando un criterio di misura diventa un’etichetta da cui dipendono altri riconoscimenti estranei a quello puramente scientifico, allora cessa di essere un buon criterio di misura.

roga (per es. ISI Web of Science – a pagamento – o Google Scholar, gratuito), per cui ci possono essere delle fluttuazioni.

15

Come si legge nel documento sulla valutazione prodotto dall’Agenzia nazio-nale francese AERES (Agence d’évaluation de la recherche e de l’énseignement superieur)5, nessun indicatore quantitativo può misurare la qualità di un prodotto di ricerca, mentre forte è il rischio che la ricerca si modelli sui campi di indagine e sui me-todi di ricerca privilegiati dalle riviste con un più elevato IF. Senza contare che illustri ricercatori, che sono entrati nella storia della ricerca, non potrebbero esibi-re che un mediocre IF, segno che l’eccellenza sfugge a certi criteri di rilevazione.

PEER REVIEW

La peer review è ampiamente utilizzata e occupa un posto centrale nella valu-tazione dei prodotti di ricerca delle cosiddette scienze umanistiche. Il valore di questo tipo di valutazione consiste nell’entrare nel merito del prodotto attraverso un’analisi qualitativa dello stesso. Dal punto di vista di coloro che applicano pre-valentemente l’analisi bibliometrica, la peer review risulta indispensabile quando si tratta di valutare pubblicazioni recenti, per le quali manca un numero di cita-zioni statisticamente significativo.

Ciò che sostanzia il giudizio formulato dai pari può essere esplicitato o rima-nere implicito. Prendiamo l’esempio dei RAE inglesi e del processo di valutazio-ne attivato dalla rivista “Nature Physics”. Il RAE chiede ai revisori di esprimere un giudizio di qualità attribuendo a ciascun prodotto di ricerca un livello compre-so tra una e quattro stelle, tenendo conto di tutta l’evidenza scientifica presentata dal prodotto. Le dimensioni in base alle quali articolare il giudizio sono: l’originalità, la rilevanza e il rigore. L’attribuzione del valore di una stella indica originalità, rilevanza e rigore a livello nazionale; due stelle indicano che le tre qua-lità sono presenti a livello internazionale; tre stelle indicano un livello di eccellen-za; quattro stelle identificano un prodotto “world-leading”. I prodotti non classi-ficati non rispondono alla caratteristica di ‘prodotto di ricerca’. Il processo di valutazione che la rivista “Nature Physics” richiede ai revisori degli articoli sotto-posti ad analisi è più esplicito e dettagliato, poiché viene richiesto di valutare che: (i) i dati siano tecnicamente solidi, (ii) l’articolo offra salde evidenze delle conclu-sioni presentate, (iii) i risultati prodotti presentino un elemento di novità, (iv) la ricerca sia interessane per gli scienziati che operano in quel campo specifico e (v) per la più vasta comunità dei fisici.6

La valutazione tra pari ha un valore insostituibile poiché consente di identifi-care la qualità del lavoro scientifico, la sua originalità, l’innovazione concettuale e tecnologica che produce, la capacità di innovare la ricerca scientifica e di fare scuola; tutte variabili queste che l’analisi bibliometrica non consente di considera-

5 http://www.aeres-evaluation.fr/. 6 Baccini, A. (2010). Valutare la ricerca scientifica. Bologna: Il Mulino, pp. 41-42.

16

re7. Ci sono però dei limiti che vanno segnalati: richiede molto tempo, amplifica i limiti dello sguardo soggettivo e, inoltre, manca di un sistema di reclutamento dei revisori capace di identificare solo quelli dotati della necessaria competenza e di eliminare dal contesto valutativo eventuali conflitti di interesse fra i gruppi di ricerca ed eventuali favoritismi. I sostenitori della valutazione bibliometrica im-putano alla peer review il limite di essere poco precisa, poco rigorosa, lenta e molto costosa.

Una volta che si disponga degli esiti dell’azione valutativa si tratta di decidere se ordinare le strutture della ricerca valutate in termini di ranking (vere e proprie graduatorie) o rating (indicazione di classi di qualità). L’articolazione in ranking degli oggetti di valutazione non farebbe che alimentare la competitività interper-sonale e interdipartimentale, ma un eccesso di competitività non giova al pro-gresso della ricerca scientifica. Piuttosto conviene orientare un uso dei risultati in rating.

Tuttavia non basta indicare il livello di qualità della ricerca di una struttura, ma sarebbe necessario costruire un quadro di analisi sistemica della struttura stes-sa: risorse disponibili, tempo di impiego dei ricercatori in altre attività distinte dalla ricerca (didattica, organizzazione, …).

Inoltre quando si valuta una struttura di ricerca, come un dipartimento uni-versitario, la valutazione dovrebbe prevedere diversi approcci: una valutazione distinta per fasce (professori di prima fascia, professori associati e ricercatori), una valutazione destinata a colore che da pochi anni hanno maturato un passag-gio di fascia e diversamente una valutazione destinata a coloro che si trovano in quella fascia da più di dieci anni.

Poi si tratta di correlare questi dati con quelli risultanti dall’analisi delle varia-bili sopra indicate: tempo impiegato da ciascun ricercatore in attività didattiche, in organizzazione di attività istituzionali di vario tipo, nel cercare risorse per la ricerca, ecc.

VALUTARE I PROGETTI

Quando si parla di valutazione della ricerca in genere si pensa ai prodotti, ma un atto valutativo importante è quello che prende in esame i progetti di ricerca al fine di distribuire in modo sensato le risorse.

Certamente si deve ricorrere alla informed peer review e il gruppo dei pari che esaminano il progetto è chiamato a tener conto di più fattori, per i quali però non esistono criteri di misura accreditati.

In genere si valutano i seguenti fattori: il curriculum del ricercatore proponen-te, il grado di accuratezza con cui viene presentato il progetto, il team di ricerca-tori individuato, la aderenza o divergenza rispetto ai paradigmi dominanti e nel

7 http://www.aeres-evaluation.fr/.

17

secondo caso la consapevolezza da parte del ricercatore dei rischi che comporta una ricerca innovativa, una corretta valutazione della quantità di lavoro che im-plica la realizzazione di quella precisa ricerca e le risorse richieste.

La sfida che si pone alla informed peer review è di saper individuare e sostenere ricerche innovative e originali anche laddove i proponenti sono giovani ricerca-tori che magari operano in istituzioni non solidamente accreditate sul piano scientifico.

Per un’analisi dettagliata di un progetto di ricerca sarebbe importante consi-derare i seguenti criteri:

- Il problema è chiaramente definito; - Vengono fornite indicazioni per valutare la significatività di un problema; - I presupposti paradigmatici sono chiaramente dichiarati; - I concetti basilari sono definiti; - La relazione dello studio con precedenti ricerche sono identificate; - Il disegno della ricerca è presentato in modo adeguato; - I limiti dello studio sono esplicitati; - Il disegno della ricerca è coerente con la domanda di ricerca; - Il metodo d’indagine è chiaramente presentato e discusso; - Gli strumenti e le procedure per la raccolta dei dati sono descritte; - Gli strumenti e le procedure per la raccolta dei dati sono coerenti con il

metodo d’indagine individuato.

Nel caso specifico della valutazione di un progetto di ricerca non è sufficiente l’analisi del documento prodotto dal/i ricercatore/i, ma risulta indispensabile che oltre alla revisione anonima a distanza sia previsto un differente gruppo di pari che incontra il/i proponente/i per discutere insieme il progetto.

Una volta che siano stati valutati tutti i progetti presentati si tratta di stabilire come ripartire le risorse, e a questo punto è inevitabile che si ponga il problema di individuare un criterio che consenta una buona ripartizione fra ricerche guida-te da una precisa intenzionalità pragmatica e applicativa, quelle teoretiche che nel lungo periodo lascino prefigurare possibili implicazioni trasformative sulle prassi, e le cosiddette ricerche curiosity driven.

È certamente importante riservare attenzione alla ricerca applicativa, però all’origine di ogni invenzione tecnologica c’è sempre la ricerca teorica, cioè un’indagine scientifica che viene condotta senza la prefigurazione di applicazioni immediate dei risultati dell’indagine.

Vanno dunque cercati i criteri che consentono una efficace ripartizione delle risorse fra la ricerca applicata, e all’interno di essa fra quella a breve e a lungo termine, e le ricerche di base che implicano progetti high-risk.

18

VALUTAZIONE NELL’AMBITO UMANISTICO

Una volta presentati e discussi gli indirizzi valutativi dominanti è necessario sottolineare la difficoltà di pervenire a chiari e condivisi criteri di valutazione in ambito umanistico e in particolare in quello educativo. Campbell e Stanley8 ave-vano distinto tra validità interna di una ricerca e validità esterna. Dal momento che per Campbell e Stanley la ricerca è un atto esperienziale che prevede indagini sperimentali e semi-sperimentali la validità interna è data da un buon disegno di ricerca e un disegno è considerato valido nella misura in cui consente di perveni-re a risultati che siano chiaramente correlabili a fattori causali ben definiti. Si par-la di validità esterna quando i risultati della ricerca sono generalizzabili ad altre popolazioni e ad altri contesti. Nonostante la condition sine qua non di una buona ricerca sia considerata in genere la validità interna, Campbell e Stanley considera-no quella esterna un dato irrinunciabile per la ricerca educativa dal momento che la scienza dell’educazione ha una essenza pratica9. Quello di Campbell e Stanley non è che uno dei tanti possibili criteri di giudizio, che si basa dal punto di vista epistemologico su una concezione positivistica della ricerca e dal punto di vista filosofico su una visione pragmatista della conoscenza. Come si evince dalla pro-spettiva docimologica di Campbell e Stanley, quando si effettua la valutazione di un processo o di un prodotto di ricerca entrano in gioco le convinzioni episte-mologiche del valutatore.

Parlare di valutazione della ricerca implica dunque che si affronti non solo la questione bibliometria versus peer review, ma anche problemi di sfondo: qual è una conoscenza valida? quali sono gli indicatori di una buona ricerca? è possibile individuare criteri che consentono di individuare la rilevanza di una ricerca? Se la ricerca si divide in ricerca di base e ricerca applicata, è corretto utilizzare per en-trambe le tipologie lo stesso tipo di valutazione? È corretto valutare solo il pro-dotto di una ricerca o non sarebbe più corretto valutare l’outcome in relazione alle condizioni in cui è stato prodotto, cioè a quali e quante risorse sono state impegnate? ecc.

RIFLESSIONI A MARGINE

Difficile trovare criteri rigorosi che riscontrino una larga condivisione e ciò avviene in modo particolare per le discipline umanistiche. Tuttavia la rinuncia a valutare il valore di una ricerca è controproducente, poiché concorre sia al proli-ferare delle ricerche irrilevanti, se non in certi casi inutili, ma sostenute dagli oli-gopoli scientifici sia al nascondimento delle ricerche innovative e controcorrente.

8 Campbell, D.T. and Stanley, J.C. (1963). Experimental and quasi-experimental designs for research.

Chicago: RandMcNally. 9 Ivi, p. 5.

19

Poiché la valutazione accresce e in certi casi innesca atteggiamenti competiti-vi, questa pratica va adeguatamente monitorata e accompagnata da una costante esame critico e da una sorveglianza eticamente orientata dei risultati. Un monito-raggio continuo è indispensabile anche a ragione del fatto che un certo modo di utilizzare i dati di valutazione può concorrere a rafforzare i centri di potere che esistono nella comunità scientifica trasformandoli in veri e propri oligopoli. Non si può rinunciare alla valutazione, soprattutto nel tempo presente che vede il fiorire continuamente incrementale delle pubblicazioni “fai da te”. Senza una seria valuta-zione l’intera produzione scientifica si ridurrebbe ad un blog indifferenziato10.

Senza alcun dubbio ogni proposta di innovazione presenta dei limiti, ma di fronte alle lacune del sistema di valutazione della ricerca mi sembra sensata la proposta formulata da Luciano Modica11, il quale propone due distinti livelli di valutazione cui potrebbero corrispondere due differenti organismi di valutazione: uno valuta i progetti presentati dai ricercatori che operano negli atenei italiani sulla base di un’analisi affidata a esperti stranieri e tendendo conto degli esiti della valutazione il Ministero della ricerca ripartisce le risorse, poi un altro organismo indipendente valuta ex post i risultati e sulla base di questi il Ministero finanzia le strutture dipartimentali dei vari atenei.

L’entrata in vigore della L. 240 rappresenta un compito non semplice per gli Atenei, poiché per interpretare con sensatezza il nuovo modello di governance richiede l’assunzione di senso critico e allo stesso tempo la capacità di valorizzare il patrimonio di competenze che nel tempo si sono sedimentate in ateneo e con-temporaneamente di identificare e rimuovere gli ostacoli che impediscono alle attuali strutture di valorizzare al meglio la ricerca e la didattica.

Un elemento fondamentale della L. 240 è rappresentato dalla valutazione, sia della ricerca sia della didattica. Nonostante in questo campo molte sono le inizia-tive già messe in atto, molto resta da fare se si vuole che le esperienze di valuta-zione contribuiscano ad un effettivo incremento della qualità delle azioni di ri-cerca, di didattica, di organizzazione e di gestione del sistema universitario. Si tratta per questo di identificare nelle iniziative oggi esistenti e nelle prassi che siamo chiamati ad attuare gli aspetti positivi e quelli critici e poi individuare le necessarie azioni di ripensamento e di ristrutturazione delle prassi valutative al fine di costruire una cultura della valutazione capace di produrre risultati utili a generare miglioramenti sensibili di tutto il sistema. È necessario transitare da un’interpretazione della valutazione secondo la logica del controllo e orientata al passato ad una visione dinamico propulsiva da concepire come azione work-in-progress. 

10 Fabris, A. (2012). Problemi della valutazione in area umanistica. (pp. 41-49). In P. Miccoli e A. Fa-

bris. Valutare la ricerca?. Pisa: Edizioni ETS, p. 44. 11 Modica, L. (2012). Valutare che cosa? Valutare come? Valutare perché? (pp.13-34) In P. Miccoli e

A. Fabris. Valutare la ricerca? Capire, applire, difendersi. Pisa: Edizioni ETS, p. 29.

20

REFERENCES

BACCINI A. (2010). Valutare la ricerca scientifica. Bologna: Il Mulino. CAMPBELL D.T., STANLEY J.C. (1963). Experimental and quasi-experimental

designs for research. Chicago: RandMcNally. FABRIS A. (2012). Problemi della valutazione in area umanistica. In P. MICCOLI

P., FABRIS A. (2012). Valutare la ricerca? Capire, applicare, difendersi. Pisa: Edizio-ni ETS.

MODICA P. (2012). Passato e futuro della valutazione della ricerca universitaria. In P. Modica, A. Fabris, Valutare la ricerca (pp. 13-34). Pisa: Edizioni ETS.

MODICA L. (2012). Valutare che cosa? Valutare come? Valutare perché? In P. MICCOLI, A. FABRIS. Valutare la ricerca? Capire, applicare, difendersi (pp.13-34). Pisa: Edizioni ETS.

UEHARA D.L., TOM T. (2011). The Context of Evaluation: Balancing Rigor and Relevance. Journal of MultiDisciplinary Evaluation. 7 (14), pp. 296-305.

21

Cultura valutativa ed effetti sulla ricerca scientifica

Gaetano Domenici

L’articolo parte dalla constatazione che nel nostro Paese anche i più recenti provvedimenti amministrativi sulla valutazione universitaria in generale e della ricerca in particolare rinviano a criteri, strumenti e procedure che garantiscono poco dell’affidabilità dei giudizi valutativi. Dopo oltre venti anni di proposte, discussioni, interventi legislativi e la pratica di un primo pur instabile Eserci-zio di valutazione, si è ancora lontani da una solida e diffusa cultura valutativa in grado di promuovere, non solo a livello politico, attività fondate sul piano scientifico e tecnico procedurale e condivisibili su quello deontologico e sociale. Il dibattito attuale sembra finalmente ri-scoprire, il rilievo dei fondamenti della valutazione. Nell’articolo si illustrano i più importanti principi doci-mologico-valutativi senza tener conto dei quali risulta difficile l’accreditamento d’ogni pur nobile azione valuta-tiva. È dalla loro conoscenza e sulla loro base che, per esempio, ognuno potrebbe, dovrebbe, autonomamente valutare gli elementi costitutivi delle proposte operative – dall’impiego dell’IF e altri indici citazionali, alla classifi-cazione di riviste e editori fino all’uso delle mediane. Questi elementi rappresentano un vero e proprio costrutto politico-culturale, perciò dall’analisi critica dei loro pre-supposti, della loro capacità effettiva di veicolare infor-mazioni quali-quantitative sui requisiti di una ricerca e/o di una struttura scientifica affidabili, si può nei fatti migliorare e sistematizzare un utile processo valutativo.

The article begins by noting that in our country’s most recent administrative measures on the evaluation of the research university in general and in particular refer to policies, tools and procedures that provide little reliability of evaluative judgments. After more than twenty years of proposals, discussions, legislative and practice of a first evaluation exercise while unstable, it is still far from a firm and widespread evaluation culture that promotes, not only at the political level activities based on scientific and technical procedures and shared on the ethical and social. The current debate seems to finally re-discover the importance of the fundamentals of evaluation. The article discusses the most important principles docimological-evaluation regardless of where it is difficult accreditation of every even noble action evaluation. It ‘from their knowledge and, based on that, for example, each could, should, independently assess the building blocks of opera-tional proposals - from the use of the IF and other cita-tion indexes, classification of journals and publishers to the use of median. These elements represent a real politi-cal and cultural construct, so the critical analysis of their assumptions, their actual capacity to convey quantitative information on the requirements of a research and / or a scientific reliable, it can in fact improve and systematize a useful evaluation process

Parole chiave: cultura della valutazione, ricerca scientifica, legislazione, qualità della ricerca. Key words: evaluation culture, scientific research, legislation, quality of research. Articolo ricevuto: 26 maggio 2012 Versione finale: 19 giugno 2012

IL DIBATTITO IN CORSO

Dalla lettura dei più recenti e importanti articoli italiani sulla valutazione uni-versitaria in generale e della ricerca in particolare, emerge netta l’impressione che l’attuale dibattito sulla questione avvenga certo su temi sempre più specifici, di grande rilievo e in modo più partecipato e vivace di prima, ma risulti tuttavia prevalentemente incardinato su presupposti che non sembrano considerare do-vutamente le basi sulle quali dovrebbe strutturarsi ogni processo valutativo quando voglia essere scientificamente fondato e risultare in qualche modo accet-

22

tabile tanto sul piano deontologico (nel caso specifico dalla comunità degli stu-diosi), quanto sul più esteso piano sociale e democratico.

Eppure, sono trascorsi quasi venti anni dalla istituzione di una Commissione per la valutazione da parte della Conferenza dei Rettori (inizi anni Novanta) e di un “Osservatorio” per la valutazione universitaria con la Legge finanziaria del dicembre 1993 (governo Ciampi), quasi quindici dalla costituzione del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) prevista dal Decreto Legisla-tivo 204 del 5 giugno 1998, che ci ha fatto compiere l’esperienza del nostro pri-mo Esercizio valutativo della ricerca (Sani, 2011; Modica, 2012)

Molti degli interventi, e non solo tra quelli che esprimono posizioni radicali a favore (comunque) o contro (comunque) la valutazione in generale o aspetti par-ticolari di essa (dalla pertinenza delle procedure, alla validità dei parametri e dei criteri adottati; dall’affidabilità degli strumenti usati agli scopi valutativi perseguiti, eccetera), ma addirittura – ed è ciò che più preoccupa - persino molte delle attivi-tà valutative proposte o imposte attraverso le norme e i regolamenti più recenti, risentono non poco della non diffusa conoscenza dei più importanti principi doci-mologico-valutativi senza tener conto dei quali risulta difficile l’accreditamento d’ogni pur nobile azione valutativa. Principi perciò su cui devono fondarsi in generale – ma sempre in rapporto alla specificità dei contesti e degli scopi volta a volta esplicitamente perseguiti - le modalità di costruzione progressiva dei giudizi valutativi affinché possano considerarsi affidabili, cioè validi e attendibili, in grado perciò di rappresentare quella realtà che affermano o pretendeno di rappresenta-re; di risentire quanto meno possibile delle equazioni (dei gusti e dei valori) di chi è chiamato a valutare e di chi si sottopone o deve essere valutato. Requisiti que-sti, come vedremo, che possono ben contribuire, assieme ad altri, a rendere pro-cedure e giudizi valutativi in qualche modo equi ed accettabili e perciò anche capaci di far modificare coerentemente ad ogni livello di responsabilità disposizioni, atteggiamenti e decisioni.

In effetti, nonostante che gran parte degli articoli abbiano come proprio pro-logo il plauso per la crescente diffusione della cultura della valutazione promossa finalmente in ambito universitario, a loro dire, dalla più recente normativa, gli storici o i meno giovani sanno bene che il reale sviluppo di tale auspicata cultura sia stato invece rallentato proprio da una legislazione che lungo l’asse del tempo, dopo un inizio eccellente, è diventata a dir poco sempre più caoticamente con-traddittoria. Non è per caso che molti di quelli che partecipano oggi al dibattito scoprano e/o riflettano su questioni che dovremmo poter dare ormai come scontate, risolte alla base proprio in quanto fisiologicamente connaturate ad ogni corretta azione valutativa. È su tale base comune che la riflessione critica avrebbe potuto e ancora oggi potrebbe procedere verso elaborazioni sempre più articola-te, raffinate e affidabili di procedure, strumenti e criteri di valutazione, senza do-ver ricominciare ogni volta daccapo, come condannata al tristissimo destino di Sisifo. Purtroppo così non è stato e non è.

23

PORTATI DI UNA LEGISLAZIONE REGRESSIVA

Come in più occasioni ho dovuto segnalare, per consentire un corretto in-quadramento dei problemi valutativi volta a volta considerati, (Domenici, 2004; 2010; 2011) l’avvio della valutazione della ricerca in Italia è rintracciabile, almeno sul piano ordinamentale più sistematico, nel citato Decreto Legislativo 204 del 5 giugno 1998. Con l’introduzione di appositi organismi, strumenti e procedure per la valorizzazione e la valutazione della ricerca da esso previsti, anche il nostro Paese, seppur tardivamente rispetto a tanti altri europei, era venuto così dotan-dosi di uno strumento assai utile per il miglioramento del sistema nazionale della ricerca. In questo modo, non a torto, lo aveva considerato la quasi totalità del mondo accademico, nonostante che in ambito universitario il tema della valuta-zione, in generale, quello della valutazione della ricerca in particolare, susciti da sempre reazioni contrastanti, che oscillano pendolarmente dal rifiuto totale e aprioristico d’ogni sua forma e finalità, fino alla completa accettazione di qualun-que forma, procedura e criterio, persino quando risultino poco fondati o iniqui.

In effetti, occorre ricordare che gli articoli 4 e 5 di quel decreto, prevedevano l’istituzione di organi rappresentativi della comunità scientifica nazionale: i Con-sigli scientifici nazionali (CSN) e l’Assemblea della scienza e della tecnologia (AST), da costituirsi in collaborazione con i rappresentanti della società civile (amministrazioni pubbliche, mondo della produzione, dei servizi) allo scopo, tra l’altro, di formulare osservazioni e proposte per l’elaborazione e l’aggiornamento di un Programma nazionale per la ricerca (PNR). Lo scopo era quello di contri-buire a determinare (art. 1) gli “indirizzi e le priorità strategiche per gli interventi (del Governo) a favore della ricerca scientifica e tecnologica, definendo il quadro delle risorse finanziarie”. Inoltre, i due articoli prevedevano la costituzione del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) con l’intento di operare “per il sostegno alla qualità e alla migliore utilizzazione della ricerca scientifica e tecnologica nazionale, secondo autonome determinazioni con il compito di indicare i criteri gene-rali per le attività di valutazione dei risultati della ricerca, di promuovere la sperimentazione, l’applicazione e la diffusione di metodologie, tecniche e pratiche di valutazione (...), favorendo al riguardo il confronto e la cooperazione tra le diverse istituzioni operanti nel settore, nazionali e internazionali” (c.vo nostro).

Oltre alle ragioni valutative proprie d’ogni attività di indagine scientifica che rinviano e postulano una ineliminabile attivazione di un processo di valutazione ex-ante, in itinere ed ex-post, di idee, ipotesi, progetti, simulazioni e “prove sul cam-po”, vi erano, allo stesso modo evidenti, ragioni e spinte alla razionalizzazione, alla qualificazione e ad una più consapevole responsabilizzazione della spesa in strutture in qualche modo autonome nell’uso di fondi pubblici. Ragioni, tutte, che da più parti si vedevano prese da quel Decreto in seria e attenta considerazione.

Dell’art. 5 era stato particolarmente apprezzato il collegamento esplicito del processo valutativo alla promozione del confronto e -soprattutto- della cooperazione tra

24

le istituzioni di ricerca che operano nello stesso settore o nella medesima area, elementi ritenuti indispensabili sia per la costituzione degli organi rappresentativi della comunità scientifica nazionale e per favorire un più forte impatto della ri-cerca italiana nella scena mondiale, sia lo sviluppo e una più ampia diffusione della cultura della valutazione.

È accaduto, invece, con l’alternarsi dei governi, che l’attuazione del processo di valutazione della ricerca sia avvenuta senza aver dato precedentemente corso alla costituzione dei Consigli scientifici nazionali e dell’Assemblea della scienza e della tecnologia. Tutto ciò ha creato, purtroppo, molti dei problemi nei quali do-po decenni ancora ci dibattiamo, soprattutto quello della scarsa o nulla condivi-sione delle modalità di determinazione e applicazione dei criteri di valutazione dei prodotti della ricerca relativi a tante aree o settori e/o sub-aree e/o sub-settori disciplinari. Problemi mal posti e mal risolti con il primo Esercizio valuta-tivo e che hanno contribuito non poco a indebolire la credibilità della valutazione condotta e delle azioni intraprese sulla base dei risultati con essa registrati. L’apporto positivo che anche sotto questo aspetto avrebbero potuto dare i previ-sti Consigli scientifici nazionali, sarebbe stato di grande rilievo: come si sa, gli esperti di settori scientifici pur abbastanza ampi possono più e meglio di altri contribuire alla definizione di condivisibili criteri valutativi generali delle ricerche interne o molto prossime a quel settore specifico, e alla determinazione della loro significatività, originalità, eccetera.

Purtroppo, il Decreto Miur n. 2206 del 16.12.2003, che ha disciplinato l’organizzazione generale delle procedure e delle modalità di valutazione dei risul-tati della ricerca, e le prerogative generali del CIVR di fatto esercitate, e, ancor più, le Linee guida per la Valutazione della Ricerca elaborate e poi proceduralmente applica-te, hanno stravolto lo spirito e le finalità, e perciò l’alta coerenza interna del D Lgs 204. Delle attività di “cooperazione e confronto” tra le strutture di ricerca si è scelta, ed in modo esclusivo, solo quella del “confronto” concorrenziale.

Solo di recente le Società scientifiche facenti capo ai diversi settori scientifico-disciplinari delle aree CUN (Comitato Universitario Nazionale) relative alle scienze dell’uomo, hanno coinvolto molti loro soci in un acceso dibattito sulla valutazione (avviato solo tra pochi durante il primo esercizio valutativo), ma non sui problemi generali e di fondo che le si connettono. Più semplicemente (ma come si poteva fare diversamente nelle condizioni date!) sono stati affrontati problemi del tutto particolari e contingenti, p.e. relativi alla elaborazione di criteri di classificazione, peraltro poco affidabili in senso tecnico, di Editori e Riviste, sulla cui base dar peso e valore alle pubblicazioni scientifiche individuali nei di-versi percorsi di valutazione promossi dal MIUR e dell’ANVUR, relativi alle nuove modalità concorsuali e all’avviato secondo esercizio valutativo della ricerca 2004-2010. Una esperienza tanto positiva sul piano della partecipazione, quanto poco accorta su quello dell’accettazione, che ora si comprende dovesse essere più marcatamente, se non esclusivamente, critico-propositiva degli input che tardi-

25

vamente MIUR e ANVUR offrivano al mondo accademico per la elaborazione dei criteri valutativi dei contenitori delle pubblicazioni dei lavori scientifici. Un obiettivo per molti versi pericoloso poiché l’esito con esso raggiunto – il ranking di periodici scientifici e di editori e i loro coefficienti o pesi o costanti valoriali (fasce e/o punteggi) – potrebbe formalmente o informalmente indurre i valuta-tori a considerare oggettivi e quantitativamente definiti i punteggi attribuibili a questa o quella pubblicazione a questo o quell’autore (Galimberti, 2012), esauto-randoli dall’analisi e dalla verifica della qualità reale dei prodotti della ricerca qua-lunque sia la collocazione della rivista o dell’editore, il valore del prodotto del n. degli articoli (monografie) per il peso o la costante K della rivista (editore). Sulla loro infondata, o solo apparentemente fondata oggettività si è infatti già procedu-to al calcolo della terza mediana, quella relativa alla produzione scientifica pub-blicata su riviste di “Fascia A”, di aspiranti commissari e aspiranti candidati alla Idoneità nazionale.

Anziché costruire un sistema valutativo caratterizzato dall’uso di criteri e procedu-re massimamente condivisi, in grado perciò di configurarsi come supporto alle strutture e come “sostegno alla qualità e alla migliore utilizzazione della ricerca scientifica”, se ne è creato uno, con il primo Esercizio di valutazione, volto solo alla determinazione di una graduatoria (ranking list) delle strutture di ricerca e de-gli atenei. Si è così delineata una vera e propria classificazione gerarchica del loro “presunto” valore, su cui si sono poi distribuite quote dei finanziamenti pubblici (per es. del Fondo di Funzionamento Ordinaro delle Università). Il tutto, peral-tro, sulla base di una soggettività dei giudizi valutativi contrabbandati come oggettivi, perchè non di rado espressi (a causa della esiguità numerica dei panelisti-valutatori e del-la bassa rappresentatività delle loro competenze rispetto all’ampiezza delle Aree di appartenenza dei prodotti da valutare) da giudici inesperti o solo quasi-esperti. Valu-tatori talvolta persino convinti oppositori – come è possibile evincere dalle loro stesse pubblicazioni – non solo di “scuole di pensiero”, cosa che potrebbe persi-no trovare a parità di altre condizioni una sua pur remota giustificazione, quanto di settori o sub-settori disciplinari e di particolari metodologie e procedure di indagine, caratterizzanti quei prodotti della ricerca e i loro autori, per i quali era-no stati chiamati, in quanto pari e super-esperti, ad esprimere un giudizio valuta-tivo. L’effetto di compromissione della fiducia nella valutazione giusta ed equa della ricerca, prodotto da questa modalità procedurale del primo Esercizio valutativo, ha contribuito non poco all’inverosimile rallentamento dello sviluppo della cultura della valutazione anche in ambito universitario.

Alcune delle scelte politiche hanno così prodotto effetti negativi incredibil-mente vistosi persino sulla qualità delle procedure tecniche, per es. sulla validità e sull’attendibilità delle rilevazioni e delle valutazioni, così rendendo in generale poco credibile e accettabile agli occhi dei più, la valutazione della ricerca.

La ripresa del dibattito sulla valutazione della ricerca, con l’avvio di questo nuovo esercizio valutativo e con l’entrata in vigore della Legge 240/2010, dei

26

suoi decreti attuativi e delle nuove modalità di reclutamento, che stanno modifi-cando radicalmente l’architettura dell’Università italiana, è diventato comunque più vivace e partecipato di prima. Una ragione forte sta, dati i temi che risultano maggiormente trattati, nel coinvolgimento di molti nelle nuove procedure con-corsuali, quindi nella diffusa necessità di analizzare e approfondire i nuovi criteri valutativi della produzione scientifica cui devono uniformarsi candidati e com-missari. In ogni caso, la discussione presenta elementi tali che sembrano essere l’effetto della peculiare esperienza valutativa della ricerca che ha caratterizzato il nostro Paese e che si è prima descritta sinteticamente.

Forse per tale ragione dalla lettura attenta di gran parte degli articoli di questi ultimi due anni sulla valutazione della ricerca si ricava netta la sensazione che il piano della riflessione è come se rispecchiasse quello relativo alla emanazione di leggi e decreti sull’università e sugli enti pubblici che fanno ricerca. Analogamen-te al deleterio fenomeno di predilezione dei progetti di ricerca applicativi o fina-lizzati, rispetto a quelli generali, di base o “disinteressati” (ahi noi la ricerca va dove ci sono i fondi), anche nella riflessione o nelle analisi scientifiche dei diversi problemi valutativi, anziché compiere approfondimenti che facciano aumentare le conoscenze di fondo, si inseguono – ma non si anticipano – i dettati delle leg-gi, le proposte amministrative, che non di rado, almeno in campo valutativo, ri-sultano davvero a-scientifici.

Tanto sul piano ordinamentale e amministrativo, quanto su quello del dibatti-to scientifico, è come se solo attraverso il buon senso, i decisori politici e molti esperti dell’ultima ora abbiano scoperto gli elementi propri dell’ampia area della problematica valutativa. Sono così stati ripercorsi itinerari di studio e ricerche che avevano già caratterizzato l’origine della docimologia nata circa un secolo fa. Per altri versi e in casi più numerosi, lo stesso buon senso, indispensabile per orienta-re al meglio le scelte anche quando abbiano un solido fondamento scientifico, pare che si sia invece trasformato in senso comune: cioè in una sorta di accettazione passiva delle mode valutative, anzi del raptus valutativo che negli ultimissimi anni ha travolto il nostro Paese.

Un senso comune che finisce con l’ignorare la sua enorme forza di rappresen-tazione della stratificazione di non rari pregiudizi. Ad esempio, la fideistica cre-denza che traspare da alcune norme e da non pochi interventi secondo cui il meri-to e la meritocrazia nei nostri Atenei e Centri di ricerca siano perseguibili attraverso la valutazione così come è attualmente impostata e praticata; o ancora che l’Impact Factor e altri indici bibliometrici e persino le classificazioni in fasce di merito delle riviste scientifiche (Di Pietra, 2012) e degli editori garantiscano di per sé della oggettività della valutazione e dell’affidabilità del giudizio sulla produttività scientifica non solo di un autore e della qualità della sua ricerca (Baccini, 2010; Rebora-Turri, 2010) ma anche, attraverso una mera sommatoria, delle stesse strutture di ricerca.

27

Occorre allora evitare che il buon senso, non innestandosi su verifiche e va-lutazioni affidabili, continui a diventare nei fatti senso comune, cioè fattore di promo-zione tanto di comportamenti opportunistici quanto di una diffusa incapacità di operare per innalzare progressivamente, anche se lentamente, la qualità dei progetti, dell’attività e dei pro-dotti della Ricerca.

In effetti, solo su solide basi scientifiche il “buon senso” può diventare razio-nalità sensibile al contesto e agli obiettivi, capace di non far compiere errori macro-scopici dovuti ad astratti e inaffidabili eppur rassicuranti tecnicismi valutativi.

Le considerazioni espresse in questo articolo non vogliono perciò essere l’ennesima constatazione della non diffusa cultura della valutazione tra valutatori e valu-tati – all’interno dell’attuale Esercizio valutativo della ricerca, come delle proce-dure per le Abilitazioni nazionali; di selezione dei PRIN e dei FIRB e ancora nel-le procedure valutative di altre tipologie di progetti -. Si prefiggono invece lo scopo, forse troppo ambizioso, di promuovere quella curiosità e quella vigilanza critica in quanti per formazione scientifica e attività professionale non hanno competenze specifiche in campo valutativo, ma che senza subire passivamente le scelte valutative fatte dalla recente politica della ricerca, cercano di conoscerle a fondo e analizzarle per comprenderne sì portato e potenzialità (la valutazione può diventare vera e propria risorsa aggiuntiva), ma anche limiti; per conoscere, insomma, volta a volta i suoi scopi reali e non solo quelli apparenti o dichiarati. Ciò per migliorare le condizioni reali nelle quali la ricerca ha luogo nonché la sua qua-lità ed efficacia.

Conviene far dunque riferimento a quelle che sono considerate le basi di un procedere valutativo rigoroso e accorto sul piano tecnico-scientifico, ovvero formale. Anche at-traverso una breve trattazione delle caratteristiche formali di quelli che potrem-mo definire i fondamenti valutativi, può risultare assai più agevole e proficuo quel processo metavalutativo della valutazione che tutti noi abbiamo l’obbligo di attiva-re per migliorarla progressivamente.

ATTRIBUZIONE DI VALORE ALLA QUALITÀ DELLA RICERCA E AFFIDABILITÀ DEI DATI VALUTATIVI

L’attività valutativa precede, accompagna e segue le azioni umane finalizzate, ma anche quelle più disinteressate, ed entrambe, come si sa, caratterizzano peculiar-mente i processi di ricerca. Gli esiti conoscitivi cui si perviene con il suo progres-sivo svolgimento orientano infatti l’agire indirizzandolo verso percorsi e traguar-di desiderati. Ben lontana dal rappresentare solo l’espressione di un giudizio, co-me a livello di senso comune erroneamente si crede, l’attività valutativa si esplica attraverso una serie articolata di operazioni tra esse distinte ma reciprocamente connesse, tutte di grande rilievo sul piano conoscitivo e su quello procedurale.

“Per quanto complesso, il processo valutativo o, se si vuole, l’atto del valuta-re, può a ogni effetto considerarsi come una vera e propria operazione di attribu-

28

zione di “valore” a fatti, eventi, oggetti e simili, in relazione agli <<scopi>> che colui che valuta intende perseguire. Un’operazione che come si può ben intuire, presuppone la disponibilità di un sistema di discriminazione della qualità degli eventi e/o degli oggetti da valutare, capace di consentirne una classificazione che vada ben oltre le loro caratteristiche intrinseche. Un evento ritenuto positivo in rapporto a certi scopi e in determinati contesti può infatti rilevarsi negativo in relazione ad altri scopi e in altre situazioni: il giudizio di positività o negatività può essere formulato solo in forza del sistema di discriminazione elaborato o prescelto. Non possederne uno comporta, peraltro, un basso livello di adattività e una scarsa capacità di modificazione dell’ambiente da parte dell’ <<attore>>, in quanto risulterà a lui difficile scegliere o promuovere gli eventi ritenuti favore-voli ed evitare o inibire quelli considerati dannosi.

È proprio grazie alla disponibilità di un tale sistema che le informazioni e le conoscenze che si ricavano da un congruente processo valutativo possono risul-tare assai preziose soprattutto nella promozione di comportamenti intenzionali e finalizzati, di azioni pertinenti, efficaci ed efficienti, tali cioè da mostrarsi, alla prova dei fatti, adeguate al contesto, coerenti con gli obiettivi perseguiti, capaci di produrre l’effetto desiderato.

In altri termini, un opportuno processo valutativo può quanto meno evitare quella dissipazione di energie che solitamente si registra quando l’azione procede casualmente o solo per tentativi ed errori, esposta com’è in tali casi all’influenza fuorviante e poco controllabile delle variabili parassitarie. Il problema, allora, sta proprio nella determinazione del grado di congruenza del processo di valutazione posto in atto, con il sistema di discriminazione della qualità degli eventi elaborato dal valutatore, da una parte, e con i traguardi da lui stesso perseguiti, dall’altra” (Domenici, 1993).

Ed è proprio questo “sistema di discriminazione” della qualità della ricerca

che stenta a configurarsi, seppur dinamicamente, attraverso scelte politiche op-portune (che al contrario risultano reciprocamente contraddittorie), e la valoriz-zazione delle competenze e delle esperienze valutative più accreditate (che in onore al merito non vengono considerate preferendo ricominciare spesso da uno zero che peraltro non esiste: si pensi alla discontinuità sul piano temporale, pro-cedurale, dei criteri e degli strumenti impiegati tra il primo e il secondo Esercizio valutativo).

Quello che manca e si vorrebbe, non sono certo sicurezza e stabilità per l’eterno, ma quanto meno un orizzonte certo di riferimento particolarmente utile per orientare giovani o potenziali ricercatori; il superamento del mutamento con-tinuo dei quadri di riferimento imposto non dai dati evolutivi della realtà scienti-fico-culturale quanto dalla frenetica azione normativa degli ultimi venti anni.

29

QUALITÀ/QUANTITÀ. MISURAZIONE, OGGETTIVITÀ DELLE RILEVAZIONI E GIUDIZIO VALUTATIVO

Nel campo delle cosiddette “scienze dell’uomo” (accettando l’articolazione che le distingue da quelle della “natura”, e che, ovviamente, le considera tutte umane), le relazioni tra qualitativo/quantitativo –alla base del concetto di misura - sono state per lungo tempo interpretate come espressione di una insanabile opposizione e contraddizione. Interpretazione che, sebbene sia stata superata nell’ambito della ricerca, permane ancora nelle convinzioni e negli atteggiamenti di molti che di quelle stesse scienze si occupano professionalmente, e, soprattut-to, dei decisori politici, mentre tra i due termini sussiste un nesso assai stretto persino a livello di linguaggio comune: in molti casi le qualità espresse in forme di aggettivi possono essere ordinate per gradi attraverso l’impiego di taluni avverbi, così contribuendo alla costruzione di uno spazio per alcuni versi definibile già come quantitativo (Ferrarotti, 1968; Gattullo, 1968; Domenici, 1993;). Anche nelle sin-gole discipline nelle quali è stata introdotta tardivamente, la misurazione ha rag-giunto ormai livelli di sofisticatezza assai avanzati che hanno dato un contributo non secondario all’accrescimento dei quadri concettuali e teorici di quelle disci-pline. La misurazione, non a caso, se condotta correttamente, rappresenta un mezzo di facilitazione della lettura e dell’interpretazione di fenomeni complessi.

Misurare è una operazione convenzionale che consiste nell’associare un numero o un simbolo ad un oggetto qualitativamente definito, o ad una proprietà dell’oggetto, secondo regole determi-nate, in modo che a quella stessa proprietà si possano attribuire alcune caratteristiche dei nume-ri che così vengono a rappresentarla. (Domenici, 2009)

Attraverso un’operazione di confronto, da condurre ovviamente secondo le re-gole codificate, dell’oggetto (o di una sua proprietà) da misurare con altro analogo scelto come riferimento (o come misura campione) diviene possibile associare al primo, un numero (o un simbolo) che ne esprime, appunto, la sua misura.

Come si può notare si tratta di una definizione operativa, che indica perciò con esattezza: a) la necessità di definire univocamente le proprietà o le caratte-ristiche di un oggetto; b) le regole di associazione e di relazione di queste con un numero, nonchè i procedimenti da impiegare formalmente per classificare certi eventi, oggetti, proprietà, in modo non ambiguo, cioè secondo criteri di riproducibilità.

TECNICHE DI MISURAZIONE: LE SCALE

Una delle più importanti funzioni della misurazione è di rappresentare in mo-do univoco una certa realtà o un certo concetto di essa qualunque sia il suo grado di astrazione per consentire su aspetti che la riguardano una comunicazione in-tersoggettiva inequivocabile o comunque tale da permettere il confronto delle interpretazioni e la verifica di particolari proposizioni e asserzioni. Ne deriva che

30

è di grande importanza impiegare correttamente le procedure di trasformazione delle differenze d’ordine qualitativo in differenze quantitative, ovvero quelle re-gole di misurazione rigorosamente codificate attraverso cui si compie l’associazione di un numero ad un oggetto o, più precisamente, a certe sue de-terminate qualità e caratteristiche.

A seconda della regole seguite, che derivano dalle proprietà dei numeri che si associano all’oggetto, si potranno avere quattro diversi livelli di misurazione cui corrispondono altrettante scale di misura: nominale, ordinale, di intervallo e di rapporto, che posseggono caratteristiche formali cumulative. A partire infatti da quella ordinale, ciascuna di esse possiede le proprietà di cui godono le scale pre-cedenti, più altre che la caratterizzano peculiarmente. (Domenici, 1993, 2009, Bonaccorsi, 2012)

La scala nominale

La scala nominale permette di classificare i fenomeni o le loro specifiche qualità, dando ad essi dei nomi, delle etichette, o contraddistinguendoli con dei numeri o dei simboli.

Una volta identificate le classi, la “misurazione” avviene confrontando i fe-nomeni o le loro qualità, con le qualità descritte dal nome delle classi, al fine di inserirli nelle classi (p.e.: sapere/non sapere impiegare rigorosamente una specifica procedura d’indagine) che rappresentano lo stesso requisito.

Operando con la scala nominale si può quindi calcolare la frequenza con cui gli elementi (i dati) compaiono in ogni classe e, di conseguenza, la più alta frequen-za degli elementi presenti in ciascuna di esse, cioè la moda (come vedremo, l’unica misura di tendenza centrale ricavabile a livello di scala nominale).

In virtù di tale requisito l’operazione che si compie è di vera e propria classifi-cazione delle proprietà.

Ognuna delle classi, che possono ovviamente essere più di due, conterrà ele-menti dello stesso tipo o omogenei rispetto alla categoria impiegata come criterio di classificazione. Ciò permette alle scale nominali di godere della proprietà della simmetria e della transitività.

Impiegando questa scala, l’apprezzamento delle qualità soggettive può infatti diventare più preciso, persino univocamente determinabile e interpretabile. In tal modo la stessa comunicazione dei risultati della verifica, che non è ancora una valutazione in senso stretto, diviene meno ambigua.

La scala ordinale

Mentre con le scale nominali i numeri (i simboli o i nomi) che vengono asso-ciati alle diverse qualità degli oggetti godono della proprietà della unicità, con le scale ordinali i numeri che empiricamente si impiegano sono gli ordinali (non car-dinali) che denotano vere e proprie posizioni di graduatoria. Con queste scale si può quindi stabilire una relazione di maggioranza, uguaglianza o minoranza tra i diversi

31

punti della scala circa il possesso delle qualità considerate. La distanza tra i diversi punti della graduatoria che così si ricava non è però nè fissa nè quantitativamente determinabile; deriva, anzi, dalle caratteristiche personali di chi compie l’azione.

Le classi che determinano un certo grado di intensità della qualità presa in considerazione con la scala ordinale, espresse attraverso i numeri, vengono defi-nite ranghi, e la scala rating scale.

La posizione di graduatoria può essere determinata oltre che con i numeri or-dinali anche con termini, soprattutto aggettivi ed avverbi, che indicano il diverso grado di possesso di una certa qualità. È quello che è stato fatto per le riviste scientifiche e in prima battuta per gli editori.

Quando si impiega la scala ordinale oltre ai calcoli consentiti formalmente da quella nominale, se ne possono compiere altri, come la correlazione tra due variabili poste in ordine di graduatoria, la mediana e gli indici del valore di posizione dei pun-teggi quali i percentili.

La loro importanza deriva dal fatto che quasi sempre, e soprattutto quando i dati delle distribuzioni sui quali si opera sono abbastanza numerosi, è indispen-sabile ricavare informazioni sintetiche sulle caratteristiche delle distribuzioni al fine di poter compiere confronti immediati e significativi tra alcune loro peculia-rità senza dover analizzare una ad una le frequenze dei singoli dati se non addirit-tura le singole misure.

La mediana è quel valore che in una distribuzione di dati sistemati in ordine crescente o de-crescente occupa la posizione centrale.

In forza della caratteristica della mediana di esprimere il valore centrale di una distribuzione, confrontando i valori assunti dalle mediane di due differenti distri-buzioni, si ricava con immediatezza e pregnanza una indicazione preziosissima sulle più macroscopiche differenze tra i due ‘campioni’.

La scala ad intervalli

Con la scala ad intervalli la distanza tra due punti consecutivi della scala è co-stante. L’intervallo viene così a rappresentare un preciso indicatore quantitativo, non solo qualitativo, della differenza o distanza tra i suoi due estremi. Il punto zero della scala assume però valore convenzionale, come nella misura delle tem-perature, non già, come si sarebbe portati a pensare intuitivamente, valore nullo cioè assenza assoluta della qualità e/o quantità misurata. (Le scale in cui lo zero indica totale assenza di misura sono quelle di rapporto, preziose per rilevare lun-ghezze lineari, il peso o la massa di un corpo, e simili, ma certo non utilizzabili nel campo delle “scienze dell’uomo”).

Con gli strumenti di misura ben tarati che impiegano la scala a intervalli, la ri-levazione dei dati può a ragione considerarsi oggettiva.

Il “peso” (o valore espresso in termini di punteggio) assegnato a ciascuna del-le caratteristiche misurabili può, deve, essere determinato a priori, così che le differenze delle diverse misure siano determinate univocamente dagli scarti di

32

punteggio di fatto attribuiti e prescindono dall’equazione soggettiva tanto del valutatore quanto del valutato.

Nel sistema empirico volta a volta determinato, una volta fissato, arbitraria-mente quanto si vuole, il valore numerico da associare come misura ad una data caratteristica o qualità (che anche se continua si può in questi casi considerare discreta o discontinua) ed utilizzandolo come unità di misura, diviene agevole individuare il valore di tutti gli elementi presi in considerazione.

Con dati assunti impiegando una scala ad intervalli si possono fare anche il calcolo della media aritmetica (tra le misure di tendenza centrale) e di gamma e della deviazione standard (tra le misure di variabilità o dispersione) dei punteggi. A que-sto livello di scala sono inoltre impiegabili numerosissimi test statistici di prova delle ipotesi, e di analisi e interpretazione dei dati valutativi.

STRUMENTI E RILEVAZIONE DEI DATI E VALUTATIVI

In stretta coerenza con il/i significato/i specifico/i assunti come esito della precedente operazione, vi è poi quella che rimanda alla rilevazione - diretta o indi-retta, durante lo svolgimento dell’attività di ricerca o in altri momenti specifici ad essa connessi - delle informazioni e dei dati valutativi ritenuti di particolare rilievo, attraverso l’impiego di quegli strumenti, tra i tanti possibili, reputati più adatti alle necessità, perciò coerenti con le differenziate funzioni organizzativo-procedurali della valutazione interna e/o esterna che sia.

Gli strumenti di rilevazione da impiegarsi possono essere perciò i più diversi e a differente grado di formalizzazione proprio perché l’affidabilità dei dati raccolti deriva in gran parte dalla coerenza tra strumenti ideati costruiti e impiegati e le ragioni, le qua-lità e gli “oggetti” della verifica e della valutazione.

Le informazioni cui si perviene attraverso le rilevazioni e l’analisi critica dei dati - sia qualitativi sia quantitativi – possono effettivamente abbassare l’ambiguità in-terpretativa dei problemi incontrati; chiarire meglio gli elementi costitutivi del con-testo, talvolta persino contribuire a costruirlo; offrire indizi per far approfondire questioni complesse o mal poste, in definitiva possono far meglio strutturare il quadro conoscitivo a disposizione dei principali attori del processo di promozio-ne, attuazione e sviluppo delle attività sottoposte a verifica e valutazione (nel no-stro caso la ricerca).

Per tale ragione l’impiego di strumenti per la rilevazione quali-qauntitativa di dati valu-tativi coerenti e affidabili va volta a volta deciso in stretta relazione con le differenziate ragioni per cui si compie la valutazione. In tal modo la valutazione può di fatto migliorare la valorizzazione del merito e delle risorse.

33

VALIDITÀ E ATTENDIBILITÀ DELLE RILEVAZIONI

L’ideazione e la messa a punto di strumenti di rilevazione se non oggettiva almeno tendenzialmente oggettiva dei dati valutativi è operazione assai delicata. Da essa derivano infatti i due requisiti fondamentali che tali strumenti devono possedere in modo davvero spiccato: la capacità di rilevare dati e informazioni sia validi che attendibili.

Il concetto di validità rimanda alla capacità di uno strumento di misura, di es-sere in grado di rilevare esattamente quello che attraverso il suo impiego si vuole di fatto rilevare. In altre parole lo strumento deve poter cogliere quelle e solo quelle e non altre caratteristiche o variabili. In caso contrario si misurerebbero semmai qualità che possono essere in sé pure importanti, ma che esulano dall’oggetto specifico della valutazione e perciò dagli obiettivi della rilevazione. Per tale ragione è necessario procedere ad una serie di operazioni tese a garantire, quando sia possibile, la validità di contenuto di costrutto e predittiva; sempre, la validità concorrente dello strumento, che garantisce della congruenza delle misurazioni di quello strumento con misure delle stesse caratteristiche o qualità compiute con-temporaneamente o successivamente con altri strumenti usati a loro volta come criteri di confronto.

L’attendibilità rimanda invece alla possibilità di interpretare in modo univoco gli esiti della rilevazione, di avere misure costanti in rilevazioni compiute da più opera-tori, o dallo stesso in momenti diversi, e rinvia, con buona approssimazione, ai requisiti della costanza e della fedeltà delle misurazioni fatte con quello strumento.

Le due qualità appena indicate determinano in gran parte le caratteristiche formali degli strumenti e/o delle procedure di acquisizione dei dati.

IL SISTEMA DI VALUTAZIONE COME COSTRUTTO POLITICO-CULTURALE. VQR 2004-2010 E ABILITAZIONE SCIENTIFICA NAZIONALE

Proprio in quanto strumento insostituibile di produzione e di analisi critica di informazioni capaci di rendere sempre alta la corrispondenza tra fini e strumenti dell’agire, la valutazione può diventare una vera e propria risorsa aggiuntiva ri-spetto alle poche assegnate all’università. Occorre però che buona parte delle questioni formali proprie dei processi valutativi corretti e fin qui esposte vengano rispettate. Altrimenti la valutazione potrebbe persino rappresentare lo strumento per premiare i peggiori e quindi porre in atto, giustificandoli sul piano politico, interventi per la disequità.

A tale riguardo occorre tener presente che le soluzioni volta a volta date ai problemi della valutazione anche del e nel sistema della ricerca e della università, rappresentano, di fatto, nella loro articolazione tecnico-procedurale, un vero e proprio costrutto politico-culturale oltre che, ovviamente, teorico-pratico. Le procedure seguite e gli strumenti impiegati per la rilevazione e il trattamento dei dati valutativi e, soprattutto, le finalità d’uso

34

delle verifiche e delle valutazioni, sono tutti elementi che complessivamente rap-presentano un sistema teorico-pratico il quale, oltre a derivare (come è auspicabi-le) dall’evoluzione della ricerca di settore, dipende dal valore o funzione assegnati di fatto, proprio da chi determina e impiega quel sistema di valutazione, al meri-to, alla cultura, alla ricerca.

Valutare significa, in fondo, come abbiamo detto sopra, porre in atto un pro-cesso di attribuzione di “valore” ad un quid, per poterlo promuovere o inibire in relazione alle più importanti ragioni per cui si compie l’operazione, ma soprattut-to in rapporto agli “scopi” che chi valuta vuole perseguire. Per questi motivi la valu-tazione acquisisce quel forte valore simbolico in grado di orientare l’azione dei più (la promo-zione di comportamenti virtuosi o opportunistici deriva non poco dalla qualità, ovvero dalla coerenza e dall’affidabilità del sistema valutativo) .

È per tali ragioni che dalle scelte che passano semplicemente come tecnico-procedurali può ben emergere, infatti, il sistema di riferimento e di classificazione della qualità degli eventi e/o degli oggetti da valutare o valutati e degli scopi per-seguiti: basti pensare ad alcune delle soluzioni tecniche ai problemi della valuta-zione della ricerca proposte dalle origini dell’esperienza valutativa universitaria in Italia fino ad oggi. Soluzioni palesemente contraddittorie rispetto alle ragioni ad-dotte per giustificarle e ai bisogni cui dichiaravano di connettersi, rivelando ben altri principi ispiratori e il perseguimento di altre finalità.

Il grado di affidabilità delle procedure e degli strumenti valutativi e di condivi-sione dei criteri formalmente previsti per la Valutazione della qualità della ricerca 2004-2010, soprattutto per molte delle Aree delle scienze dell’uomo, e per l’Abilitazione scientifica nazionale, risulta purtroppo, nonostante l’esperienza del Primo Esercizio, molto basso, come si può evincere anche dalle semplici consi-derazioni che seguono, a proposito delle mediane e altro.

Le mediane indicano davvero, oltre al valore di posizione di chi sta sotto o sopra un certo numero di volumi, capitoli di libri e articoli apparsi su riviste di fascia A, alcune qualità dei prodotti della ricerca e perciò sono in grado di dar conto del merito di chi potrà aspirare ad essere candidato ai concorsi o commis-sario? Più pubblicazioni equivalgono “oggettivamente” a più idee e a un livello più alto della qualità della ricerca, eccetera?

Il cambiamento dell’intervallo di tempo preso in esame dal secondo Eserci-zio, passato dai tre ai cinque anni (un periodo congruo per la valutazione della ricerca) in prima ipotesi e poi esteso di fatto a sette anni, è un accomodamento politico per sanare errori o ritardi decisionali, oppure una necessità metodologica per facilitare i confronti diacronici delle strutture di ricerca e del Paese su basi omogenee di dati che sarebbero indispensabili per far compiere regolazione e auto-regolazione delle scelte a tutti i livelli di responsabilità?

Quale qualità e pertinenza del giudizio valutativo si potrà garantire con il ri-corso a non più di 2 esperti esterni per ogni Panel, nonostante che il numero dei panelisti sarà minore o uguale a 540 contro il numero davvero esiguo di 151 del

35

primo Esercizio, quando all’interno di ciascun Panel sono ricompresi –soprattutto per l’Area 11 - raggruppamenti disciplinari in alcuni casi tra loro più distanti di quanto non lo siano raggruppamenti che fanno capo a differenti Panel ovvero ad Aree diverse? Come potranno essere considerati davvero formulati da pari i giudizi di qualità sulla ricerca espressi da quegli esperti? Oppure, per mette-re in atto davvero la pratica di peer-review, soprattutto nella nostra Area - per la quale non si possono né si devono impiegare molte delle tecniche di analisi delle citazioni più diffuse - il numero degli esperti non dovrebbe crescere in ragione di una soglia minima di pertinenza delle competenze che nel panel devono essere necessariamente possedute da alcuni dei suoi componenti, per garantire che il giudizio valutativo espresso dai pari sia affidabile?

Aver reso pubblica una ricerca compiuta, significa averla registrata solo in siti, anagrafi, o banche-dati apposite, istituzionali – p.e. Cineca - o portata comunque – documentalmente – a conoscenza della specifica o più estesa comunità dei ri-cercatori? (Guerrini, 2009).

Ancora, può avere peso, e quanto dovrebbe semmai averne, la quantità totale dei prodotti scientifici individuali e/o della struttura, dipartimenti e atenei, resa pubblica nell’unità di tempo considerata dall’esercizio valutativo, ed eventual-mente in quella immediatamente precedente?

La mitizzazione della presunta oggettività degli indici bibliometrici, si pensi a quella attribuita all’impact-factor, in sé incapace di dar conto della qualità vera dei prodotti (nel Regno Unito tanto imitato nel peggio, la valutazione si avvale ormai solo della peer-review) e che impropriamente applicato a tutti i settori di alcune aree CUN ha prodotto l’annullamento d’ufficio della metà dei suoi componenti, e l’azzeramento della qualità e quantità delle loro ricerche è davvero giustificata da basi fondate? L’esito valutativo dei singoli e delle strutture derivato da proce-dure che impiegano in tal modo quegli strumenti, rispecchierà davvero la loro reale posizione relativa? Da questa pur breve serie di domande e constatazioni emerge in definitiva, che il problema della valutazione della qualità della ricerca deve andare ben oltre le esigenze contingenti. Sarà utile perciò ri-considerare le questioni generali ma essenziali della delicata attività valutativa. Ricordare, per esempio, che è a partire dagli scopi e dalle ragioni per cui si valuta, dagli standard assunti come criterio-base o di riferimento del concetto di “alta qualità della ricerca scientifica”, dall’uso che si farà degli esiti valutativi, che assumono senso le opzioni teorico-culturali e operative praticabili per compiere interventi valutativi affidabili anche nel campo della ricerca. La valutazione quantitativa e quella qualitativa da sole, singolarmente prese, possono diventare, anche se ben condotte conservative o regressive: la non facile riconducibili-tà della qualità e delle sue tante sfumature alla valutazione quantitativa, e le speci-ficità o sensibilità culturali di chi compie l’altra possono penalizzare le qualità originali, divergenti, meritatamente “eretiche” di alcuni prodotti della ricerca. Inoltre, indicatori quantitativi diretti e/o indiretti, assoluti e/o relativi, e dati qualitativi assunti con la peer-review possono concorrere, in un’ottica di equilibrio, ad una progressiva nor-

36

malizzazione del giudizio e alla sua più alta approssimazione al vero. Infine, bisogna sot-tolineare che oltre alla valutazione dei Progetti, dei Prodotti della ricerca, dei sin-goli Ricercatori, delle Aree di appartenenza e delle Strutture, occorre pure pro-muovere, in modo sistemico, l’azione meta-valutativa in grado di considerare la qualità dei processi valutativi attuati, le Leggi di riforma e le Misure di intervento ammini-strativo nel campo specifico della ricerca e della valutazione.

REFERENCES

BACCINI A. (2010). Valutare la ricerca universitaria. Bologna: Il Mulino. BONACCORSI A. (2010). Potenzialità e limiti della analisi bibliometrica nelle aree umani-

stiche e sociali. Verso un programma di lavoro. ANVUR, pp. 39. DI PIETRA R. (2012). Essere referati e referare: opportunità e rischi di un cambiamento

culturale necessario e non rinviabile.”Sinergie”, Anno XXX, n. 87, pp. 97-116. DOMENICI G. (1993). Manuale della valutazione scolastica. Roma-Bari: Laterza. DOMENICI G. (2004). La valutazione della ricerca universitaria. Questioni aperte.

In Pedagogia oggi anno III, n.3, pp.16-22. DOMENICI G. (2009). Ragioni e strumenti della valutazione. Napoli: Tecnodid. DOMENICI G. (2010). Valutazione della ricerca, procedure e distribuzione delle

risorse. Editoriale, ECPS - Journal of Educational, Cultural and Psychological Stud-ies, n. 2, pp. 9-16.

DOMENICI G. (2011). Alcuni elementi del quadro normativo e ricadute sulla organizzazio-ne della ricerca. In L. Galliani (Ed.). Il docente universitario (pp.103-118). Lec-ce:Pensa Multimedia, Tomo I.

FERRAROTTI F. (1968). Trattato di sociologia. Torino: UTET. GALIMBERTI P. (2012). Qualità e quantità: stato dell’arte della valutazione della ricerca

nelle scienze umane in Italia. JLIS.it (Italian Journal of Library and Informational Sciences - Rivista italiana di biblioteconomia, archivistica e scienze dell’informazione), Vol. 3, n. 1, 5617, pp. 1-25.

GATTULLO M. (1968). Didattica e docimologia. Misurazione e valutazione nella scuola. Roma: Armando.

GUERRINI M. (2009). Nuovi strumenti per la valutazione della ricerca scientifica: il movimento dell’open access e gli archivi istituzionali. Biblioteche oggi, Vol. 27, n. 8, pp. 7-17.

MODICA L. (2012). Passato e futuro della valutazione della ricerca universitaria. Valutare che cosa? Valutare come? Valutare perché?. In MICCOLI P., FABRIS A. (Eds.), Valu-tare la ricerca? Capire, applicare, difendersi (pp. 13-34). Pisa: Edizioni ETS.

REBORA G., TURRI M. (2010). Lo sviluppo dei sistemi di valutazione della ricer-ca:un’analisi critica dell’esperienza italiana. Relazione presentata al 33 Convegno An-nuale dell’Accademia Italiana di economia Aziendale, Milano.

SANI R. (2011). La valutazione della ricerca nell’ambito delle Scienze dell’educa-zione: un problema di metodo. Education, Sciences and Society, n. 2, pp. 176-190.

37

The nature of evidence: improving educational research in Italy

Umberto Margiotta L’articolo intende sottolineare l’importanza di una riflessione sul concetto di evidenza per la ricerca educati-va, che l’autore ritiene necessaria condividere prima di procedere all’analisi dei benefici derivanti dal suo utiliz-zo sistematico e progressivo. L’articolo si propone come un contributo della comunità pedagogica italiana al dibattito internazionale in materia.

The article will show that, for the educational research, the meaning and application of what constitutes evidence is best viewed in terms of a primary logical distinction. This article explains the origin of the term evidence-based re-search before considering the benefits, theoretical opposition, and appropriateness in the field of education. The author believes that researchers and teachers use different orienta-tions in the practice, so the type of evidence often differs. It’s proposed, once another, an epistemic idea of evidence in educational research as contribution of italian pedagogical community to international debate on this matter.

Parole chiave: indagine naturalistica, evidenze, condizioni logiche, teoria dell’educazione. Keywords: naturalistic inquiry, evidence, logical conditions, educational theory. Articolo ricevuto: 25 maggio 2012 Versione finale: 20 giugno 2012

I. THE CURRENT STATE

The term evidence-based education was first used by Hargreaves (cited in Brusling, 2005) in 1996 in a lecture given at a teacher training agency. Later, Hargreaves (1997) wrote: “Practicing doctors and teachers are applied professionals.... Doc-tors and teachers are similar in that they make decisions involving complex judgements. Many doctors draw upon research about the effects of their practice to inform and improve their decisions; most teachers do not, and this is a differ-ence. (p. 407)” 12

In general, educational research continues not have much credibility; even among its intended clients, teachers and administrators. When they have prob-lems, they rarely turn to research. Realigning the system to make it more educa-tionally powerful will require significant changes in work patterns. There must be

12 Effectively, two decade has passed since Carl Kaestle (1993) wrote the paper on The Awful Reputation of Educational Research. He wrote about: “Despite significant advances in theory and method, it is hard to claim that the situation has improved. Indeed, research in education may be accorded even less respect now than a decade ago. Unlike medicine, agriculture and industrial produc-tion, the field of education operates largely on the basis of ideology and professional consensus. As such, it is subject to fads and is incapable of the cumulative progress that follows from the application of the scientific method and from the systematic collection and use of objective information in policy making. We will change education to make it an evidence-based field. (p. 48)”.

38

much closer efforts coordination between research, design, development, policy, and practice. Equally important, a conscious change in the academic value sys-tem will be required to induce the necessary number of educational researchers to develop the relevant skills to engage in such work. But we must, also, consider that educational research has afforded, throughout the whole XX century, the need of defining their mission (Gage, 1989; Hammersley, 2002, Laporta 1999): the efforts made in the early years of this century were all directed to align educa-tional research to experimental sciences, whereas later on, scientists discussed passionately the need of introducing qualitative approaches. That “paradigms war”13 seems to be over-come through the mixed methods approach in educational sciences, that search-es adherence of methodological approaches to the educational problems instead of the opposite. Nevertheless, educational research is facing a wholly new sta-tion, which regards their placement among other social and human sciences. In fact, while the methodological discussion was an inner concern of educational research, their research topics and the usefulness of their results/products, meaning their role not only in the academic world but also in society, are today at the centre of attention.

It seems that the still many “provinces” of educational research are costing the whole discipline its status, its possibilities of being considered among policy-making strategies, and the worst of all, the possibility of educational research to shape a clear agenda of development. In fact, this own agenda should dialogue with policy making strategies; the risk is that educational researchers are imposed topics and research fields to “survive” as disciplinary field, instead of creating recursive situations where societal problems are the starting point for research and policy making (Whitty, 2006; Biesta, 2009, Margiotta, 2010)”14.

2. THE THREE MAIN TRADITIONS OF RESEARCH IN EDUCATION.

Before proceeding, however, it is important to identify – according Burkhardt and Schoenfeld, (2003), but also rethinking his contribution – the three main traditions of research in education. We can, originally, call these research ap-proaches as humanities, integrated science, and eco-systemic innovation.

The humanities approach to research is the most oldest tradition in education. We can describe it as “an original investigation undertaken in order to gain knowledge and understanding; scholarship; the invention and generation of ideas where these lead to new or substantially improved insights. There is no require-

13 N.L. Gage, The paradigm wars and their aftermath. A «historical» sketch of research in teaching since 1989, «Educational Researcher», 1989, n. 7, pp. 4-10. Vedi anche M. Pellerey, Grida di guerra e ipotesi di conciliazione in pedagogia, «Orientamenti Pedagogici», 1990, n. 2, pp. 217-227.

14 As Biesta (2009) puts out, a critique of educational research could be based in at least three dimensions: usefulness, evidence and values, methods and theory. For the discussion about this points see J. Raffaghelli ( 2011)

39

ment that the assertions made be tested empirically. The test of quality is critical appraisal concerning plausibility, internal consistency and fit to prevailing wis-dom. The key product of this approach is critical commentary. Ideas and analysis based on authors’ reflections on their experience are often valuable” (Burkhardt and Schoenfeld, (2003).

However, since so many plausible ideas in education have not worked well in practice, the lack of empirical support is a deep weakness. This has led to search for “evidence-based education” and the significant growth in the education re-search community (though not in education as a whole) of the science approach described below.

The integrated scientific approach to research is also focused on the development of better insight; “is direct to improve knowledge and understanding of “how the world works,” through the analysis of phenomena; and the building of models that explain them” ( idem). However, this approach imposes, as a further essen-tial requirement, that assertions be subjected to experimental and/or quasi exper-imental testing and evaluation. The common products are research journal pa-pers, books, and conference talks. Such of researchers provides insights, identi-fies problems, and suggests possibilities. However, it does not generate, by itself, practical solutions, even on a small scale; to realize this possibility it needs to be linked to the approach that we name eco-systemic.

The eco-systemic approach to research is directly concerned with innovative impact: understanding how the world works and helping it “to work better” by designing and systematically developing high-quality solutions to practical problems. It builds on insights from different sources of research, but goes beyond them. It can be described as the use of existing knowledge to produce new settings or substantially improved materials, devices, products, and processes, including de-sign and construction. It combines imaginative design and integrated scientific evaluation and testing of the products and processes during the development versus the generalization. Key products are tools and/or processes that work well for their intended uses and users, with evidence-based evaluation. In the educational research community the eco-systemic approach is often undervalued. Near the most significant groups of educational research, in Italy, only “insight” research in the humanities or integrated scientific tradition tends to be regarded as true research currency for publication, tenure, and promotion.

3. IN SEARCH OF THE EVIDENCE.

Although educational research is going to become a “mainstream” form of inquiry, there still remain certain basic or foundational issues that need of further explication. Evidence is a notoriously ambiguous term (Miller, 1990), but it is nevertheless one of the most crucial in providing a justification for educational

40

derived research findings.15 In other words: “what evidence we have to say (or conclude) that this “result” is a “result”?” By way of clearing the conceptual landscape a bit, it can quickly be acknowledged that determining whether an X is an X raises both important ontological and epistemological concerns. 16 Episte-mologically, we are closer to what concerns how the concept of evidence relates to educational research findings. That is, do the methods employed in educational inquiry stand in an “epistemic credible” way to the “findings” they produce? When do findings, in other words, become evidence? Our findings must stand in some relationship to what we claim to be evidence if they are to serve (in some sense) as “truth markers” (Kirkham, 1997).

The naturalistic attitude to see the road map of research is that, in general, is necessary to show how the data (no matter how generated) stand in relationship to the question, topic, or theme of interest. But in what sense do we know that the data are (or are not) evidence? Scientist know that data become evidence; they are not (alone) evidence; and this is an epistemological concern. The difficult issue is, in reality, to show

15 Hargreaves made a comparison between the practice of doctors and teachers, but Biesta

(2007) argues that education is more than the application of strategies to bring about pre-determined goals. Kennedy (1999), states that case study reports are valued over statistical data in education because “educational events are governed not by universal laws of cause and effect but, instead, by human interactions and by multiple concurrent and interacting influences” (p. 514). Any evidence collected from such interactions only tells us what worked at that particular time and not necessarily what is still working or will work in the future. Biesta continues that education is not a treatment. It does not involve a simple intervention by the teacher to cause a desired effect. Evidence-based movements work best when cause and effect are separated and a desired effect is pre-determined. When such is largely the case, as perhaps it can be claimed in the field of medicine, the question is how best to achieve such an effect. This said, evidence-based medicine alone may not be the best overall approach to providing patient care. In education a narrative-based approach would similarly place emphasis on the communication between teacher and student. It would be an interactive, creative, humanistic approach which prizes students, ensuring student-centered class-rooms. Continuing with theoretical opposition to evidence-based education Biesta (2007) makes the point that evidence-based education does not imply that something is desirable educationally. Data evidence only gives us information about what is happening. Hammersley (2001) states that advocates of evidence-based education “tend to treat practice as the application of research-based knowledge; neglecting the extent to which it necessarily involves uncertain judgment” (p.12). He also states that “critics managed to counter this [claims that their opposition to evidence-based practice was irrational] by denying that practice can be based on evidence; in the sense that re-search evidence can provide its exclusive foundation” (Hammersley, 2001, p.1). Such criticisms were perhaps a reaction against the privileging of research evidence over professional experience rather than a direct criticism of using more research to guide educational practice. In response weaker formulations of the evidence-based idea and new terms followed: evidence-informed teaching (Hargreaves 1999), evidence-aware teaching and evidence-influenced education (Davies et al 2000).

16 On the ontological side, there are both general and specific concerns having to do with how a socially constructed construct (or “finding”, for that matter) “exists”, or in what sense its “exist-ence” is expressed (Archer, Bhaskar, Collier, Lawon & Norrie, 1998; Loux, 2002; Moser, 1993).

41

how to best characterize the process by which data become evidence.17 Peirce’s view of scien-tific investigation (Selley (1996, 279) included the following: “(1) observation of an anomaly, (2) abduction of hypotheses for the purpose of explaining the anomaly, inductive testing of the hypotheses in experiments, and (3) deductive confirmation that the selected hypothesis does predict the original anomaly (which is thereafter no longer an anomaly.”18 Is abduction a good model for ed-ucational research methods? On the face of it, it would seem to be, but there are problems, not so much of the model itself but how exactly it should be utilized for educational research purposes. In other words, if we adopt abduction, how exactly should we proceed? The basic problem is the following: how do we test and evaluate the anomalies observed given our belief that the conditional state-ment, if A then B, does hold? This requires that the experimental and quasi-experimental methods of inquiry be specified and applied in such a way that, indeed, educational data do become evidence for a claim. But this process is exactly what we have to explain.

4. WHAT IS EVIDENCE?

This is a simple question, but one surprisingly not asked in many research contexts. Part of the reason is that evidence is difficult to define. There is (Maut-ner (1999, p. 184)) that says evidence is “that which provides a ground for a be-lief or a theory.” Audi (1999, p. 293) says evidence is “information bearing on the truth or falsity of a proposition.” And we know that each proposition is a statement, usually in the form of a declarative sentence, which contains (explicit-ly or implicitly) an indication of results. Thus, “we believe that most educational researchers will find it difficult to define ‘evidence’ clearly” would be at least one type of proposition. A proposition, then, asserts something is the case and we are trying to show that the “information” we possess can establish the truth or falsity of it; or, in another sense, establish its “probability”, “likelihood”, “war-rantability”, or something similar.

These last terms, or some form of them, are often used in educational analy-sis under the ambiguous heading of “induction” or “explanation”. The terms are

17 What exactly is abduction? Abduction is commonly believed to be a process of reasoning in which the logic of discovery is emphasized over the logic of justification. It is purported to be a search for how scientific hypotheses come to be, over how we try to assess them in terms of their truth or falsity (see Hanson, 1958). There has been a debate over whether such “logics” are possi-ble — especially if they form a distinctive approach for reasoning that differs from traditional de-ductive and inductive logic (Audi, 1999). A little more formally, abduction is sometimes traced to Aristotle’s Prior Analytics (Barnes, 1984), where given a known (certain) major premise, a weaker, minor, probable premise is conjoined producing a probable conclusion.

18 Modern variations on abduction have resulted in what is now known as ‘Inference to the Best Explanation’ (IBE) (Lipton, 1993), although critics such as Rappoport (1996) have argued that IBE is simply a version of Mill’s (1875/1952) system of induction.

42

ambiguous because it is often unclear if “induction” is being referred to as a sys-tem of (logical) inference or as a kind of methodological stance in some way(s) unique to educational inquiry. In other words, for educational inquiry generally, there are often confused notions about what we do, substantively. The confusion is not unique to educational forms of inquiry of course (e.g., law, medicine), but what constitutes a model for adequate evidence in educational inquiry is important because this is, ultimately, the justification for the legitimacy of the conclusions we say we are making.

When the claim is made that something is evidence that a hypothesis is true, what exactly is being claimed? Is there some unique concept of evidence by ref-erence to which we can understand what is being said? We think that there is not one concept of evidence but several in use in the sciences of education.

According to Achinstein (2001) we consider that exist four ways of trying to understand the epistemic situation: Subjective evidence, Veridical evidence, and Potential evidence. One way of understanding these conditions, and their relevance is to view them in the context of a situation where one is doing research on some is-sue, formulates a claim in relation to it, and then says the claim is credible by way of certain other statements. The epistemic situation is, always, the source of evidence, when it refers to the necessity of seeing our proposed claim as being one of beliefs that are in need of some type of justification, especially our beliefs concerning our evidence. The point is that if we are to believe that our claim is true, then we must be in a situation to say that our evidence is true. The key is to realize that the context is one in that, for there to be a link between the two, there must be a justification for the beliefs (propositions, statements, etc.) about the evidence. The justification is in the acknowledgment (and eventual “explanation”) that each result of our research consists of true beliefs. We must consider, also, that the epistemic situation of a researcher is an “objective” notion of evidence; in the sense that whether there is evidence for a proposition, it does not depend on anyone’s particular belief that it is so. In Subjective evidence, the belief condition is strong in addition to requiring that X be in the epistemic situation, even though the situation itself is required to say something about facts and processes. Like-wise, subjective evidence does not require that the facts to be true, only that there are (good) reasons for so believing. Veridical evidence, on the other hand, requires that relationship between facts and results of inquiry to be true. Potential evidence does not require that this relationships to be true, but does require that results to be so. Potential evidence must provide “good reasons” for believing this to be the case. Believing for good reasons is an important concept for the educational research and also for the educational decision making. So it’s clear that the con-cept of evidence is both complex and crucial in gaining a clearer understanding of what the conduct of educational research is actually about.

43

5. VIEWS OF EDUCATIONAL EVIDENCE

There are two main questions to pose: (1) what is “educational” evidence, and (2) how does it exactly configure into educational analysis? The first point requires a distinction that is often overlooked; namely, data are not evidence. We may have data but they only become evidence when (and if) we have some sort of model for when and how this takes place19. Finding of such “models”, then become the answer to the second question. However, such models are varied and complex, and these factors make it difficult to often clearly demarcate what evidence20.

An introductory representation can be in Slide 1. The structural overview of evidence based research contains four macro-fields of inquiry, interconnected and possibly integrated between their. The objectives are: capture contextual complexity; learn from collective experience; enhance educational design. The aims are: move research beyond simple observation and ‘one off’ case studies; engineering situations to enhance and understand quality of teaching and learn-

19 For example, the question “ What are ‘learning outcomes’? has occupied the minds of curricula

reformers for decades: new names invented, much is added and little is subtracted, and the class-rooms continue on much as before. The latest craze, begun by the OECD, is to include key com-petencies or ‘essence’ statements to get closer to the core of what students need. Key competencies include thinking, making meaning, managing self, relation to others, and participating and contrib-uting. Indeed, such powerful discussions must ensure around the nature of what are ‘student out-comes’ as this should inform what kinds of data need to be collected to thence enhance teaching and learning. Outcomes from curricula must have a sense of achievement progression. So, finally, what is the nature of evidence that makes a difference to learning? There are many within-school debates about the nature of evidence that makes a difference to learning. Evidence is now easy: it relates the teacher’s intention to the task and activities, clearly specifies the criteria the teacher would use to judge stu-dent learning, and indicates how data could be collected specific to these criteria. At a minimum, it stipulates the notion of what the learning outcomes are, can lead to debates about sufficiency, challenge, appropriateness, time, resources, and can indicate to other teachers and students (and parents) the level and depth of the learning. Schools are awash with data, and the accountability movement is requesting that they collect even more. The teachers are critical source of the ‘evi-dence’ cycle. In the meantime, while volumes of data are extruded about and from schools, teach-ing continues without the benefits of such data. There is still a philosophy that assumes teachers know how and what data to collect to best enhance learning, and many of these assumptions are based on folk philosophies, poor measurement, and shaky data. We still teach in a manner we did 150 years ago, with a preponderance of talking, deciding on activities that aim to engage rather than choosing activities that reflect on curricula intentions that aim to challenge. One form of accountability assumes that if only we could name, shame, and blame with evidence, we could get those teachers operating at higher levels of efficiency. Another form of accountability assumes that if only we could collect sufficient system-wide evidence, we could convince the parents/voters not to be critics. Both miss the mark.

20 The Evidence-based curricula development is another fundamental question for educational re-search. Curriculum is also a contested domain, and too often, it is resolved by asking a group of experts to devise a new version – often tinkering at the edges, choosing new names to dominate the centre, and the teachers do much the same as they did before. Instead, it is argued, curriculum development should start with evidence based on what students know and can do.

44

ing; combine rigor of experiment with sensitivity of case study research. And the rules are: development of a logical, evidence-based chain of reasoning; choose methods appropriate to the questions posed; observational or experimental de-signs and instruments that provide reliable and generalizable findings; collect data and produce analysis adequate to support findings; explication of proce-dures and results clearly and in detail, including specification of the population to which the findings can be generalized; adherence to professional norms of peer review; dissemination of findings to contribute to scientific knowledge; and ac-cess to data for reanalysis, replication, and the opportunity to build on findings. (See: Scientifically Based Research EERA Council, July 11, 2010)

Slide 1

Theory

Implementation

Evaluation

Design

So, we believe that following six key elements of models may be adopt as common to successful research-based fields. All six of the followings are essential:

1. Robust mechanisms for taking ideas from empirical research to widely used

practice. Such mechanisms typically involve multiple inputs from established research, the imaginative design of prototypes, refinement on the basis of feed-back from systematic development, and so on.

45

2. Norms for research methods and reporting that are rigorous and con-sistent, resulting in a set of insights and/or prototype tools on which designers can rely. The goal is cumulativity.

3. A reasonably stable and unitarian theoretical base, with a minimum of a clear view of the reliable range of each aspect of the theory.

4. Teams of adequate size to grapple with large tasks, over the relatively long time scales required for sound work of major importance in both research and development.

5. Sustained funding to support the research process on realistic time scales. 6. Individual and group accountability for ideas and products. And we must develop this rules applying our research on Top Ten list of

global trends in Education, as following:

- A global, knowledge-based society: Ubiquitous and ever-opening ac-cess to information creates a need for skilled workers who can transform information to meaningful, new knowledge.

- The innovation-based society is emerging: Successful members of so-ciety will create innovative and contextually relevant applications for new knowledge.

- Knowledge and innovation-based jobs are moving to India and China: Western companies have already learned that it makes sense to move industrial jobs offshore. Today, many companies are beginning to move their creativity and R&D jobs to markets with lower labor costs.

- Personal success in the innovation society will require novelty at the individual level: Standardization and centralization at the workplace will give way to individualization and decentralization. Employees will be viewed and rewarded for their creative inputs as individuals, not for the roles they could play as proceduralized automatons.

- Technology changes human relations: Advances in technology allow people to interact in new ways that were previously obscured by geo-graphical, economic or social boundaries.

- Jobs that exist today will not necessarily exist when today’s students finish school: Why do we insist on preparing students for jobs that exist-ed before they were born instead of for jobs that will exist when they fin-ish school?

- An ageing population: Advances in sanitation, nutrition and medicine have extended life expectancy in many countries. The life span, about 127, is now the object of research and development. Should people be helped to live 2,500 years, or even “forever”?

46

- Change is accelerating: The doubling time of information is now under one year. In 20 years or less doubling time may drop to a few weeks. If our cultural institutions don’t change at least as fast, what will happen to our senses of idetity and security? How can we become situated in the fu-ture as much as the present or past?

- The Singularity is almost here: Human surpassing intelligence will guar-antee that the future is far more different than we can imagine. Are we supplying students with the creative skills required to thrive in a future that demands routine human creativity?

6. EVIDENCE BASED EDUCATION: BARRIERS, ISSUES AND CHANGES.

The consequent question is: “which each of the six key elements of research models is in place in education? What are the current barriers? What changes would lower those barriers? How can such changes be brought about? 21

a) Barriers

Barrier 1: It’s (almost) nobody’s job to turn insight into impact. Orchestrating the edu-cational research program and process for any major idea or product is an ardu-ous and time-consuming job. Doing such work is not part of most academics’ job description. Some product refinement does get carried out mostly in funded development projects, which are often based in universities or in development research units.

Barrier 2: “You do your thing, I do mine.” The academic community in education tends to see research as very much an individual or small group enterprise. The typical project scale is usually defined by that of a PhD study, or the work need-ed to produce a research paper with interesting insights. The consequence is that the development of imaginative and robust products and processes that directly help to improve practice requires empirical testing using research methods on a

21 In mature research fields, the design process includes the development of a set of goals and

standards, a search for design ideas, a benchmarking process to examine in fine detail how well the materials are working, and the early piloting of experimental ideas. It proceeds with the production of alpha and beta versions for field testing and subsequent refinement prior to polishing the mate-rials for marketing on a large scale. Goals, materials, and benchmarks are often refined during this process, particularly in the early exploratory stages. Data gathered in this phase include structured observation reports by a team of observers, informal interviews with teachers and students, and the systematic sampling of student work (including performance on the standards-based and curricu-lum-specific assessments). These data are used for both research and product improvement. For both purposes, the design team constructs an analytic description of each teacher, how the teacher used the materials, and how the materials functioned in the classroom. Robust descriptions of results would be a significant contribution to the field’s understanding of pedagogical knowledge. And so one. But in reality the world run in very different way.

47

substantial scale, from early pilot or design work right through to studies in the realistic conditions of implementation and its support. This can only be done well by substantial teams.

Barrier 3: A negative incentive system. Universities, in Italy, vary in the ways they allocate credit to individuals for their contributions to research papers, but a general rule is that the sum of the contributions to a paper adds up to one; the more participants, the less credit one is likely to earn toward promotion and/or tenure. And the more difficult it is to carve out an academic identity for a line of work. This rule is the sine qua non for academics.

Barrier 4: The absence of a research-based industry. Educational publishers are the “big manufacturers” of educational products. Why do they not invest more in systematic research-based development? Simply put, economic forces argue against it.

b) Issues Pertaining to Educational Research

Educational research, in Italy, has reached the point, unimaginable 40 years ago, where it is now possible to conduct fundamental research amidst principled attempts to affect practice for the better. Rejected the classic “do basic research in the laboratory and then apply it” model of applying research to practice, more research in practice is considered and realised as essential to understand which contextual factors are critical and which are not. Researchers in education can contribute a great deal to the developing different research approaches. Because some of this work is currently less prestigious than insight-based research, its necessary to promote the development at a large scale making the eco-systemic approach of educational research.

Issue 1: Offering the field robust models of educational research. The medium-term

funding of some such large scale projects or, better, a number of collaborative institutes to carry out such projects, would be an excellent catalyst for the growth of the development of pedagogical knowledge. Potentially effective levers that would encourage such changes include the following: offering training for re-searchers in the broader range of skills involved in educational research; identify-ing and rewarding outstanding designers of educational materials and processes; re-balancing the academic value. 22

Barrier 1: Building on quicksand, or without design specs. Schoenfeld (2002) of-fers a scheme for categorizing the impact of studies in education. He ar-gues that it might be useful to evaluate the claims made in such studies

22 An emerging literature on issues of implementation fidelity, scalability, and sustainability

(see, e.g., Blumenfeld, Fishman, Krajcik, Marx, & Soloway, 2000; Elmore, 2000; Fishman, Honey, Hug, Light, Marx, & Carrigg, 2003; Gomez, Fishman, & Pea, 1998; Honey & McMillan-Culp, 2000; Means & Penuel, 2003) discusses mechanisms for increasingly robust implementation of educational practices and materials.

48

along (at least) these three dimensions: (a) Trustworthiness: How well sub-stantiated is each claim? (b) Generality: To how wide a set of circum-stances is the statement claimed to apply? (c) Importance: What contribu-tion does this paper make to theory, methods, or practice? Generally speaking, papers (and even bodies of literature) tend to score well on one of these dimensions and poorly on the others. Many individual stud-ies, for example, score reasonably well on trustworthiness, presenting spe-cific findings that are reasonably well warranted by the evidence given. Often, it is claimed that those findings are representative of a broad class of phenomena, which implies their importance and generality. But, a rigor-ous evidentiary warrant for these claims is rarely included with the re-search reported. Thus, importance and generality remain hypothetical. The point is that most such studies, while rigorous enough to be pub-lished and while providing some form of insight, tend not to provide ad-equate information to allow for replication and extension; often a topic is claimed to have theoretical importance or generality. Barrier 2: Most research investigates treatments, but claims to infer general principles. To establish principles, one must check that the observed phenomena persist across a well-defined range of other potentially important varia-bles (such as treatment, designer, topic, teacher, student). A substantial body of evidence of this type would give designers a firm basis for using the principle revealed by the research. Obtaining that body of evidence requires large studies, involving both extension and replication. Barrier 3: Treatments that are both robust and well researched are rare. Research-ers prefer to custom design the treatments they investigate to fit the purpose of their inquiry. But they rarely take a treatment through the systematic development process that would ensure its robust effective-ness in use by others, and thus enhance its potential large-scale impact. Indeed, the design and development of the treatment often receives less attention than do the data gathering and analysis intended to yield in-sights about it.. Barrier 4: Doing your own thing. The individualistic value system underlying academic credit allocation tends to limit the scope of investigations, not only in scale but also in how far they can combine generality and trust-worthiness. Tacitly, there are pressures against standardization of treat-ments or probe instruments, with a premium in prestige and satisfaction for inventing your own rather than using, perhaps with fine-tuning, treatments and research tools that already exist and are nearly as good. Apart from limiting the scope and reliability of research, this hinders comparability. Barrier 5: Intra-communal disputation. Progress in education depends on a body of reliable research-based information. Such information must in-

49

clude not only useful insights but also their range of demonstrated valid-ity. In contrast to fields where the research community is influential, the educational research community has produced no common core of gen-erally accepted results; nor does it seem to have effective mechanisms for doing so. As a result, education has no collective voice to counter-balance less expert commentators. Given the current political context, it is essential for the research community to delineate the many good ways of doing high-quality research, and then live up to the standards it sets. The goal is to provide rigorous, evidence-based warrants for one’s claims; the idea is to match the method(s) with the issue at hand, and to only draw conclusions warranted by each method or the methods in combination. Change 1: More standardization of detailed methods and instruments. Although progress demands new ideas and research tools, standardization has im-portant benefits in reducing the uncertainties of comparability studies. Successive refinement, widely used in other fields, can yield robust tools. A requirement to justify not using established instruments and methods would provide pressure in this direction. Change 2: The reward system. To prosper, the educational research must be recognized as full-value research currency by the academic community where it counts, in appointment, tenure, and promotion procedures. Ma-jor levers for change might be: providing training for researchers in the broad range of skills involved in impact-focused research; funding pro-grams that support work that contributes to both research and practice, and supporting organizational structures that are strong in this respect; encouragement by journal editors and reviewers of work that explores materials and insights in a wide range of contexts, and that builds in meaningful ways on prior research; evaluation and recognition of first-rate work published through other less-permanent channels such as the web and, complementing this, of scholarly reviews of such work; inclu-sion in criteria for publication or promotion the discussion of the likely impact of the work on practice.

Issue 2. A Reasonably Stable and Unitarian Theoretical Base. Many barriers to this

respect include a tendency in the field toward grand theories and claims for them, intra-communal disputation, a reward structure that favours iconoclasm and doing your own thing, and a lack of incentives for programmatic work aimed at refining theory in detail. The changes needed include the following:

Change 1: Seeing the big picture; putting theory in its place. Over the past few decades educational research has made significant theoretical progress, as various interdisciplinary fields have produced much more compre-

50

hensive and synthetic explanations of education-related phenomena than the fields that they drew from. But we have a long way to go, with re-gard to the construction of standard theories in educational matters, and in understanding which aspects of which theories apply strongly in which contexts. General theories are weak, providing only general guidance for design; nonetheless they receive the lion’s share of attention in the re-search literature. Local or phenomenological theories based on experi-ment are seen as less important or prestigious than general theory but are currently more valuable in design We need both, and a value system that rewards both. Change 2: Robust consensus building and public dissemination of well-substantiated results. We need of a cutting-edge research that appears in the National Journals of educational research that is disseminated on a regular basis by publications. If a politician makes a suggestion that violates contem-porary pedagogical wisdom, the pedagogical community of scientist must be sure to pounce with effect. It is vitally important to establish a gradually growing core of educational research results that are generally accepted within the research community, and publicized as such. How-ever difficult, this will be a critical step in improving the status of educa-tional research, and minimizing the influence of bias and special inter-ests. It will need additional meta-analytical work along the lines of the Campbell Collaboration in education. We wish to stress that a consensus on findings need not come at the cost of methodological pluralism.

Issue 3. Teams of Adequate Size. Large teams encompassing a wide range of de-

sign, analysis, and theoretical skills are necessary in order to grapple with large-scale engineering tasks in education. We know the usual barriers that limit the desired improvement of educational research: The personal costs of collabora-tion; currently limited funding for such major enterprises. Institutional structures inhospitable to such teams. But the following changes would be productive in matter ( See Table 1):

Change 1: The creation of existence proofs. It would be valuable for a funding agency, as a “proof of concept” experiment, to support a few large ef-forts (including a curricular implementation and refinement study ) to test the effectiveness of the different approach in education. Once such work is shown to have demonstrable impact, the climate may be more welcoming for other such efforts. Change 2: Vertical integration of research effort. By vertical integration we mean a well-established flow of ideas and research results in both direc-tions between small-scale exploratory studies, systematic development of tools and processes for their use, implementation initiatives, and com-

51

parative evaluation in depth. This can sometimes be achieved through opportunistic collaborations that serve all concerned (e.g., the school district, the development groups, and the researchers). However, it is more likely that stable teams and collaborations will be productive. Equally important, it takes a long time for a collaborative team to dis-cover and document the complexities of large-scale implementation.

Source: Hugh Burkhardt and Alan H. Schoenfeld, Improving Educational Research:Toward a More Useful, More Influential, and Better-Funded Enterprise, Educational Researcher, Vol. 32, No. 9, December 2003, pp. 11.

7. THE CONTEXT OF EDUCATIONAL RESEARCH IN ITALY

It’s impossible, in this space, to summarize the evolution of the educational research in Italy.23 Educational research has afforded, throughout the whole XX century, the need of defining their methods ( C. Metelli di Lallo, 1966; G. M. Bertin 1967, R. Laporta, 1976; A. Granese 1973; A. Visalberghi 1996; M. Corsi 1997; M. Pellerey, 1998). The efforts made in the early years of this century were all directed to align educational research with multimodal, comprehensive, and eco-systemic approach in scientific research (F. Cambi, L. Santelli Beccegato, 2004; E. Giambalvo, 2001; A. Mariani. 2003; L. Mortari, 2007) whereas later on,

23 Cfr. A reconstruction of this evolution in U. Margiotta, R. Minello, Poiein. La pedagogia e le

scienze della formazione, Pensa Multimedia, Lecce, 2011; U. Margiotta, G. Porrotto, La ricerca educativa in Italia, Mazzanti, Venia 2006; R. Minello ( editor), Educational and formative research: trends and fron-tiers, in Formazione e Insegnamento, Anno IX, I, 2011,

52

scientists discussed passionately the need of introducing and integrate a theory of research in scientific approaches to analysis of education. That paradigms war seems to be overcome through the mixed methods approach in educational sci-ences, that searches adherence of methodological approaches to the educational problems instead of the opposite. Nevertheless, educational research is facing a wholly new station, which regards their placement among other social and hu-man sciences. In fact, while the methodological discussion was an inner concern of educational research, their research topics and the usefulness of their re-sults/products, meaning their role not only in the academic world but also in society, are today at the centre of attention.

It seems that the still many “provinces” of educational research are costing the whole discipline its status, its possibilities of being considered among policy-making strategies, and the worst of all, the possibility of educational research to shape a clear agenda of development. In fact, this own agenda should dialogue with policy making strategies.

The risk is that educational researchers are imposed topics and research fields to “survive” as disciplinary field, instead of creating recursive situations where societal problems are the starting point for research and policy making (Whitty, 2006; Biesta, 2009, Margiotta, 2010). But we must highlight that are many key challenges of educational research in a societal context of change – demographic change, globalisation, and sustainability –, that interest education and training systems in Italy to face in order to improve in the future. From one hand each social and economic development model brings about a whole set of implica-tions for educational systems, that will require political attention for a long time to come; from the other hand, educational research afford scientific inner con-cerns that shape the agenda and features of research activities. This last issue has its roots into philosophical conditions of development.

8. A POTENTIAL TURNING POINT

We can group these implications into three dimensions, that are mutually overlapping: usefulness of educational research, inner values and conceptions, and the relation among theory and methodological concerns of research design. It is self-evident that our future-oriented exercise has a brainstorming character that contains a lot of imponderability. There is no scientifically rigorous way of saying how global and regional societies will look like in the next ten years, and it is hence impossible to perfectly determine the role of educational research as a block of the whole building of society and the world. There are a lot of possible future scenarios in the broader sense of society and the restrict sense of educa-tional research participation, for which there is no rigorous basis to argue from. What we must attempt is to frame the debate by documenting the way in which educational research is participating to social sciences and humanities, and

53

how/who/where educational research is implemented. Apart from ‘trends and scientific reflections’, our exercise can highlight inherent tensions between vari-ous legitimate priorities such as, for example: the need of providing “technical” and “usable” results of educational research to support frameworks of develop-ment, aiming to create spaces of reflection on the future of learning in society, and on the future of education within societal models of development. Educa-tional research across Italy is mainly undertaken by certain institutions in certain geographical areas, responding to a specific agenda. Most of research projects show a discipline that is more “respondent” than proactive “creator” of policy-making agendas, being educational research a mean to an end, rather than a spe-cific topic for social sciences and humanities.

Furthermore, policy-making as well as research agendas continue to be de-fined linearly; they proceed in a series of moments of debate, agreement, launch of initiatives, testing, and feed-back; from the identification of a key issue within research, many years can separate the concrete application of principles to every-day life. In fact, conventional models of policy implementation often assume that once a particular policy has been developed it will be straightforwardly adopted. However, all of the research projects which have focused on innovation and modernisation underscore the difficulty of effecting change. There are a number of factors that contribute to the gap between policy and practice of educational research. So, the italian educational research is at a potential turning point. Change is possible, and it would be much to our advantage. But theory will take us only so far (and not far enough). Positioning ourselves so that we can make progress on fundamental problems of practice will make the big difference..

REFERENCES

ACHINSTEIN P. (2001). The book of evidence. Oxford: Oxford University Press. ALTON-LEE A. (2003). Best evidence synthesis. http://www.minedu.govt.nz/ in-

dex.cfm?layout=document&docume ntid=8646&data=l Ministry of Educa-tion,Wellington, New Zealand.

ARCHER M., BHASKAR R., COLLIER A., LAWSON, T. & NORRIE, A. (Eds.). (1998). Critical realism: Essential readings. London: Routledge.

BENNER D. (2005). Allgemeine Pädagogik: Eine systematisch-problemgeschichtliche Einführung in die Grundstruktur pädagogischen Denkens und Handelns. 5. Auflage. München: Juventa.

BIESTA G. (2009). Educational Research, Democracy and Teaching-Learning Research Based Programme. Invited lecture presented at the TLRP event: Methodological Development, Future Challenges. London, 19 March 2009 University of Stirling

54

BIESTA G.J.J. (2007b). Bridging the gap between educational research and educational practice: The need for critical distance. Educational Research and Evaluation 13(3), pp. 295-301.

BIESTA G. (2007). Why “what works” won’t work: Evidence-based practice and the democratic deficit in educational research. Educational Theory, 57, 1-22. Retrieved May 2, 2007, from http://www.blackwell-synergy.com/ toc/edth/57/1

BURKHARDT H., SCHOENFELD A. H. (2003). ‘Improving educational research: Toward a more useful, more influential, and better-funded enterprise’, Educa-tional Researcher, 32, 9, pp. 3-14.

CAMBI F. (Ed). (2004). Intenzionalità: una categoria pedagogica. Modelli fenomenologici. Milano: Unicopli.

CAMBI F. (Ed.). (2002). La ricerca educativa nel neopragmatismo americano. Roma: Ar-mando.

CAMBI F., COLICCHI E., MUZI M., SPADAFORA G. (2001). Pedagogia generale. Iden-tità, modelli, problemi. Milano: La Nuova Italia.

CAMBI F.(1986). Il congegno del discorso pedagogico. Bologna: CLUEB. CAMBI F., SANTELLI BECCEGATO L. (Ed.). (2004). Modelli di formazione. La rete

teorica del Novecento pedagogico. Torino: UTET. CLINTON J. M., HATTIE, J.A. C. (2005). When families learn the language of schools:

Evaluation of the Flaxmere Project. Ministry of Education: Wellington. COE R. (1999). A manifesto for evidence-based education. Retrieved March 12, 2007

from http://www.cemcentre.org/RenderPage.asp?LinkID=30317000 CORSI M. ( 1997). Come pensare l’educazione. Brescia: La Scuola. DAVIES P. (1999). What is evidence-based education? British Journal of Educational

Studies, 47, 108-121. DEWEY J. (1929). The sources of a science of education. In Jo Ann Boydston (ed), The

Later Works (1925-1953), Volume 5 (pp.218-235). Carbondale and Edwardsville: Southern Illinois University Press.

EINER E. W. (1991). The enlightened eye: Educational inquiry and the enhancement of edu-cational practice. New York: Macmillan.

EUROPEAN COMMISSION, EDUCATION & CULTURE DG. (2009). Conference “Improving Education: evidence from secondary analysis of international studies” in collaboration with the Swedish Research Council and the Swedish National Agency for Education. <http://ec.europa.eu/education/lifelong-learning-policy/doc2000_en.htm>, retrieved 28 May 2011

EUROPEAN COMMISSION: RESEARCH & INNOVATION (2011). From Challenges to Opportunities: Towards a Common Strategic Framework for EU Research and Innovation funding Bruxelles, 9.2.2011/COM(2011) 48 definitive. Accessible at <http:// ec.europa.eu/research/csfri/index_en.cfm?pg=documents>, retreved 27/05/2011

FADDA R. (1999). La pedagogia critica. Studi sulla formazione, 1. FORNACA R. (1992). Analisi critica dei fondamenti della cultura pedagogica. Torino: Il

Segnalibro.

55

GENNARI M. (1992). Interpretare l’educazione. Brescia: La Scuola (nuova edizione aggiornata e ampliata, Brescia: La Scuola 2003).

GIAMBALVO E. (Ed.). (2001). Cinquant’anni di personalismo critico. Palermo: Fonda-zione Nazionale Vito Fazio-Allmayer.

GRANESE A. (1976). Dialettica dell’educazione. Roma: Editori Riuniti. GRANESE A.(1975). La ricerca teorica in pedagogia. Firenze: La Nuova Italia. HANSON N. R. (1972). Patterns of discovery. Cambridge, UK: Cambridge University

Press. HAMMERSLEY M. (2002). Educational Research, Policymaking and Practice. London:

Paul Chapman/Sage. HARGREAVES D. H. (1999). Revitalising Educational Research: lessons from the past

and proposals for the future (pp. 239-49). Cambridge Journal of Education, 29, 2. HARTSHORNE, C., & WEISS, P. (Eds.). (1998). Collected papers of Charles Sanders

Peirce (Vols. 7-8). Cambridge, MA: Harvard University Press. HAMMERSLEY M. (2001, September). Some questions about evidence-based practice in

education. Paper presented at the symposium on “Evidence-based practice in education” at the Annual Conference of the British Educational Research As-sociation, University of Leeds, England.

HARGREAVES D. (1997). In defense of research for evidence-based teaching: A rejoinder to Martyn Hammersley. British Educational Research Journal, 23, pp. 405-419.

HARGREAVES D. (1999). Revitalising educational research: Lessons from the past and proposals for the future. Cambridge Journal of Education, 29, pp. 239-249.

KENNEDY M. (1999). A test of some contentions about educational research. American Educational Research Journal, 36, pp. 511-541.

KIRKHAM R. L. (1997). Theories of truth: A critical introduction. London: Blackwell. LAPORTA R. (1996). L’assoluto pedagogico. Saggio sulla libertà in educazione. Firenze: La

Nuova Italia. LIBERTY K., MILLER J. (2003). Research as a resource for evidence-based practice. Dun-

more Press, Palmerston North, NZ. LIPTON, P. (1993). Inference to the best explanation. London: Routledge. LOUX, M. J. (2002). Metaphysics: A contemporary introduction. London: Routledge. LUMBELLI L. (Ed.). (1990). Pedagogia della comunicazione verbale. Milano: FracnoAngeli. MANTOVANI S. (1998). La ricerca sul campo in educazione I. I metodi qualitativi. Mila-

no: Mondatori. MANTOVANI S., GATTICO. E. (1998). La ricerca sul campo in educazione II. I metodi

quantitativi. Milano: Mondadori. MARGIOTTA U. (2007). Pensare la Formazione. strutture esplicative, trame concettuali,

modelli di organizzazione. Milano: Bruno Mondadori. MARGIOTTA U. MINELLO R. (2011). Poiein, La pedagogia e le scienze della formazione.

Lecce: Pensa Multimedia. MARIANI A. (2003). La pedagogia sotto analisi. Milano: Unicopli.

56

MASSA R. (1987). Educare o istruire? La fine della pedagogia nella cultura contemporanea. Milano: Unicopli.

MAXWELL, J. A. (2004). Causal explanation, educational research and scientific inquiry in education. Education Researcher, 33, pp. 3-11.

METELLI DI LALLO C. (1966). Analisi del discorso pedagogico.Venezia: Marsilio. MILLER S. I. (1990). Confirmation and educational evidence instances: Justifying

the use of educational research methods. Quality and Quantity 24, pp. 57-63. MILL J. S. (1952). A system of logic (8th ed.). London: Longmans-Green. (Original

work published 1875). MORTARI L. (2007). Cultura della ricerca e pedagogia, Roma: Carocci Editore. MOSER P. K. (1993). Philosophy after objectivity: Making sense in perspective. New York:

Oxford University Press. MOSTELLER F., BORUCH R. (2002). Evidence matters: randomized trails in education

research. Brookings Institute, Washington DC. PELLEREY M. (1998). L’agire educativo. Roma: LAS. RAPPAPORT S. (1996). Inference to the best explanation: Is it really different

from Mill’s methods? Philosophy of Science, 63(1), pp. 65-80. SHELLEY C. (1996). Visual abductive reasoning in archeology. Philosophy of Science,

63 (2), pp. 278-301. SLAVIN R. E. (2002). Evidence-based education policies: transforming

educational practice and research. Educational Researcher, 31 (7), pp. 15-21. TOOLEY J. DARBY D. (1998). Educational research: An OFSTED critique. London:

OFSTED. UPSHUR R. (1997). Certainty, probability and abduction: Why we should look to

C. S. Peirce, rather than Godel for a theory of clinical reasoning. Journal of Evaluation in Clinical Practice, 3 (33).

VISALBERGHI A. (Ed.). (1978). Pedagogia e Scienze dell’educazione. Milano: Mondadori.

57

La valutazione delle riviste pedagogiche

Massimo Baldacci

L’articolo esamina il problema della valutazione delle riviste pedagogiche, articolandolo in tre parti. Prima riassume il percorso fin’ora compiuto nella valutazione delle riviste, evidenziandone gli aspetti positivi e i limiti. Poi analizza alcuni limiti e alcuni rischi di questa tipo di valutazione, soffermandosi sul carattere orientato alla monografia dell’area pedagogica. Infine, formula alcune raccomandazioni per scongiurare tali rischi e garantire una valutazione capace di stimolare la qualità delle riviste pedagogiche senza generare effetti controproducenti.

The paper examines the problem of assessing educa-tional journals. It is made up of three parts. First it summarizes the path taken until now in the assess-ment of journals, underlining the positive aspects and limitations. Then it discusses some of the limitations and risks of this type of assessment, emphasizing that the field of education is book-oriented. Finally, it makes some recommendations to address this risk and to ensure that the assessments stimulate the quality of educational journals without any counter-productive effects.

Parole chiave: riviste, valutazione, bibliometria, qualità della ricerca Keywords: journals, assessment, bibliometrics, quality of research Articolo ricevuto: 4 giugno 2012 Versione finale: 23 giugno 2012

PREMESSA

La valutazione delle riviste scientifiche costituisce un problema difficile24. Coinvolge questioni delicate sul piano delle finalità, e comporta problemi meto-dologici complessi.

Per quanto attiene alle finalità, mentre è pienamente accettabile l’intento di sti-molare la crescita della qualità delle riviste, suscita diffidenze una valutazione che possa avere riflessi diretti sulla considerazione della produzione dei ricercatori.

Per quel che riguarda le metodologie, i problemi riguardano sia la validità che l’affidabilità. I tentativi di valutare la qualità delle riviste riescono veramente a coglierla? O finiscono di fatto per apprezzare altri elementi? E le procedure adot-tate sono attendibili? Danno luogo a giudizi intersoggettivamente condivisibili? Per certi versi, si ha l’impressione che sussista una sorta di conflitto tra validità e affidabilità: se si vuole cogliere veramente la qualità intrinseca di una rivista, il giudizio assume ampi margini di discrezionalità; e se si vuole privilegiare l’intersoggettività del giudizio, si rischia di appuntare l’attenzione su elementi la cui connessione con la qualità appare più incerta.

24 Il presente contributo riprende, con alcune modifiche, l’intervento nel seminario Siped sulla

Valutazione delle riviste, svoltosi a Roma il 22 giugno 2012, presso la Facoltà di Scienze della for-mazione.

58

Quando circa cinque anni fa, abbiamo intrapreso il percorso della valutazione delle riviste pedagogiche eravamo consapevoli di questi problemi. Direi che la filosofia prescelta dalla Siped e dalle altre società pedagogiche è riassumibile in tre punti.

In primo luogo, il rifiuto di atteggiamenti pregiudizialmente negativi verso la valutazione. La difficoltà e la delicatezza della valutazione non impediscono che essa, se correttamente intesa e praticata, possa svolgere un ruolo positivo nella crescita della qualità delle riviste pedagogiche. Oltre a questo, eravamo e siamo consapevoli che un rifiuto pregiudiziale sarebbe anacronistico, e finirebbe per emarginare la pedagogia dalla più ampia comunità scientifica.

In secondo luogo, il rifiuto di un’adesione acritica all’attuale tendenza valuta-tiva, accettata passivamente come una moda culturale, nonché – a maggior ra-gione – il rigetto di qualsiasi forma d’integralismo orientato in questa direzione. E di conseguenza, la scelta di un atteggiamento critico verso la questione della valutazione.

Infine, la scelta di accompagnare l’atteggiamento critico con quello costrutti-vo, e dunque di non limitarsi a denunciare rischi e limiti, ma cercare anche di ipotizzare soluzioni in grado di migliorare la valutazione e di gestirla nel modo più ragionevole.

Il presente contributo si muove in linea con questa filosofia, ed è perciò arti-colato in tre punti: (1) il riepilogo del percorso compiuto, evidenziandone la ra-gionevolezza oltre agli innegabili limiti; (2) i limiti e i rischi complessivi della valu-tazione delle riviste; (3) qualche ipotesi per superare tali limiti e contenere i rischi.

1. IL PERCORSO COMPIUTO

Come già detto, quando all’incirca cinque anni fa abbiamo iniziato il percorso di valutazione delle riviste, eravamo consapevoli delle difficoltà e della delicatez-za inerenti a tale questione. Perciò, ci eravamo posti un intento limitato: stimola-re l’adozione di standard editoriali di riconoscibilità scientifica delle riviste, attra-verso forme di valutazione interne alla comunità pedagogica. L’oggetto della va-lutazione non era, dunque, la qualità intrinseca delle riviste (il tenore scientifico dei loro contributi), bensì quella che potremmo definire come la loro qualità for-male: il possesso degli apparati editoriali caratterizzanti una rivista scientifica. La natura limitata di questa scelta, favoriva per altro l’adozione di una procedura altamente affidabile, la cui opportunità per evitare l’insorgere di una conflittualità diffusa in fase di decollo è trasparente.

La valutazione è stata perciò articolata secondo un sistema di indicatori con-trollabili per presenza-assenza (comitato scientifico con almeno due presenze internazionali; comitato dei referee; continuità e regolarità della pubblicazione ecc.), che hanno assicurato una convergenza molto elevata dei giudizi da parte dei valutatori. Tali valutatori sono stati nominati dalle società pedagogiche, ed

59

ognuno di essi si è pronunciato separatamente. Laddove il giudizio è stato una-nime o non si è avuto più di un dissenso, esso è stato registrato. Nei rari casi di giudizi difformi, il presidente della commissione ha provveduto a sottomettere nuovamente il caso ai valutatori, corredato dalle opportune annotazioni, e la de-cisione è stata presa a maggioranza. La classificazione delle riviste è stata operata sulla base degli indicatori soddisfatti: tutte le riviste che hanno soddisfatto i re-quisiti fissati dagli indicatori sono state collocate in fascia A. Adottando questo criterio di valutazione, da un anno all’altro si è avuto un miglioramento degli standard editoriali delle riviste, e quindi della loro classificazione.

Tutto questo processo ha presentato due precisi limiti. Il primo è stato quello della partecipazione volontaria da parte delle riviste, cosicché il suddetto miglio-ramento ha interessato soltanto una parte del sistema riviste (anche se una parte non residuale: hanno partecipato all’ultima tornata sedici riviste).

Il secondo limite è, ovviamente, quello della debole connessione degli indica-tori adottati con la qualità intrinseca delle riviste, anzi in alcuni casi tale connes-sione pare del tutto irrilevante (la presenza di sommari in lingua straniera, per esempio). Su questo percorso si è innestata, nella seconda parte del 2011, la ri-chiesta dell’Anvur di provvedere ad una classificazione formale delle riviste, con rilevanza esterna rispetto ai processi di valutazione della ricerca, e dunque a pre-scindere dalla volontarietà della partecipazione. Inoltre, l’Anvur ha indicato quote di contingentamento delle varie fasce di classificazione (numero predeterminato di riviste di fascia A e B, il resto in C).

Questi aspetti – la rilevanza esterna, la partecipazione coatta e il contingenta-mento delle fasce – hanno indotto ad adottare due cautele. La prima è stata quel-la di affidare il compito non a una mera commissione tecnica, ma a un gruppo di lavoro di garanzia istituzionale: la Consulta pedagogica (che raccoglie tutte le so-cietà pedagogiche), integrata dai membri del panel della Vqr e dal presidente della commissione tecnica (ossia dal sottoscritto). La seconda cautela è stata quella di limitare gli indicatori a quelli presumibilmente più connessi alla qualità: comitato scientifico con presenze straniere, comitato di referee, continuità e regolarità del-la pubblicazione. Il gruppo di lavoro ha approvato la classificazione finale all’unanimità e l’ha trasmessa all’Anvur, che ha provveduto a ricontrollarla e ad aggiustarla col concorso di propri referee.

Naturalmente, si deve dare per scontato che il risultato finale – anche per il limitato tempo di lavoro disponibile – contenga un certo margine d’errore: è probabile che tre o quattro riviste classificate in fascia A, ad una più approfondita analisi, sarebbero da collocare in fascia B e viceversa (che tre o quattro riviste classificate in fascia B, sarebbero da collocare in A). Tuttavia, l’esito del lavoro, per quanto parzialmente impreciso, dovrebbe essere plausibile. Per verificare tale plausibilità, con l’aiuto della dott.ssa Silvia Fioretti, dell’università di Urbino, ho sottoposto i risultati finali ad un controllo indipendente. Variando il criterio di valutazione, si è cioè controllato se i risultati fossero sostanzialmente confermati.

60

La forma di controllo indipendente prescelta è stata quella bibliometrica (che misura l’impatto nella comunità scientifica), analizzando per ciascuna rivista: il numero di articoli citati, il numero di citazioni ricevute in totale, l’indice H (che spiegheremo più avanti). Questo controllo è stato compiuto attraverso l’uso del software Publish or perish, che utilizza la banca dati di Google-Scholar.

Confrontando le riviste di fascia A con quelle di fascia B, si può constatare che le riviste di fascia A hanno una mediana e una media più elevata rispetto sia al numero di articoli citati (vedi diagrammi 1 e 2), sia al numero totale di citazioni (vedi diagrammi 3 e 4). Inoltre, le riviste di fascia A mostrano una migliore me-diana dell’indice H (vedi diagramma 5).

Diagramma 1. Comparazione fra le mediane delle riviste di fascia A e B rispetto agli articoli citati

papers citati

4

1,5

00,5

11,5

22,5

33,5

44,5

1 2

mediana A; mediana B;

Diagramma 2. Comparazione fra le medie delle riviste di fascia A e B rispetto agli articoli citati

papers citati

9

4,2

0123456789

10

1 2

media A; media B;

61

Diagramma 3. Comparazione fra le mediane delle riviste di fascia A e B rispetto al numero totale delle citazioni

n. citazioni

10

3,5

0

2

4

6

8

10

12

1 2

mediana A; mediana B;

Diagramma 4. Comparazione fra le medie delle riviste di fascia A e B rispetto al numero totale delle citazioni

n. citazioni

17,7

10,8

02468

101214161820

1 2

media A; media B;

62

Diagramma 5. Comparazione fra le mediane dell’indice H delle riviste (totale, fascia A e fascia B)

h index

2 2

1,5

0

0,5

1

1,5

2

2,5

1 2 3

mediana; mediana A; mediana B;

Considerato che questi indicatori sintetizzano l’informazione, ciò non impe-

disce che una singola rivista di fascia B possa avere performance bibliometriche migliori di un’altra singola rivista di fascia A. Nel suo complesso, il risultato co-stituisce però un indizio della plausibilità della classificazione operata dal gruppo di lavoro. Per onestà intellettuale, si deve in ogni modo riconoscere, che – a rigo-re – quanto illustrato mostra solo che vi una relazione positiva tra l’adozione di certi standard editoriali (catturata dagli indicatori usati) e l’impatto nella comunità pedagogica (misurata dagli indicatori bibliometrici). Non si arriva cioè a una vera indicazione sulla qualità intrinseca delle riviste (torneremo fra breve su questo).

Con questo riteniamo di aver mostrato sia la ragionevolezza che i limiti del lavoro compiuto fin’ora. Adesso intendiamo esaminare alcuni rischi più generali della valutazione delle riviste.

2. RISCHI E LIMITI DELLA VALUTAZIONE

Per inquadrare i rischi della valutazione delle riviste, si deve tenere conto dell’avvento del paradigma bibliometrico nella valutazione della produzione scientifi-ca. La bibliometria si basa sull’uso di indici quantitativi volti a misurare l’impatto di una pubblicazione nella comunità scientifica. Si deve precisare che non siamo animati da un rifiuto pregiudiziale di questa strada. La bibliometria non è arbitra-ria, ha una sua logica, e lo spirito che la ispira ha qualcosa d’indubbiamente de-mocratico: la rilevanza di una pubblicazione dipende dalla sua risonanza nell’intera comunità scientifica, e non dal giudizio di qualche solone capace di fare il buono e il cattivo tempo. E fondamentalmente democratico, in quanto pubblicamente controllabile, è anche il criterio quantitativo basato sulle citazioni.

63

Tuttavia, la bibliometria è affetta da un preciso limite: misura l’impatto, non la qualità intrinseca, che rimane irriducibile ad esso. Difatti, anche se si può soste-nere che se una pubblicazione ha avuto un impatto elevato, questo è un indizio della sua qualità, almeno in senso probabilistico, non sarebbe affatto legittimo asserire che le pubblicazioni a basso impatto sono di scarsa qualità. Il basso im-patto potrebbe dipendere da temi di nicchia, o dall’adozione di approcci innova-tivi, non riconducibili al paradigma standard, capaci di determinare una più lenta penetrazione nella comunità. Il dato bibliometrico, dunque, non va assolutizzato, ma collocato nello spazio di una valutazione attenta ad una molteplicità di aspet-ti. In ogni caso, tale dato è maggiormente significativo quando riguarda aggregati: dipartimenti più che singoli ricercatori; riviste più che singoli articoli (e questo giustifica l’uso che ne abbiamo fatto come conferma indipendente della valuta-zione delle riviste).

In ogni caso, il paradigma bibliometrico non si esaurisce nelle procedure di computo quantitativo e nell’elaborazione di indici d’impatto (come l’indice H, di cui diremo fra breve), ma include anche assunti più o meno taciti sulla produzio-ne scientifica e atteggiamenti verso i contesti editoriali in cui viene ospitata. Il pericolo è che la cultura di sfondo della bibliometria (i suddetti assunti e atteg-giamenti) si diffonda acriticamente nella comunità scientifica e ne divenga il sen-so comune, al di là della utilizzazione diretta delle tecniche bibliometriche. Que-sto determinerebbe alcuni rischi.

In primo luogo, un rischio di colonizzazione della pedagogia da parte d’impostazioni nate in altri contesti scientifici, e in particolare di quello in uso nelle scienze “dure”. A questo proposito, giova ribadire il principio aureo della valutazione di una pubblicazione in campo umanistico ( ma non solo). Vi è un solo modo per valutare veramente la qualità di una pubblicazione: leggerla.

In secondo luogo, un rischio d’omologazione della produzione pedagogica ai paradigmi dominanti, con la diminuzione della propensione a percorrere approc-ci alternativi, che potrebbero trovare difficoltà ad essere accolti nei contesti edi-toriali classificati come di punta.

Infine, il rischio di una chiusura autoreferenziale della pubblicistica pedagogi-ca all’interno della micro-comunità dei pedagogisti accademici. Le riviste pedago-giche sono da sempre legate all’intento di incidere nel mondo delle pratiche edu-cative, consolidando il nesso teoria/prassi, e unendo l’elaborazione culturale con l’impegno civile verso le istituzioni formative (a partire dalla scuola). Un effetto perverso della valutazione delle riviste potrebbe essere quelle d’indurle a ritirarsi entro il perimetro della ricerca disinteressata, più in linea con la visione standard della ricerca accademica, privilegiando la filosofia dell’educazione o la ricerca sperimentale pura. In questo modo, però, il nesso teoria/prassi sarebbe reciso, e le istituzioni formative rimarrebbero in ostaggio ai periodici di mero consumo didattico, inadeguati a far crescere la qualità e la scientificità delle pratiche forma-tive. In altre parole, il rischio è che le riviste pedagogiche, per assoggettarsi a ca-

64

noni astratti adottati in altri settori e contesti, finiscano per smarrire la loro au-tentica funzione storica. Una quarantina di riviste che circolano solo entro una comunità di meno di settecento persone, sarebbero decisamente troppe, e avreb-bero un senso limitato.

Per suffragare queste ultime affermazioni, si deve controllare l’impatto delle riviste nella comunità pedagogica e il peso dei contributi su rivista nel profilo dei ricercatori. Anticipiamo i risultati: le riviste hanno scarso impatto nella comunità dei pedagogisti accademici (e ciò è in linea con un target prevalentemente extra-accademico, collocato nei contesti delle pratiche educative); e le pubblicazioni su riviste hanno un peso pressoché irrilevante nel profilo dei ricercatori (poiché, la loro ricerca è prevalentemente ospitata in monografie).

Il metodo usato è stato quello di controllare l’indice H delle riviste pedagogi-che e la composizione dell’H-core dei ricercatori. L’indice H è una misura d’impatto meno soggetta a distorsioni rispetto ad indici analoghi (come il sempli-ce conteggio dei lavori citati, o il numero delle citazioni). In termini tecnici, l’indice H di un ricercatore (o di una rivista), corrisponde al numero H di lavori che hanno ottenuto almeno H citazioni (e gli altri lavori, non più di H citazioni). In altre parole, se si ordinano in senso decrescente per numero di citazioni rice-vute i lavori di un ricercatore, se questi ha un indice H uguale a 10, significa che almeno dieci dei suoi lavori hanno ricevuto almeno dieci citazioni. L’indice H, puro e in connessione con le sue versioni corrette (per esempio, l’Hc corretto per la “stagionatura” dei lavori, e l’Hm corretto in funzione della multi-autorialità), è attualmente considerata la misura d’impatto più affidabile, ed è quella maggior-mente in uso. Controllando l’indice H delle riviste pedagogiche con Publish or perish al marzo 2012, la mediana di tale indice è pari a 2 (valore min 0, max 5). In altre parole, le riviste pedagogiche hanno un impatto debolissimo anche all’interno della comunità accademica dei pedagogisti, e ciò appare del tutto coe-rente col loro profilo culturale, indirizzato prevalentemente a incidere nel mondo delle pratiche educative. Cercare di considerarle sedi destinate a diffondere la ricerca pura sembra perciò improprio, a meno di non ammettere la loro ineffica-cia sotto questo profilo.

Veniamo adesso alla composizione dell’H-core dei ricercatori. Per H-core s’intende il nucleo dei lavori di un ricercatore che determina il suo indice H. Os-sia, nel caso di un ricercatore con indice H pari a 10, i suoi 10 lavori più citati. Analizzare la composizione di questo nucleo, vuol dire determinare la tipologia di tali lavori: si tratta di monografie (o saggi su volumi collettanei), o articoli su riviste? Per compiere quest’analisi abbiamo preso 50 tra gli ordinari più conosciu-ti della pedagogia (25 per i settori M-Ped/01/02, e 25 per i settori M-Ped/03/04) (un campione non casuale dunque), e abbiamo esaminato la composizione del loro H-core nel periodo di riferimento della Vqr (2004-2010). Il risultato è netto: il peso degli articoli in riviste sulla composizione dell’H-core dei ricercatori è irrile-vante. In 49 casi su 50 l’H-core è interamente composto da volumi e saggi su vo-

65

lumi. In un solo caso gli articoli su riviste hanno un qualche peso, comunque inferiore rispetto ai volumi (25% contro 75%). In maniera molto chiara e netta, l’impatto della produzione pedagogica nella comunità accademica è pressoché totalmente basato sui volumi, le riviste hanno un ruolo irrilevante. Questo con-ferma che probabilmente, almeno allo stato attuale delle cose, le riviste pedagogi-che svolgono un ruolo diverso da quello della ricezione della ricerca pura, e sono piuttosto orientate verso il mondo delle pratiche educative (si potrebbe dire: ver-so la “ricerca applicata”, se questa espressione non rischiasse di essere riduttiva).

Queste indagini, e queste riflessioni, ci portano a formulare alcuni suggeri-menti e raccomandazioni per scongiurare i rischi segnalati e per gestire al meglio la valutazione delle riviste.

3. RACCOMANDAZIONI

La raccomandazione fondamentale che formuliamo è legata ai rischi esamina-ti dal punto di vista delle finalità della valutazione.

Come si è accennato, la valutazione dovrebbe mirare a stimolare la crescita della qualità delle riviste, come aspetto della qualità del sistema della produzione scientifica complessiva. Sotto questo profilo, la valutazione può svolgere una funzione propulsiva, spingendo le riviste ad adottare standard connessi alla quali-tà. Se questa è la finalità, risulta allora inadeguato il meccanismo del ranking con fasce contingentate (numero prefissato di riviste di fascia A e B). Difatti, una simile graduatoria di merito (a fasce contingentate, cioè) risulta sospetta da due punti di vista. In primo luogo, è discutibile che i criteri adottati catturino vera-mente la qualità, perciò si rischia di etichettare le riviste rispetto a qualche altro elemento, solo debolmente connesso con la qualità. Ovviamente, si potrebbe dire che a ciò si può ovviare adottando criteri maggiormente validi. Ma come si è visto, vi è un solo criterio veramente valido per valutare la produzione scientifica: leggerla. In secondo luogo, un ranking a fasce contingentate rischia di ingessare il sistema, invece di favorirne la crescita. Etichettare le riviste come riviste di serie A, di serie B e di serie C, può portare al congelamento di queste etichette: le fasce contingentate si possono facilmente trasformare in fasce chiuse e praticamente definitive, scoraggiando le riviste collocate in fascia B e C dal tentare di migliora-re i propri standard, dato che questo difficilmente si tradurrebbe in un mutamen-to della propria classificazione. Forse una parte di queste riviste, constatata l’inutilità degli sforzi, deciderà di chiudere i battenti. Qualcuno sosterrà che que-sto è un bene, che una riduzione del numero delle (troppe) riviste pedagogiche è positiva. Ma siamo certi che in questo modo non vada smarrita anche una parte della ricchezza e del pluralismo del pensiero pedagogico?

Inoltre, si potrebbe sostenere che il suddetto congelamento serva a spingere i ricercatori a cercare di scrivere sulle riviste di qualità (quelle di fascia A). Ma an-che questo argomento è debole: l’essenziale è spingere i ricercatori a scrivere cose

66

di qualità (e questo si fa col rigore della Direzione della rivista, e con i meccani-smo di referaggio, nonché con la serietà dei Concorsi universitari). Costituire una casta di riviste che detengono il monopolio della qualità certificata, potrebbe dare luogo a potentati e baronie in grado di condizionare la ricerca (e le carriere), creando meccanismi di sudditanza, invece di renderla libera e aperta.

Raccomandiamo perciò il superamento del contingentamento delle fasce, os-sia del numero prefissato di riviste di A, B, C. Suggeriamo una filosofia alternati-va, utile a stimolare la qualità senza generare effetti perversi. La filosofia ipotizza-ta è quella adottata nella fase della valutazione interna all’area pedagogica: si sta-biliscono alcuni standard semplici da controllare e dotati di un nesso logico effet-tivo con la qualità (per esempio: comitato scientifico a maggioranza accademico, e con presenze straniere; procedure di referaggio; continuità e regolarità nella pubblicazione; ecc.); dopodiché, tutte le riviste che soddisfano tali standard sono collocate in fascia A, quelle che li soddisfano solo in parte in fascia B, le altre in fascia C (o perfino fuori dalle pubblicazioni scientifiche); gli standard sono man-tenuti inalterati per un certo periodo (almeno tre anni), così da dare modo alle riviste di potersi adeguare e migliorare la propria classificazione; poi si passa ad un raffinamento ulteriore degli standard, e così via.

In questo modo si può stimolare la crescita degli standard editoriali delle rivi-ste. Certamente, si tratterebbe di standard meramente formali, connessi alla qua-lità ma non identificabili con essa. Ma per cogliere quest’ultima, è meglio centrar-si sulla valutazione dei contributi scientifici, adottando l’unico metodo valido: leggerli.

In altre parole, la valutazione delle riviste dovrebbe semplicemente servire a individuare quelle che danno adeguata affidabilità scientifica (senza tentare im-probabili graduatorie di qualità); la valutazione della qualità intrinseca va riservata ai contributi scientifici.

Al di là di questo, potrebbero essere utili indagini sulla qualità intrinseca delle riviste attraverso i giudizi della comunità scientifica, e anche una banca dati bi-bliometrica sviluppata autonomamente per l’area pedagogica potrebbe costituire un ausilio: come si è detto, il dato bibliometrico, pur nella sua limitatezza, ha il pregio della democraticità, perché legato all’impatto nell’intera comunità scienti-fica.

Chiudiamo con un cenno alle altre raccomandazioni. Considerato il carattere orientato alle monografie dell’area pedagogica, si raccomanda di non dare alla classificazione delle riviste un peso eccessivo nelle valutazioni della qualità della ricerca, o in quelle finalizzate ai concorsi universitari. Vista, inoltre, la presenza di inevitabili errori di classificazione e la debolezza del nesso tra classificazione e qualità intrinseca, si raccomanda vivamente di non confondere la classificazione della rivista con la qualità dei contributi ospitati, o di convertire automaticamente la prima nella seconda.

67

Detto altrimenti, la qualità di un articolo è indipendente dalla rivista in cui compare: niente vieta che un articolo mediocre sia ospitato in una rivista di fascia A (anche i referee possono sbagliare), e che un ottimo articolo sia pubblicato in una rivista di fascia B o C. Vi è un solo modo per stabilirlo: leggere l’articolo.

Concludendo, la valutazione delle riviste è a un bivio: da un lato vi è un mo-dello finalizzato alla crescita della qualità dell’intero sistema delle riviste pedago-giche; dall’altro un modello inclinato verso un regime competitivo che appare privo di soluzioni tecniche adeguate, e che potrebbe perciò generare effetti controproducenti.

La valutazione delle riviste può essere una preziosa occasione di crescita della loro qualità, ma solo se sapremo mantenere un atteggiamento critico e costruttivo.

68

Évaluer la recherche scientifique en éducation

Jean-Marie De Ketele Questo contributo si basa sull’idea che tutta la ricerca scientifica ha la funzione di produrre nuove conoscenze suscettibili di essere validate dalla comunità scientifica, presente e futura. Pertanto è in rapporto a questa funzione che deve essere valutata tutta la ricerca, sia quantitativa sia qualitativa. Molto spesso i valutatori si soffermano esclusi-vamente sugli aspetti metodologici, mentre i processi di problematizzazione dell’oggetto di ricerca e l’enunciazione delle conclusioni sono componenti importanti tanto quanto il processo di raccolta e di trattamento delle informazioni acquisite. Per queste ragioni noi tentiamo una formalizza-zione del lavoro del valutatore dei rapporti scientifici sull’incrocio di tre criteri fondamentali (la pertinenza, la validità e l’affidabilità) con questi tre processi fondamentali per tutti gli studi scientifici nel campo della ricerca in educazione e formazione.

Cette contribution part de l’idée que toute recherche scientifique a pour fonction de produire des connaissances nouvelles susceptibles d’être validées par la communauté scientifique, actuelle et future. C’est donc en référence à cette fonction que doit être évaluée toute recherche, qu’elle adopte des démarches quantitatives ou qualitatives. Trop souvent, les évaluateurs s’attardent trop exclusivement aux aspects méthodologiques, alors que les processus de problématisation de l’objet d’étude et l’énonciation des conclusions sont des composantes aussi importantes que le processus de recueil et de traitement des informations recueillies. C’est pourquoi, nous tentons une formalisation du travail de l’évaluateur des rapports scientifiques sur le croisement de trois critères fondamentaux (la pertinence, la validité et la fiabilité) avec ces trois processus fondamentaux de toute étude scientifique dans le domaine de la recherche en éducation et formation.

Parole chiave: valutazione della ricerca, pertinenza, validità, affidabilità. Key words: èvaluation de la recherche, pertinence, validité, fiabilité. Articolo ricevuto: 18 giungo 2012 Versione finale: 23 giugno 2012

La recherche a pour fonction de produire de nouvelles connaissances. Il existe de nombreuses façons de produire de la connaissance. Le commissaire de police qui enquête sur un crime cherche à identifier le meurtrier et les raisons de son crime (connaissances nouvelles). Le romancier produit également de la con-naissance lorsqu’il dépeint la psychologie de ces personnages. Le poète approche souvent une vérité que la science ne peut atteindre. À leur façon, le commissaire, le romancier et le poète sont des chercheurs, chacun dans leur domaine et avec leur stratégie, et n’ont pas moins d’importance que le scientifique.

La recherche est dite scientifique s’il s’agit d’un processus ayant pour fonction de produire des connaissances scientifiques nouvelles provisoires à l’aide d’activités méthodiques, rigoureuses et vérifiables, et soumises à la légitimation de la communauté scientifique. Plusieurs caractéristiques de cette définition mé-rite d’être soulignées: (i) les connaissances scientifiques sont toujours provisoires, car susceptibles d’être contredites même si, au moment où elles sont énoncées, elles forment un ensemble cohérent avec les connaissances scientifiques dispo-

69

nibles; (ii) la recherche ne peut-être considérée comme scientifique si elle n’est pas sujette au débat scientifique par les pairs actuels et futurs.

Sur le plan opérationnel, le processus de recherche comprend un certain nombre de grandes étapes que De Ketele & Roegiers (1993) et Van der Maren (1995) formulent ainsi:

- … construire un problème (une problématique) - … afin d’utiliser une instrumentation (une méthodologie) - … qui permette de constituer des données (une base de données) - … qui seront analysées et traitées selon différentes techniques (des modèles

de traitement) - … que l’on pourra commenter ou interpréter (reproblématisation).

Le produit de la recherche (article scientifique ou thèse) est le plus souvent

structuré de cette façon s’il s’agit du compte rendu d’un processus complet. On assiste cependant à des productions scientifiques qui se limitent à l’une ou l’autre de ces étapes: certaines contributions restent exclusivement de nature probléma-tique, tant les concepts et les théorisations restent difficiles à circonscrire; d’autres tentent de mettre au point une méthodologie, compte tenu des pro-blèmes relevés dans les études antérieures; d’autres encore analysent différents modèles de traitement de données et en décrivent les avantages et les limites. Ces contributions sont évidemment utiles, mais elles constituent un processus ina-chevé et à poursuivre.

Dans cet article, nous tentons de formaliser un ensemble de critères cohé-rents permettant de soumettre la qualité d’un processus de recherche complet dont l’objet est l’éducation ou la formation. Il s’agit donc de l’évaluation des études empiriques comprenant les différentes phases présentées plus haut. Souli-gnons d’emblée que « l’opposition entre le quantitatif et le qualitatif n’est pas le bon débat, malgré le fait que les farouches partisans de chacune des approches ont des arguments qui méritent un examen attentif » (Crahay, 2010; De Ketele & Maroy, in Paquay, Crahay & De Ketele, 2006, p.219). Le vrai débat est celui de la qualité de la recherche: permet-elle de produire des connaissances nouvelles avec rigueur, c’est-à-dire en utilisant des démarches quantitatives ou qualitatives, dont la valeur peut être vérifiée par la communauté scientifique (actuelle et future).

Pour concevoir la formalisation qui suit, nous avons analysé la plupart des re-vues anglophones et francophones publiant des études empiriques, en étant at-tentif plus particulièrement aux prescriptions adressées aux auteurs et aux évalua-teurs. Nous avons également examiné de nombreux écrits portant sur la qualité de la recherche. De ce parcours, on peut ressortir avec l’impression d’être face à un nombre démentiel de critères d’évaluation: à titre d’exemple, le critère général de validité se trouve conjugué en plusieurs dizaines de type de validité. Mais on peut aussi ressortir avec la conviction que derrière cette profusion se trouvent quelques questions fondamentales auxquelles l’évaluateur d’une production

70

scientifique doit tenter de répondre. La formalisation que nous proposons repose sur trois questions fondamentales à se poser pour chaque grande étape du pro-cessus de recherche et qui correspondent à trois critères fondamentaux: la perti-nence, la validité et la fiabilité.

LA PERTINENCE

Trop peu souvent mentionnée car moins technique, la pertinence est la quali-té première de toute recherche. Elle correspond à la question centrale « Est-ce que je ne me trompe pas de…? ». La recherche est d’autant plus pertinente que je me trompe pas de problématisation (premier aspect à examiner), de recueil et de trai-tement des données (deuxième aspect ), d’énonciation des conclusions (troisième aspect).

La pertinence de la problématisation

Ne pas se tromper de problématisation25 suppose que l’on examine avec at-tention les points suivants: bien poser le problème de la recherche, faire reposer la recherche sur un cadre conceptuel adéquat et sur un cadre problématique co-hérent. La revue de la littérature scientifique disponible et une réflexion critique sont indispensables pour poser un cadre problématique pertinent.

Bien poser le problème de la recherche, c’est tout d’abord ne pas se tromper d’objet de recherche. Ainsi une revue critique de la littérature scientifique permet d’éviter de refaire moins bien ce qui a déjà été bien fait, à moins que l’analyse critique permette de montrer que d’autres angles d’attaque sont possibles et per-mettraient de produire une connaissance nouvelle ou, à tout le moins, d’infirmer ou de contester le bien fondé des résultats de recherches antérieures. Bien poser le problème, c’est aussi ne pas s’embarquer dans un processus de recherche alors qu’un peu de bon sens et de réalisme montreraient que le chercheur n’est pas en mesure de produire des données quantitatives ou qualitatives pertinentes pour apporter une réponse adéquate à la question posée. Bien poser le problème, c’est aussi se souvenir que tout chercheur a dès le départ des hypothèses. Un cher-cheur qui s’en défend n’est pas crédible et devient même dangereux. Ne pas s’en rendre compte, et donc ne pas les expliciter, est aussi périlleux que de vouloir à tout prix démontrer ses hypothèses. Adopter une attitude scientifique consiste à expliciter ses hypothèses, à les considérer comme provisoires et susceptibles d’être infirmées, à tout faire sur le plan méthodologique pour les infirmer et être

25 Ce que beaucoup appelle le « cadre théorique ». Nous préférons parler de « problématisation

», car il s’agit bien d’un processus de raisonnement qui conduit, sur la base d’une revue critique de la littérature et d’une réflexion personnelle, à bien identifier le problème, à le conceptualiser, à le théoriser et à en dégager ses composantes et leurs relations supposées (c’est-à-dire le « cadre pro-blématique »).

71

prêt à poser de nouvelles hypothèses. La question de savoir s’il faut nécessaire-ment poser ses hypothèses avant de recueillir ses données dépend du type de recherche: on voit mal comment créer un dispositif expérimental (au sens des « expérimental designs » de Campbell et Stanley, 1966) sans énoncer de façon pré-cise l’hypothèse à vérifier; par contre, d’autres types de recherches produiront des données quantitatives et qualitatives dans le but explicite de faire naître des hypothèses pertinentes qui permettront de poursuivre la récolte des données ou les modalités de traitement de celles-ci de telle façon que les hypothèses générées puissent être mises à l’épreuve. Il est de plus en plus fréquente d’assister à des thèses qui se déroulent en plusieurs temps: l’énoncé d’un cadre problématique débouchant sur un jeu d’hypothèses est mis à l’épreuve à travers un premier re-cueil d’informations; sur la base du constat que le jeu d’hypothèses ne rend pas bien compte des données recueillies, le cadre problématique et le jeu d’hypothèses est modifié et mis à l’épreuve sur la base soit des mêmes données, soit de données complémentaires ou nouvelles.

Faire reposer la recherche sur un cadre conceptuel adéquat consiste à identifier les concepts nécessaires et suffisants (ni trop ni trop peu), de les définir avec soin, de les distinguer des concepts proches et d’organiser les concepts retenus. Identi-fier les concepts nécessaires est d’autant plus difficile, surtout dans les sciences de l’éducation, que ce sont des concepts abstraits utilisés dans la vie courante. Ici encore, une bonne revue critique de la littérature scientifique s’avère importante. Ainsi, à titre d’exemple, nous savons grâce à des travaux comme ceux de Bandu-ra (2003) ou la revue critique de Viau (2O04) qu’il importe de distinguer les con-cepts de motivation et d’engagement: s’il est fréquent de s’engager sur la base d’une motivation forte, il n’est pas rare de s’engager dans l’étude de tel cours sans être vraiment motivé par ce cours, comme il n’est pas rare de ne pas s’y engager malgré une bonne motivation. Des métaphores sont parfois utiles pour bien faire apparaître ce qui permet de bien distinguer deux concepts. Ainsi, la motivation est de l’ordre de « l’énergie » (le carburant qui permet à une voiture de se dépla-cer, du moins potentiellement car cela ne suffit pas; il faut un moteur en état de marche et un conducteur sachant conduire), l’engagement est de l’ordre du « tra-vail » au sens physique du terme c’est-à-dire d’une énergie transformée en acte. Une voiture peut réellement se déplacer sans l’aide du carburant lorsqu’elle est mue par une autre force, comme celle de la gravité dans une pente ou toute autre force suffisante.

Faire reposer la recherche sur un cadre problématique pertinent consiste à identi-fier les variables26 (dimensions ou facteurs ou déterminants selon les cas) néces-

26 Selon le type de recherche, on parlera de variables ou de dimensions du problème ou de fac-

teurs ou encore de déterminants. On parlera plutôt de variables dans les recherches qui utilisent des démarches quantitatives; celles qui utilisent des démarches qualitatives parlent plus volontiers de dimensions ou de facteurs qui seront l’objet de catégorisations. Le concept de déterminant im-

72

saires et suffisantes pour tenter de répondre à la question posée. Le cadre con-ceptuel de la recherche (dégagé d’un ou plusieurs modèles théoriques) est sou-vent à l’origine de l’élaboration du cadre problématique. Ainsi, Viau (2004) orga-nise les variables qu’il retient pour étudier la motivation en contexte scolaire en plusieurs groupes: des variables de contexte (facteurs relatifs à la classe et à l’activité pédagogique), des variables à la source de la dynamique motivationnelle (les perceptions relatives à la valeur de l’activité, de sa propre compétence et de la contrôlabilité de l’environnement), les variables manifestes de la motivation (l’engagement cognitif et la persévérance) et des variables produits (les résultats) qui peuvent à leur tour avoir un effet sur les sources de la motivation.

Très souvent, l’élaboration du cadre problématique suppose l’identification et l’organisation de variables qui ne sont pas toutes induites par le cadre conceptuel de départ. Ici encore, la revue critique de la littérature scientifique s’avère pré-cieuse. Dans certains domaines, il existe même des grilles de base (dégagées d’un grand nombre de recherches) pour aider le chercheur à élaborer son cadre pro-blématique. Ainsi, par exemple, beaucoup de recherches prenant comme objet l’efficacité en contexte scolaire ont construit leur cadre problématique en s’appuyant sur le modèle de Creemers (1994 in Dumay& Dupriez, 2009, p.24). Les modèles théoriques sont donc d’une très grande utilité. Il doivent cependant être adaptés au problème contextualisé par le chercheur, éventuellement contes-tés ou complétés sur certains points, souvent également réduits dans le sens où les conditions de la recherche imposent que l’on se penche sur une partie du cadre problématique général pour étudier plus en profondeur certaines variables et leurs relations. Notons que la représentation de son cadre problématique sous forme de schéma est souvent la meilleure façon de clarifier ses hypothèses. No-tons enfin qu’une bonne revue de la littérature n’est pas la simple juxtaposition des conceptions auteurs, mais suppose une réflexion critique personnelle en liai-son étroite avec le problème posé et inscrite dans un raisonnement permettant de justifier le cadre probématique produit.

La pertinence méthodologique

La pertinence méthodologique consiste à ne pas se tromper de recueil et de traitement des données. Le cadre problématique établi au départ ou en cours de route ou ajusté après un premier type de recueil de données est évidemment une base indispensable pour identifier les informations à recueillir, les modalités de recueil et de traitement des données.

Les informations recueillies sont pertinentes si elles sont reliées de façon adéquate au

cadre problématique posé. Ainsi, on voit encore de trop nombreux question-

plique l’idée d’une forme de causalité appliquée à certaines variables ou à certaines dimensions ou encore à certains facteurs par rapport à d’autres.

73

naires dont les questions ne sont pas explicitement mises en relation avec les va-riables ou dimensions ou facteurs identifiés dans le cadre problématique ou qui s’écartent des définitions présentées dans le cadre conceptuel. S’il va de soi que la présentation du questionnaire à la personne enquêtée ne met pas en évidence ces mises en relation (ce qui dans certains cas introduirait un biais dans les réponses), le rapport de recherche doit les faire apparaître.

Bien choisir les modalités pertinentes du recueil des informations est une autre question

importante, car chaque outil de recueil a en soi certains avantages et certaines limites qui peuvent d’ailleurs être amplifiées par les modalités d’utilisation. Ainsi, le questionnaire d’enquête peut être un outil adéquat ou non adéquat selon le degré d’alphabétisation du public, selon qu’il est adressé de façon anonyme ou pas, etc. Une observation participante ou au contraire à l’insu de la personne ob-servée sera pertinente ou non selon l’objet et les circonstances de l’étude.

Enfin, il ne suffit pas de disposer d’informations pertinentes et recueillies de

façon adéquate, encore faut-il pouvoir montrer que la façon de les traiter est perti-nente, c’est-à-dire permet d’approcher, quantitativement ou qualitativement selon les cas, les variables ou dimensions ou facteurs mentionnés dans le cadre pro-blématique. Dans le cas de la mesure, réfléchir à la façon la plus adéquate de combiner et de pondérer plusieurs indicateurs (les questions du questionnaire ou les catégories d’une grille observation ou plusieurs indices statistiques) est une question de pertinence méthodologique. Dans une démarche qualitative, identi-fier parmi les nombreuses informations recueillies celles qui sont pertinentes compte tenu du problème posé et du cadre problématique (établi au départ ou construit en cours de route), chercher à les réduire en les catégorisant27, cons-truire des profils de sens par mise en relation des catégories … sont autant de questions de pertinence.

La pertinence des conclusions

Ne pas se tromper dans l’énonciation des conclusions de la recherche et dans la façon de les énoncer relève aussi de la pertinence. Trois grands aspects méri-tent d’être pris en considération: l’existence de véritables conclusions, le regard critique, la forme .

Il existe encore trop de rapports de recherches où n’apparaissent pas de véri-

tables conclusions: le rapport s’arrête avec la présentation des résultats de re-cherche et la conclusion est absente ou n’est que de pure forme. Puisqu’un pro-blème a été posé, qu’un cadre conceptuel a été énoncé, qu’un cadre probléma-

27 La question de la réduction des données dans l’utilisation des démarches qualitatives a parti-

culièrement bien été étudiée par Huberman et Miles (1991, 2002).

74

tique a été émis traduisant un jeu d’hypothèses, que des informations ont été re-cueillies et traitées pour obtenir des résultats présentés, la conclusion doit pouvoir apporter des réponses ou, du moins, des tentatives de réponses. Ceci suppose que les con-clusions fassent référence au cadre problématique et confrontent les résultats obtenus au jeu d’hypothèses. Très souvent, cette confrontation révèle un ajuste-ment imparfait; la communauté scientifique des lecteurs s’attend donc à voir l’auteur exprimer les questions que cela pose et des hypothèses explicatives po-tentielles.

Le problème de la pertinence des conclusions est donc aussi une question de re-

gard critique sur les résultats. Le chercheur se demandera si, au terme du processus, la question de recherche a été bien posée, reste pertinente telle qu’elle est posée ou s’il faut ajuster la façon de la poser. Dans le prolongement, il se demandera si les concepts identifiés sont et restent pertinents, si certains aspects de leur défini-tion sont à revoir, si d’autres concepts n’apparaissent pas comme nécessaires. De la même façon, il questionnera le problématique énoncé: toutes les composantes de celui-ci sont elles nécessaires? n’en faut-il pas d’autres? que penser des hypo-thèses relationnelles entre les composantes? n’en faut-il pas d’autres? quelles hy-pothèses alternatives formuler sur la base des résultats? quels arguments plaident en faveur de telle ou telle hypothèse?

La pertinence de la communication est aussi une question de forme. Le langage

scientifique n’est pas un langage littéraire, ni administratif, ni journalistique. Les destinataires de la communication appartiennent à la communauté scientifique qui a pour fonction de légitimer la qualité des recherches conduites dans leur domaine de compétences. Toute conclusion doit pouvoir être l’objet d’une évaluation par les lecteurs du rapport de recherche. Le langage doit donc être clair, précis, ar-gumenté, susceptible de permettre à l’évaluateur de formuler son propre avis.

LA VALIDITE

Le concept de validité est certainement le concept dont les chercheurs et les méthodologues de la recherche parlent le plus, au point d’avoir distingué une infinité de formes spécifiques de la validité. En voici une liste non exhaustive: validité de construit, de construct, hypothético-déductive, structurelle, de conte-nu, de différenciation, curriculaire, discriminante, logique, définitoire, empirique, corrélationnelle, critérielle, factorielle, concourante, concomitante, apparente, de statut, congruente, convergente, prédictive, écologique, statistique, interne, ex-terne… Si une telle liste existe, c’est que les méthodologues et les évaluateurs se sont penchés sur de nombreux cas d’espèce. Si ceci montre que la recherche est plurielle dans ses formes et ses visées, il ne faut pas oublier que la fonction commune de toute recherche est de produire de la connaissance scientifiquement

75

fondée. C’est en regard de cette fonction commune et première que nous analy-sons le critère de validité. Rappelons que, fondamentalement, se poser la ques-tion de la validité, c’est se demander: « Y a-t-il adéquation entre ce que je fais et ce que je déclare faire? ». Comme pour la pertinence, les trois aspects essentiels de la dé-marche scientifique doivent faire l’objet de cette question: la problématisation, le recueil et le traitement des données, l’énonciation des conclusions.

La validité de la problématisation

Puis que la validité est la question du rapport entre le déclaré et le mis en œuvre réellement, la validité de la problématisation touche à trois types de rap-port, concernant respectivement le problème posé, les concepts et le cadre pro-blématique.

Le problème posé est valide si le problème tel qu’il est traité dans la partie empi-

rique est bien celui qui a été posé dans la partie théorique. Il n’est pas rare de voir un problème particulièrement bien posé au départ mais se transformer subrepti-cement par la suite dans un autre problème. C’est le cas, par exemple, quand le chercheur pose au départ la question de l’impact d’une stratégie pédagogique sur les performances des élèves, alors que toute la recherche se concentre sur les différences de résultats entre les élèves appartenant à différentes couches so-ciales.

Les concepts sont valides s’il y a correspondance entre les concepts annoncés

dans la partie théorique et les concepts réellement mis en œuvre dans la partie empirique. Prenons quelques exemples rencontrés fréquemment. Un chercheur pose le problème de la motivation en contexte scolaire, qu’il définit par ailleurs de façon adéquate, mais on s’aperçoit tout au long du rapport qu’il est plus ques-tion de la satisfaction des acteurs concernés que de la motivation. De nom-breuses recherches sur l’efficacité déclarent évaluer des compétences et définis-sent la compétence comme le savoir agir qui consiste à mobiliser les ressources pertinentes pour effectuer des tâches complexes ou résoudre des situations pro-blèmes, mais de fait le processus de recherche et le rapport ne font allusion qu’aux ressources à évaluer et non au pouvoir de mobilisation de celles-ci.

Le cadre problématique est valide si l’étude empirique met en œuvre réellement les

différentes composantes de celui-ci et étudie les relations entre celles-ci, telles que présentées dans la partie empirique. Dans notre fonction d’évaluateur, nous avons souvent pris la peine de tenter de dégager le cadre problématique d’une recherche en nous basant uniquement sur les informations disponibles dans la partie empirique; dans un certain nombre de cas, nous avons débouché sur un cadre problématique différent.

76

N’oublions pas que la problématisation s’appuie sur une revue critique et per-sonnelle de la littérature scientifique. Celle-ci sera valide si les positions des auteurs sont présentées sans déformation de leur pensée, ce qui n’exclut pas de montrer en quoi des désaccords subsistent et quels sont les éléments qui seront pris ou non pris en considération pour élaborer le cadre problématique de la recherche.

La validité méthodologique

Ici encore, le chercheur peut annoncer une méthodologie pertinente et dans les faits mettre en œuvre une méthodologie quelque peu différente. La question de la validité doit être posée sur tous les aspects de la méthodologie: le rapport entre l’échantillon et la population visée; le rapport entre le dispositif de recueil d’informations annoncé et celui réellement mis en œuvre; le rapport entre les informations (quantitatives ou qualitatives selon les cas) à récolter et celles qui sont effectivement récoltées (c’est-à-dire mesurées ou catégorisées selon les cas); le rapport entre le degré de validité déclarée par le chercheur et le degré réel de validité.

Le rapport entre la population annoncée et l’échantillon réel est un des premiers as-

pects à examiner, que la taille de l’échantillon soit importante ou qu’elle se ré-sume à l’unité comme dans une étude de cas. Quoi qu’il en soit, il s’agit toujours de donner au lecteur les informations essentielles pour contrôler ce qui est décla-ré et voulu par le chercheur: ainsi, fournir des informations sur les caractéris-tiques des sujets est strictement nécessaire et encore trop souvent omis; une étude de cas qui annonce porter sur un sujet prototypique doit pouvoir le dé-montrer. Si, comme ces deux exemples le montrent, on parle le plus souvent de l’échantillon et de la population des sujets, n’oublions pas qu’il existe deux autres types d’échantillons et de populations trop souvent ignorés: l’échantillonnage et la population des informations susceptibles d’être recueillies; l’échantillonnage et la population des circonstances ou des contextes.

Illustrons cela par deux exemples. Un test de performances est susceptible d’être composé d’une population quasi infinie d’items; finalement, quelle est la validité de l’échantillon des items retenus? Un récit de vie peut porter sur un nombre important d’épisodes; sur quels épisodes portent effectivement le recueil et le traitement de l’information?

Le rapport entre le dispositif annoncé de recueil d’informations et le dispositif effectivement

mis en place peut concerner de nombreux aspects selon les cas? Citons quelques exemples. Le chercheur annonce trois entretiens par sujet (au début, au milieu et en fin de processus), mais on ne sait pas clairement si tous les entretiens ont été menés et, dans la négative, chez quels sujets, pour quelles raisons et quelles sont les implications. Les modalités d’application d’un test standardisé sont clairement explicitées, mais le rapport ne démontre pas que les modalités ont été respectées

77

de fait. On annonce que tel groupe sera l’objet de la démarche expérimentale traduisant l’hypothèse du chercheur et que tel autre groupe sera un groupe té-moin; il n’est pas impossible que, faute des vérifications nécessaires, le groupe témoin pratique davantage la démarche dite expérimentale que le groupe déclaré expérimental.

Le rapport entre l’information à récolter (fait, opinion, perception de soi, perception

d’autrui, représentation sociale, conception, variable mesurée, catégorie…selon les cas) et celle effectivement récoltée est sans doute ce qui a été le plus étudié par les méthodologues férus de trouver des techniques de validation (ceci explique d’ailleurs les nom-breuses appellations liées au concept de validité). Citons ici quelques exemples parmi d’autres. Dans un test, 10 items sont censés mesurer la compréhension de concepts étudiés et dix autres censés mesurer la capacité à inférer: cette volonté déclarée est-elle vérifiée par les indices alpha de Cronbach ou par les facteurs dégagés d’une analyse factorielle? Des indices comme des tapes dans le dos ou des coups de points échangés par des adolescents observés dans une cours de récréation sont-ils des indices d’agressivité ou des indices d’amitié?

Enfin, n’oublions par le rapport entre la validité attendue et la validité réelle du disposi-

tif méthodologique mis en oeuvre: tout chercheur est censé indiquer dans son rapport le degré de validité qu’il peut raisonnablement déduire des différentes démarches méthodologiques effectives de sa recherche et de fournir les informations néces-saires pour que le lecteur puisse à son tour faire sa propre évaluation du degré de validité méthodologique de la recherche. Le chercheur lui-même a-t-il donné sa propre évaluation? Si oui, l’a-t-il argumentée? Son argumentation est-elle suffi-sante? N’aurait-il pas fallu fournir d’autres informations pour apprécier le degré de validité réelle? Le degré de validité est-il suffisant, compte tenu du fait qu’il n’est jamais possible d’obtenir une validité méthodologique à 100%?

La validité interne et externe des conclusions

La validité des conclusions est le degré d’adéquation entre les conclusions énoncées dans le rapport de recherche et les conclusions que l’on peut effective-ment tirer, compte tenu des démarches méthodologiques effectivement mises en oeuvre. On parlera de validité interne lorsque les conclusions sont examinées et évaluées sur le plan logique; on parlera de validité externe lorsque les conclusions sont examinées sur le plan de la généralisabilité ou de la tranférabilité. Dans les deux cas, il s’agit d’évaluer la qualité des inférences effectuées dans les conclusions.

Le degré de validité interne des conclusions dépend étroitement: (1) du degré de vali-

dité de la problématisation et du degré de validité méthodologique; (2) de l’inférence permise compte tenu de ces degrés de validité. Encore faut-il qu’il y ait de réelles conclusions, c’est-à-dire de conclusions en rapport avec le problème

78

posé au départ (question de pertinence). Sur le plan interne, une conclusion ne sera pas valide, par exemple, si l’on affirme qu’est vérifiée l’hypothèse de la supé-riorité de tel type de pratiques pédagogiques, alors qu’on est loin d’être sûr que les pratiques réellement mises en œuvre obéissent aux caractéristiques déclarées. Telle autre conclusion, affirmant que le niveau socio-économique est un déter-minant important, ne pourra être déclarée valide si la toute grande majorité des sujets observés appartiennent à la même catégorie socioéconomique.

Le degré de validité externe des conclusions concerne le degré de généralisabilité ou

de transférabilité des conclusions. La littérature méthodologique décrit toute une série de biais qui invalident la généralisabilité des conclusions à des populations plus larges de sujets, d’informations ou de contextes. Ainsi, par exemple, le fait d’avoir subi un test dans l’expérience a pu orienter l’attention des sujets vers les résultats escomptés par le chercheur et on ne pourra généraliser les conclusions que si dans les pratiques ultérieures un test fera partie du dispositif. Le fait que le dispositif de recherche a utilisé des pratiques ou des supports inhabituels est peut-être la cause principale des performances obtenues. La recherche a été ef-fectuée avec des sujets volontaires et les conclusions ne seront vraisemblable-ment généralisables que pour un tel public. Ces exemples, parmi bien d’autres, induisent l’idée de l’importance de la conscience des justes limites de sa re-cherche (ni trop sévère, ni trop indulgent; mais une grande lucidité).

LA FIABILITE

Disons d’emblée que nous préférons le concept de fiabilité à celui de fidélité («reliability »). Ce dernier est trop restrictif car il est habituellement défini comme l’écart entre les scores observés et les scores dits « vrais ». Non seulement, on parle de « scores », ce qui n’implique que certains types de recherches, mais on parle de scores « vrais », ce qui nous paraît un concept très difficile à préciser et peut amener à confondre fidélité et certaines formes de validité. Le concept de fiabilité a une acceptation plus large et convient à tout type de recherche, car il signifie que « ce qui est affirmé dans la recherche est indépendant de l’auteur de la recherche et pourrait donc être affirmé par d’autres chercheurs ». Comme pour la pertinence et la va-lidité, la fiabilité peut être examinée sous trois aspects: la problématisation, le recueil et le traitement des données, les conclusions.

3.1 La fiabilité de la problématisation

Les aspects de la problématisation (le problème posé, les concepts, le cadre problématique) ne sont pas fiables lorsque leur utilisation est trop dépendante de l’auteur de la recherche.

79

Le problème posé n’est pas fiable lorsque les termes utilisés sont très spécifiques à l’auteur et sont susceptibles d’être compris différemment par les lecteurs, tout particulièrement lorsqu’insuffisamment de précisions sont fournies.

Les concepts ne sont pas fiables lorsque leur utilisation est trop dépendante de

l’auteur de la recherche. C’est le cas lorsque de nouveaux concepts sont apportés par l’auteur, alors qu’il existe déjà des concepts reconnus par la communauté scientifique et qui traduisent aussi bien les phénomènes décrits. C’est encore le cas lorsque, de façon justifiée, un nouveau concept est créé, mais la définition utilise des termes qui risquent d’être compris différemment par des chercheurs d’horizons différents. C’est encore le cas lorsque des chercheurs actuels utilisent encore des concepts dans leur acceptation historique originale, alors que des chercheurs contemporains ont montré, tout en reconnaissant les avancées que les chercheurs antérieurs ont amenées, la confusion qu’ils ont engendrée avec le développement de la recherche. Un exemple frappant est le concept d’évaluation sommative qui historiquement a permis de faire émerger le concept d’évaluation formative (apport de l’Américain Scriven). Or les recherches ultérieures dans le domaine de l’évaluation (voir par exemple De Ketele & Roegiers, 1993; De Ke-tele, 2006) ont montré que cette distinction conduisait à confondre la fonction et la démarche de l’évaluation: l’évaluation sommative est de l’ordre de la démarche (faire une somme pour obtenir une note ou un score), tandis que l’évaluation formative est de l’ordre de la fonction (viser l’amélioration de l’apprentissage en cours). Beaucoup de chercheurs actuels utilisent le concept d’évaluation somma-tive, alors qu’en fait ils désignent la fonction d’évaluation certificative, laquelle peut être l’objet d’une démarche sommative (on certifie par une note) ou d’une démarche descriptive (comme dans le bulletin descriptif ou dans un certificat) ou d’une démarche interprétative (on certifie en donnant du sens à un ensemble d’indices de différentes natures, quantitatives ou qualitatives).

Le cadre problématique n’est pas fiable lorsqu’il est trop général, donc susceptible

d’interprétations variées et donc difficilement invalidable. Si on peut admettre que le schéma représentant ce cadre problématique ne peut, pour des raisons de présentation graphique, comprendre toutes les composantes et mettre en évi-dence toutes les relations entre celles-ci, il importe de l’accompagner des explica-tions et des précisions nécessaires pour diminuer, de la part des lecteurs, les infé-rences non cohérentes avec la pensée du chercheur.

La fiabilité des démarches méthodologiques

La fiabilité des démarches méthodologiques est un des aspects examinés le plus attentivement par les évaluateurs, sans doute parce qu’il réfère à des aspects techniques. Leur attention porte sur l’échantillonnage, le dispositif de recueil d’informations, le traitement des informations pour constituer des variables, ou

80

des dimensions ou des catégorisations, voire des modélisations. La meilleure fa-çon de penser la fiabilité est de se demander si un autre chercheur, disposant des informations méthodologiques fournies et placé dans les mêmes conditions de réalisation, aurait réalisé les mêmes démarches (c’est le principe de la reproducti-bilité, base de la science). La (non) fiabilité est donc très liée aux informations (non) fournies dans le rapport de recherche.

La partie du rapport concernant l’échantillonnage (des sujets, des informations, des con-

textes) est d’autant plus fiable que le rapport mentionne toutes les informations sus-ceptibles de constituer un échantillonnage équivalent, non dépendant de l’auteur de la recherche. Les indicateurs classiques portent non seulement sur la taille des différents échantillons et sous-échantillons, mais aussi sur la façon de les consti-tuer et leurs caractéristiques.

La partie du rapport concernant le dispositif d’informations est d’autant plus fiable que

les démarches effectuées dans la recherche sont exposées avec clarté et précision pour être reproductibles. Assez souvent, on relève des déficits d’informations tels: dans des dispositifs où les mesures terminales seront la base de la comparai-son entre différents groupes, il est important de savoir si les sujets ont été soumis ou non à des tests intermédiaires, s’ils ont été entrainés ou non au format utilisé dans les tests de performances (item vrai/faux, QCM, question ouverte courte, question ouverte longue…); s’il s’agit d’un questionnaire d’enquête, il importe de mentionner comment les sujets ont été abordés, comment le questionnaire a été administré, quelles sont les conditions accordées pour assurer le caractère confi-dentiel; s’il s’agit de démarches d’observation ou d’entretien, on doit pouvoir savoir si des enregistrements ont été effectués et dans quelles conditions…

La partie du rapport concernant le traitement des informations est d’autant plus fiable que

l’on connaît comment les variables ont été constituées (les démarches de quanti-fication) ou comment les catégorisations ont été effectuées (les démarches de qualification). Les recherches docimologiques (Piéron, 1973; Noizet & Caverni, 1978) et édumétriques (De Ketele & Gerard, 2005) avaient mis en évidence les biais susceptibles d’être rencontrées dans la mesure des performances scolaires. Quand il s’agit de démarches qualitatives, la fiabilité s’exprimera surtout en termes d’accord ou de triangulation. Ainsi, s’il s’agit de démarches d’observation (ou d’évaluation ou d’analyse de corpus), il importe d’indiquer les résultats des vérifications qui s’imposent pour vérifier la fiabilité des observateurs (ou des éva-luateurs ou des analystes). Selon les cas, cela peut être l’un ou l’autre des accords suivants: accord entre des observateurs différents; accord chez un même obser-vateur à travers la durée; accord entre plusieurs équipes d’observateurs; accord à l’intérieur d’une même équipe d’observateurs; accord entre un observateur et un protocole (De Ketele & Roegiers, 1993). Ce qui vient d’être dit en référence à

81

l’observation est évidemment transposable pour des démarches d’évaluation ou d’analyse de corpus. Dans d’autres situations de recherche, on utilisera les prin-cipes de la triangulation (Huberman & Miles, 2002). De nombreux cas de figures existent qui n’ont évidemment pas la même valeur en termes de fiabilité: une même information obtenue trois fois par la même personne; par trois personnes différentes de même statut; par trois personnes de statut différent; dans trois contextes différents; provenant de trois sources méthodologiquement différentes (exemple: questionnaire, entretien, observation)… D’autres combinaisons exis-tent. Notre expérience de rédacteur et de membres de comités scientifiques de revues nous amène à dire que trop de rapports de recherches utilisant des dé-marches qualitatives ne mentionnent pas les démarches de vérification de leurs démarches méthodologiques. Par ailleurs, cette même expérience nous montre que, si de nombreux rapports de recherches utilisant des démarches quantitatives fournissent des coefficients de fiabilité (de fidélité), ils oublient souvent de com-muniquer comment la quantification a été élaborée. Déjà en 1976, dans son ou-vrage « Méthodes en Sciences sociales » couronné par l’Académie des Sciences Morales et Politiques, Madeleine Grawitz reprochait à certains chercheurs quanti-tativistes de se réfugier derrière des démarches techniques très sophistiquées pour vérifier la fiabilité de leurs mesures, mais oubliaient qu’une bonne mesure est fondée au départ sur une bonne qualification du phénomène à évaluer.

La fiabilité des conclusions

Le problème de la fiabilité des conclusions est d’examiner si les conclusions énoncées dans un rapport de recherche sont suffisamment indépendantes du chercheur au point de pouvoir être énoncées de façon équivalente par d’autres chercheurs.

La fiabilité des conclusions est étroitement liée à la fiabilité de la problémati-sation et des démarches méthodologiques. En effet, le manque de clarté et de précision de celles-ci entraine les évaluateurs à proposer d’autres conclusions que celles que le chercheur émet.

La fiabilité des conclusions est aussi étroitement liée à la validité de la pro-blématisation, des démarches méthodologiques et des conclusions. Si, par exemple, les démarches de construction des variables ou des catégorisations ne sont pas valides (elles ne correspondent pas à ce qui est déclaré mesurer ou caté-gorisation), les conclusions du chercheur et des évaluateurs seront différentes. À titre d’exemple encore, conclure qu’une hypothèse est vérifiée sur la seule base de la supériorité des résultats d’un groupe expérimental, sans que la différence avec le groupe contrôle ne soit statistiquement significative, c’est ne pas tenir compte des erreurs aléatoires. Ici encore, les conclusions du chercheur et des évaluateurs risquent d’être non convergentes.

La fiabilité des conclusions est enfin liée à la pertinence de la problématisa-tion, des démarches méthodologiques et des conclusions. Cette fois également,

82

les conclusions émises par le chercheur et celles susceptibles d’être énoncées par la communauté scientifique seront différentes.

La question de la fiabilité des conclusions est donc une question de « crédibili-té» sur ce que l’on peut inférer de la recherche.

UNE TENTATIVE DE FORMALISATION

L’objectif de cet article était de tenter de formaliser un ensemble de critères cohérents permettant d’évaluer la qualité des études empiriques dont l’objet est l’éducation ou la formation, quelles que soient les démarches quantitatives ou qualitatives utilisées pour traiter les données recueillies. Notre tentative de forma-lisation repose sur le croisement entre d’une part les trois composantes essen-tielles de toute recherche empirique (la problématisation, le recueil et le traite-ment des données recueillies, l’énonciation de conclusions) et d’autre part les trois critères essentiels à toute recherche visant à produire des connaissances nouvelles (la pertinence, la validité et la fiabilité). Cette formalisation peut être représentée dans le tableau suivant.

Tableau 1: Le croisement des composantes et des critères des recherches empiriques

Critères

Composantes Pertinence Validité Fiabilité

Problématisation Pertinence de la problématisation

Validité de la problématisation

Fiabilité de la problématisation

Recueil et traitement des don-nées

Pertinence mé-thodologique

Validité des dé-marches métho-dologiques

Fiabilité des dé-marches métho-dologiques

Enonciation des conclusions

Pertinence des conclusions

Validité des con-clusions

Fiabilité ou crédi-bilité des conclu-sions

Si on examine la structuration la plus courante des rapports de recherche

(qu’ils soient de grande ampleur comme des thèses ou plus ramassés comme des articles de revues scientifiques), on y retrouve les trois composantes essentielles de toute recherche empirique: (i) une partie, souvent appelée partie théorique, comprenant le problème posé, les concepts indispensables pour traiter le pro-blème et le cadre problématique qui en découle, où la revue critique de la littéra-ture scientifique joue un rôle important; (ii) une partie comprenant le recueil et le traitement des données, à savoir d’une part la méthodologie de la recherche (l’échantillonnage, le dispositif de recueil d’informations, leur mesure ou leur ca-

83

tégorisation, leur validité) et d’autre part la présentation des résultats issus du traitement; (iii) les conclusions (les inférences par rapport au cadre théorique et au jeu d’hypothèses, les interprétations sous forme d’hypothèses explicatives nouvelles permettant des tentatives de reproblématisation éventuelle, les pistes pour des recherches futures).

En général, les évaluateurs procèdent en évaluant tour à tour ces trois grandes composantes. Ceci nous permet de déployer plus linéairement le travail d’évaluation comme suit:

La problématisation

o La pertinence de la problématisation L’objet de la recherche (le problème posé) est pertinent (suscep-

tible de produire des connaissances nouvelles; susceptible d’être traitée sur le plan scientifique) Le cadre conceptuel est adéquat (les concepts pertinents sont

identifiés et clairement définis) Le cadre problématique est défini (les variables ou composantes

pertinentes pour traiter sont identifiées; les relations entre celles-ci sont mises en évidence) Les hypothèses déduites du cadre problématique ou ajustées en

cours de route sont clarifiées La revue de la littérature scientifique est une revue critique mise

au service de la validation du processus de problématisation (et non une simple juxtaposition de positions d’auteurs)

o La validité de la problématisation Le problème tel qu’il est posé est bien celui qui sera effective-

ment abordé tout au long de la recherche Les concepts tels qu’ils sont énoncés et définis sont bien ceux

qui seront opérationnalisés par la suite Le cadre problématique tel qu’il est défini est bien celui qui sera

traité par la suite La revue critique de la littérature ne déforme pas la pensée des

auteurs o La fiabilité de la problématisation

La façon d’expliciter le problème posé est univoque (compré-hensible de la même façon par différents lecteurs) Les concepts utilisés tiennent compte de ce qui est reconnu

comme établi par la communauté scientifique; les concepts éventuellement nouveaux sont exprimés de façon univoque Le cadre problématique posé est suffisamment précis pour ne

pas générer des interprétations différentes selon les lecteurs

84

Le recueil et le traitement des données

o La pertinence méthodologique Les informations recueillies sont reliées de façon adéquate au

cadre problématique posé Les modalités du recueil d’informations sont adéquates au pu-

blic visé et au contexte de la recherche Les modalités de traitement quantitatif ou qualitatif sont adé-

quates (respect des caractéristiques des variables ou des compo-santes du cadre problématique; respect du type de relations pos-tulées dans le cadre problématique)

o La validité méthodologique Il y a concordance entre la population annoncée et l’échantillon

réel (de sujets ou d’items ou de contextes) Il y a concordance entre le dispositif annoncé de recueil

d’information et celui mis en œuvre Il y a concordance entre l’information à récolter (fait, opinion,

perception de soi, perception d’autrui, représentation sociale, conception, variable mesurée, catégorie...selon les cas) et celle effectivement récoltée Il y a concordance entre la validité attendue et la validité réelle

du dispositif et de ses éléments o La fiabilité des démarches méthodologiques

Les informations fournies concernant l’échantillonnage (sujets, items, contextes) sont suffisantes pour permettre de constituer un échantillonnage équivalent Les informations fournies concernant le recueil et le traitement

des informations sont suffisantes pour être reproductibles par un autre chercheur Les informations concernant le processus de validation sont suffi-

santes pour permettre à l’évaluateur de forger sa propre opinion

L’énonciation des conclusions o La pertinence des conclusions

Les conclusions apportent des réponses, ou du moins des tenta-tives de réponses, au problème posé au départ Les conclusions sont l’objet d’un regard critique de la part de

l’auteur et le langage utilisé est clair, précis et argumenté, de telle sorte qu’il permette à l’évaluateur de se forger son propre jugement Les conclusions dépassent les simples constats et font l’objet

d’hypothèses explicatives alternatives et de pistes nouvelles

85

o La validité des conclusions Un regard est posé sur la validité interne des conclusions (les in-

férences permises en fonction du degré de validité de la problé-matisation et de la validité méthodologique) Un regard est posé sur la validité externe des conclusions (le de-

gré de généralisabilité ou de transférabilité) o La fiabilité ou la crédibilité des conclusions

Les conclusions jugées pertinentes et valides par l’auteur le sont aussi par la communauté scientifique

Au terme de cette tentative de formalisation, nous tenons à mettre en évi-

dence quelques apports originaux de notre contribution. Premièrement, le con-cept de pertinence (« ne pas se tromper de… » nous paraît insuffisamment pré-sent dans les écrits portant sur l’évaluation des rapports scientifiques, si ce n’est indirectement à travers des indicateurs variés.

Deuxièmement, le concept de fidélité (reliability) est trop exclusivement utilisé en référence aux recherches utilisant des mesures quantitatives et pose le pro-blème épistémologique de ce qu’est un « score vrai ». Le concept de fiabilité nous semble plus adéquat parce qu’il tient compte tant des démarches quantitatives que qualitatives et parce que sa définition (en termes d’indépendance vis à vis des auteurs de la recherche) permet des processus d’opérationnalisation plus adé-quats aux différents objets et contextes des recherches menées.

Troisièmement, les concepts de validité et de fiabilité sont trop exclusivement référés par les évaluateurs aux seules démarches méthodologiques, laissant croire qu’ils ne concernent pas la problématisation et l’énonciation des conclusions. Nous pensons au contraire que les trois critères (pertinence, validité et fiabilité) portent sur toutes les composantes du processus de recherche.

Quatrièmement, l’analyse des thèses défendues et des articles scientifiques ac-ceptés dans les revues nous amène à penser qu’un certain nombre d’entre eux sont techniquement parfaits sur les plans de validité et de la fidélité des dé-marches méthodologiques, mais pêchent sur les plans de la pertinence, la validité et la fiabilité de la problématisation et de l’énonciation des conclusions. Sans doute, la supériorité accordée aux démarches quantitatives, la mise à disposition d’outils techniques de plus en plus sophistiqués et le publish or perish ne sont pas étrangers à ce constat. Il importe de rétablir le primat de la pertinence.

86

REFERENCES

BANDURA A. (2003). Auto-efficacité. Le sentiment d’efficacité personnelle. Bruxelles: De Boeck.

CAMPBELL D.T., STANLEY J. (1966). Experimental and quasi-experimental designs forresearch. Chicago: Rand Mac Nally.

CRAHAY M. (2010). Qualitatif-Quantitatif: des enjeux méthodologiques conver-gents? In L. PAQUAY, M. CRAHAY, J-M. DE KETELE. L’analyse qualitative en éducation. Des pratiques de recherche aux critères de qualité. Bruxelles: De Boeck.

DE KETELE, J-M. (2006). Contrôles, examens et évaluation. In J. BEILLEROT & N. MOSCONI. Traité des sciences et pratiques de l’éducation. Paris: Dunod.

DE KETELE, J-M. & ROEGIERS X. (1993). Méthodologie du recueil d’informations. Bruxelles: De Boeck.

DE KETELE, J-M, GERARD F-M. (1995). La validation des épreuves d’évaluation selon l’approche par les compétences, Mesure et évaluation en éducation, 28 (3), pp. 1-26.

DE KETELE J-M., MAROY CH. (2006). Quels critères de qualité pour les re-cherches en éducation. In L. PAQUAY, M. CRAHAY, J-M. DE KETELE. L’analyse qualitative en éducation. Des pratiques de recherche aux critères de qualité (p. 219-249). Bruxelles: De Boeck.

DUMAY X., DUPRIEZ V. (2009). L’efficacité dans l’enseignement. Bruxelles: De Boeck. GRAWITZ M. (1976). Méthodes des sciences sociales. Paris: Dalloz. HUBERMAN A.M., MILES M.B. (1991). Analyse des données qualitatives. Recueil de

nouvelles méthodes. Bruxelles: De Boeck. HUBERMAN A.M., MILES M.B. (2002). The qualitative researher’s companion. London:

Sage Publications. NOIZET, G. & CAVERNI, J-P. (1978). Psychologie de l’évaluation scolaire. Paris: PUF. PAQUAY, L., CRAHAY, M, & DE KETELE, J-M. (2010). L’analyse qualitative en édu-

cation. Des pratiques de recherche aux critères de qualité. Bruxelles: De Boeck (2e édi-tion revue et mise à jour)

PIERON H. (1973). Examens et docimologie. Paris: PUF. VAN DER MAEREN J-M. (1995). Méthode de recherche pour l’éducation. Bruxelles: De

Boeck. VIAU R. (2004). La motivation en contexte scolaire. Bruxelles: De Boeck.

INTERVENTI E PROSPETTIVE

89

The directions of scientific writing: digital, collaborative, distributed

Pierpaolo Limone

Il Comitato di Esperti per la Politica della Ricerca del MIUR ammoniva lo scorso anno che i meccanismi di valutazione dovrebbero essere realizzati “con standard e procedure confrontabili e comprensibili a livello europeo e internazionale, anche per poter attrarre talenti da altri Paesi” (CEPR, 2011, p. 2). Condividendo il medesimo obiettivo l’ANVUR (Agenzia di Valutazione del Sistema Universitario e della Ricerca) ed il Ministero hanno recentemente rimodulato le regole e le prassi della valutazione della ricerca italiana. Purtroppo però, sebbe-ne gli standard siano utili e talvolta necessari, l’applica-zione di sistemi valutativi troppo rigidi rischia di ripro-durre la mediocrità, piuttosto che valorizzare l’innova-zione e le eccellenze, perché i casi più divergenti e originali sfuggono alle griglie dei valutatori. Nel saggio si discuto-no alcune pratiche di pubblicazione accademica che rappresentano una pista evolutiva dell’editoria scientifica nei prossimi anni.

Last year, the MIUR Committee of Experts for Re-search Politics admonished that the mechanisms for evaluation should be achieved “with standards and procedures that are comparable and comprehensible on a European and international level, also for the purposes of attracting talent from other Countries” (CEPR, 2011, p.2). Having shared the same objective, the ANVUR (Evaluation Agency of the University and Research System) and the Board have recently remodeled the rules and procedures for the evaluation of Italian research. Unfortunately, although standards are useful and at times necessary, the application of excessively rigid evalu-ation systems risks reproducing mediocrity instead of valorizing innovation and excellence, as the most diver-gent and original cases are overlooked by the evaluators. This essay discusses several academic publication practices that represent the evolutionary track of scientific publish-ing in the next years.

Parole chiave: valutazione della ricerca italiana, sistemi valutativi, editoria scientifica, pratiche di pubblicazione accademica. Key words: evaluation of Italian research, evaluation systems, academic publication practices, sci-entific publishing. Articolo ricevuto: 9 maggio 2012 Versione finale: 18 maggio 2012

1. COMMUNICATION TECHNOLOGIES MODIFY THE WORK OF A SCIENTIST

During the Renaissance, the diffusion of typographic printing fueled a re-newed interest for the arts and sciences and generated the technological condi-tions necessary for various works to be gathered and compared on the same desks. “More abundantly stoked bookshelves obviously increased opportunities to consult and compare different texts. Merely by making more scrambled data available, by increasing the output of Aristotelian, Alexandrian and Arab texts, printers encouraged efforts to unscramble these data” (Eisenstein, 2005, p. 48). The medieval coastal maps were much more precise than the antique ones, but few were able to compare them before going into print. For example, “Paradise” was progressively expunged from geographical maps due to its difficult location. “Contradictions became more visible, divergent traditions more difficult to rec-

90

onciliate. The transmission of received opinion could not proceed smoothly once Arabists were set against Galenists or the Aristotelians against the Ptolema-ists. Not only was confidence in old theories weakened, but an enriched reading matter also encouraged the development of a new intellectual combinations and permutations” (Eisenstein, 2005, pp. 48-49).

Cultural communication technologies influence the work of a scholar and of a scientist; though nowadays such statement appears quite common, in some sectors such as that of pedagogy we are yet to exploit of all of the potential of digital revolution. The accessibility and ease of publication offered by digital technologies represent a change as significant as the invention of Gutenberg. Research will be more and more mediated by digital technologies, which have already modified the investigation methods of many scientific disciplines and are also transforming their epistemological grounds. By simply considering the diffu-sion of digital catalogues in libraries, the collection software and data analysis, and the online sharing and publication tools, it is clear that we are undergoing an irreversible phenomenon of digitalization of scientific work. More difficult, on the other hand, is the analysis of the consequences of such process, which may have particularly meaningful effects on the organization of university research. Many humanistic disciplines are rapidly making amends with the new demands of internationalization and the new standards for the assessment of productivity; moreover, digital technologies will soon activate further transformation. The scientometric models tend to follow the transformed social demands, and if they are unable to change as fast as the research models, opportunities may be lost as international research evolves quickly.

Consider, for example, the rapid diffusion of online collaborative writing, a practice that has been adopted in many academic disciplines. In Italy, the diffu-sion of such scientific production models entails objective limits, as collabora-tively written works may not be evaluated according to the current ANVUR rules for non-bibliometric sectors. Two books28 of great scientific importance published this year by MIT Press were written collaboratively with a single narra-tive voice.

Through the use of specific online sharing software, various authors edited these extraordinary volumes that would not be assessable in Italy given that the contribution of a single scholar is indistinguishable.

Digital technologies offer new opportunities for collaboration and exchange that were unimaginable in the past: nowadays it is possible to write books with

28 The first book is entitled “Digital Humanities”, a volume written by Anne Burdick, Johanna

Drucker, Peter Lunenfeld, Todd Presner and Jeffrey Schnapp, which investigates the principal theories, models and bases of applied humanistic research. The second, uniquely named: “10 PRINT CHR$(205.5+RND(1); GOTO 10”, discusses the new discipline of software studies and is written by Nick Montfort, Patsy Baudoin, John Bell, Ian Bogost, Jeremy Douglass, Marc C. Ma-rino, Michael Mateas, Casey Reas, Mark Sample and Noah Vawter.

91

colleagues at thousands of kilometers distance, or hold online seminars visible to anyone who is connected to the web, without moving from one’s own desk. However, such innovations which are by now irreversible may be impeded by the absence of adequate evaluation tools that recognize the legitimate academic value.

The open-access multimedia journals, scientific blogs, self-published e-book databases and “open peer reviews” are other typical cases of new publishing forms that are difficult to evaluate. For example, several Harvard academicians have been publishing an interactive journal that has no ISSN (International Standard Serial Number), the code that identifies the periodicals, and is not in-dexed in the data banks; and yet the Sensate29 journal nevertheless hosts textual and multimedia interventions by famous international scholars. Well-known scholars like Henry Jenkins and Noah Wardrip-Fruin publish academic blogs of great importance, which clearly serve as guidance for the new generations of re-searchers but are not assessable as scientific works or classifiable as dissemina-tion activities. And perhaps they are not indeed worthy of such titles. But then when and under what conditions may one consider a blog scientific?

On the evidence of Plato, Socrates reached truth through dialogue; but was the Socratic dialogue an expedient to bring the truth out of the interlocutor still wrapped in the shadows of an uncertain thought, or was it a set course for the teacher himself? In other words: was the dialogue a didactic expedient or a her-meneutic procedure? It was most likely both one and the other, considering that each interlocutor was an upholder of a thesis (which today we would call para-digm) and from the reciprocal comparison a new perspective and road toward new interpretation came to be determined. So what is, today, the agora within which different approaches and progressive methods may be compared for a result worthy of the challenge?

When Piaget had a hand in the Center for Genetic Epistemology of Geneva, he devised a special work method that involved a series of protocols and provi-sional tests exchanged among various Authors, followed by a meeting in Geneva to discuss, compare and treasure the others’ contributions (Paparella, 1978). The definitive version of the text, hosted in the “Contributions” volume of the cen-ter, was notably different from the initial version, and such change resulted from the bringing about of common discussion. The collaborative growth of scientific study is present in many phases of the history of sciences, both in humanities and in the so-called exact sciences. Such is by no means new to this day and age. However, today’s possibilities assume a quite special configuration, both because their agora hits the network limits and because their pace is close to that of con-temporaneity.

29 Cfr. http://sensatejournal.com, last access 26 August, 2012.

92

Today, a scientific seminar may be announced and executed according to models and rates that were absolutely unimaginable only ten or twenty years ago.

It is obvious that nowadays, like in the times of Piaget or of Socrates’ Greece, not all discussions are scientific. A blog may also be a source of pure amusement, a tool for fertile scientific dissemination, even a method of approach for a sci-ence in search of application, or it may be – why not? – a collaborative heuristic procedure. The blog is written and summarized as desired, through a unitary or collaborative narration.

This type of procedure is not only possible, it is also already widely used. That which has been left behind is the formal evaluation system, which is not so for-mal, one may note, in being always a bit (or very much) late.

A final example that is useful to discussion is represented by the “open peer review” experiences: the latest book by Kathleen Litzpatrick, “Planned Obsoles-cence: Publishing, Technology and the Future of the Academy”, which addresses the future of scientific publishing, was conveniently written according to an in-novative peer review model, that is, with the support of continuous open evalua-tion among equals, through the MediaCommons system. This is a quite important website, as it is one of the most well-known systems enabling the publication of drafts of scientific works as well as free and open evaluations of the same. Any-one who is registered to the website, with perhaps a personal academic profile and a portfolio of his/her own publications, may comment on certain sections of the text or ask questions to initiate online discussions.

As a result, the Internet is fostering the emergence of new forms of multime-dia science writing that respond to antique needs but remain very difficult to as-sess. Despite such difficulties, the richness and relevance of the informal spaces for publication (blogs, websites, collaborative writing environments, open digital archives), along with the diffusion of the new authorial forms made possible by collaborative editability and reticular distribution, may not be neglected. In fact, such aspects may help us to rethink and revitalize scientific work and its social representation.

2. THE REVOLUTION OF “CONTENT”: DISTRIBUTED, COLLABORATIVE, PLU-RIMEDIAL

Academic writing is a ‘representation’ of scientific research. An essay is the report, and at times the product, of the experiences of study and experimenta-tion conducted in an academic field, but at the same time a source of communi-cation regarding the research center’s culture, the delegation of work among au-thors and the expectations of a group of scholars. It is a series of descriptive pages, rigorously narrating in accordance with logical concatenations the premis-es, methods, phases and results of a scientific investigation process. Such infor-

93

mation usually illustrates replicable experiences, theoretical interpretations or operative models in different sectors.

In spite of the versatility and richness of expressive possibilities provided by the natural languages, a scientific article must be limited to the synthetic and punctual account of the products developed by research. The author must select and reduce the complexity of possessed information by adapting the content to a specialized form of writing that serves as communication toward an equally spe-cialized audience. Academic publishing mainly includes journals, conference pro-ceedings, books and doctoral texts that have been revised or refereed among equals (Xiao, Askin, 2012, p. 359). On the other hand, narrative modes based on plurimedial and interactive textualities are excluded. For example, imagine the forms of video documentary and animated presentation, the products for the Web (websites, blogs), or even the prototypical narrative forms, as real and proper digital environments (from videogames to interactive simulations). Such diverse narrative forms are prevalently confined at a popular level, as they have yet to assume the dignity of scientifically assessable products, mainly due to our lack of common tools required for their assessment.

The academic journalist is nevertheless beginning to exploit and test the po-tential of the ICTs and to adopt the values of networks among equals and of collaborative production systems, to the benefit of research and all of society (Pearce et al., 2011). To sum up, we are witnessing a rapid evolution most likely driven by, among other things, the growing awareness of the contradictions pre-sent in the current system of scientific publication, which by now provoke ex-pressions of dissatisfaction in large groups of scholars. Such intolerance is essen-tially related to the copyright system, the economic model of scientific publish-ing, and of course, the peer review model.

The “digitalization”, “networking” and “openness” are the three fundamental characteristics that, according to Martin Weller (2011), are profoundly transform-ing academic practice and may provide publishing alternatives. The digitalization of contents, the deep network of relations, the diffusion of information via In-ternet and social networks, and the simplicity and low cost of content sharing processes, are the driving forces for change. The explosive power of digital tech-nologies covers all phases of scientific production:

- In the research phase, through a transformed data access system that is pro-gressively more distributed, free and open. In this respect, consider the diffusion of “open access” systems, thanks to the double acceptance of free and unlimited access to contents in the absence of barriers tied to costs or authorizations (Bu-dapest Open Access Initiative, 2002; Suber, 2004). Access to digital libraries, as well as the growing use of Web resources and archives, are research practices that are by now consolidated, despite the fact that there is still much to be done to fully integrate them into scientific studies and to assign them full academic reliability in the citation system (Chen et al., 2009). Lastly, more innovative expe-

94

riences include the possibility of accessing unpublished results or ongoing re-search, in support of the activation of new collaborations beyond institutional borders.

- In the writing phase, the diversification of representation modes for the re-sults of scientific study is crucial, and such may be attained through either the adoption of multimedia and multimodal languages or the processes of collabora-tive construction of scripts. For example, consider the tools belonging to our everyday lives as Internet users that tend to be excluded from the channels of academic publications, such as “Academia” or “Wikipedia” (Black, 2008). Or rather, think about the systems like “MediaCommons”, which may enhance the comparison and sharing of information, and open peer reviews, along with the gra-tuitousness and timeliness of the publication process. Major diffusion is offered by scientific materials, and moreover, such is side by side with broader and clear-er evaluation politics (Xiao, Askin, 2012). There is a growing awareness of the fact that much must and can be done in order to render such tools fully compat-ible with the needs of academia, both on a technical level and in connection with more traditional scientific resources (e.g. university libraries, scientific associa-tions, etc.).

- In the dissemination of results phase, the Web transforms the distribution channels according to the logic of networking and differentiation of products, including plurimedial products, which are constructed and shared using even provisional methods. The online versions of scientific products in paper form, the transmission of scripts across the Web, the explicative apparatuses, and the multimedia simulation spaces, constitute increasingly less rare examples alongside the “traditional” forms of academic publishing, which may benefit from innova-tive distribution channels such as the new spin-off of Twitter called “Medium”.

The network logic and opportunities provided by contemporary communica-

tion tools serve as destructive ingredients, not only because they modify the clas-sic formats and consolidated processes of scientific work communication, but also because they render clear and traceable the path leading to the results of academic study. The Web modifies the definition of authorship, accommodates collaborative contributions and consents the display of transient forms of work, in addition to exposing the “behind the scenes” of scientific research and render-ing laboratory and library activity fully visible.

New forms of publication also promote new social representations of aca-demic study, and it cannot be excluded that more accessibility may progressively modify the role of academia in the social context. In this respect, consider the not-so-easy relationship between academic pedagogy and the scholastic system, or between media education students and companies that produce contents for children. The Web and its open and editable publications enhance the diffusion of our research, expose the laboratories to public opinion and enable the abol-

95

ishment of boundaries between schools and disciplinary sectors. The aforemen-tioned phases of research, scientific production and communication are mixed in an interactive process; a process during which “evaluation” intended in the mod-ern sense joins numerous and frequent corrective interventions by many hands, also incited by non-academic readers.

The currently dominant academic publication model is nineteenth-century, effective and consolidated, but also somewhat obsolete. The common evaluation procedures risk stiffening this linear model which favors printed paper and monomedial narration, textual forms that are already worn out as they are ante-cedent to the digital revolution. The paradox of languages and expressive forms adopted in publications is especially striking when researchers come across issues related to digital media and to technological and communicative innovations, but are forced to limit themselves to the publication of a printed, two-dimensional textual form containing research that should be reported with all of the media’s capabilities. For example, how can one effectively report the participatory design of a didactic videogame or the experiences of online community practices with-out running the risk of distorting the information or leaving out salient elements in an article that may host only a few static images? But most of all, how can the evaluators judge the research on multimedia products without being able to use them, without being able to personally assess their interactive and multimodal elements?

In the medical science research sector, for instance, there are already many experimentations under way on the forms of interactive and three-dimensional data representation: publications that allow readers to intervene with raw data by creating graphs and modifying the parameters and forms of visualization (Mc Mahon, 2010). Particularly significant to pedagogy are instead the new editorial formulas that are spread throughout the best Anglo-Saxon universities and are open to public and gratuitous use, as demonstrated by two interactive journals: “Sensate”, coordinated by Lindsey Lodhie, Peter McMurray, Joana Pimenta, and Elizabeth Watkins and the “International Journal of learning and media (IJLM)”, coordinated by David Buckingham (Institute of Education, London) among oth-ers. “Sensate” proposes an innovative model for electronic literature: such entails a stile of writing that “expands” the written text in hypermedial directions and welcomes contributions in diverse formats, for the purposes of facilitating the publication and diffusion of the scientific research results, even beyond academ-ia. According to the definition provided by its own authors, “Sensate is a peer-reviewed, open-access, media-based journal for the creation, presentation, and critique of innovative projects in the arts, humanities, and sciences” (http://sensatejournal.com/about). The journal’s mission is to provide a space for experimentation to media artists and scholars who intend to surpass the lim-its of the printed page; a principal objective is the re-imagination and reinvention of the meaning of a scientific publication. On the other hand, the “IJLM” journal

96

provides a digital platform for exchange and comparison among scholars, by holding webinars (online seminars), conferences and by pairing printed scientific articles with digital tools that may be used upon subscription.

Another phenomenon of great interest, which derives from the introduction of digital alternatives in educational research, is that of the Computational Social Sciences (Lazer et al., 2009), which symbolize the root of a methodological turning point that authors like David Berry define as: the “Computational Turn” (Berry, 2011). If the ability to collect, archive and analyze enormous quantities of data has transformed the possibilities of research in the fields of biological and physi-cal sciences, the introduction of complex analysis tools in our disciplines, on the other hand, has still a quite slow effect; it is mainly the privilege of private com-panies such as Google, Yahoo or Facebook to execute complex industrial re-search in the human and social sciences sector, as they may freely analyze the interactions and exchanges on the Web for purely commercial purposes. Adop-tion on the part of the pedagogical sector of the same analytical tools would ena-ble the achievement of complex diachronic studies, such as on textual produc-tion at schools, or of synchronic studies that compare millions of users on self-education platforms like MOOCs (Massive Online Open Courses).

The Internet, the Web 2.0 and the social and collaborative direction of digital tools may go above and beyond the current configurations of scientific produc-tion, and these are only a few of the best-known examples.

Nonetheless, in Italy it seems as if the resistances to change are stronger than those elsewhere. Whereas the Anglo-Saxon universities are rapidly experimenting and spreading new scientific publication formats, in addition to new editorial business models and new channels for diffusion, the Italian efforts to modernize the practices of research evaluation translate into the paradoxical absence of tools and criteria needed to assess the forms of experimental publication that surpass the idea of a monograph or an article in a journal.

The customs and consolidated interests are quite strong everywhere, yet some foreign universities are generating an ambivalent and creative relationship be-tween experimentation and resistance to change that we should perhaps observe with greater attention. If it is true that our scientific societies and our editors are not precursors in this field, it is also true that the failures and successes of those who come before us may be exploited in order to launch effective experimenta-tion. In the pedagogical field, the scientific societies may propose open publica-tion platforms, new multimedia journals and innovative scientometric criteria in order to avoid giving up on their duty as scientific evaluators.

97

3. THE REVOLUTION OF THE NARRATOR: THE DIGITAL SCHOLAR AND THE GROUP AS A STRATEGY

Once upon a time there was an author, with the charismatic individuality of a scientist who narrated his/her research in the first person. Nowadays, next to the romantic figure of the solitary author, the humanist secluded from social life and closed up in a library, is the figure of the “digital scholar”, an individual whose identity is defined by the system of networks and online interactions that he/she is able to establish (Weller, 2011). A scholar whose intellectual practice becomes shared and visible through digital systems; an individual who offers his/her own piece of work to the criticism, use and manipulation of other authors, in every phase of its development (Burton, 2009).

The unused materials, the partially travelled paths, the comparisons that have been completed but excluded from final official reports, etc., may be pooled to-gether and communicated to a vast audience that may seize the fruitful elements for the reproduction of science. The wealth of notes and drafts that each author leaves in the drawer of his/her desk may now be placed in the appropriate online repertories, accessible to everyone, publishable with and alongside the official texts, and from which critical input may be occasionally obtained for research in other contexts with other resources.

The sharing of resources, the access to specialized repositories, some of which created purposefully by scientific societies (especially in other Countries), and the participation in online seminars, should be perceived as powerful heuris-tic levers available to the scientific community, thanks to the initiative of the very members of the community.

The coming of the Internet and digital communication has modified the founding concepts of scientific publishing as well as those of authorship and author’s prestige, whose creativity was for a long time converted into an eco-nomic value (copyright). Concepts that were born in the modern age and deserve to be recovered and reconsidered from broader, less rigid perspectives; perspec-tives that give attention to the hitherto neglected or underestimated aspects, in a setting that allows information to be processed, archived and revised in diversi-fied forms, not only through the reproduction of the typographic print (Longo, Magnolo, 2009; Cavalli, 2008).

In such context it is to no surprise that the forms of unanimous narration, non-assessable in the field of scientific research, have assumed growing im-portance. In fact, in the sector of human and social science in particular, a value is assigned to the editorial activity of a single author, after determining the weight of his/her contribution in academic publications. On the other hand, the current directions of international scientific research are leading toward the necessary overcoming of the popular caricature of the “Author” intended as an erudite and solitary humanist, which has been achieved time ago in other disciplinary sectors.

98

Such overcoming appears urgent and natural, especially in the fields related to the so-called “Big Humanities”, that is, the humanistic researches that resort to the analysis of large quantities of data or textual corpora. Also occurring in the field of didactic technology design or in the sector for evaluation of educational politics and instructional systems are: fields that clearly require a multidisciplinary approach in the publication phase of empirical and multi-authorial research. Even in Italy, humanistic and social research is increasingly performed in teams, research centers and laboratories. The phenomena studied by educationalists today are so complex, and in particular, their analysis tools permit questions to be asked to which answers are no longer conceivably provided without collabo-ration. Thus, one of the most urgent challenges may be the tracing and accredit-ing of a single author’s contribution in diverse means of communication by fol-lowing the production of such on different media forms, including the informal tools such as blogs and social networks, which assume growing importance in the process of information exchange among scientists (Mc Mahon, 2010, p. 12).

Great ideas are deeply rooted in a magma of smaller ideas, and the faster the process of knowledge accumulation in a specific sector, the faster the scientific communication and collaboration among scholars must be in order to generate new paradigms. In fact, the educational field is also consolidating complex and numerous teams, and various research laboratories are using collaborative forms of writing (wiki, blogs, etc.) to process field data and to then produce reports and essays which inevitably have multiple signatures but a single voice. Such expres-sive modes assign equal merit to each component, and to the collective project a value superior to the sum of the individual interventions, which are no longer clearly distinguishable. Such method creates a true and proper community of research, along with, in the writing phase of scientific products, an online com-munity of writers which may also aid in overcoming the isolation of scholars committed to academic writing, in favor of the creativity and innovation of pro-posals (Gannon-Leary, Fontainha, Bent, 2011). A true and proper community of practice (Wenger, 1998; Wenger, McDermott, Snyder, 2002) that shares the do-minion of academic writing (Gannon-Leary, Fontainha, Bent, 2011, p. 456).

The two journals cited in the introduction represent new models of unani-mous works, which also modify the sense of attribution of authorial property. In fact, it is to no surprise that several of the authors involved in such pieces work at Harvard’s Berkman Center, the research center that developed and continues to sustain Creative Commons, the new forms of authors’ rights protection on the Web. Such logic amplifies the possibilities of research sharing and extends the power of contribution to non-authors. The forms of Web diffusion may also be facilitated by the adoption of Creative Commons, which provide a compromise be-tween the potential of the information society, in which data is ubiquitous and easily accessible, and the necessity of authorship protection for a scientific piece of work. These systems allow authors to freely grant some rights for their own

99

works (citation, distribution, enrichment and adaptation of the work), through a system that openly clarifies the conditions of use of each piece of work (e.g. al-ways declare the piece’s author, share the piece exclusively for non-commercial purposes, etc.).

Science, therefore, is becoming more and more public knowledge and re-sponding in diversified manners to the requests of readers, by exploiting the pos-sibilities offered by digital technologies for functional advantages or to massively pursue the value of the free sharing of knowledge. Under such circumstances, how do or should the forms and modes of scientific product evaluation change? What role do the bibliometric tools and peer review dynamics have in scientific evaluation?

4. THE SOCIAL IMPACT AND BIBLIOMETRIC EVALUATION

The transformation of the forms of scientific publishing as well as the chang-es in the concept of authorship inevitably entail some reflection on the currently adopted models of evaluation, in order to define the authority and prestige of a scientific work and of a scholar. The evaluation models change depending on the disciplinary contexts, yet there is a convergence in the attempt to measure the quality of research by assessing its productivity (the number of works published), its scientific impact (the number of citations per single piece of work) and its academic quality (the positioning of such works in more or less prestigious jour-nals), in order to determine the activity and scientific value of a scholar or of a university (McNally, 2010). Alongside such approaches more complex analyses are emerging, such as on the implicit elements of theoretic nature that are thus difficult to observe, like the concept of “influence” (influence function), which may in any case be included in the current bibliometric evaluations (Ravallion, Wag-staff, 2011). Nevertheless, even such consolidated evaluation systems generate disagreement, in relation to, among others, the forms of peer review: “issues in-clude: bias, courtesy, conflict of interest, redundant publication, honesty, trans-parency, and training” (Souder, 2011), the conformed dimension of the Impact Factor, and the economic model of the indexed journals.

In the process of evaluation, new models may include a plurality of informal channels for the diffusion of research results and raw scripts, such as work doc-uments and grey literature (Frandsen, 2009). However, the publications of scien-tific nature, striving toward the informal Web spaces, diffused by more flexible authors’ rights protection systems, and above all, collaborative, impose new met-rics. If on one hand solutions for the enhancement of “evaluation among equals” models are being studied, on the other hand the system’s necessity to succeed in obtaining the true innovational and scientific value of a piece of work is emerg-ing, in respect to not only its authority in the scientific atmosphere, but also and more importantly its heuristic fertility. Such demand appears much more urgent

100

if one observes how peer review risks becoming a slow, formal, conforming pro-cess, while the number of citations is insufficient to measure the real influence of the works and their impact on the inside and outside of academia (Priem et al., 2010). A distinguished example of the alternative impact measurements is the procedure known as “Altmetrics”, an inclusive term that condenses different approaches on how to combine social media with the more traditional scientific publication practices.

Altmetrics expand our view of what impact looks like, but also of what’s making the im-

pact. This matters because expressions of scholarship are becoming more diverse. Articles are increasingly joined by:

- The sharing of “raw science” like datasets, codes, and experimental designs. - Semantic publishing or “nano-publication,” where the citable unit is an argument or

passage rather than an entire article. - Widespread self-publishing via blogging, microblogging, and comments or annotations on

existing work. (Priem et al., 2010)

In addition to the traditional methods for impact measurement (“use”, “peer review” and citations), the system also considers the dynamics related to docu-ment filing, links, bookmarks and conversations of association. Therefore, the opening of a scientific discussion to the public appears inevitable, and upon such opening the distance between the academia and external users is notably re-duced. By now it is rather late to place the public review models alongside the pier review system: open evaluation channels on the Web, which also welcome experts and enthusiasts who do not belong to the restricted circle of the academic sector.

According to the logic of commentary and recommendation, “Public” access may attract interests and suggestions on the part of the business world, the pro-ductive system and, more generally speaking, the stakeholders who from various angles have competencies, expectations or proposals in regard to a theme or sci-entific discovery. Two rather diffused altmetric tools are the “Mendeley” (men-deley.com) and the “CiteULike” (citeulike.org), academic citation systems that allow authors to create and share repositories of scientific articles. And yet, even these systems are currently unable to assess the diffusion of complex editorial products (prototypes, interactive materials, multimedia scripts, etc.), which should be observed according to new parameters, for example, by also including the product/project’s impact on society and on the individual fields of activity for which such was conceived or created. For instance, scientists and scholars who work with interactive media may avoid the pompous remediation exercises (Bolter, Grusin, 1999) and the transcodification of their own research into a tex-tual form that is inconsistent with their performed studies. The evaluation would at times shift from the “product descriptions” to the products themselves, in-cluding their impact on the social and cultural, not just academic, contexts.

101

5. THE IMPLICATIONS OF CHANGE

New forms of scientific publication may also have a major impact on socio-cultural, editorial, economic, and of course academic levels. University research may test the narrative models that respond best to cultural needs and to ongoing changes in production formats and cultural fruition. Scientific works may be-come more readable and accessible without necessarily being impoverished or trivialized, but rather by modifying the representation of the research study which tends to appear quite distant from the social realities investigated by the same. A closer, more familiar form of science may also prove favorable to the processes of industrialization and the transfer of academic know how, with effects on a political-cultural and not just economic level. Moreover, from an editorial point of view, new production models could be tested in the framework of insti-tutional cooperation among the industries, academies and individuals of various capacities who are involved in the research. Such collaboration would witness changes in the economic models linked to the commercial consumption of scien-tific works. Market innovation, which takes off from the “open access” editorial movement, results as necessary in the current electronic publishing context. A rethinking of the economic models on the part of the publishing houses, in line with the general Web trends, which, as Carlo Antonelli points out in the journal Wired (November 2011), leaned first in the direction of valorizing niche consum-er products (Anderson, 2006), then toward the system of online resource sharing among users according to the logic of freeconomics (Anderson, 2009), and finally toward the consumer to business model (Anderson, 2012), in which consumers (who become makers) self-produce the objects they need.

It would appear that for the “open access” journals, the non-profit model is more economical and efficient than the profit-oriented model (Clarke, 2007). In fact, the dynamics of self-production amplify the possibilities of autonomous editorial production. Meanwhile, the editors haven’t significantly modified the commercial practices, despite the remarkable opportunities offered by digital technology and the transition from printing a journal to selling the subscription to the online version of the same product (Cope, Kalantzis, 2009). Also in the case of monographs the traditional business model is losing its sustainability, enough to provoke consideration for “open access” formulas similar to those used for journals (Ferwerda, 2010).

Furthermore, the deliberations related to new models of scientific production lead to a series of reflections concerning the role of the scholar and the universi-ty. The quantitative and qualitative assessments of an author or academic institu-tion’s prestige and impact are threatened by the inefficiencies of tools for calcula-tion, among other things. The epistemologies and ontologies are rapidly chang-ing in many scientific sectors influenced by the digital revolution, and just as sig-nificantly they are transforming the relationships established among work

102

groups, the forms of academic writing and the very language that is used to pro-duce and communicate science inside and outside of the universities.

If only one adjective could be used to summarize the tendential transfor-mation of academia, such would most likely be “distributed”. Distributed like the nature of massive diffusion fueled by contemporary technologies and spreadable media, as defined by Henry (Jenkins, Ford, Green, in print); distributed like the system of ties that formally and informally connects a scholar to social and pro-fessional networks; distributed like the narrative complexity that allows progress to express itself in various scientific sectors by way of potentially unlimited channels.

The physicality of academia is transformed literally into the elements long since constituent of its emblem and founding characters. Already foreshadowed in the last few years is the impact of digital revolution on the traditional notion of a library, which is nowadays associated as a physical collection of volumes and boundless digital archive journals. From a structural point of view, there is a transition from the conception centered around the physical location to a con-ception focused on service and function; in regard to the balance between the property of the container and the licensing of its contents, new protection roles and systems are being deliberated; as for the certification of the quality of such collections, one may imagine a renovation of dynamics, but that which under-goes change is the basic information unit, the book (Koehler, 2004).

The journal is becoming electronic, even when paired with the printed ver-sion of the same, thus permitting access from remote terminals at deferred times. The laboratory is transformed into pluridisciplinary territory for collaborative production, even from a distance, online interaction and participatory planning. It was once said that the physicality of academia goes beyond the walls of the university, both physically and symbolically.

In fact, more and more often scholars are approaching the informal digital social spaces, either to extract data from them or to entrust them with reports of their own work. Such is an example of double dynamics, according to which ac-ademia enters into the daily social spaces and communication tools liven up such spaces for sharing and comparison among scholars, thus destroying the borders between that which is inside and outside of academia, accelerating the timing and extending the spaces for reflection.

The general public is also more and more frequently in contact with scientific research, taking note of its data, information and knowledge. In fact, according to a recent survey (Davis, 2010), free access to scientific literature increases the percentage of read articles (measured by the number of downloads) and reaches a broader potential audience (number of visits), but has no substantial effects on the citation of articles. This means that the “open access” logic reaches not only the academic community but also the communities of practice composed of stu-dents, educators and researchers in the industrial field, who are thus provided

103

with new ways to “consume” scientific literature (Davis, 2010). The schools of thought structured in formal and informal communities, both physically and on-line, interact and either contrast each other or interbreed. The abilities of an in-dividual scholar, in addition to those tied to methodological knowledge, are now also expressed through the power of relational networks.

Perhaps the following is the central element of the ongoing transformation: the prestige of a single academic will be increasingly defined by the individual’s social capital30, set of relations, intellectual capacities, cognitive gifts and pos-sessed knowledge. In short, the macroscopic effects of such changes are per-ceived in two principal directions:

- The figure of the scholar as an “opinion leader”, a public intellectual who welcomes requests and diffuses scientific research results in open environments. A scholar who analyzes reality, becomes a social interpreter in the truest sense of the word, and processes syntheses, instructions and models in scientific venues. A public service figure who shares the knowledge intended as common property and is able to attract funding for real issues and openly read and describe reality.

In order to assign “value” to such figure the evaluation criteria will change. For example, a leading priority will be the investigation of the impact that the research and scientific work results have in a context in which the problems and have been detected and resolved, possibly according to participatory models. Or rather, the ability to aggregate opinion and to gather “followers” around specific topics, will be measured. An important proficiency of the academic individual will also be the management and exploitation of online communication possibili-ties for the collection and processing of data, the diffusion of research results and the efficacy of scientific reports.

The remediation of formulas and forms of academic writing, through the co-existence of “old” an “new” media aided by traditional and innovative editorial forms. In the near future, mediated and immediated, or “disintermediated”, pro-cesses will be joined, reducing the limits of access to knowledge for specialists. Such change will undoubtedly entail some reflection on the formal and linguistic characteristics with which information is diffused, and most likely generate an overlap between the figure of the scientific popularizer and that of the scientist. A setting that will create different categories in order to assess the scientific im-pact of the work, such as the level of diffusion among stakeholders, the degree of interactivity of a scientific script and the relative possibilities of accessing and reading its various textual and extratextual apparatuses; innovation, not only in

30 Social capital refers to the entirety of social relations available to an individual at a given

moment. The relationship capital enables the sharing of cognitive resources (e.g. information), or normative resources (e.g. trust), which facilitate the achievement of certain goals (Trigilia, 2001). In this case the expression has been extended to the relationships mediated by technological instru-ments, which are generated in the social networking environments or in the online systems of syn-chronous and asynchronous communication.

104

the theoretic framework but also (if relevant) in expressive forms. A system that will allow scientific products to be perceived as “foreign” or different in respect to those of another type of writing. Moreover, a system that will aid in prevent-ing the isolation of academic forms to which scientific materials have been hith-erto bound.

Such changes will also require transformed models for economic research support and will permit the involvement of economic actors, not only during the initial research phase but also in the systems for product and intermediary script development.

The goal to be pursued in the immediate future is the achievement of scien-tific research without walls or borders, where individual and group work will co-emerge, beyond affiliation with a specific structure. A system in which interna-tional experiences will be truly comparable and create visible synergies.

In the near future, research evaluation will probably be capable of detecting the level of participation and sharing of a scientific result, but also qualitative parameters such as wellbeing and satisfaction will be offered to the community. New scientometric tools and communication technologies will bring life to an improved social conception of scientific research.

REFERENCES

ANDERSON C. (2006). The Long Tail: Why the Future of Business Is Selling Less of More. New York: Hyperion.

ANDERSON C. (2009). Free: The Future of a Radical Price. New York: Hyperion. ANDERSON C. (2012). Makers: The New Industrial Revolution. New York: Crown

Business. BERRY D. M. (2011). The Computational Turn: Thinking about the Digital Humani-

ties. Culture Machine, 12, pp. 1-22. BLACK E.W. (2008). Wikipedia and academic peer review: Wikipedia as a recog-

nised medium for scholarly publication? Online Information Review, 32 (1), pp. 73-88.

BOLTER J.D., GRUSIN R. (1999). Remediation. Understanding New Media. Cambridge (MA): The MIT Press.

BUDAPEST OPEN ACCESS INITIATIVE (2002). Declaration after the Open Socie-ty Institute meeting in Budapest December 1-2 2001. Budapest: Open Society Institute, http://www.soros.org/openaccess/read.shtml

BURTON G. (2009). The open scholar. Academic Evolution blog, http:// www.academicevolution.com/2009/08/the-open-scholar.html

CAVALLI N. (2008). La rivoluzione digitale dell’editoria scientifica. In N. Cavalli, A. Solidoro. Oltre il libro elettronico. Il futuro dell’editoria libraria. Milano: Guerini e Associati.

105

CHEN C., SUN K., WU G., TANG Q., QIN J., CHIU K., FU Y., WANG X., LIU J. (2009). The impact of internet resources on scholarly communication: A cita-tion analysis. Scientometrics, 81 (2), pp. 459-474.

CLARKE R. (2007). The cost profiles of alternative approaches to journal pub-lishing, First Monday, 12 (12), http://www.uic.edu/htbin/cgiwrap/ bin/ojs/index.php/fm/article/viewArticle/2048/1906.

COPE B., KALANTZIS M. (2009). Signs of epistemic disruption: Transformations in the knowledge system of the academic journal. First Monday, 14 (4).

DAVIS P.M. (2010). Does Open Access Lead to Increased Readership and Cita-tions? A Randomized Controlled Trial of Articles Published in APS Journals. The Physiologist, 53 (6), http://www.the-aps.org/MayCC/publications/tphys/ 2010html/December/openaccess.htm

EISENSTEIN E. (2005). The printing revolution in early modern Europe. Cambridge University Press: Cambridge.

FERWERDA E. (2010). Open Access monographic publishing in the humanities. Information Services & Use, 30, IOS Press, pp. 135-141.

FRANDSEN T.F. (2009). The effects of open access on un-published documents: A case study of economics working papers. Journal of Informetrics, 3, pp. 124-133.

GANNON-LEARY P., FONTAINHA E., BENT M. (2011). The loneliness of the long distance researcher. Library Hi Tech, 29 (3), pp. 455-469.

JENKINS H., FORD S., GREEN J. (in stampa). Spreadable Media. Creating Value and Meaning in a Networked Culture. New York: New York University Press.

KOEHLER W. (2004). Digital libraries, digital containers, “library patrons”, and visions for the future. The Electronic Library, 22 (5), pp. 401-407.

LAZER D., PENTLAND A., ADAMIC L., ARAL S., BARABÁSI A.-L., BREWER D., CHRISTAKIS N., CONTRACTOR N., FOWLER J., GUTMANN M., JEBARA T., KING G., MACY M., ROY D., VAN ALSTYNE M. (2009). Computational Social Science. Science 323, pp. 721-723.

LONGO M., MAGNOLO S. (2009). The Author and Authorship in the Internet Society: New Perspectives for Scientific Communication. Current Sociology, 57, pp. 829-850.

MCMAHON B. (2010). Interactive publications and the record of science. ICSTI 2010 Winter Workshop, Information Services & Use, 30, pp. 1-16.

MCNALLY G.P. (2010). Scholarly productivity, impact, and quality among Aca-demic Psychologists at Group of Eight Universities. Australian Journal of Psy-chology, 62 (4), pp. 204-215.

MINISTERO DELL’ISTRUZIONE, DELL’UNIVERSITA E DELLA RICERCA COMITA-TO DEGLI ESPERTI PER LA POLITICA DELLA RICERCA (CEPR). Criteri e pa-rametri di valutazione della produttivita scientifica. Documento sottoposto al Ministro il 2 maggio 2011.

PAPARELLA N. (1978). Prospettive dell’epistemologia genetica, in C. Celle­Rier, S. Pa-pert, G. Voyat, Cibernetica ed epistemologia. Lecce: Messapica.

106

PEARCE N., WELLER M., SCANLON E., KINSLEY S. (2011). Digital scholarship considered: how new technologies could transform academic work., In educa-tion, 16 (1).

PRIEM J., TARABORELLI D., GROTH P., NEYLON C. (2010). Altmetrics: A manife-sto, http://altmetrics.org/manifesto.

RAVALLION M., WAGSTAFF A. (2011). On measuring scholarly influence by cita-tions. Scientometrics, 88, pp. 321-337.

SOUDER L. (2011). The ethics of scholarly peer review: a review of the literature. Learned Publishing, 24 (1), pp. 55-74.

SUBER P. (2004). Open access overview, http://www.earlham.edu/~peters/fos/ overview.htm.

TRIGILIA C., (2001). Capitale sociale e sviluppo locale. In A. Bagnasco, F. Piselli, A. Pizzorno, C. Trigilia. Il capitale sociale-Istruzioni per l’uso. Bologna: il Mulino.

WELLER M. (2011). The digital scholar. How technology is transforming academic practice. London: Bloomsbury Academic. http://www.bloomsburyacademic.com/ view/DigitalScholar_9781849666275/acknowledgements-ba-9781849666275-0000023.xml

WENGER E. (1998). Communities of Practice: Learning, Meaning and Identity. Cam-bridge: Cambridge University Press.

WENGER E., MCDERMOTT R.A., SNYDER W. (2002). Cultivating Communities of Practice: A Guide to Managing Knowledge. Boston, MA: Harvard Business School Press.

XIAO L., ASKIN N. (2012). Wikipedia for academic publishing: advantages and challenges. Online Information Review, 36 (3), pp. 359-373.

107

Which assessment counts? Questions and reflections regarding the Italian debate

about assessment of educational research

Gabriella Aleandri - Luca Girotti La valutazione della ricerca, della ricerca pedagogica e educativa, inserita in quella del sistema universitario nel suo complesso, rappresenta un’occasione significativa per un proficuo dibattito epistemologico e metodologico all’interno della comunità scientifica della pedagogia italiana. In questa prospettiva, il contributo pone in evidenza alcuni temi/problemi sui quali appare opportuno riflettere come ricercatori (e docenti) di area pedagogica al fine di solleci-tare il confronto circa criteri, metodi, strumenti della costruzione del sapere pedagogico come conoscenza scienti-fica che propone auto-valutazione e valutazione.

The question of evaluation of educational research is an important opportunity to conduct epistemological and methodological reflections. This paper will focus on one of the most “significant” issue: reflect as teachers and re-searchers in education about research evaluation - also and especially in reference to scientific production, aca-demic, professional journals - means questioning, as individuals and as community, about the criteria, meth-ods, rules of pedagogical knowledge and its construction, audit, validity, i.e. epistemological and methodological problems to suggest self-assessment and assessment.

Keywords: assessment, university, research. Parole chiave: valutazione, università, ricerca. Articolo ricevuto: 16 luglio 2012 Versione finale: 26 luglio 2012

Nowadays, in Italy, the university system has undergone - in its different as-pects - some meaningful assessment procedures; in particular, the evaluation of research products and enabling scientific at national level. These procedures have enlivened the debate within (and across too) the various scientific communities, but also on the national press and media.

The question of evaluation of research has shown very complex for the hu-man sciences, including the absence of a common tradition and a shared culture of evaluation in these fields. Of course, this period was an important opportunity – for many, though not all – to conduct epistemological and methodological re-flections. At the same time, some concerns have emerged, among which:

a) the real risk of separation - once again - of scientific and humanistic cul-tures, distincted by a rigid wall also fixed by the regulations;

b) the actual danger that – for obvious reasons of academy – the assessment was directed more by the need of “politically correct” than by the desire to re-ward the quality of research;

c) the effective temptation to focus exclusively on enhancing – a “scientific fashion” – the external evaluation, forgetting that the first (perhaps the main, mature and responsible) evaluation is the self-assessment.

108

The following contribution won’t express judgments about it, but it will high-light the need and opportunity to deal with, even for the evaluation of research and universities, the issue/problem of meta-evaluation among others. Our paper will offer some thoughts regarding the assessment of pedagogical and education-al research to request analysis/evaluation critical/reflective the process/system of evaluation of research in education.

The concerns are epistemological and methodological, not political or aca-demic. In this perspective it is appropriate to clarify some misconceptions in the current debate, even in the educational field. First, we have to remember that the issue of research evaluation is not limited in the declaration of acceptance or re-jection of this or that position, for or against the measures adopted by National Agency for the Evaluation of Universities and Research Institutes (ANVUR). Secondly, it is not to support the contention for the affirmation of the perfect method and/or improved methodology for evaluating scientific research, so as to have an assessment system without flaws and mistakes. Thirdly, it is not rea-sonable and not useful for educational research accommodate reasoning – ex-plicitly or implicitly – tend to support the impossibility of assessing educational research and its quality without being – the end – “enslaved” by the logic of sci-ence positive or “challenged” (designed in the triple meaning of chal-lenged/disputed/changed) by the requirements of the hard sciences. To be truthful, at the same time, it is naive to think that the overall climate is free from the “mania” of making ratings, the logic of investigating to publish, the tempta-tion to evaluate research according to the “audience” (almost the same way as the index of customer satisfaction and the ratings of TV programs) in the aca-demic community.

So what? How do the debate? What matters should be dealt? Putting the fo-cus on the real issue: reflect as teachers and researchers in education about re-search evaluation – also and especially in reference to scientific production, aca-demic, professional journals – means questioning, as individuals and as commu-nity, about the criteria, methods, rules of pedagogical knowledge and its con-struction, audit, validity, i.e. epistemological and methodological problems.

In this article, the focus is – well – to put on some questions which aim to stress the debate on the evaluation of research in relation to the challenges and perspectives of educational research, in the current social and cultural context. In fact, this debate can be an opportunity to validate a new “strictness” in the peda-gogical studies and research, together with an active and influential role of peda-gogical communities on scientific.

A first question to “chew on” is: what does “evaluate” mean? and together: what aspects are evaluated (or need to be evaluated) in research? About this, N. Neirotti highlights the fact that «from an etymological point of view, “to evalu-ate” means “to give value to”, in other words, to set a value to something or somebody. Consequently, to evaluate implies forming an opinion from which the

109

object being evaluated is located at some point in a continuum which has two extremes: more/less; a lot/a little; near/far; good/bad; adequate/inadequate; achieved/unachieved, etc. In every evaluation there is a “model” (a situation, an expected or desired condition of what is being evaluated) and a “referred object” (the object to be evaluated; in this case, the knowledge produced through re-search). The model is usually the objective presented in the research project or the fulfillment of certain standards prevailing in the evaluation systems». He also recalls that «the scientific research evaluation goes through a number of stages in harmony with those stages of research: (a) reporting the social demand or neces-sity, (b) designing research, (c) producing knowledge, (d) transferring and com-municating, (e) using the knowledge produced. Generally speaking, evaluation processes do not follow all these stages of research, but they focus on two of them in particular: firstly, it focuses on the design of research projects, subject to approval based on evaluation tests that are carried out in the academic environ-ment itself; secondly, it focuses on the research production, whether it deals with the evaluation of development and findings of the projects or a research system (university or institute). In a more backward level, we can find those evaluations of transfer and communication of the knowledge produced. In all other stages, research evaluation hardly exists: reporting the social demand or necessity and using the knowledge generated through evaluations» (N. Neirotti, 2012).

These observations suggest some questions for educational research: what is/are or should be the “pedagogical model/s” (i.e. a situation, an expected or desired condition of what is being evaluated in education)? what is or should be (are?!) a “referred object” in educational studies/research (the pedagogical object to be evaluated; in this case, the pedagogical knowledge produced through re-search)? These are – obviously – questions to stimulate deeper discussions and reflections about: epistemological and methodological peculiarities of educational research are discussed for a long time and with significant results, although ques-tions remain “suspended” as to the consistency, adequacy, validity of research methods. Regarding the evaluation of research – the subject of this article – the “provocations” mentioned highlight whether it is possible to judge the educa-tional research without clarifying the reference to the educational values, explain-ing the nature of change in education, declaring publicly the criteria for recogniz-ing a scientific job well done, the value added for educational practice, sustaina-bility for the educational system. In summary, if there is a pedagogical episte-mology and methodology there should also be an epistemology and methodolo-gy of evaluation of educational research, which are really and actually consistent with them. This is a “risky” topic, but with many potential benefits for educa-tional studies, if they will be put to good use.

A second issue to be addressed relates to the complexity of the elements in-volved in the evaluation of research at different levels: the researcher, the univer-sity system, the scientific community on the one hand; on the other hand, the

110

dissemination of knowledge, the research funding, the political and cultural in-fluences. To these elements, some typical aspects of the present – and, increas-ingly, of the future – of research in education should be added: interdisciplinari-ty, internationalization, Information and Communication Technology. The discussions about this issue are very “sensible”, for Italian pedagogy, interwoven into desires for improvements and fears of compromises: the wish to include research in “in-ternational space” and the fear of becoming submissives of a certain type of in-ternational research; the need for different approaches to investigate the subject of research (the educational reality) and the danger of adopting methods and tools not consistent with the pedagogical epistemology; the impossibility of avoiding the problem of relevance, validity and reliability of any educational re-search as scientific research and the risk of importing or sticking on the criteria of other disciplines that public opinion judges really scientific.

About these questions, it may be useful to reflect on a recent document from the European Commission: “Assessing Europe’s University-Based Research” (2010). In this international report, it is argued that «“Good practice” suggests that research assessment should

1. Combine indicator‐based quantitative data with qualitative information, for example information based on expert peer assessment. This enables the quantita-tive information to be tested and validated within the context and purpose of the assessment, with appropriate reference to the discipline and disciplinary practice.

2. Recognise important differences across research disciplines. Peer‐reviewed journal articles are the primary publication channel for practically all disciplines, but the complexity of knowledge has led to a diverse range of output formats and outlets.

3. Include assessment of impact and benefits. Because research does not exist in isolation, assessment should include indicators which are capable of capturing and recognising this. This differs for different disciplines. Stakeholder esteem indicators can show how research is viewed by the wider community.

4. Integrate self‐evaluation as a useful way to include the research community pro‐actively in assessing their own contribution, but also as a means of placing the research process – which includes the organization, management, and devel-opments over time – into context and related to institutional mission». The re-port suggests a “Multidimensional Research Assessment Matrix”: it is «a meth-odology which can help make sense out of this complexity» (table 1).

The issue will become even more complex when we’ll consider the relation-ship between research and practice. If the pedagogical epistemology factor is the theory-practice nexus, it is possible (and founded!) avoid evaluating educational research in relation to its ability to provide operational guidance to the practi-tioners (teachers, educators, trainers, etc.). A particular model of relationship between research and practice is – without doubt – represented by the “Roadmap for the expanded evidence-based education model” (Wing Institute).

111

This model (picture 1) includes four critical components: «efficacy research (what works?) establishing promising interventions through rigorous, high quality re-search; effectiveness research (when does it work?) identifying through research the minimum conditions for interventions to be successful (student characteristics, setting features, resource demands, social contingencies); implementation (how do we make it work?) addressing all relevant variables so an intervention will be suc-cessfully adopted and sustained in a particular setting; monitoring (is it working?) establishing the effectiveness of interventions through on-going evaluation» (http://winginstitute.org/Roadmap/Wing-Institute-Roadmap/).

Table 1

112

Picture 1

A third issue - of a general nature - worthy of being brought to light concerns

the potential efficacy of research evaluation to improve the quality of research. This question is only apparently a rhetorical question: indeed, it is naive to think that the way in which educational research is evaluated does not affect the devel-opment of pedagogy as a science and not have consequences on the use of dif-ferent approaches, methods and tools. For this reason, for example, there is a particular critical attention about the introduction of bibliometric indexes in the evaluation of educational research. Paraphrasing the title of a famous paper, edu-cational research: which assessment counts? Therefore, the question is time, manner, factor of research evaluation. The “essential” nature of educational re-search requires an evaluation system of research that develops over time (ex-ante, in itinere, ex-post) and know how to integrate internal and external evaluation. In this perspective, the assessment of research is really to support the design and monitoring of research, thus extending beyond the “measurement of results”.

The current situation is evident: «assessing the quality of educational research brings to the fore a number of issues. One issue that emerges when assessing any form of research is defining what counts as research. Another issue involves who the research is intended for - the users, audience or stakeholders? A further issue is the form of measurement adopted, who conducts the measurement and the assessment, and what the results are used for. Measuring research quality is com-

113

plex and involves an understanding of the history of science, the development of information and web technologies, the increasing importance of the knowledge-based economy, the rise of global science, and the corresponding increasing im-perative felt by higher education institutions and governments to find ways of measuring and benchmarking research quality both in national and cross-national terms» (T. Besley, 2009).

What is the meaning of a system of evaluation of research if it is not oriented to improving the scientific research? This is generally true, but it is even more important for educational research: in education, research itself is changing. Therefore, the assessment is an intrinsic requirement of the research and the re-searcher. The evaluation system of educational research should be/become a “design experiment”, i.e. an evaluation system that helps the researcher to as-sume the responsibility to assess their research and the scientific community to clarify which aspects can be improved (and which are “dead ends”!) and to pro-duce useful improvement, further influencing decisions regarding the (re-)design of research.

In educational research, we suggest that, in finding the above reflections, a fundamental issue is and will continue to be, in conclusion, the self-evaluation as professional ethics of the researcher and the teacher. Educational research can develop and improve not only for external constraints, certainly appropriate, but primarily because of requirements coming from nature and goal of the activity, especially when it is defined, as such, as pedagogical-educational.

REFERENCES

ASCENZI A. (2012). Il futuro della ricerca pedagogica tra internazionalizzazione e nuove forme di valutazione. In AA.VV., Il futuro della ricerca pedagogica e la sua valutazione. Roma: Armando Editore.

BACCINI A. (2010). Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometri-ci. Bologna: Il Mulino.

BARBIERI E. (Ed.). (2011). La ricerca universitaria e la sua valutazione. Rimini: Guar-aldi.

BESLEY T. (Ed.). (2009). Assessing the Quality of Educational Research in Higher Education. International Perspectives. Boston: Sense Publishers. (https://www.google.it/ url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CG8QFjAA&url=https%3A%2F%2Fwww.sensepublishers.com%2Ffiles%2F9789087907082PR.pdf&ei=t_QVUNroGqSl4gTP9YG4Ag&usg=AFQjCNG-lTELxMGimBLN3jwx-Hli6Iq6ZA&sig2=yzsZ-G4lrRtuZngeHVCcVQ&cad=rja).

BOURDIEU P. (2003). Il mestiere di scienziato. Corso al College de France 2000-2001. Milano: Feltrinelli.

114

DAMIANO E. (2012). Diventare quel che si misura? Indagine sull’ “internaziona-lizzazione” della ricerca pedagogica. In AA.VV., Il futuro della ricerca pedagogica e la sua valutazione, Roma: Armando Editore.

DOMENICI G. (2012). Valutazione quantitativa e qualitativa (della ricerca). In AA.VV., Il futuro della ricerca pedagogica e la sua valutazione. Roma: Armando Editore.

DOMENICI G. (2009). Ragioni e strumenti della valutazione. Napoili: Tecnodid. EUROPEAN COMMISSION – DIRECTORATE GENERAL FOR RESEARCH (ED.),

(2010), Assessing Europe’s University-Based Research, European Union, Bruxelles FEYNMAN R.P. (2002). Il piacere di scoprire. Milano: Adelphi. HARZING, A.W.K. (2010). The Publish or Perish Book: Your guide to effective and re-

sponsible citation analysis. Melbourne: Tarma Software Research. HIRSCH, J. E. (2005). An index to quantify an individual’s scientific research out-

put, http://arxiv.org/pdf/physics/0508025v5. JOINT COMMITTEE ON QUANTITATIVE ASSESSMENT OF RESEARCH. (2008). Cita-

tion Statistics. A report from the International Mathematical Union (IMU) in cooperation with the International Council of industrial and Applied Mathe-matics (ICIAM) and the Institute of Mathematical Statistics (IMS), http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf

LANEVE C., GEMMA C. (Eds). (2006). Pedagogia Ricerca Valutazione. Lecce: Pensa. LATOUR B. (1998). La scienza in azione. Introduzione alla sociologia della scienza. Tori-

no: Edizioni di Comunità. MCMILLAN J., Wergin J.F. (eds), (2009), Understanding and Evaluating Educational

Research (2nd Edition). Pearson: San Antonio. MICCOLI P., FABRIS A. (a cura di), (2012) Valutare la ricerca? Capire, applicare, difen-

dersi. Pisa: Edizioni ETS. MORTARI L. (2012). Per una valutazione di qualità della ricerca. In AA.VV. Il

futuro della ricerca pedagogica e la sua valutazione. Roma: Armando Editore. NEIROTTI N.(2012). The political dimension of research evaluation. In AA.VV.,

Il futuro della ricerca pedagogica e la sua valutazione. Roma: Armando Editore. PERLA L. (Ed.) (2012). Le scritture professionali. Metodi per la formazione. Bari: Progedit. RIVOLTELLA P.C. (2012). Paradigmi, metodi, tecnologie per la ricerca educativa. In AA.VV.,

Il futuro della ricerca pedagogica e la sua valutazione. Roma: Armando Editore. UNIVERSITÀ DEGLI STUDI DI BOLOGNA. (2008). Evaluation in the Human Sciences:

Towards a Common European Policy, http://www2.lingue.unibo.it/ evaluationin-thehumanities/materials.htm

INTERSEZIONI

117

La evaluación de la investigación en España. Objetivos, características y criterios de evaluación de la Comisión Nacional Evaluadora

de la Actividad Investigadora (CNEAI) y de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA)

Mercè Morey*, Rubén Comas*, Massimiliano Fiorucci*

En las últimas décadas, la evaluación de la investigación en España se ha convertido en un objetivo prioritario para garantizar el desarrollo científico a través de las universidades. Con este fin, se han ido creando diferentes comisiones y agencias dedicadas a la evaluación de la capacidad investigadora de los docentes universitarios, a través de sistemas de valoración basados en criterios internacionales. El objetivo central de este artículo es detallar las características definidoras de dos de las principales entidades dedicadas a la evaluación de la investigación en España (la Comisión Nacional Evaluadora de la Actividad Investigadora –CNEAI– y la Agencia Nacional de Evaluación de la Calidad y Acreditación –ANECA–) y plantear algunas conclusiones generales que se extraen de la aplicación de dichos criterios de evaluación en la producción científica de los docentes.

In recent decades, the evaluation of research in Spain has become a priority to ensure the scientific development through universities. With this finality, various commit-tees and agencies have been created; those bodies are dedicated to the evaluation of the research capacity of university teachers and researchers through appraisal systems based on international criteria. The aim of this paper is to describe the main characteristics of two major entities involved in the evaluation of research in Spain (the National Commission of Evaluation of Research Activity -CNEAI-, and the National Agency for Quality Assessment and Accreditation - ANECA-) and pose some general conclusions extracted from the application of those criteria in the scientific evaluation of Spanish teachers and researchers.

Palabras clave: evaluación de la investigación, criterios de evaluación, Educación Superior, producción científica. Key words: evaluation of research, evaluation criteria, High Education, scientific contributions. Articolo ricevuto: 20 giugno 2012 Versione finale: 2 luglio 2012

1. INTRODUCCIÓN

En España, tal y como ocurre en el resto de países europeos, la Universidad se nutre de una realidad multidimensional basada en la formación, la investigación, la innovación y la divulgación del conocimiento. De hecho, y tal y como asegura la Fundación Española para la Ciencia y la Tecnología (FECYT, 2011) el sector universitario es el responsable del 66,13% de la producción científica española. En consecuencia, durante las últimas décadas, la evaluación de la producción científica universitaria se ha convertido en un elemento

* L’intero lavoro di ricerca è frutto di un’elaborazione collettiva dei tre autori: Mercè Morey è

autrice del paragrafo 3, Rubén Comas è autore del paragrafo 2 e Massimiliano Fiorucci è autore del paragrafo 1 e del paragrafo conclusivo 4.

118

fundamental para garantizar la calidad investigadora y el potencial desarrollo tecnológico del país en todas las áreas de conocimiento. Para ello, distintos organismos oficiales, tanto a nivel estatal como autonómico, son los encargados de establecer los parámetros y criterios de calidad mínimos a superar por parte de las instituciones e investigadores universitarios.

Esta inquietud por la evaluación de la investigación en el ámbito de la Educación Superior en España, de hecho, se ha traducido en numerosas publicaciones dedicadas al análisis de los diferentes criterios utilizados, en las cuales se ha dejado constancia de la necesidad de introducir herramientas de gestión y seguimiento de la actividad investigadora de las Universidades (Buela-Casal, Bermúdez, Sierra, Quevedo-Blasco & Castro, 2010; Sanz, De Filippo, García & Efraín-García, 2011), a la vez que se ha abordado la necesidad, desde diferentes áreas de conocimiento, de aumentar la producción científica (y por tanto la calidad investigadora) basándose en los criterios de evaluación establecidos (como en el caso, por ejemplo, de Periodismo y Comunicación Audiovisual, evidenciado por López-Berna, Papí-Gálvez & Martín-Llaguno, 2011).

Si bien es cierto que las críticas al sistema de evaluación imperante en la actualidad, y basado fundamentalmente en los índices de impacto de las publicaciones, no sólo no se han hecho esperar sino que ya surgieron hace más de una década y en diferentes contextos internacionales (prueba de ello son algunos trabajos como los de Seglen, 1997; Council of Science Editors, 2000; Cronin, 2001; Espinet, 2006; Jiménez-Contreras, Torres-Salinas, Ruiz-Pérez & Delgado (2010), entre otros.

Sin embargo, más allá de los posicionamientos a favor o en contra de los sistemas imperantes de evaluación de la investigación, también son numerosos los trabajos de recopilación, síntesis y exposición de algunas de las herramientas disponibles en nuestro país para llevar a cabo la valoración de la capacidad investigadora. Algunos buenos ejemplos de dichos trabajos son los de Ortega (2003); Jiménez-Contreras, De Moya & Delgado (2003); Pulido (2005); Fernández, Pérez & Merchán (2006); Peset (2008); Ruiz-Pérez, Delgado & Jiménez-Contreras (2010) etc.

En este artículo presentamos y analizamos, fundamentalmente, las dos principales entidades públicas dedicadas a la evaluación de la capacidad y producción investigadoras en el ámbito universitario.

Por una parte, la Comisión Nacional Evaluadora de la Actividad Investigadora (comúnmente más conocida bajo el acrónimo de CNEAI) y, por otra, aunque más centrada en la acreditación para el acceso a las distintas figuras docentes universitarias (pero basándose en rigurososindicadores de calidad investigadora, como pueden ser los índices de impacto de las publicaciones) la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA).

119

2. LA COMISIÓN NACIONAL EVALUADORA DE LA ACTIVIDAD INVESTIGADORA (CNEAI)

En España, a partir de la Ley Orgánica 11/1983 de Reforma Universitaria, se establece que los Estatutos de la Universidad dispondrán los procedimientos para la realización de la evaluación periódica del rendimiento docente y científico del profesorado. Así pues, y a través del Real Decreto 1086/1989 sobre Retribuciones del Profesorado Universitario, se determina el llamado “Complemento de Productividad” (conocido también como “tramo de investigación” o, más comúnmente, como “sexenio”) por el cual el profesorado universitario puede someter su actividad investigadora, llevada a cabo durante un periodo de 6 años, a evaluación. También en este Real Decreto se especifica que dicha evaluación de la labor investigadora será llevada a cabo por parte de una comisión nacional, integrada por representantes del entonces Ministerio de Educación y Ciencia (actualmente Ministerio de Educación, Cultura y Deporte, del cual depende la Secretaría de Estado de Educación, Formación Profesional y Universidades) y de las Comunidades Autónomas con competencias en materia universitaria. Finalmente, se especifica que la consecución de la evaluación positiva por parte de dicha comisión nacional supondrá para el profesor la obtención de una cuantía económica establecida a modo de incentivo para el desarrollo y potenciación de la actividad investigadora.

Es a partir del establecimiento de dicha necesidad de evaluación de la actividad investigadora por parte de una comisión nacional cuando se constituye la Comisión Nacional Evaluadora de la Actividad Investigadora del Profesorado Universitario, presidida por el Director General de Política Universitaria y en la que actúan como vocales, por una parte, doce representantes del Ministerio de Educación, designados por el Secretario General de Universidades, y por otra, diecisiete representantes designados por cada una de las Comunidades Autónomas.

Dicha Comisión lleva a cabo, anualmente, la evaluación de la actividad investigadora del profesorado universitario que así lo solicite (así como de los profesionales de las escalas científicas del Consejo Superior de Investigaciones Científicas –CSIC–) por periodos de seis años. La obtención de una valoración positiva de su actividad investigadora por parte del profesorado para dichos periodos supone la consecución de un complemento de productividad a modo de incentivo para, de esta manera, potenciar el trabajo investigador y una mejor difusión tanto a nivel nacional como internacional.

De hecho, la Comisión Nacional Evaluadora de la Actividad Investigadora lleva a cabo su misión en función de once campos científicos (debiéndose adscribir a uno en particular el profesorado que desee ser evaluado):

1. Matemáticas y Física 2. Química

120

3. Biología Celular y Molecular 4. Ciencias Biomédicas 5. Ciencias de la Naturaleza 6. Ingenierías y Arquitectura

6.1. Tecnologías Mecánicas y de la Producción 6.2. Ingenierías de la Comunicación, Computación y Electrónica 6.3. Arquitectura, Ingeniería Civil, Construcción y Urbanismo

7. Ciencias Sociales, Políticas, del Comportamiento y de la Educación 8. Ciencias Económicas y Empresariales 9. Derecho y Jurisprudencia 10. Historia y Expresión Artística 11. Filosofía, Filología y Lingüística Independientemente del área de conocimiento en la que se adscriba el

solicitante, para la evaluación de la actividad investigadora de éste, la Comisión Nacional Evaluadora de la Actividad Investigadora aplica los criterios generales de evaluación establecidos en la Orden de 2 de diciembre de 1994 y en la Resolución de la Secretaría de Estado de Universidades e Investigación de 5 de diciembre de 1994, por los cuales se valorará la contribución al progreso del conocimiento, la innovación y la creatividad de las aportaciones, a la vez que se primarán los trabajos formalmente científicos o innovadores frente a los puramente descriptivos. Además, se establece que las aportaciones serán clasificadas como ordinarias o extraordinarias, considerándose como tales:

a) Ordinarias: - Libros, capítulos de libros, prólogos, introducciones y anotaciones a textos

de reconocido valor científico en su área de conocimiento. - Artículos de valía científica en revistas de reconocido prestigio en su

ámbito. - Patentes, o modelos de utilidad, de importancia económica demostrable.

b) Extraordinarias: - Informes, estudios y dictámenes. - Trabajos técnicos o artísticos. - Participación relevante en exposiciones de prestigio, excavaciones

arqueológicas o catalogaciones. - Dirección de tesis doctorales de méritos excepcionales. - Comunicaciones a congresos, como excepción.

Sin embargo, también debe tenerse en cuenta que, a partir de dichos criterios generales, para cada área de conocimiento, y siguiendo la Resolución de 23 de noviembre de 2011, se establecen los criterios específicos para cada una de dichas áreas, considerándose preferentemente las aportaciones que sean artículos en revistas de reconocida valía, y aceptándose como tales (a nivel general y fundamentalmente) las que ocupen posiciones relevantes en los listados por

121

ámbitos científicos en el Subject Category Listing del Journal Citation Reports del Science Citation Index (Institute for Scientific Information –ISI–). Igualmente, en algunas áreas de conocimiento también se considerarán los artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales (ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC, etc.). Por otra parte, en el caso de los libros y capítulos de libros, se tendrán en cuenta el número de citas recibidas, el prestigio de la editorial, los editores, la colección en la que se publica la obra, las reseñas en las revistas científicas especializadas, así como las traducciones de la propia obra a otras lenguas.

3. LA AGENCIA NACIONAL DE EVALUACIÓN DE LA CALIDAD Y ACREDITACIÓN (ANECA)

El 19 de julio de 2002, por acuerdo de Consejo de Ministros, se crea la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). La principal finalidad de esta Fundación es el aporte de garantía externa de calidad al sistema universitario y contribuir, así, a su constante mejora, lo que se traduce, entre otras funciones, en potenciar la calidad de la actividad docente, investigadora y de gestión de las universidades.

De cara a llevar a cabo su actividad (de evaluación, certificación y acreditación) y con el objetivo de integrar el sistema español en el Espacio Europeo de Educación Superior, la ANECA desarrolla distintos programas; por una parte, los dedicados a la evaluación de enseñanzas e instituciones de Educación Superior y, por otra, los centrados en la evaluación del propio profesorado de dichas instituciones.

Dada la naturaleza del presente artículo, nos centraremos únicamente en las principales características definitorias de los Programas dedicados a la evaluación del profesorado a partir de criterios de investigación, por lo que, a continuación, serán presentados el Programa de Acreditación Nacional ACADEMIA y el Programa para la Contratación (PEP), dejando a un lado el resto de programas de evaluación desarrollados31.

31 Aunque no puedan ser presentados en profundidad, cabe tener en cuenta el resto de

Programas desarrollados por la ANECA para contar con una perspectiva más global de la tarea que está realizando actualmente esta Fundación. Los Programas de evaluación de enseñanzas e instituciones son VERIFICA (por el cual se evalúan las propuestas de los planes de estudio diseñados por las distintas universidades), MONITOR (por el cual se realiza el seguimiento de los programas ya verificados hasta que se presentan de nuevo para renovar su acreditación), AUDIT (dirigido a los centros universitarios con la finalidad de ofrecer orientación en el establecimiento de sistemas de garantía interna de calidad) y MENCIÓN (a través del cual se evalúa a los programas de doctorado que optan a una Mención hacia la Excelencia). Por otra parte, además del Programa PEP y ACADEMIA (ya comentados en este artículo) el tercer Programa que lleva a cabo por la ANECA, centrado en la evaluación del profesorado, es DOCENTIA, por el cual se presta el apoyo

122

3.1. El Programa de Acreditación Nacional (ACADEMIA) Por una parte, el Programa de Acreditación Nacional (ACADEMIA32) se

centra en el acceso a los cuerpos docentes universitarios evaluando el perfil de los solicitantes para el ingreso en los cuerpos de funcionarios docentes universitarios: Profesores Titulares de Universidad y Catedráticos de Universidad. La existencia de dicho Programa se halla justificada en el Real Decreto 1312/2007, en el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios (dado que en las universidades públicas, a partir de la Ley Orgánica 4/2007, la estructuración del personal docente universitario queda limitada a dos únicas figuras: Catedrático de Universidad y Profesores Titulares de Universidad) como requisito imprescindible para concurrir a los concursos de acceso a las figuras de profesorado funcionario docente.

A través del Programa ACADEMIA, el profesorado que desee acceder a las figuras ya descritas de funcionario docente podrá solicitar la valoración de sus méritos y competencias a las comisiones designadas para tal efecto por parte del Consejo de Universidades, existiendo una comisión diferente para cada una de las figuras (Titular de Universidad y Catedrático) y para cada una de las ramas de conocimiento, estructurándose éstas en:

- Artes y Humanidades - Ciencias - Ciencias de la Salud - Ciencias Sociales y Jurídicas - Ingeniería y Arquitectura

Los criterios de evaluación de los méritos y competencias (también establecidos por el R.D. 1312/2007) para la obtención de la acreditación correspondiente es común para ambas figuras, divergiendo únicamente en el tercer apartado33 (dedicado a la formación académica e inexistente para la acreditación conducente a la figura de Catedrático de Universidad) así como en el baremo utilizado por cada una de las comisiones a la hora de realizar la valoración pertinente. De esta manera, aunque posteriormente se matizarán algunos de los aspectos aquí señalados, estos criterios de evaluación, así como las

necesario a las universidades para que diseñen mecanismos propios para valorar la calidad de la actividad docente de su profesorado.

32 Para obtener más información acerca de este Programa, puede consultarse Agencia Nacional de Evaluación de la Calidad y Acreditación (2008). Programa ACADEMIA. Principios y orientaciones para la aplicación de los criterios de evaluación (documento electrónico).

33 La ANECA (2008) define claramente que, en el caso de la valoración de los méritos conducentes a la acreditación de Catedrático de Universidad, las Comisiones evaluadoras se basarán, principalmente, en los méritos asociados a las actividades de investigación, docencia y gestión (p. 10), mientras que para la figura de Profesor Titular de Universidad, dichas Comisiones valorarán esencialmente los méritos asociados a las actividades de investigación, docentes, de formación académica y de gestión (p. 44).

123

correspondientes puntuaciones máximas (diferenciadas para cada una de las figuras docentes a las que se refieren) son:

1. Actividad investigadora. Para la figura de Catedrático de Universidad, la puntuación máxima a obtener en este apartado es de 55 sobre 100, mientras que para la figura de Titular de Universidad, la puntuación máxima es de 50.

1.1. Calidad y difusión de resultados de la actividad investigadora. Divididos en dos bloques distintos, los méritos que configuran este sub-apartado se refieren, por una parte, a las publicaciones y obras producto de la investigación, mientras que, por otra, a las presentaciones a congresos, conferencias y seminarios. Sin entrar excesivamente en el detalle, debe destacarse que, en el primer bloque (ANECA, 2008, 14) se valoran preferentemente las aportaciones que sean artículos en revistas de reconocido prestigio, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el “Subject Category Listing” del Journal Citation Reports del Science Citacion Index (SCI), del Social Sciences Citation Index (SSCI) y del Arts and Humanities Citation Index (AHCI), en el Philosopher’s Index, en el Répertoire Bibliographique de Louvain o similares34. En cuanto a los libros y capítulos de libros, los criterios de calidad aplicados a éstos para su valoración también serán rigurosos: se tendrá en cuenta el número y calidad de las citas cuando sea posible (u otras medidas de nivel de impacto), así como el prestigio internacional de la editorial, los editores, la colección, el rigor en el proceso de selección y evaluación de originales y las reseñas en las revistas científicas especializadas. Además, únicamente se valorarán los libros que tengan ISBN.

1.2. Calidad y número de proyectos y contratos de investigación. Se valora esencialmente la participación de forma continuada en proyectos obtenidos en convocatorias competitivas, ya sea como miembro del equipo investigador o como investigador principal de proyectos de la Unión Europea, de organismos o instituciones internacionales (NSF, Fullbright, etc.), del Plan Nacional de Investigación, de proyectos obtenidos en convocatorias públicas nacionales o autonómicas, así como a través de contratos y convenios con organismos públicos y con empresas. En este sub-apartado, en función de la plaza correspondiente (Catedrático de Universidad o Titular de Universidad) pueden obtenerse un máximo de entre 6 y 10 puntos o entre 4 y 7 (también en relación con el área de conocimiento).

1.3. Calidad de la transferencia de los resultados. En este sub-apartado se incluyen los méritos relacionados con las patentes obtenidas, las actividades de transferencia de conocimiento, el desarrollo de software, así como los cursos y

34 A su vez, además de ser tenida en cuenta la presencia de publicaciones en revistas contenidas

en dichos listados, se atiende, entre otros, a los siguientes factores: índice de impacto, lugar que ocupa la revista en el conjunto de las que se corresponden con su área de conocimiento, número de autores e, incluso, la posición que ocupa entre éstos el solicitante.

124

seminarios impartidos en empresas y organismos públicos. Dependiendo del área de conocimiento, para la figura de Catedrático de Universidad se otorga hasta un máximo de 12 puntos, mientras que para la de Titular de Universidad el límite superior se halla en 9.

1.4. Movilidad del profesorado. Aquí se hallan incluidos los méritos relacionados con estancias de media/larga duración35 en otros centros de investigación, las visitas cortas a otros centros de investigación de prestigio, así como la participación en programas de movilidad del profesorado. La puntuación máxima para la figura de Catedrático de Universidad en este sub-apartado es de 3, mientras que para la figura de Titular de Universidad puede suponer un máximo de 4. Tanto en este sub-apartado, como en los siguientes (aún pertenecientes a otros bloques de actividad) las puntuaciones máximas concedidas son las mismas independientemente del área de conocimiento a la cual se halle adscrito el solicitante.

1.5. Otros méritos. Se incluyen aquí los méritos relacionados con la investigación, no mencionados en los sub-apartados anteriores: actividades de evaluación de artículos para revistas indexadas en el Journal Citation Reports o repertorio equivalente para cada área de conocimiento, evaluación de proyectos en convocatorias públicas o pertenencia a comisiones de selección de solicitudes de movilidad. Para las dos figuras docentes, los puntos de este sub-apartado son adicionales, por lo que puede obtenerse la puntuación máxima sin haber puntuado aquí. Aún así, la puntuación máxima a obtener es de 2 puntos para ambas figuras.

2. Actividad docente o profesional. En el caso de la figura de Catedrático

de Universidad, la puntuación máxima a obtener en este apartado es de 35 sobre 100, mientras que para la figura de Titular de Universidad, la puntuación máxima es de 40.

2.1. Dedicación docente. Sub-apartado dividido en dos grandes bloques: por una parte se valoran los méritos relacionados con la docencia universitaria (primer y segundo ciclo, grado y posgrado) con los que, para la figura de Catedrático, pueden obtenerse hasta un máximo de 17 puntos, mientras que para la de Titular de Universidad, hasta 21. A esta puntuación se pueden sumar 5 puntos máximo (para cualquiera de las figuras docentes) a través del otro bloque que configura este sub-apartado: el dedicado a los méritos referidos a la dirección de tesis doctorales, dirección de proyectos de fin de carrera, trabajos de fin de Máster, dirección de DEA’s, así como otros méritos relacionados (Docencia

35 Sólo se valoran como tales las estancias superiores a un mes y en las que el solicitante haya

realizado una actividad en dicho centro que haya supuesto una mejora en la capacidad investigadora del solicitante, haya supuesto un intercambio de conocimiento o bien que haya propiciado una colaboración institucional entre el centro de origen y el receptor.

125

impartida en enseñanza no oficial, cursos de verano, docencia en cursos interuniversitarios o interdisciplinares, dirección y coordinación de prácticas externas para estudiantes, etc.)

2.2. Calidad de la actividad docente. En el caso de la figura de Catedrático, se puntúa hasta un máximo de 7 en este sub-apartado, mientras que para Titular de Universidad, el límite superior está en 8. Aquí se incluyen los méritos relacionados con las evaluaciones positivas de la actividad docente, la elaboración de material docente original, la dirección y/o participación en proyectos de innovación docente, así como la autoría de material docente puesto a libre disposición del alumnado a través de plataformas electrónicas (material docente on-line)

2.3. Calidad de la formación docente. Con una puntuación máxima de 3 (para cualquiera de las figuras docentes) se valoran los méritos relacionados con la participación (como ponente o como asistente) en congresos orientados a la formación docente universitaria, así como las estancias de larga duración en centros de educación universitaria para realizar actividades docentes.

2.4. Calidad y dedicación a actividades profesionales, en empresas, instituciones, organismos públicos de investigación u hospitales, distintas a las docentes o investigadoras. A su vez, con una puntuación máxima de 3 puntos (para ambas figuras docentes) se valoran los méritos relacionados con la realización de actividades en centros de desarrollo, investigación o innovación de carácter privado, así como la realización de la actividad profesional fuera del ámbito docente/investigador universitario (ejercicio libre de la profesión, puestos de trabajo en empresas, instituciones u organismos de carácter público o privado no vinculados a la universidad, etc.).

2.5. Otros méritos. En este sub-apartado tienen cabida todos aquellos méritos relacionados con la actividad docente pero no incluidos anteriormente: trabajos con equipos informáticos de relevancia universitaria, uso de equipamiento de laboratorio o científico de relevancia, dirección de grupos de personas para trabajos en función de objetivos, etc. Como ya sucedía en el anterior bloque dedicado a los méritos relacionados con la actividad investigadora, para ambas figuras docentes los puntos de este sub-apartado son adicionales, por lo que puede obtenerse la puntuación máxima sin haber puntuado aquí. Aún así, la puntuación máxima a obtener es de 2 puntos.

3. Formación académica. Apartado únicamente valorable en el caso de la

figura de Profesor Titular de Universidad. Concretamente, puede obtenerse una puntuación máxima de 5 sobre 100.

3.1. Calidad de la formación pre-doctoral. Se incluyen aquí los méritos relacionados con becas pre-doctorales obtenidas, contratos como técnicos de apoyo a la investigación, así como becas pre-doctorales en universidades o empresas. Máxima puntuación: 2.

126

3.2. Calidad de la formación posdoctoral. Se reconocen los méritos relacionados con la obtención de becas posdoctorales obtenidas en convocatorias competitivas, contratos posdoctorales en universidades asociados a proyectos, premios posdoctorales, etc. Puntuación máxima: 3.

3.3. Otros méritos de formación académica. Se introducen en este sub-apartado los méritos relativos a la asistencia a Escuelas y cursos internacionales de relevancia, así como otros méritos no contemplados en apartados anteriores y relacionados con la formación académica. Se puede llegar a otorgar 1 punto en este sub-apartado, pero es considerado como adicional.

4. Experiencia en gestión y administración educativa, científica, tecnológica

y otros méritos. En este apartado, para la figura de Catedrático de Universidad, la puntuación máxima a obtener es de 10 sobre 100, mientras que para la figura de Titular de Universidad, la puntuación máxima es de 5. En el caso de ambas figuras, no puede obtenerse la puntuación máxima con aportaciones en uno sólo de los apartados.

4.1. Desempeño de cargos unipersonales de responsabilidad en gestión universitaria recogidos en los Estatutos de las universidades, o que hayan sido asimilados, u organismos públicos de investigación durante al menos un año. Aquí se incluyen los méritos relacionados con el desempeño de cargos como son Vicerrector, Decano y Vicedecano de Facultad, Director y Secretario de Departamento, Secretario General de Universidad, etc. Puede obtenerse una puntuación máxima de 8 en el caso de la figura de Catedrático y hasta 4 para los Titulares de Universidad.

4.2. Desempeño de puestos en el entorno educativo, científico o tecnológico dentro de la Administración General del Estado o de las Comunidades Autónomas durante al menos un año. Hace referencia al desempeño de tareas en puestos en organismos públicos de ámbito autonómico, estatal o internacional. Puntuación máxima para la figura de Catedrático: 6; para la figura de Titular de Universidad: 3.

4.3. Otros méritos. Se incluyen aquí méritos como los cargos desempeñados en organismos de evaluación como la CNEAI o la ANECA (por ejemplo), así como la coordinación de Programas de Doctorado con mención de calidad, la pertenencia a Comités científicos de instituciones públicas o privadas, la organización de congresos de reconocido prestigio, etc. La puntuación máxima a obtener en este sub-apartado para la figura de Catedrático es de 8, mientras que para la de Titular de Universidad es de 4 puntos.

Finalmente, debe aclararse que también existen unas rígidas condiciones de valoración de las puntuaciones obtenidas para cualquiera de las figuras docentes aquí analizadas. Para obtener la evaluación positiva, han de cumplirse simultáneamente las siguientes condiciones para cada una de las figuras:

127

- Catedrático de Universidad: a. Conseguir un mínimo de 80 puntos como suma de todos los apartados

(1, 2 y 4 –dado que los méritos correspondientes al apartado nº 3 sólo se aplican a la figura de Titular de Universidad).

b. Alcanzar un mínimo de 20 puntos en el apartado 2 (dedicado a la Actividad docente o profesional y en el que puede obtenerse una puntuación máxima de 35 puntos).

- Titular de Universidad: c. Obtener un mínimo de 60 puntos sumando los conseguidos en los

apartados 1 y 2 (dedicados a la Actividad investigadora y a la Actividad docente o profesional, y en los que podía obtenerse una puntuación máxima de 50 y 40 puntos respectivamente).

d. Conseguir un mínimo de 65 puntos como suma de todos los apartados (1+2+3+4).

A partir de lo aquí expuesto, y relacionado con la actividad desarrollada por la Comisión Nacional Evaluadora de la Actividad Investigadora del Profesorado Universitario, debe destacarse, a su vez, que el propio Real Decreto 1312/2007 también establece, para la valoración del primer apartado (Actividad investigadora) que su puntuación total ha de ser de un mínimo de 15 puntos por cada periodo de actividad investigadora reconocido (cada sexenio obtenido) que el solicitante aporte (tanto en el caso de la figura de Catedrático como en el de Profesor Titular), por lo que la puntuación obtenida en este primer apartado será el máximo de dos valores numéricos: el obtenido de la evaluación y el resultado de multiplicar por 15 el número de periodos de actividad investigadora reconocidos (sexenios ya obtenidos) que tenga el solicitante.

3.2. El Programa de Evaluación del Profesorado para la Contratación (PEP)

Retomando el otro Programa desarrollado por la Agencia Nacional de Evaluación de la Calidad y Acreditación, el Programa de Evaluación del Profesorado para la Contratación (PEP36) evalúa la actividad docente e investigadora de los aspirantes a una plaza de profesorado universitario contratado, como requisito previo a la contratación de las figuras que así lo requieren por ley, es decir, las figuras de Profesor Contratado Doctor, Profesor Ayudante Doctor y Profesor Colaborador (esta última figura en proceso de extinción). Además, en el caso de las universidades privadas, la ley también establece que el 60% del total del profesorado doctor haya obtenido una

36 Para obtener información más extensa sobre este Programa y sus criterios de evaluación

puede consultarse Agencia Nacional de Evaluación de la Calidad y Acreditación (2007). Programa de evaluación de profesorado para la contratación. Principios y orientaciones para la aplicación de los criterios de evaluación (documento electrónico).

128

evaluación positiva de la ANECA para la figura de Profesor de Universidad Privada.

Con la finalidad de valorar la capacidad docente e investigadora de los solicitantes de las correspondientes acreditaciones del personal contratado, la ANECA, a partir de la prelación establecida en la Resolución de la Dirección General de Universidades de 18 de febrero de 2005, aplica las puntuaciones correspondientes a cada uno de los méritos a evaluar para cada una de las distintas figuras contractuales. De hecho, para cualquiera de ellas, los correspondientes Comités valoran preferentemente los méritos posdoctorales relacionados con la “Experiencia Investigadora” y las diferencias más significativas se hallan en el resto de méritos valorados para cada una de las figuras: mientras que en el caso de Profesor Contratado Doctor y Profesor de Universidad Privada se dedica un apartado a los méritos relacionados con la “Experiencia Docente”, otro a la “Formación académica y experiencia profesional”, y un último a “Otros méritos” reseñables, en el caso del Profesor Ayudante Doctor se le dedica un bloque más amplio a la “Formación académica, experiencia docente y profesional”, y finalmente otro titulado igualmente “Otros méritos” (todos ellos con puntuaciones distintas entre las diferentes figuras contractuales).

En concreto, para obtener la correspondiente acreditación para la figura de Profesor Contratado Doctor, o bien Profesor de Universidad Privada, los criterios de evaluación que se tienen en cuenta (aunque varían entre los sub-apartados del primer bloque, dedicado a la “Experiencia investigadora” dependiendo del área de conocimiento), así como sus correspondientes puntuaciones, son:

1. Experiencia investigadora (con un máximo de 60 puntos sobre 100 para este bloque).

1.1. Publicaciones científicas y patentes internacionales. En función del área de conocimiento, la puntuación máxima a obtener en este sub-apartado puede oscilar entre los 26 y 36 puntos, valorándose preferentemente las aportaciones que sean artículos en revistas de reconocido prestigio, es decir, las que ocupen posiciones relevantes en los listados por ámbitos científicos en el “Subject Category Listing” del Journal Citation Reports del Science Citacion Index (SCI), del Social Sciences Citation Index (SSCI) y del Arts and Humanities Citation Index (AHCI), en el Philosopher’s Index, en el Répertoire Bibliographique de Louvain o similares. Los factores a valorar para estas publicaciones son, desde el índice de impacto hasta la posición del solicitante entre los autores del artículo, pasando por el tiempo transcurrido desde la lectura de la tesis y la coherencia de una línea de investigación definida.

1.2. Libros y capítulos de libros. Con una puntuación máxima que puede variar entre los 3 y los 16 puntos, en este sub-apartado se tiene en cuenta, por ejemplo, la calidad de las publicaciones avalada por el número de citas, el

129

prestigio de la editorial, los editores, la colección, las reseñas en revistas científicas especializadas, la extensión y las traducciones a otras lenguas.

1.3. Proyectos de investigación y contratos de investigación. Sub-apartado en el que pueden obtenerse un máximo de entre 5 y 12 puntos mediante los méritos que avalen un determinado grado de responsabilidad del solicitante en proyectos de investigación incluidos en programas competitivos de la Unión Europea, Planes Nacionales, de las Comunidades Autónomas u otros entes de carácter público o privado.

1.4. Transferencia de tecnología. La puntuación máxima a obtener en esta sub-categoría varía entre 2 y 6 puntos en función del área de conocimiento y se valoran las patentes nacionales en explotación o sobre las que exista un contrato de cesión o licencia.

1.5. Dirección de tesis doctorales. En este sub-apartado puede conseguirse un máximo de 4 puntos para cualquiera de las áreas de conocimiento. Se incluyen en él la dirección de tesis doctorales, especialmente aquellas con mención de doctorado europeo, la calidad del programa de doctorado y el prestigio de los centros en los que se han llevado a cabo.

1.6. Congresos, conferencias, seminarios. Las puntuaciones máximas a obtener aquí pueden oscilar entre los 2 y los 5 puntos, teniéndose en cuenta únicamente los méritos relacionados con congresos y conferencias que cuenten con procedimientos selectivos en la admisión de las ponencias y trabajos. También se valora el carácter internacional o nacional, el tipo de participación (ponencia, comunicaciones orales, participación en la organización o en el comité científico, etc.).

1.7. Otros méritos. Se valoran entre 1 y 2 puntos como máximo los méritos que se quieran remarcar y que no hayan tenido cabida en el resto de sub-apartados anteriores.

2. Experiencia docente (máximo 30 puntos sobre 100). 2.1. Amplitud, diversidad, intensidad, responsabilidad, ciclos, tipo de

docencia universitaria. Para conseguir el máximo a obtener en este sub-apartado (17 puntos) se requiere que el solicitante haya impartido al menos 450 horas de docencia. Se tienen en cuenta, a su vez, las instituciones nacionales o extranjeras en las que se ha ejercido la docencia.

2.2. Evaluaciones sobre su calidad. Se valora hasta un máximo de 3 puntos sobre 100.

2.3. Ponente en seminarios y cursos, y participación en congresos orientados a la formación docente universitaria. La puntuación máxima a obtener en este sub-apartado es de 3 puntos, valorándose especialmente si la ponencia es por invitación.

2.4. Material docente original, publicaciones docentes, proyectos de innovación docente, contribuciones al EEES. En este sub-apartado pueden

130

obtenerse hasta un máximo de 7 puntos y se tiene en cuenta el material docente desarrollado por el solicitante, destacando por su carácter innovador, así como la participación en proyectos de innovación docente financiados en convocatorias públicas.

3. Formación académica y experiencia profesional (máximo 8 puntos sobre 100). 3.1. Tesis doctoral, mención de doctorado europeo, mención de calidad del

programa de doctorado, becas pre y postdoctorales, estancias en otros centros de investigación, posesión de más de un título. Valorado con un máximo de hasta 6 puntos, en este sub-apartado se incluye la calificación de la tesis, la mención de doctorado europeo y/o la mención de calidad del programa, así como las becas pre y postdoctorales recibidas en programas europeos o nacionales y las estancias en otros centros atendiendo a su duración (mínima de 3 meses). A su vez, también se valora la posesión de más de un título.

3.2. Trabajo en empresas-instituciones-hospitales. En este sub-apartado pueden obtenerse un máximo de 2 puntos a partir de los méritos relacionados con la responsabilidad ejercida en empresas o instituciones, y su relevancia práctica para la docencia y la investigación.

4. Otros méritos (máximo 2 puntos sobre 100). Finalmente, en este apartado

pueden incluirse aquellos méritos de formación académica, docente, investigadora, profesional o de gestión universitaria no contemplados anteriormente.

A su vez, para la obtención de la acreditación para la figura de Profesor Ayudante Doctor, los criterios de evaluación tenidos en cuenta (y que varían, en función del área de conocimiento, únicamente en los tres primeros sub-apartados del bloque dedicado a la “Experiencia investigadora”) así como sus puntuaciones correspondientes son:

1. Experiencia investigadora (con una puntuación máxima de 60 puntos sobre 100).

1.1. Publicaciones científicas y patentes internacionales. La puntuación máxima a obtener en este sub-apartado puede oscilar entre los 26 y 36 puntos, y se valoran, preferentemente, las aportaciones que sean artículos en revistas de prestigio, es decir, las que ocupen posiciones relevantes en los listados por ámbitos científicos en el “Subject Category Listing” del Journal Citation Reports del Science Citacion Index (SCI), del Social Sciences Citation Index (SSCI) y del Arts and Humanities Citation Index (AHCI), en el Philosopher’s Index, en el Répertoire Bibliographique de Louvain o similares. Para la valoración de las publicaciones científicas se atiende, entre otros, a los siguientes factores: el índice de impacto, el lugar que ocupa la revista en el conjunto de las que corresponden a un mismo ámbito de conocimiento, el número de autores y la posición que ocupa entre ellos el solicitante.

131

1.2. Libros y capítulos de libros. En este sub-apartado la puntuación máxima a obtener puede variar entre los 3 y los 16 puntos, y se valora, entre otros, la calidad de las publicaciones avalada por el número de citas, el prestigio de la editorial, los editores, la colección en la que se publica la obra, las reseñas en revistas científicas especializadas, la extensión y las traducciones a otras lenguas.

1.3. Proyectos de investigación y contratos de investigación. La puntuación máxima varía en este sub-apartado entre los 5 y los 9 puntos. Se tiene en cuenta especialmente el tipo de participación del solicitante en proyectos de investigación incluidos en programas competitivos de la Unión Europea, los Planes Nacionales, de las Comunidades Autónomas y de otros entes u organismos públicos o privados sometidos a evaluación externa.

1.4. Congresos, conferencias, seminarios. La máxima puntuación a obtener en esta sub-categoría es 9, y los méritos que aquí se incluyen son las contribuciones a congresos y conferencias con procedimientos de selección en la admisión de las ponencias y trabajos, valorándose el carácter internacional y nacional, el tipo de participación y otros aspectos significativos dentro del área temática.

1.5. Otros méritos. Se valora con hasta 4 puntos los méritos incluidos en este sub-apartado y debe incluirse aquí la participación en trabajos que produczan transferencia tecnológica y contribuyan a la innovación del sector productivo.

2. Formación académica, experiencia docente y profesional (máximo 35

puntos sobre 100). 2.1. Formación académica. Valorado con hasta 12 puntos, en este sub-

apartado se tendrán en cuenta, entre otros, los méritos relacionados con la calificación de la tesis, la mención de doctorado europeo y la mención de calidad del programa de doctorado. Se consideran también los cursos y seminarios de especialización realizados dentro de su ámbito disciplinar.

2.2. Estancias de carácter investigador y/o formativo en otros centros. En este sub-apartado puede obtenerse una puntuación máxima de 9 puntos y se valoran las estancias pre y postdoctorales de carácter investigador y/o de formación atendiendo a su duración (mínimo 3 meses).

2.3. Experiencia docente. Pueden obtenerse un máximo de 9 puntos sobre 100 y se valora la amplitud, la intensidad, los ciclos y el tipo de docencia en su ámbito disciplinar universitario, en enseñanzas regladas y no regladas. También se valorarán las evaluaciones sobre la calidad de la docencia que se aporten así como la participación en proyectos de innovación docente.

2.4. Experiencia profesional. Valorándose con hasta 5 puntos, se tendrán en cuenta los méritos relacionados con la responsabilidad ejercida en empresas o instituciones, y su relación con la labor como profesor ayudante doctor.

132

3. Otros méritos (máximo 5 puntos sobre 100). En este bloque se valoran méritos como son el expediente académico de la titulación principal, las becas de iniciación y de colaboración a la investigación, al igual que otros méritos no reflejados en los bloques anteriores.

Como ya sucedía en el caso de las acreditaciones correspondientes a las figuras de Catedrático de Universidad y Profesor Titular de Universidad, también existen unas sólidas condiciones de valoración de las puntuaciones obtenidas para cualquiera de las figuras ahora analizadas; para la obtención de la evaluación positiva, deben cumplirse simultáneamente las siguientes condiciones para cada una de las figuras:

- Profesor Contratado Doctor y Profesor de Universidad Privada: a. Alcanzar un mínimo de 50 puntos sobre 100 sumando los obtenidos

en los bloques 1 y 2 (“Experiencia investigadora” y “Experiencia docente”).

b. Conseguir un mínimo de 55 puntos sobre 100 como suma de todos los bloques.

- Profesor Ayudante Doctor: a. Conseguir un mínimo total de 55 puntos sobre 100 como suma de

todos los apartados. Sin embargo, además de todo lo expuesto, cabe tener presente que la Agencia

Nacional de Evaluación de la Calidad y Acreditación no es la única responsable de la evaluación y acreditación de las distintas figuras a las que quiere optar el profesorado universitario. A su vez, algunas Comunidades Autónomas (10 de las 17 que integran el Estado español) cuentan con sus propias Agencias, las cuales se encargan, de forma paralela a la ANECA, de la concesión de las oportunas acreditaciones a las que se presentan los docentes (fundamentalmente teniendo en cuenta el criterio investigador, al igual que la Agencia Nacional). Para cada una de dichas comunidades Autónomas, éstas son sus correspondientes Agencias de Calidad:

- Andalucía: Agencia Andaluza de Evaluación (AGAE). - Aragón: Agencia de Calidad y Prospectiva Universitaria de Aragón

(ACPUA). - Canarias: Agencia Canaria de Evaluación de la Calidad y Acreditación

Universitaria (ACECAU). - Castilla y León: Agencia para la Calidad del Sistema Universitario de

Castilla y León (ACSUCYL). - Catalunya: Agència per a la Qualitat del Sistema Universitari de Catalunya

(AQU). - Madrid: Agencia de Calidad, Acreditación y Prospectiva de las

Universidades de Madrid (ACAP): - Comunidad Valenciana: Agència Valenciana d’Avaluació y Prospectiva

(AVAP).

133

- Galicia: Axencia para a Calidade do Sistema Universitario de Galicia (ACSUG).

- Illes Balears: Agència de QualitatUniversitària de les Illes Balears (AQUIB).

- País Vasco: Agencia de Evaluación de Calidad y Acreditación el Sistema Universitario Vasco (UNIBASQ).

4. CONCLUSIONES Y PROPUESTAS

A partir de los datos aquí presentados, a continuación no sólo nos arriesgaremos a extraer una serie de conclusiones lógicas sino que, además, consideramos de alto interés plantear algunos interrogantes que pretendemos que sirvan de reflexión para la propuesta de mejoras cualitativas e innovadoras en la evaluación de la investigación (tanto en el territorio español como en otros países) que permitan un avance en la valoración de la producción investigadora de las universidades.

Además de observarse un criterio común de valoración de las publicaciones científicas, tanto por parte de la CNEAI como de la ANECA, basado en la presencia de éstas en los listados del Jounal Citation Reports (JCR), un aspecto relevante a destacar de todo lo expuesto anteriormente acerca de los méritos y puntuaciones a obtener de cara a la obtención de las correspondientes acreditaciones de la ANECA es, precisamente, el alto nivel de importancia que adquiere (al igual que en las evaluaciones de los méritos investigadores realizadas por la CNEAI) dicha publicación en revistas indexadas con alto índice de impacto. Pese a que, en función del área de conocimiento a la que se adscriba el docente pueden variar las puntuaciones otorgadas, de los 55 puntos como máximo a conseguir en el primer bloque de actividad investigadora (para la figura de Catedrático de Universidad) entre 27 y 38 puntos (como decíamos, dependiendo del área de conocimiento) pueden adjudicarse a las publicaciones y obras producto de la investigación. En el caso de la evaluación correspondiente a la figura de Profesor Titular de Universidad, del máximo de 50 puntos a conseguir en el apartado de Actividad investigadora, en función del área de conocimiento del solicitante, éste puede conseguir entre 27 y 35 puntos en el primer bloque (que incluye las publicaciones científicas indexadas, otras publicaciones científicas, libros y capítulos de libros y creaciones artísticas profesionales).

Es decir, la publicación en revistas consideradas de relevancia científica (aquellas incluidas en el JCR) teniendo en cuenta los índices de impacto de éstas, supone per se el principal indicador de calidad a valorar por las diferentes entidades dedicadas a la evaluación de la producción investigadora. Ello ha conllevado, como ya comentábamos al principio de este artículo, no pocas críticas al sistema de evaluación (no sólo en España sino en diferentes contextos

134

internacionales) dada las posibilidades de “perversión” del sistema de evaluación, debido a las potenciales estrategias de manipulación que conlleva. Sin embargo, consideramos que la inclusión, durante los últimos años, de índices nacionales e internacionales alternativos (como los ya presentes en la evaluación de los méritos de los solicitantes de determinadas áreas de conocimiento: INRECS, LATINDEX, SCOPUS o ERIH, por ejemplo) como referencia de calidad científica, permiten, tal y como ya señalaban Ruiz-Pérez, Delgado & Jiménez-Contreras (2010) satisfacer las demandas de esas “otras formas del saber” en cuanto al reconocimiento de sus canales de comunicación científica.

En España este hecho, además, se traduce actualmente en que la presunta objetividad del sistema de complementos de productividad quede empañado por medidas calificadas como de “racionalización del gasto público”: inmerso el país en una compleja situación económica, el gobierno ha optado por imponer un Real Decreto-Ley (R.D. 14/2012) por el cual, entre otras disposiciones, se establece que, a nivel general, el profesorado universitario impartirá un total de 24 créditos ECTS de docencia37; sin embargo se han establecido dos premisas basadas en el ya comentado complemento de productividad:

d.1. “Únicamente” impartirá 16 créditos ECTS el personal docente que se encuentre en alguna de estas situaciones:

d.1.a. Profesores Titulares de Universidad38 con tres o más evaluaciones positivas consecutivas (es decir, tres sexenios reconocidos por la CNEAI) habiéndose superado la más reciente en los últimos 6 años.

d.1.b. Catedráticos de Universidad con cuatro o más evaluaciones positivas consecutivas, habiéndose superado la más reciente en los últimos seis años.

d.1.c. En cualquier caso, aquellos docentes que hayan obtenido cinco sexenios.

d.2. Dedicarán a la docencia 32 créditos ECTS aquellos que se encuentren en alguna de las siguientes situaciones:

d.2.a. Quienes no hayan sometido a evaluación el primer periodo de seis años de actividad investigadora o bien hayan obtenido una evaluación negativa de este periodo.

d.2.b. Aquellos docentes hayan dejado transcurrir más de 6 años desde la última evaluación positiva.

37 Actualmente, el profesorado universitario tiene adjudicados 24 créditos de docencia durante cada curso académico, pero ello no se traduce en créditos ECTS dada la complejidad de cálculo de horas que ello supone (los créditos ECTS se aplican a la carga de las asignaturas, no a los docentes, dado que implican, entre otras, un alto número de horas de trabajo autónomo por parte del alumnado de Educación Superior, además del correspondiente seguimiento tutorizado por parte del profesorado).

38 Otras figuras docentes no contempladas en este artículo, pero que integran la plantilla de funcionariado en las universidades españolas también se ven afectadas por esta cláusula (Profesores Titulares de Escuelas Universitarias y Catedráticos de Escuela Universitaria). Sin embargo, no se han mencionado de cara a simplificar los contenidos aquí expuestos.

135

Es decir, una medida que inicialmente había sido diseñada para fomentar la actividad investigadora del profesorado universitario, a través de un complemento de productividad (los llamados sexenios), y que era absolutamente opcional y voluntaria, se ha convertido, paulatinamente, en un requisito indispensable para desarrollar correctamente la actividad docente e investigadora: es inevitable pensar que el incremento sustancial de la actividad docente (el hecho de no cumplir con los requisitos anteriormente expuestos y definidos por el R.D. 14/2012) repercutirá inevitablemente y de manera negativa en la calidad de la docencia, al igual que en la actividad investigadora, puesto que el profesorado no puede asumir la carga que este incremento en la docencia supone, a la vez que continuar complementándola con su actividad investigadora.

Todo ello nos lleva a plantear el eterno debate: ¿debe priorizarse la actividad docente o la investigadora por parte del profesorado universitario? A través de la exposición de los criterios de evaluación aplicados por la CNEAI y la ANECA, se ha dejado patente que ambas entidades priorizan la investigación (también debido a que se dedican precisamente a la evaluación de ésta) pero, ¿no resulta igual de importante/necesaria la evaluación e incentivación de la actividad docente?

Sin embargo, no debemos perder la perspectiva y el objetivo fundamental de este artículo, basado en el análisis de los entes dedicados a la valoración y evaluación de la investigación en Educación Superior en España: resultan imprescindibles los baremos y criterios de evaluación de la actividad investigadora y, si bien dichos criterios puede que no sean del todo infalibles, son los que hasta ahora han permitido realizar dichas valoraciones aportando unas bases y unos indicadores de calidad mesurables, lo que confiere a las entidades de Educación Superior la posibilidad de mejorar y de avanzar hacia nuevas sociedades basadas en el conocimiento y la innovación, y ello es debido precisamente a la existencia de entidades creadas para tal finalidad, como son la Comisión Nacional Evaluadora de la Actividad Investigadora y la Agencia Nacional de Evaluación de la Calidad y Acreditación en el caso del Estado español.

136

REFERENCIAS

AGENCIA NACIONAL DE EVALUACIÓN DE LA CALIDAD Y ACREDITACIÓN. (2007). Programa de Evaluación de profesorado para la contratación. Principios y orientaciones para la aplicación de los criterios de evaluación. Documento electrónico recuperado de http://www.aneca.es/content/download/11202/122982/file/pep_criterios_070515.pdf

Agencia Nacional de Evaluación de la Calidad y Acreditación. (2008). Programa ACADEMIA. Principios y orientaciones para la aplicación de los criterios de evaluación. Documento electrónico recuperado de http://www.aneca.es/content/ download/10527/118089/version/1/file/academia_14_ppiosyorientaciones.pdf

BUELA-CASAL G., BERMÚDEZ M.A., SIERRA, J.C., QUEVEDO-BLASCO R., CASTRO, A. (2010). Ranking de 2009 en investigación de las universidades públicas españolas. Psicothema, 22 (2), pp. 171-179.

COUNCIL OF SCIENCE EDITORS. (2000). Who’s the author? Problems with bio-medical authorship, and some possible solutions. Science Editor, 23 (4), pp. 111-119.

CRONIN B. (2001). Hyperauthorship: A postmodern perversion of evidence of a structural shift in scholarly communication practices?. Journal of the American Society for Information Science and Technology, 52, pp. 558-569.

ESPINET A. (2006). Perversiones, paradojas y traumas en la evaluación científica. Anales de Química, 102 (4), pp. 60-63.

FERNÁNDEZ M., PÉREZ M. & MERCHÁN C. (2006). El sistema de incentivos y recompensas en la ciencia pública española. En SEBASTIÁN J. & MUÑOZ E. (Eds.). Radiografía de la investigación pública en España (pp.148-206). Madrid: Biblioteca Nueva.

FUNDACIÓN ESPAÑOLA PARA LA CIENCIA Y LA TECNOLOGÍA (FECYT) (2011). Informe de Conclusiones de Producción Científica en España. Recuperado de http://www.fecyt.es/

JIMÉNEZ-CONTRERAS E., DE MOYA F. & DELGADO E. (2003). The evolution of research activity in Spain. The impact of the National Commission for the Evaluation of Research Activity. (CNEAI). Research Policy, 32, pp. 123-142.

JIMÉNEZ-CONTRERAS E., TORRES-SALINAS D., RUIZ-PÉREZ. & DELGADO E. (2010). Investigación de excelencia en España: ¿protagonistas o papeles secundarios?. Medicina Clínica, 134 (2), pp.76-81.

Ley Orgánica 11/1983, de 25 de agosto, de Reforma Universitaria. Boletín Oficial del Estado, 209, de 1 de septiembre de 1983. Recuperado de http://www.boe.es/boe/dias/1983/09/01/pdfs/A24034-24042.pdf

López-Berna S., Papí-Gálvez N. & Martín-Llaguno, M. (2011). Productividad científica en España sobre las profesiones de comunicación entre 1971 y 2009. Revista Española de Documentación Científica, 34 (2), pp. 212-231.

137

Orden de 2 de Diciembre de 1994 por la que se establece el procedimiento para la evaluación de la actividad investigadora en desarrollo del Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario. Boletín Oficial del Estado, 289, de 3 de diciembre de 1994. Recuperado de http://www.boe.es/boe/dias/1994/12/03/pdfs/A37028-37034.pdf

ORTEGA F.J. (2003). Propuesta de mejora del índice agregado de impacto. Aplicación a la valoración de sexenios de investigación. Revista Española de Documentación Científica, 26 (4), pp. 403-417.

PESET F. (2009). La evaluación de los científicos en el currículo del sistema de acreditación nacional de ANECA. Anuario ThinkEPI, pp. 100-103.

PULIDO A. (2005). Indicadores de calidad en la evaluación del profesorado universitario. Estudios de Economía Aplicada, 23 (3), pp. 667-684.

Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario. Boletín Oficial del Estado, 216, de 9 de septiembre de 1989. Recuperado de http://www.boe.es/boe/dias/1989/09/09/pdfs/A28653-28656.pdf

Real Decreto 1312/2007, de 5 de octubre, por el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios. Boletín Oficial del Estado, 240, de 6 de octubre de 2007. Recuperado de http://www.boe.es/ boe/dias/2007/10/06/pdfs/A40653-40659.pdf

Real Decreto-Ley 14/2012, de 20 de abril, de medidas urgentes de racionalización del gasto público en el ámbito educativo. Boletín Oficial del Estado, 96, de 21 de abril de 2012. Recuperado de http://www.boe.es/ boe/dias/2012/04/21/pdfs/BOE-A-2012-5337.pdf

Resolución de 5 de diciembre de 1994, de la Secretaría de Estado de Universidades e Investigación, por la que se establece el procedimiento para la evaluación de la actividad investigadora realizada por los miembros de las Escalas de Profesores de Investigación, Investigadores Científicos y Colaboradores Científicos del Consejo Superior de Investigaciones Científicas, a efectos del reconocimiento del complemento de productividad. Boletín Oficial del Estado, 293, de 8 de diciembre de 1994. Recuperado de http://www.boe.es/boe/dias/1994/12/08/pdfs/A37214-37218.pdf

RUIZ-PÉREZ R., DELGADO E. & JIMÉNEZ-CONTRERAS E. (2010). Principios y criterios utilizados en España por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoración de las publicaciones científicas: 1989-2009. Psicothema, 22 (4), pp. 898-908.

SANZ E., DE FILIPPO D., GARCÍA C. & EFRAÍN-GARCÍA P. (2011). Observatorio IUNE: Una nueva herramienta para el seguimiento de la actividad investigadora del sistema universitario español. Bordón. Revista de Pedagogía, 63 (2), pp. 101-115.

SEGLEN P.O. (1997). Why the Impact factor of journals should be not used for evaluating research. British Medical Journal, 314, pp. 498-502.

138

Erziehungswissenschaftliche Evaluation in Deutschland

Ekkehard Nuissl von Rein La valutazione dei sistemi pedagogici rappresenta un tema sempre più importante nell’elaborazione delle politi-che e della ricerca. In questo articolo l’autore delinea alcuni approcci di valutazione e di accreditamento nelle scuole, nelle università, nel settore dell’ educazione degli adulti e degli istituti di ricerca pedagogica in Germania. Questa panoramica mostra strutture di sviluppo, siste-maticamente già avanzate.

More and more the evaluation of pedagogical systems becomes an important topic in policy making and re-search. In this article the author figures out some of the approaches of evaluation and accreditation in schools, universities, adult education and pedagogical research institutions in Germany. This overview shows structures of development, already systematically advanced.

Parole chiave: valutazione, qualità, accreditamento, approcci valutativi. Key words: evaluation, quality, accreditation, approaches of evaluation. Articolo ricevuto: 11 giugno 2012 Versione finale: 2 luglio 2012

Die Evaluation von Erziehungsbereichen hat in Deutschland eine ver-gleichsweise junge Tradition. Erst Anfang der 90er Jahre des letzten Jahrhun-derts wurde mehr oder weniger systematisch begonnen, pädagogische „Gegen-stände” zu evaluieren. Im Vordergrund standen dabei die Schulen, und zwar eher die Schulorganisationen als die pädagogischen Prozesse des Unterrichts. Wenig später begannen sich Evaluationen von erziehungswissenschaftlichen Einheiten an Hochschulen durchzusetzen, meist mit Blick auf die Curricula und die Leis-tungen (Abschlüsse etc.) in den Fakultäten. Und schließlich sind Ende der 90er Jahre auch systematisch entwickelte Evaluationen von Weiterbildungseinrichtun-gen und erziehungswissenschaftlichen Forschungsinstituten zu verzeichnen.

Die meisten Evaluationen richten sich – vor allem auch aufgrund der Mess-barkeit – eher auf organisatorische Rahmenbedingungen von Lehr – Lern – Pro-zessen als auf diese selbst. Dies gilt insbesondere für Fremdevaluationen, die häufig nach dem Verfahren der Peer-Group-Evaluation Organisationen beurtei-len. An den Universitäten und länger schon in der Weiterbildung hat sich aber auch ein System der Selbstevaluation durch die Lernenden etabliert, in der Regel standardisiert mit Evaluationsbögen, die summativ einen abgelaufenen Lehr-Lern-Prozess beurteilen.

Triebkraft der Evaluationen sind insbesondere staatliche Interessen an der Legitimation der Förderung und der Kontrolle der erbrachten Leistungen. So ha-ben Evaluationsergebnisse insbesondere dort auch Konsequenzen, wo sie direkt im staatlichen Auftrag mit möglichen Sanktionen erfolgen (etwa bei Studiengängen oder ganzen Forschungsinstituten wie denen der „Leibniz-Gemeinschaft”). Es ist

139

von daher auch naheliegend, dass die meisten Evaluationen im Kontext von Qualitätsentwicklung und Qualitätsmanagement erfolgen.

Im Folgenden werden die wesentlichen Evaluationsansätze im pädagogischen Bereich skizziert.

1. SCHULEVALUATION

Im Bereich der Schulen sind veränderte Anforderungen zu registrieren; die Schulen:

- Müssen mit deutlich heterogeneren Schülergruppen zurecht kommen (Migration);

- Das Interesse der Öffentlichkeit an den Schulen wird zunehmend größer; - Der Wunsch nach Partizipation und Mitbestimmung der Eltern und Schü-

ler wächst; - Die Leistungen der Schüler und Schülerinnen werden zunehmend mit

„ökonomischem” Blick hinterfragt; - Neue und flexible Unterrichtsmethoden und gute Lehrer sind zunehmend

gefragt. Schulevaluationen dienen der Überprüfung aller schulrelevanten Zusammen-

hänge auf Grund einer systematischen Sammlung, Analyse und Bewertung dazu erhobener Daten und Informationen. Evaluation ist demnach so etwas wie die Rechenschaftslegung der Schulen (Wiater 2005, 8). In der Regel werden die Er-gebnisse von Schulevaluationen innerhalb der Schulen für die Organisationsent-wicklung, das Einführen eines Qualitätsmanagements und die institutionelle Steuerung verwendet, während sie außerhalb der Schulen (vor allem bei den Äm-tern) die Grundlage für den schulischen Vergleich als auch die Kontrolle und Bewertung der Schulen bieten.

Die Evaluation richtet sich in der Regel auf fünf Bereiche, die auch für das Qualitätsmanagement von Bedeutung sind:

- Die Professionalität und Personalentwicklung der Lehrenden; - Das Lehren und Lernen und die eingesetzten Methoden; - Das Schulmanagement (z.B. Steuerung, Kontrolle, Konzeption); - Lebensraum Klasse und Schule (z.B. Räume, Sozialformen); - Partnerschaften und Außenbeziehungen (z.B. Eltern, Betriebe).

Die Indikatoren der Schulevaluationen werden bereichs- und schulspezifisch entwickelt. Vielfach gibt es aber auch länderbezogene Richtlinien für die Schule-valuationen, etwa in Hamburg „Schulinterne Evaluation: Ein Leitfaden zur Durchführung” (Behörde für Schule, Jugend und Berufsbildung 2002). Auch wurden länderübergreifende Evaluationen zur Innovation im Schulbereich reali-siert, z.B. von der Bertelsmann – Stiftung (2006 und 2009).

140

Wichtige Indikatoren für die Evaluation (und meist verbunden mit der Dis-kussion um notwendige Qualitätsstandards) sind in den Feldern

- Personal: Alter, Ausbildung, Geschlecht, Arbeitszeit des Personals. Fort-bildungsaktivitäten (meist auch Pflicht in den Schulen), Unterrichtsbeur-teilungen, Beteiligung an der Schulentwicklung, Umgang mit den Eltern, Konzeptqualität, Beratungskompetenz

- Lehren und Lernen: Methodenvielfalt, Beurteilung durch die Schüler, Er-gebnisse des Unterrichts (Schülerleistungen), Schülerzufriedenheit, didak-tische Innovation.

- Schulmanagement: Konzept, Strategie, Steuerungsverhalten, Stringenz, Planung, Umweltanalyse, Kooperation, Personalführung, Fortbildung, Selbst- und Fremdbeurteilung

- Lebensraum: Ausstattung der Räume, Pflege des Gebäudes, Verpflegung, Pausenhöfe, Gänge, Architektonische und ästhetische Gestaltung, Beurtei-lung durch Schüler, Lehrer und Eltern, Zu- und Abgänge

- Partnerschaften: Beziehung zu den Eltern (Elternabende, Partizipation), Beziehung zu Betrieben (potentielle Arbeitgeber), Beziehung zu Ämtern, kommunale Verortung, Zusammenarbeit mit anderen Schulen, Vernet-zung vor Ort (z.B. Migranten-Vereine etc.).

Die Evaluationen finden nicht selten replicativ statt, werden also in bestimm-ten Abständen (zwischen zwei und sechs Jahren) mit nur geringfügig veränderten Indikatoren wiederholt, um auch eine Entwicklung festzustellen. Gerade in Zei-ten sinkender Schülerzahlen erweisen sich gute Evaluationsergebnisse für viele Schulen als Voraussetzung für ihr Weiterbestehen.

2. FAKULTÄTSEVALUATION

Die meisten erziehungswissenschaftlichen Studiengänge und Fakultäten un-terliegen in Deutschland mittlerweile regelmäßigen Evaluationen. Dabei werden mehrere Verfahren parallel praktiziert.

Ein erstes Verfahren ist das der Evaluation einzelner Lehrveranstaltungen. Dazu sind hochschulintern (es gibt kaum Ausnahmen!) Verfahren implementiert, welche sich auf die Beurteilung der Lehrangeboten durch die Studierenden stüt-zen. Die Verfahren sind obligatorisch und standardisiert; Fragebogen müssen in jeder Veranstaltung zum Ende von den Studierenden beantwortet werden, sie gehen gesammelt an neu geschaffene Evaluierungsstellen in der Hochschuladmi-nistration und werden dort ausgewertet. Die Ergebnisse gehen an die Lehrperso-nen und an deren Vorgesetzte in den Fakultäten, meist den Dekan.

Die Fragebogen decken mehrere Felder ab: - Die Lehre selbst: Aktualität des Stoffes, Präsentation des Stoffes, einge-

setzte Methoden, Verhalten der Lehrkraft

141

- Die Einordnung in das Studium: Passung zum Curriculum, Anforde-rungsniveau, Workload, Verwertbarkeit

- Die Lernsituation: die anderen Studierenden, Räume, Materialien, Medien - Die Betreuung: Betreuung durch den Dozenten, Tutoren, online, Beratung - Die Verbindung zu anderen Angeboten: Kooperation, Aufbau des Stoffes,

Praxisbezug In der Regel gibt es kein Problem mit dem Einsatz dieser Fragebogen und ih-

rer Auswertung. Formale Konsequenzen für die Lehrenden werden – im Guten wie im Schlechten – selten gezogen, positive oder negative Sanktionen erfolgen weder im Bereich der Bezahlung der Lehrkräfte noch ihrer Ausstattung. Hoch-schulinterne Wettbewerbe (z.B. Preis für die beste Lehre) sind eher zu finden.

Ein zweites Verfahren ist die Akkreditierung von Studiengängen, eingeführt als systematisches Prinzip mit dem Wechsel zu den konsekutiven Studiengängen. In Deutschland haben sich sechs Akkreditierungsagenturen auf diese Aufgabe spezialisiert; Studiengänge müssen akkreditiert sein, bevor sie Studierende auf-nehmen, und sie unterliegen in regelmäßigen Abständen (meist 3 bis 5 Jahre) einer Reakkreditierungspflicht.

Die Akkreditierung evaluiert folgende Aspekte: - Ziel des Studiums: Sinn des Ziels, Bezug zum Arbeitsmarkt, Disziplinäre

Verankerung - Aufbau des Studiums: Module, Leistbarkeit (Workloads), Dauer, Aufbau - Kapazität des Lehrpersonals: Zahl, Qualifikation der Lehrenden, Kompe-

tenzverteilung - Einbindung in die Hochschule: Fakultät, Fachbereich, Prüfungsstruktur - Situation der Studierenden: Betreuung, Finanzierung, Zugang zum Studi-

um, Studiervoraussetzungen. Die Akkreditierung erfolgt in der Regel nach dem Peer-Group-Prinzip, aus-

gewiesene und fachlich einschlägige Experten beurteilen den geplanten Studien-gang. In der Regel ist der Akkreditierungsprozess mit Auflagen für die Verbesse-rung des Studiengangs verbunden. Ein drittes Verfahren der Evaluation schließ-lich umfasst eine externe Evaluation im Sinne von Benchmarks. Am aktivsten in dieser Richtung ist das CHE in Bielefeld, ein Institut, das staatlich und seitens der Bertelsmann-Stiftung gefördert wird. Es erhebt jährlich bei einer großen Zahl von Fachleuten die Einschätzung der Qualität einzelner Fakultäten hinsicht-lich von (meist) fünf Aspekten: Betreuung und Studierbarkeit (z.B. Bibliothek), Lehr- und Angebotsqualität, Praxisbezug, Internationalität und Leistung (Zahl und Qualität der Examina). Die Ergebnisse dieses CHE – Rankings werden regelmäßig veröffentlicht. Die Teilnahme an dem Verfahren ist freiwillig, wird aber durchweg realisiert. Erst in jüngster Zeit sind einige Hochschulen aus dem Ranking ausge-schieden, vor allem mit dem Argument, die Beurteilungskriterien seien nicht präzi-se und gültig und das Beurteilungsverfahren sei zu intransparent.

142

3. DIE WEITERBILDUNG

Insbesondere in der Weiterbildung sind Evaluierungsverfahren eng verbun-den mit Maßnahmen der Qualitätssicherung und Qualitätsentwicklung. Seit der Qualitätsgedanke in die deutsche Weiterbildung Eingang fand, Anfang der 90er Jahre des letzten Jahrhunderts, haben unterschiedlichste Ansätze der Evaluierung dort Anwendung gefunden.

Beginnend mit dem europäischen System des ISO 9000 über die EFQM-Modelle bis hin zum TQW-Ansatz (TQW= Teilnehmerorientierte Weiterbil-dungsqualität) wurden unterschiedlichste Evaluierungen in den deutschen Wei-terbildungseinrichtungen implementiert. Anders als in Italien ist die Weiterbil-dung in Deutschland in hohem Maße institutionell verankert, so sind etwa die Volkshochschulen ein umfassendes Netz von etwa 1000 Einrichtungen in jedem größeren Ort.

Die Evaluierungen im Kontext der Qualitätssicherung richten sich insbeson-dere auf die Organisationen. Überprüft werden Indikatoren wie Verhältnis von Personal, Angebot und Finanzen, Angebotsdichte, Angebotsentwicklung, Leis-tungen der Fachbereiche, Netzwerke, Angebotsqualität. In der Regel sind die Erst-Evaluationen auch Fremd-Evaluationen (durchgeführt von entsprechend spezialisierten Agenturen), während die replikativen Evaluationen (auch aus Kos-tengründen) nicht selten selbst durchgeführt werden.

Neben den auf die Institution bezogenen Evaluationen führen fast alle Wei-terbildungseinrichtungen Evaluationen in den Maßnahmen, Kursen und Semina-ren durch, nicht in dem Maße standardisiert wie an den Hochschulen, aber zu ähnlichen Aspekten wie Lehrqualität und Lernerzufriedenheit. Im Unterschied zu den Hochschulen haben diese kursbezogenen Evaluationen aber oft direkte Konsequenzen für die Lehrenden, die auf Honorarbasis arbeiten.

4. ERZIEHUNGSWISSENSCHAFTLICHE FORSCHUNG

Die erziehungswissenschaftliche Forschung findet in Deutschland nicht nur an den Hochschulen, sondern auch an einer Reihe außeruniversitärer For-schungsinstitute statt. Die meisten von ihnen sind der „Wissenschaftsgemein-schaft Gottfried Wilhelm Leibniz” (wgl) organisiert, einem staatlich finanzierten Verbund von mehr als achtzig Forschungsinstituten, vergleichbar etwa der „Max-Planck-Gesellschaft”. Die wichtigsten dieser Institute in Deutschland sind:

- Das Deutsche Institut für internationale pädagogische Forschung (DIPF, wgl) in Frankfurt am Main;

- Das Deutsche Institut für Erwachsenenbildung (DIE,wgl) in Bonn; - Das Institut für die Pädagogik der Naturwissenschaften in Kiel (IPN,wgl); - Das Bundesinstitut für Berufsbildung (BIBB, nicht wgl) in Bonn.

143

Diese Institute werden in siebenjährigen Abständen evaluiert, auch sie nach dem Peer-Group-Prinzip, in einem streng geregelten und systematisierten Ver-fahren. Diese Evaluationen beurteilen Aufbau und Struktur der Institute, Leis-tungsfähigkeit und Leistungen, Forschungsrelevanz und -wirkungen, Internatio-nalität, Nachwuchsförderung, Kooperation (insbesondere auch mit Hochschu-len) und Wissenschaftlichkeit. Die Evaluationen sind sehr bedeutungsvoll, die Konsequenzen können bis zur Schließung der Einrichtungen reichen.

5. ZUSAMMENFASSUNG

Die Evaluation erziehungswissenschaftlicher und pädagogische Einrichtun-gen in Deutschland hat sich in den letzten zwanzig Jahren stark entwickelt. Mit unterschiedlichen Verfahren werden Schulen, Hochschulen, Weiterbildungsein-richtungen und Forschungsinstitute regelmäßig beurteilt.

Die Verfahren sind unterschiedlich, auch unterschiedlich folgenreich. Die Diskussion um Evaluation gerade auch im pädagogischen Bereich ist in Deutsch-land intensiv und weit vorangeschritten.

Sie erhält zudem weitere Impulse durch internationale Vergleichsstudien wie etwa PISA und jetzt - publiziert in 2013 – PIAAC, die Hinweise auf die Leis-tungsfähigkeit des Systems geben.

REFERENCES

BEHÖRDE FÜR SCHULE, JUGEND UND BERUFSBILDUNG. (2002). Schulinterne Evaluation: Ein Leitfaden zur Durchführung, Hamburg.

WIATER, W. (2005). Evaluation in Schule und Unterricht. In MAISCH, J. (Hrsg.), Evaluation und Analyse in der Schulentwicklung, Donauwörth.

LESSICO PEDAGOGICO

147

Assessing research

Loredana Perla

L’articolo fa il punto sul tema della valutazione della ricerca universitaria. L’autrice ricostruisce criticamente la storia dello sviluppo dei sistemi di valutazione della ricerca in Europa e in Italia per poi focalizzare gli argomenti su due punti: lo stato dell’arte della valutazio-ne della ricerca nell’ambito delle scienze umane (dal punto di osservazione delle metodologie e delle pratiche ricorrenti) e le prospettive dischiuse dalla valutazione della ricerca ai fini del concreto miglioramento della qualità della produttività scientifica delle Università. Viene infine esplorato il potenziale euristico dei sistemi di valutazione della ricerca al fine di tracciare qualche conclusione circa le criticità ancora in essi largamente presenti e le positività che essi lasciano intravvedere sul piano delle prospezioni di sviluppo strategico e organizza-tivo del sistema universitario internazionale.

This work aims at providing an overview of assessment of academic research. The author critically retraces the evolution of research assessment systems in Europe and Italy, focusing her attention on two key notions: the state of the art in research assessment within the field of hu-man science (considering methodologies and best practices) and new perspectives offered by research assessment in order to improve quality in academic scientific outcomes. The heuristic potential of research assessment systems is also analysed in order to consider both the existing criti-cal issues and the positive effects emerging from new strategic and organisational development solutions within the international university system.

Parole chiave: valutazione della ricerca, valutazione della qualità, scientometria. Key words: research assessment, quality assessment, scientometrics. Articolo ricevuto: 7 maggio 2012 Versione finale: 18 maggio 2012

It is not easy to provide a concise definition of all the different meanings

when referring to a complex expression like research assessment. Here an essential overview will be provided, being aware that further in-depth analysis is needed: references, in this case, may provide additional notions.

Research assessment is meant as the global set of processes and actions based on data and information analysis aimed at expressing assessments on activities and products generated by scientific research. Research assessment is related to a series of goals, methodologies and circumstances, and every kind of research may be assessed provided that a) criteria and research techniques and b) impartiality of the evaluator are specified a priori.

Endorsing research quality is the main aim of the assessment process: even though it is difficult to understand the process as a whole and to predict its re-sulting effects, assessment also highlights the most suitable use of its related out-comes. These issues do not keep research from being assessed. What is more, modern democracies need this kind of activities, as the sense of public accounta-bility towards the citizenry and the idea of value-for-money of economic and social

148

public investment are two key factors in the implementation of assessment activ-ities. In this perspective, assessment has to be considered a process which looks for the analysis of relevant and efficient policies, programmes, products, repre-sentatives and institutions, research groups and stand-alone entities which pursue their goals.

In Italy, research assessment has received growing interest since the Eighties, when public services (University was part of them) were expected to be effective & efficient, but also because transparent criteria to allocate public funds to the different Universities were needed. This process began with the reforming poli-cies provided for by Law 127/1997, art. 17 par. 95 and D.L. 509/1999 in which new Regulations set up educational autonomies for the different Universities: this decision was part of a larger framework in which quality assessment dealt with different domains (education, administration, research). Before the reform the University system was self-referential: therefore, the community and the po-litical system have never considered major investments in this field, thus prefer-ring other government spending sectors (Capano, 2000).

Educational and research autonomy raised questions about assuring quality outcomes, thus making the University system an environment in which the dif-ferent Universities were competing with each other in order to guarantee an effi-cient system. For this reason, the University system has revised its priorities (en-hancing knowledge by developing research and scientific programmes; training people for professional environments) and its governance, putting the different Universities in a competitive market in which scientific productivity was as-sessed. When a University system works properly, it acts as a cornerstone for social change, as it enhances the so called “Human Capital” (providing education for a vast number of citizens), training them and creating new quality-based knowledge processes.

That is why assessment activities have a relevant strategic value; they allow university administrators to set new shared rules in order to cope with the ex-pected results, thus fulfilling a quality-based competition39. Before assessment activities existed, the lack of established rules fostered corporatism and an unbal-anced distribution of resources.

For this reason, assessment activities are important because make invest-ments a real value for citizens, making research outputs public and transparent (fitness to purpose, value for money, public information).

39 “The idea of general assessment can be clearly found in the international literature: assessment

can be carried out in different ways and with several methodologies, but in its essence it will be an exchange of views” ( Rebora G., 2003, in C. Casciotti (ed.), La valutazione: un indispensabile strumento di garanzia e di governance, Conferenza dei Rettori delle Università Italiane, Rome, June 2003, p. 30).

149

THE DEVELOPMENT OF SCIENTOMETRICS IN ITALY: GENERAL CONSIDERATIONS

The interest for research assessment in Italy starts from the end of the Eight-ies, following similar experiences carried out throughout Europe on quality as-sessment in the University system (Perla, 2004).

In those years, two influential laws prepared the ground for a proper educa-tional and research assessment system. Law 168/89 allowed the institution of Murst (Ministero dell’Università e della Ricerca Scientifica e Tecnologica) as well as the statutory, financial and educational autonomy of the University system. Law 341/90 dealt with the reform of the educational system, the latter being au-tonomously rearranged in the different universities. The most significant law, considered a veritable divide (Rubele, 2012) is Law 537/93, enacted by C.A.Ciampi’s government: it modified the academic funding system, introducing a non-diversified fund to be distributed among the different universities, thus abolishing the traditional segmentation of different expenditure categories. Since then, the university system introduced an “assessment function”, as defined by art. 5, par. 22 and controlled by two organizations: on a national level, the Osserv-atorio per la valutazione40 (National University Evaluation Council) and on a local level the Nuclei di Valutazione (Assessment Units) in every university location.

In 1999, the Osservatorio per la valutazione became CNSVU, Comitato nazionale di valutazione del sistema universitario (National Committee for the evaluation of the University system), established by Law 370, art. 2, (October 19, 1999) and pre-ceded by the institution of CIVR, Comitato di Indirizzo per la Valutazione della Ricer-ca (Steering Committee for Research Evaluation) on June 5, 1998 (Law 59, art. 11, par. 1., subpar. d, March 15, 1997). The resulting activities of these ministerial bodies41 represent the first approach of scientometric assessment, following the experience of other European countries (Great Britain, Netherlands, Australia) which had carried out a two-stage assessment process: the internal stage aimed at

40 In the period 1996-1999 the President of the Council was Luigi Biggeri (University of Firen-

ze), a statistician, while the Board had four members: Ferdinando Maria Amman (University of Pavia), Dino Rizzi (University of Venezia) and two non-academicians, Giuseppe Catalano and Guido Fiegna. In 1999 a new Ministerial Order redefined and broadened its tasks; the President was Giuseppe De Rita, while the Board had seven members: Luigi Biggeri, Alessandro Corbino (University of Catania), Alessandro Figà-Talamanca (University of Roma La Sapienza), Anna Laura Trombetti Budriesi (University of Bologna), Giuseppe Catalano and Guido Fiegna. The institu-tional website of the Council has a historical value as it is possible to browse all the documents drawn up during that period.

41 CNSVU established the general criteria for the assessment of the activities in the University system subject to prior consultation with the Conference of Italian University Rectors (CRUI, Conferenza dei rettori delle università italiane), the Italian National University Council (CUN, Consiglio universitario nazionale) and the Italian National University Student Council (CNSU, Consiglio nazionale degli studenti universitari), promoting methodologies and assessment procedures to be tested, used and spread; on the other hand, CIVR fostered quality assessment and the appropriate use of scien-tific and technological research.

150

maintaining or enhancing quality standards (Quality assurance), while in the exter-nal stage some independent organisations assessed quality outputs (Quality As-sessment), with the result being sometimes verified (Quality Audit)42.

The same kind of assessment was unfeasible in Italy (the first Three-year As-sessment took place in 2001-2003), nor there was the possibility to carry out the same assessment established by Quality Assurance standards. In other countries these activities were considered a standard procedure (van Raan,2004).

Great Britain had its RAE (Research Assessment Exercise) since 1986: it allowed for the estimated research-based share of funding system for every University location. The exercise, based on a multi-year planning, still provides quality as-sessments of research activities carried out by the different English universities. The outcomes are analysed by funding councils in order to allocate funds ac-cording to a merit system. The exercise provides an ex-post assessment of the research-related products (four for each active researcher, 2008 data) and it is peer reviewed by 67 disciplinary sub-panels.

The English RAE, at the beginning of the new millennium, is taken as refer-ence point in Italy. The first assessment exercise is called Valutazione Triennale della Ricerca or VTR (Three-year Research Evaluation, 2001-2003)43. Similarly to VTR peer review was used, thus narrowing the number of research-related prod-ucts assessed by reviewers (the overall number was 17329).

Quite predictably, the first exercise in Italy aroused controversy. Economists and engineers harshly criticised these measures because they used to test some courses of study following other Quality Models adapted to the specific context of academic research. Criticism towards the VTR model dealt with the fact that its model was designed as a general Quality Management System which could be applied to generic business, thus not specifying the context or some features of the research-related product. What is more, the Italian system is very unstable, thus making comparative assessment procedures not clearly valuable.

Despite criticism, the first VTR carried out by CIVR was produced, but the results did not show significant results concerning the allocation of state funding.

42 Our first project was managed by the Ministry of University and Research and the Confer-

ence of University Rectors by means of a national Committee chaired by Luciano Modica (Rector of University of Pisa) and a secretariat chaired by Giorgio Allulli and Emanuela Stefani (CRUI). The university locations to be assessed were two degree courses held at the Engineering School of Bari and Torino, and the degree course of Conservation of cultural heritage, University of Udine and Viterbo. From this experience the project Campus took place, held by CRUI and aiming at setting some Diplomi universitari triennali (Three-year university degree) with the European standards described above.

43 The Committee was appointed in 2003 by Minister Letizia Moratti. It had seven members: Franco Cuccurullo (President), Mario Bressan (University of Chieti), Michele Coccia (University of Roma La Sapienza), Enrico Garaci, Fiorella Kostoris (University of Roma La Sapienza), Carlo Riz-zuto (University of Genova), Renato Ugo (University of Milano). The final report is online: http://vtr2006.cineca.it/php5/vtr_rel_civr_index.php (in Italian).

151

One of its weak points was represented by the fact that the assessment of re-search processes (quality-related projects, research group projects, single pro-jects) was disregarded, while the ESG document (European Standards and Guide-lines for Quality Assurance in the European Higher Education Area) - that is the refer-ence point for quality assessment systems - considered this as a central notion even though the document was not legally binding. What is more, there still was no solution to the impartiality of evaluators, while the ESG guideline determined that these bodies had to be autonomous and independent: at that time, CIVR was an advisory committee of MIUR (Ministry of Education, University and Re-search) with no legal status.

The last decade marked the beginning of a second stage made of attempts and tests in the field of research assessment in Italy, and had its crucial moment with the institution of ANVUR, Agenzia nazionale di valutazione del sistema universi-tario e della ricerca (National Agency for the Evaluation of Universities and Re-search Institutes), November 26, 2006, L. 286.

The aims of the agency are to be found in article 2 of Law 286/2006: a) exter-nal quality assessment of the activities of Universities and public and private Research institutes which benefit from public funding, according to an annual programme approved by the Ministry of Education, University and Research; b) direction, coordination and supervision of the as-sessment activities carried out by internal evaluation bodies of Universities and Research insti-tutes; c) evaluation of the efficiency and effectiveness of State funding and incentive programmes for research and innovation. This means that the Agency will evaluate research-related products, but it will also indicate centres of excellence that will benefit from supplementary funding and will set the requirements needed in order to establish new Universities. These are certainly complicated issues.

Richly detailed documentation about the whole political and institutional framework behind the institution of the Agency has been collected by Renzo Rubele and it is available on the ROARS Website (www.roars.it)44. There is a nodal point concerning the institution of ANVUR, that is its independent status: at present, this issue remains unsolved. Actually, there are three assessment lev-els: a government allocates funds, an independent agency suggests its distribution following an ex-ante assessment process of the different research projects, and another independent agency will assess the final results by means of an ex-post evaluation (Modica, 2012, p.29). In Italy (and in other countries, too), this tripar-tite organisation does not work properly, probably because there are too many intricate research-related projects to be analysed. The next section tries to shed some light about this issue.

44 Rubele R., Appunti per una storia dell’ANVUR, online: www.roars.it

152

A METHODOLOGICAL PROBLEM

The 2004-2010 VQR Exercise produced by ANVUR some months ago con-sidered only one of the stages involved in research assessment activities, that is ex-post actions. A veritable assessment procedure involves two other stages: ex-ante assessment and in itinere (ongoing) assessment. During the whole phase dif-ferent choices have to be made as for methodologies to use and problems with research-related objects to solve. Decision-related issues are the most important aspect in every assessment activity: evaluation has always been a moment of crit-ical reflection of the different activities carried out in the so called policy centres. Assessment as an independent activity, whether it was an external or separated moment from any action is a more recent discipline (Masoni, 2002).

2.1 Research-related objects.

How many research-related objects can be assessed? Here a classification in-dicating five items is suggested (Table 1): research projects, research processes (theorization and experiential activities), products, effects (the impact a research makes), research groups (institutions assessed according to their attractive poten-tial, fund raising, mobility, productivity). By the way, research is always seen as a complex entity because scientific, social and cultural theories and praxis interact: in order to evaluate them, holistic, hermeneutic and measurable methodologies are needed45.

Table 1

Sample criteria

Sample indicators

Research-related objects

Significance, originality/innovation, internationalization International mobility Productivity and effectiveness Social and economic impact

Adequacy, effectiveness and promptness of the related effects; contribution to scientific progress; position in the international scenario

Foreign researchers hired, researchers abroad

Research projects

Research processes

Products (books, journals, patents, spin-off, etc.)

Effects Institutions, research community, research units

Funding attractive potential of the objects

45 See Perla L., Valutazione e qualità in Università, Carocci, Roma 2004.

153

Resource management Bibliometric and Webometric analysis

Research accomplishment and attainment of the specific goal(s)

Inclination of an institution to invest on research

Immediacy, Index, Cited Half Life; Rate of Cites Index; Citation Impact; Database; Content analysis

2.2 Approach. An appropriate assessment methodology implies the identification of separate

quality- and quantity-based criteria and indicators for each object described in Table 1. These criteria, in a combined activity, depend on the distinctive features of the research-related object to be assessed (Perla 2004, pp. 65-119).

Quantity-based approaches tend to “measure” scientific research and its re-lated products, combining input and output measures; on the other hand, quality-based approaches are meritocratic (peer review). Both of them are not flawless: quantity-based activities cannot seize serendipity in a research project, while quality-based activities may be biased. When research-based products and pro-cesses are assessed a standardized procedure will seldom take place: one should take decisions, thus assessing quality. Quality cannot be measured, though: one may interpret it (Santelli, 1998; 2000).

There is also a new trend in human science, represented by bibliometric and webometric indexes: they include citation analyses, the latter being considered the foundation of the so called impact factor, or IF46. From a methodological point of view these indicators are based on the observation and computation (with advanced algorithms) of the number of quotations obtained by a publication in other publications in a given timespan, providing that this number represents an indicator of quality and that a publication has a given impact on other research projects. Bibliometric analyses based on numerical, measurable values may be faulty. On the other hand, it is undoubted that assessing activities, in order to demonstrate the desired effect, should be endorsed by every actor involved; they

46 For instance, if the number of articles issued in 2010 and 2009 in a given journal (called X)

have been cited in 2011 150 and 70 times respectively, and the overall number of articles issued on that journal in 2010 and 2009 is 70, then IF of the journal X can be calculated as such:

150 + 70 IF(X) = _____________ = 3.14 70

154

should be transparent (releasing the assessment criteria and the deriving results); above all, they should be carried out by independent bodies, working and judging autonomously.

2.3 “Social pressure” on research

Considering methodological problems dealing with the assessment of peda-gogical research, there is much data showing different contents and methodolo-gies: there are studies which refer to educational moral and existential principles but there are others based on proved and experiential evidence. Is it possible to assess general, theoretical pedagogical research and experimental, educational research using the same criteria? How important is the impact of the first kind of research compared to the other one, and how do they affect the final assess-ment? Pedagogy is subjected to social pressure represented by contextualization and accountability. Pedagogical research in the past communicated with society; now it is more integrated with people, as it is part of a context in which it pro-vides problem-solving and workable solutions. Assessment has shifted his focal point of pedagogical research towards the so called New Public Management (Bleiklie, 1998), mixing the notions of “research” and “development”. This con-nection keeps pure research out, as it cannot provide useful solutions to society and its requests. As for universities, this means that they should look for new partnerships within their territory, starting new and useful research projects (Per-la 2010, 2011; Perla, Vinci, 2012): an example is represented by the research group DidaSco (Department of Education, Psychology and Communication, University of Bari), carrying out research in the local territory and interacting with agents which create knowledge (schools, companies, institutions, etc.).

2.4 Is research “readable” or “measurable”47?

There is another methodological problem which is typical of human science. As recently stated (Bonaccorsi, 2012), modern science has a fundamental princi-ple: it aims at recognizing peers, therefore scientists want to have priorities in discovering new phenomena. That is why they spread their results within their community, and that is why they are peer-reviewed. This mechanism has created a system of scientific communication that improves itself, because every claimed result is continuously verified on a methodological level: what is more, feedbacks

47 When asking someone how to assess a scientific paper the typical answer would be by reading

it. Of course, the paper would be submitted to a qualified and independent readership, ensuring neutrality. This is the so called “classical” methodology or “peer reviewing”, and this procedure has its qualities even though it is not completely unbiased. It has to be considered that scientific pro-duction has dramatically grown, therefore it is difficult to keep up with the millions of articles is-sued on scientific journals, not including books. That is why bibliometry is needed, and in some cases “scientific production may be assessed without reading it”. G. Israel, Cambiare i concorsi senza merito, Il Messaggero, September 18, 2012.

155

from a scientific community may enhance results. A scientific community is un-biased, because its main interest is the circulation and progress of knowledge. Actually, the process is totally the opposite. Let us consider the citation pro-cess48: citations may not represent an indicator of quality of a given publication, but it may implicitly include or leave out members of a scientific community. In the academic system, in which competition and reputation are two key factors (especially in Italy), citations may be used to guarantee and maintain certain pow-er elites (unidirectional citations are really frequent: those in a “lower part of the pyramid” cite those with a higher status, while the opposite is rarely verified. “Elitist” peers cite each other, and this is considered a customary activity). This issue sparks discussion in human science: on a theoretical level, theories examine the significance of citations and what they can measure. There are two points of view: those who think that counting citations reflects the impact and the status of scientific research, because through citations researchers validate peers’ work; and those who assert that the citation system is conditioned by some factors which may alter the final result. That is why counting citations do not depict the impact of research products impartially. In this perspective citations are like rhe-torical instruments of persuasion, therefore they may be manipulated. This mis-representation affects research assessment, to such an extent that it has had po-litical implications; every Scientific Society was involved in the revision of the model compiled by ANVUR. In this light, Michele Corsi (President of SiPed, Italian Society of Pedagogy), Massimo Baldacci, Simonetta Ulivieri had done a strenuous work because they have found shared and transparent parameters that ANVUR’s decision-makers have evaluated in order to “mitigate” misrepresenta-tions (see Massimo Baldacci’s article on assessment procedures of pedagogical journals).

The problem in every experimentation model on research assessment lies in the recognition of a way to understand how assessment may be considered “ap-propriate and fair” (Damiano, 2011; 2012). This means that evaluators should provide genuine reasons, avoiding elitisms.

2.5 Are evaluators assessed?

Another problem mentioned above deals with the assessment of evaluators, or the suitable properties of evaluators which may guarantee professionalism and independence. These traits are important in order to avoid any political interfer-ence.

For this reason Scientific Societies should detect appropriate standards and unbiased parameters that could identify fair-minded evaluators, trying not to find assessment models taken from other domains or countries. An assessment sys-

48 Citation is the minimum information unit which is “coded” by means of common interna-

tional standards: in this way scientific publications may be univocally identified.

156

tem founded on individual merit and quality-based, using shared and strict pro-cedures should have different features according to its level (micro- or macro-level) of the related decision-making processes: on a central level by means of multi-year assessment exercises, on a local level by means of the different De-partments in which research is gathered (Perla, Vinci 2012).

In the Italian university system there are three different decision-making lev-els: the highest one deals with politics (Ministries), while the others are repre-sented by the different university locations and the local action groups (Depart-ments). An assessment model considered “appropriate and fair” should stick to some fundamental notions:

- Planning and control should represent the cornerstones of clear and shared practices (thus leading to the decision-making processes dealing with the “strategic management” of research resources);

- Transparency in assessment (with criteria and indicators being defined a priori);

- A computerization of all the variables concerning the research-related products, in order to define appropriate indicators in the assessment process);

- A final report of the assessment results (including feedbacks). It would be interesting to understand the medium- and long-term practical effects of assessment activities, as well as its quality and quantity enhancements.

2.6 An Archive for research activities.

As for the final concept of the above list, it is important to underline the val-uable work carried out by CRUI together with the Commissione Biblioteche (Library Board) and the Open Access Group in the constitution of the University Research Register and the Open Institutional Archives in which all research activities are gathered and browsed: there is a shift from research-related products towards re-search-related activities.

Institutional Archives represent a veritable treasure both on an administrative and organizational level, becoming an integral part of research assessment activi-ties in western societies: in the United Kingdom this system is integrated into RAE (now called Research Excellence Framework) through IRRA (Institutional Reposi-tories & Research Assessment); in the Netherlands there is a digital platform called NARCIS; in Australia, some repositories are part of the national assessment ac-tivity carried out by Excellence in Research for Australia (ERA); in Italy, some Uni-versities and Research Institutes have their own registers (some examples are represented by AIR, University of Milano; Polaris, University of Trento; BOA, University Milano Bicocca; and the Archivio dell’Istituto nazionale di Astrofisica –National Institute for Astrophysics Archive). Another important element is rep-resented by the enhancements in the so called Knowledge Architecture of Semantic Web (Galliani 2009; Rivoltella, 2010): as for the field of education, it provided a

157

great help in providing metadata to research resources (Metadata activities aim at adding further information to any kind of data, such as references, keywords, etc.). These tools make research assessment more transparent and shared. In this way, scientific popularization has new communication channels, tools, formats: books or research articles are only the final stage of a more complex “chain” in which a product is the final result of a multifaceted procedure.

How many researchers know the communication channels used in the institu-tion of European scientific networks, or the criteria in terms of quantity and quality that constitute the (rigorous) selection system?

Thanks to Knowledge Architecture and Open Archives primary data (called raw data) is stored and spread (articles, conference papers, working papers, mon-ographs, etc.); different practices are shared, the information chain is enhanced and researchers may gain a reputation within scientific communities. What is more, articles stored in open archives are more likely to be mentioned.

Table 3 shows the most typical activities during research assessment activities according to the different stages of assessment (ex ante, ongoing, ex post):

Table 3

RESEARCH ASSESSMENT ACTIVITIES

Ex-ante In itinere (ongoing) Ex post

Identification of objects a) Computerization (Registers and Archives)

a) Multi-year Research Assessment Exercises

Description of aims Data collection (in pdf format)

b) Final assessment of the research-related products

Definition of criteria and assessment indicators

Supervision c) Effects and actions (feedbacks) of assessment activities

Definition of methodologies and assessment techniques

Reporting activity

3. EFFECTS OF RESEARCH ASSESSMENT: PROS AND CONS OF A SYSTEM TO BE TESTED

The issue of research assessment is so central that it affects the academic management process as a whole, influencing the role of scientific communities in recruitment and the relationship among university locations in a social and politi-cal context that requires change in the public research and education systems: without them, the university system is at risk as the same system of educational science research (Sani, 2011).

158

It is not easy to predict the results of research assessment activities also be-cause this system was created as part of a spending review policy, therefore no one can assess its success at the moment. Nevertheless, pros and cons of this system may be detected, in order to avoid that the cutbacks may be unknown variables, thus leading the whole process towards opposite results.

3.1 Cons

The first thing to be considered is the way in which research evaluation is meant among scholars and the different reasons used in research assessment by the different international agencies of quality assessment (including ANVUR).

Scholars think that the significance of research is found in its content, thus it can be evaluated by reading or peer reviewing it; on the other hand technical evaluators think of research assessment as a complex (and costly49) system that aims at evaluating its potential effectiveness, efficiency and effects. Even though it may sound paradoxical, the general aims of research assessment go beyond research contents, although they are not aside from the general process. A con-trolling procedure of a “productive” process involving knowledge cannot replace proficiency in evaluation, that is a wise analysis carried out by peers. Anyone but them may judge significance and originality in a research in a given disciplinary sector.

Every scientific community knows their most outstanding scholars: the latter do not need quality assessment, and peer reviewing is the best methodology in order to assess quality in research. Peer reviews are not based on specific tech-niques or indicators, but on professional values about the research-related object (Turri, 2005), and peers have enough experience and expertise to evaluate. The CIVR exercise, carried out by peer reviewing, could not introduce external fac-tors into university criteria, but it could detect some representatives of the values it meant to characterize. These people had to assess quality in the Italian re-search-related products, and peers had to guarantee the dissemination of these values. From this perspective this is why research assessment systems did not represent a form of innovation: they have only broadened the methodology used within scientific communities.

Bibliometric techniques have been introduced in the VQR exercise 2004-2010 in some scientific areas, but they will be applied in all human sciences. And from this perspective, some concern is legitimate.

These techniques have been considered an “indirect peer reviewing method” (Cerroni 2009) because their indicators (publishers, number of citations calculat-ed by IF) are considered the effects of a “native” peer reviewing method: the only difference is the time saved because “expert” readers are not involved. It may be

49 The previous CIVR assessment exercise involved about 7000 scholars and cost more than

3,5M Euros.

159

argued that, in a scenario made of cutbacks, this technique would represent a turn-ing point. Nevertheless, these indicators are not proper for human sciences, espe-cially IF: this value is broadly used in experimental science, and it is likely to be used in the next ANVUR assessment exercise in order to distribute funds.

The IF bibliometric indicator was introduced by ISI-Thomson, and it aims at representing the “average quality worthiness” of scientific journals (Baccini, 2010). In order to understand the influencing power of IF50 in the research sys-tem, one should consider that journals need to conform to several criteria in or-der to be included in ISI’s index (peer reviewing efficiency, precision in publish-ing, the presence of editorial or international boards, etc.) ISI’s index does not aim at gathering the whole amount of publications, but it is representative of research excellence: for this reason, only the journals considered representative of a given scientific sector are assessed. ISI considers the indicators above mentioned in order to assess the impact of scientific articles and to index the different journals. As for the weak points in the bibliometric indexes see the sources indicated in the footnote (Leydesdorff, 2005). Here are some words by A. Figà Talamanca: “I would like to address to the scientific communities which are not affected by IF (for instance, mathematicians and physicists), telling them to withstand this indi-cator; I would like to tell historians, jurists, scholars, followers of social sciences not to believe in those who think of IF as the most effective indicator for re-search assessment; they do not need to conform to unfounded assessment crite-ria, so I ask them to join the group of those who do not accept IF as the criteri-on used in research assessment” (Figà Talamanca, 2000). The reasons for this sharp criticism are basically two: the Italian production in humanities is not ade-quately nor sufficiently represented in the Journal of Citation Report; and, more in general, bibliometric systems underestimate research in some sectors character-ized by a local dimension and disseminated in a non-standard language (as stand-ard English is commonly used). Impact factor may be refused because of lan-guage-related issues: Italian may be marginalized (it will be used less and less, because English will represent the maximization of impact in research), and ISI may be blamed for some defects that would underline the limitations of this pro-cedure (even though some corrections have been attempted). An example is rep-resented by the so called publication bias, that is some flaws in assessment using bibliometric or webometric indexes, thus leading to a misrepresentation of facts. A case is represented by citation analyses: there is no difference between cita-tions and self-citations, or between positive and negative citations. There are some circumstances called “Halo effects” or “Matthew effect” by R. Merton: in reference to the parable of the talents, in which the rich gets richer and the poor gets poorer, here a popular author will always be more cited than those who have

50 Impact factor, in particular, indicates a value that counts the number of times scientific arti-

cles produced in the previous two years are cited within other articles in the same index.

160

less citations (or those who are not indexed in databases). Do bibliometric in-dexes guarantee originality and pluralism of research, or do they favour some theoretical, consolidated frameworks? A symbolic example is represented by journals (as explained by M. Baldacci in this issue) that are divided into three different quality groups (A, B, C) according to the choice of scholars belonging to different disciplinary sectors. The quality level of a journal would not rely on the quality of contents published in the journals but on the journal’s (interna-tional) circulation and distribution, the importance of publishers, the presence in ISI’s index: this represents a disadvantage for local publishers.

Despite these evident limits, the general trend is to stick to bibliometric guidelines; this will alter the nature of pedagogical research within few assess-ment exercises. One of the examples is represented by the influence some as-sessment procedures have on the organizational structure of the whole university system in those countries which have implemented this methodology before Ita-ly; the consequence was the centralization of resources into few poles. Data coming from 2008 RAE about fund distribution shows that 124 universities have received research funds, but only 3 of them concentrate 21% of the overall sum (University of Oxford, University of Cambridge, University College London); ten locations account for 49% of the distributed funds; the remaining 12% is for 83 universities. This situation does not need any further comments.

There is a new “political economy” in scientific research: this underlines the importance of journals when compared with monographs. Clear publishing strategies are carried out, favouring some editorial institutions, thus influencing recruitment activities. This “economy” easily ignore [sic] new and emerging disciplines, young researchers, and new universities, to such an extent that the significant 2010 Re-port Assessing Europe’s University-Based Research by the European Commission em-phasizes the following critical aspects:

- Qualitative indicators can easily ignore differences between disciplines; - Peer reviewers can also act as ‘gate keepers’; - Evaluation systems may encourage behaviour which is contrary to particu-

lar policy needs; - Indicators measure past performance rather than potential; - Bibliometric methodologies focusing on publications in peer reviewed sci-

entific scholarly journals fail to capture research activity across the full re-search innovation eco system;

- Reliance on data that is easily measured can distort research towards that which is more predictable;

- Emphasis on global impact can undermine the importance of regionally relevant outcomes (European Commission, 2010, p.57).

161

3.2 Pros There are several positive aspects, too. Assessment methodologies have given

a dramatic contribution to the diffusion of a culture of assessment within such an institution (University) which has always refused to report its activities. What are the positive feedbacks expected from the implementation of this complex system? The first one is the affirmation of a management of intellectual work: this will cer-tainly give exposure to ex-ante, ongoing and ex-post knowledge operations (most of them being known by some elitisms only) that stem from research.

Research assessment procedures are refined techniques used to track invested resources, from the starting stage (when a project is planned, or in case of meet-ings) to the final step, that is the dissemination of results by means of archives and databases. A transparent methodology implies assessment results to be part of the university governance, especially in the distribution of funds; one has to understand which financing processes are available, and the dissemination of results to scientific communities but also to any stakeholder involved should be carried out on a regular basis. A transparent system has its own rules and its awkward restrictions: universities, within their “autonomy”, deeply needed this kind of rules (Bousquet, 2008).

The second positive aspect is the fact that Italian scientific communities relate to international communities, thus overcoming their geographical boundaries and a sort of provincialism, a common attitude in our country. Internationalism (one of the most important assessment indicators) favours mobility of Doctors and researchers, strengthening knowledge networks, exchange of ideas, visions and methodologies. This process of “acting internationally” will enrich our knowledge, and new research methodologies will emerge, thus broadening our social practices in research. Research archives, ISI databases and the new role of journals will extend these processes, so universities will not be excluded in this new globalized context.

There is a final positive aspect: research assessment (and its resulting assess-ment of academic courses) will synchronize education and research. This will enhance the overall quality of our university system. If autonomy has fragmented this system, increasing the number of (not that useful) disciplines out of all pro-portion, this new “assessment-based system” has triggered the opposite process, because educators will feel the need to enhance the scientific production in order to meet the assessment criteria, narrowing their field of research. Ideally, time and resources will not be wasted. The resulting quality in education (education of university students) will grow only if quality and quantity in research will follow the same path. This implies that research will be more competitive, prioritising excellence: another thing to avoid is the (re)creation of new elitisms that would endanger “weak” universities only because they are not in privileged positions.

This is the most challenging scenario of research assessment: to avoid the problematic issue of the so called Matthew Effect.

162

REFERENCES

BACCINI A. (2010). Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici. Bologna: il Mulino.

BLEKLIE I. (1998). Justifying the Evaluative State. New Public Management Ide-als in Higher Education. European Journal of Education, 33, pp. 299-316.

BONACCORSI A. (2012). Ancora sulla valutazione nelle aree umanistiche e sociali: competizione, stratificazione, equità. In P. MICCOLI, A. FABRIS. Valutare la ri-cerca? Capire, applicare, difendersi (pp. 85-98).Pisa: Edizioni ETS.

BOUSQUET M. (2008). La “consolle” del management. In AA.VV., Università glo-bale. Il nuovo mercato del sapere. (pp.99-104). Roma: Manifestolibri.

CAPANO G. (2000). L’ università in Italia. Un’istituzione che s’incammina verso l’Europa. Bologna: il Mulino.

CERRONI A. (2009). Valutare la scienza sociale nell’epoca della società della conoscenza. In Baldissera A. (Ed.). La valutazione della ricerca nelle scienze sociali (pp. 51-70). Roma: Bonanno. Ripubblicazione di omonimo articolo in Quaderni di Sociolo-gia, 53(49), 169-181.

DAMIANO E. (2011). Il “senso”della valutazione. Fenomenologia sociale e op-zioni epistemologiche. Education Sciences & Society. Roma: Armando. Anno 2, 2, pp.10-39.

DAMIANO E.(2012). Diventare quel che si misura? Indagine sull’“internazio-nalizzazione” della ricerca pedagogica. Education Sciences & Society. Roma: Ar-mando, pp.59-86.

EUROPEAN COMMISSION. (2010). Assessing Europe’s University-based Research. Di-rectorate-General for Research Communication Unit B-1049 Brussels.

FIGÀ-TALAMANCA A. L’Impact Factor nella valutazione della ricerca e nello sviluppo dell’editoria scientifica. In IV Seminario Sistema Informativo Nazionale Per La Matematica SINM 2000: un modello di sistema informativo nazionale per aree discipli-nari, Lecce, 2 Ottobre, 2000.

GALLIANI L. (Ed.). (2009). Web ontology della valutazione educativa. Lecce: Pensa Multimedia.

LEYDESDORFF L. (2005). The Evaluation of Research and the Evolution of Sci-ence Indicators. Current Science, 9, pp. 1510-1517.

MASONI V. (2002). La pratica della valutazione. FrancoAngeli: Milano. MERTON R.K. (2005). The ‘Thomas Theorem’ and the ‘Matthew Effect’. In So-

cial Forces, 74, pp. 379-424. MICCOLI P., FABRIS A. (2012). Valutare la ricerca? Capire, applicare, difendersi. Pisa:

Edizioni ETS. MODICA L. (2012). Valutare che cosa? Valutare come?Valutare perché? In P. Miccoli,

A. Fabris. Valutare la ricerca? Capire, applicare, difendersi (pp.13-34). Pisa: Edizio-ni ETS.

PERLA L. (2004).Valutazione e qualità in Università. Roma: Carocci.

163

PERLA L. (2011). La valutazione della ricerca dipartimentale. Oltre l’adempimento. In L. GALLIANI (Ed.), Il docente universitario. Una professione tra ricerca, didattica e go-vernence degli atenei (pp. 301-312). Lecce: Pensa Multimedia.

PERLA L., VINCI V. (2012). La via bottom-up della valutazione della ricerca pe-dagogica. In AA.VV., Il futuro della ricerca pedagogica e la sua valutazione. Quaderni della rivista Education Sciences & Society. (pp. 513-528). Roma: Armando.

REBORA G. (2003). Gli obiettivi della valutazione: miglioramento della qualità, trasparenza delle informazioni, efficienza ed efficacia dei processi. In Casciot-ti C. (Ed.). La valutazione: un indispensabile strumento di garanzia e di governance (pp. 25-56). Roma: Conferenza dei Rettori delle Università Italiane.

RIVOLTELLA P.C. (2010).Ontologia della comunicazione educativa. Metodo, ricerca, forma-zione. Milano: Vita e Pensiero.

RUBELE R. Appunti per una storia dell’ANVUR, risorsa di rete, www.Roars.it SANI R. (2011). La valutazione della ricerca nell’ambito delle Scienze dell’educa-

zione: un problema di metodo. Education Sciences & Society. Anno 2, n.2, pp. 176-190.

SANTELLI L. (1998). Interpretazioni pedagogiche e scelte educative. Brescia: La Scuola. SANTELLI L. (2000). Docimologia. Per una cultura della valutazione. Milano:Guerini TURRI M. (2005). La Valutazione dell’Università. Un’analisi dell’impatto istituzionale e

organizzativo. Milano: Guerini. VAN RAAN A.F.J. (2004). Sleeping Beauties in science. Scientometrics, 59, pp. 467-472.

RECENSIONI E SEGNALAZIONI

167

M. Baldacci, Trattato di pedagogia generale, Carocci, Roma 2012, pp. 390.

PREMESSA

Massimo Baldacci dedica il suo organico e rigoroso Trattato a Giovanni Maria Bertin - padre del Problematicismo pedagogico - nel centenario della sua nascita. Dal grande pedagogista veneziano, Baldacci non solo riprende l’iscrizione di pe-dagogia generale - già sottotitolo di Educazione alla ragione (Bertin, 1968) - ma mu-tua anche radici e orizzonti del suo razionalismo critico. Parliamo di una scienza della Persona ancorata sia ad una filosofia dell’educazione corredata di Singolarità e di Progettualità esistenziale, sia ad un’ermeneutica della formazione fondata su un approccio Metateorico. Dissenziente e inconciliabile nei confronti di modelli sociali e culturali (deterministici, economicistici, produttivistici) indifferenti ai valori dell’Intenzionalità, della Scelta, del Dissenso e dell’Utopia.

Il Trattato attraversa tutte le regioni del mappamondo pedagogico: la natura e i fondamenti della sua scienza, la struttura della sua metateoria, le categorie formali dell’educazione, la logica pragmatica del sapere pedagogico, l’educazione lungo le stagioni della vita.

Seduti su un ramo dell’albero epistemico del Trattato ci piace riprendere un duplice sguardo di Baldacci - la Condizione della pedagogia, oggi e la Metateoria mongol-fiera pedagogica - che percorre i crinali di un’opera di straordinaria rilevanza scienti-fica per coloro che si trovano in prima linea a difendere una scienza dell’educa-zione sempre più vilipesa e irrisa dai Partiti illiberali nemici del diritto di tutti all’istruzione e alla cultura.

1. LA CONDIZIONE DELLA PEDAGOGIA, OGGI

Il forte richiamo di Baldacci a ritornare ai fondamenti di una Pedagogia come scienza sfoglia, oggi, una pagina dolorosa: la presa di coscienza che nei primi due lustri del Ventunesimo secolo, la leggendaria diligenza pedagogica italiana del secondo Novecento (una carrozza/regale, guidata a cassetta da illustri Teorie dell’educazione: il Personalismo, il Problematicismo, il Neoempirismo, la Feno-menologia, la Pedagogia critica) è stata costretta a voltare a “destra” in Educa-zione, a percorrere sentieri Tolemaici: non più Copernicani. Parliamo dell’impietosa demonizzazione che il blocco populista, padronale e incolto - fino a ieri padrone del Governo e del vapore mediatico (tv e stampa) - ha scatenato con-tro la nostra Pedagogia popolare, non/togata (citiamo alcuni moschettieri: Don Lo-renzo Milani, Gianni Rodari, Bruno Ciari, Mario Lodi) e contro la nostra Pedagogia accademica (citiamo alcuni samurai: Giovanni Maria Bertin, Raffaele Laporta, Piero Bertolini, Cesare Scurati). Accusate di “sinistrismo” sono state separate e sbeffeg-giate, precludendo loro di continuare a pedalare felicemente sullo stesso tandem.

168

Domanda. Quali sono i connotati della pedagogia/Tolemaica? Baldacci ri-sponde con fermezza che è una teoria dell’educazione che merita la pensione: perché ascientifica e ideologica. È una pseudopedagogia che genera una ma-la/educazione per via della vocazione a imprigionare le stagioni infantili e giova-nili in false agiografie e in retoriche perbeniste. Allude insistentemente a una Per-sona astorica e senza volto antropologico. Questa, la sua carta d’identità scaduta da tempo: è una pedagogia pervasiva, saccente, ipertrofica che annulla le identità e le differenze. Disattenta (e forse nemica) delle pluralità dei volti infantili e giovanili, impossibilitati a costruirsi - mattone su mattone - le sfere della loro vita persona-le: affettiva, cognitiva, sociale, estetica, etica, religiosa.

Siamo al cospetto di un’antipedagogia fondata su un falso assunto. Questo. I processi di sviluppo e gli orizzonti esistenziali della Persona vanno decisi a-

priori, deterministicamente: ricavati da assiomi dati e intoccabili. Conseguente-mente, il guardaroba Tolemaico è pieno di abiti ariani e apollinei che non posso-no, ovviamente, essere indossati da coloro che testimoniano “diversità” culturali ed etniche.

Ne consegue, che la pedagogia/Tolemaica soffre di un’ossessione: la prolife-razione di cittadini che sappiano pensare con la propria testa e sognare con il proprio cuore.

La tesi di Massimo Baldacci (che è anche la nostra) é un po’ questa. Per evita-re l’onda lunga Tolemaica, rischiando l’avvento di un monopensiero, è necessario attribuire una “natura” Copernicana al sapere pedagogico: plurale per vocazione culturale, per fondazione scientifica, per orizzonte progettuale; rispettosa della crescita dei giovani, impegnata sui processi più che sui prodotti dell’azione educati-va. A partire da questo posizionamento, possiamo affermare che nel suo cielo appare ben visibile una “galassia” popolata di bambini e di adolescenti della Ra-gione: equipaggiati sì di fantasia-sentimento-lievità esistenziale, ma corredati an-che di corporeità-logica-saperi antropologici. È una volta celeste che allude ad una generazione/nuova: dotata di voglia di conoscere, di partecipare e di tra-sformare il proprio mondo di cose e di valori. Entriamo nelle teorie dell’educazione che hanno fatto scalo presso stazioni teoriche diverse: sia per fondazione epistemica, sia per orizzonte teleologico, sia per apparato metodolo-gico. Come dire, la diligenza Copernicana mai ha avuto paura di esplorare la complessa fenomenologia del discorso pedagogico e la molteplicità delle forme teoriche ed empiriche con cui si è proposta nelle diverse stagioni dell’educazione. Questo perché è storicamente impegnata a rifondare la “natura” e la “struttura” del sapere pedagogico: mettendo in soffitta il monomodello Tolemaico per av-venturarsi lungo frontiere capaci di elaborare teorie dell’educazione che la por-ranno su un balcone dal quale potrà godere di uno sguardo sia culturale, sia scientifico.

Lo sguardo/culturale, secondo Baldacci, simboleggia l’esigenza di un radicale cambiamento: possibile, rovesciando in/corsa il progetto antipedagogico di una

169

Cultura-che-si-fa-Merce. Al servizio vuoi di una società della globalizzazione del-le conoscenze (del capitalismo cognitivo), vuoi di una pedagogia che percorre testardamente il viottolo (senza ritorno: Tolemaico) della perdita dell’identità storica e sociale di giovani generazioni inscatolate in agiografie rassicuranti.

Lo sguardo/scientifico, secondo Baldacci, simboleggia l’esigenza di ri-progettare nel Ventunesimo secolo una Pedagogia progressista (Copernicana). Una scienza della Persona ancorata a un’ermeneutica dell’educazione che condu-ca al di là dalle colonne d’Ercole, fino a sorvolare mondi dell’educazione a lei ignoti. Sono i territori della povertà e dell’analfabetismo dell’emisfero australe di cui mai ha potuto servirsi per costruire le proprie Teorie planetarie dell’educazione. Parliamo degli statuti epistemologici e metodologici - in campo formativo - elaborati a sud delle colonne d’Ercole da territori educativi inesplora-ti e sconosciuti.

2. LA METATEORIA MONGOLFIERA PEDAGOGICA

Secondo Massimo Baldacci, lo sguardo scientifico della pedagogia costituisce un passaggio/obbligato per tutti coloro che intendono avventurarsi per i sentieri - affascinanti, pur se impervi - che portano agli altipiani dove si incontrano e dia-logano tra loro i più autorevoli statuti epistemologici. A partire da quelli (citati) conquistati in Italia lungo le fertili stagioni del secondo Novecento: il Personali-smo, il Problematicismo, il Neoempirismo, la Fenomenologia, la Pedagogia criti-ca. Domanda. Esistono dei denominatori comuni tra queste Epistemologie? E ancora. Si intravvedono ermeneutiche di “intersezione” che raccolgono il loro pieno consenso? Risposta. Sì, esistono e si intravvedono. In proposito, ci sembra di potere affermare (con Baldacci) che le citate teorie dell’educazione si danno la mano formando un serrato girotondo attorno al soggetto/Persona. Fino alle frontiere ultime di una Metapedagogia critica che fa tutt’uno con la possibilità di progettare e sperimentare una nuova umanità.

Siamo alla “struttura” del sapere pedagogico. Al cospetto di un Metamodello che invita le nuove generazioni a trascendere l’angusto tunnel della necessità e dell’alienazione (marcusianamente intesa: l’incubo di un’umanità a-una-dimensione) per uscire al più presto a guardare le stelle: equipaggiate di un bino-colo pedagogico irrinunciabile per incamminarsi lungo la strada di un’educazione dal doppio nodo teoria-prassi.

La progettazione esistenziale (la teoria, assunta come congegno critico: a-priori) tendenzialmente precede i fatti educativi (la prassi, assunta come congegno empiri-co: a-posteriori). Il suo compito è di porsi sul naso gli occhiali dell’argomenta-zione deduttiva popolando il suo sentiero metodologico di sintesi-a-priori abilita-te a catturare (a comprendere-interpretare-formalizzare) l’empiria educativa che nutre di linfa vitale i prati delle scienze dell’educazione.

170

Secondo questa linea interpretativa, la ricognizione teoretica fa tutt’uno con la presa di coscienza - critica, per l’appunto - della molteplicità (universalità) dei possibili modelli attraverso cui è stata (o potrebbe essere) organizzata la vita edu-cativa. L’obiettivo è di pervenire ad una Metateoria - alla “struttura” del sapere pedagogico - in grado di vincere la parzialità e la ristrettezza di prospettiva di certi modi di fare educazione. Per esempio, quando sono in collusione con de-terminati gruppi di potere: quindi, dipendenti da scale gerarchiche di interessi mercantili.

Di qui l’esigenza di un’idea-di-educazione capace di evitare l’influenza di mo-delli già dati, aprioristici, che presumano validità assolute. Quindi, la velleità di risolvere, una volta per tutte, le infinite antinomie dell’educazione.

Franco Frabboni

171

F. Susi, Scuola, Società, Politica, Democrazia. Dalla Riforma Gentile ai Decreti delegati, Armando, Roma 2012, pp. 224.

Quello di Francesco Susi, storico e pedagogista, docente presso la Facoltà di

Scienze della Formazione dell’Università degli Studi Roma Tre, è un libro di sto-ria della scuola italiana e, contestualmente – e proprio a ciò deve la sua originalità –, un libro che riflette sull’evoluzione storica del sistema scolastico del nostro paese in relazione ai processi di modernizzazione e alle fasi attraverso cui si or-ganizza e ristruttura l’organizzazione capitalistica del lavoro. Un libro, dunque, di storia e sulla storia della scuola, sui suoi nessi organici con la politica e con gli sviluppi della cultura pedagogica e didattica – da cui il titolo – snodandosi in un arco di tempo che, da un sistema scolastico escludente e classista (riforma Genti-le), conduce agli anni in cui il paese ottiene finalmente una scuola inclusiva, de-mocratica e funzionale alla mobilità sociale (Decreti delegati) – da cui la periodiz-zazione esplicitata nel sottotitolo. È questo, in sintesi, il punto di vista storico da cui l’autore ricostruisce ed interpreta la «lunga e difficile storia» della scuola ita-liana e, con essa, la progressiva e piena conquista del diritto universale all’istruzione e di un sistema formativo che viene sempre più a configurarsi quale baricentro del progresso civile, economico e politico del paese.

Dall’esclusione all’inclusione, dal classismo alla solidarietà, dall’autoritarismo alla partecipazione, dal confessionalismo alla laicità, dal capitalismo monopolisti-co fascista alla costruzione di un efficiente sistema pubblico di welfare dello stato repubblicano e democratico: un realizzarsi progressivo e conflittuale di una serie di istanze che, a ben vedere, sono già presenti negli interventi e negli scritti sulla scuola di Villari, Labriola, Salvemini, Fabbri, Mondolfo, Gramsci, Berneri, Go-betti, autorevoli voci della tradizione antimonarchica e antifascista opportuna-mente ricordate e tematizzate nella parte introduttiva del libro. Seguendo i mille rivoli attraverso cui si dirama anche nelle aule scolastiche ed universitarie l’opposizione alla dittatura mussoliniana prima, all’occupazione nazifascista poi, l’autore non manca di dare giusto peso all’inestimabile contributo – non solo culturale ma anche politico e militare – offerto alla Resistenza dalle organizzazio-ni clandestine degli studenti e degli insegnanti. Così come ricostruisce ed analizza da un lato le importanti esperienze scolastiche attuate – nei limiti del possibile – nelle «repubbliche partigiane» e, dall’altro, il vivo interesse ed il dibattito sulla scuola e per una scuola rinnovata che prende corpo tra gli uomini in armi delle squadre partigiane perfino nei momenti più bui e difficili della guerra di Libera-zione. Un complesso e difficile processo di elaborazione ed incubazione di nuo-ve idee politiche, proposte pedagogiche e finalità sociali dell’istruzione che an-dranno poi a costituire il cuore degli articoli 33 e 34 della Costituzione repubbli-cana (1948).

172

Una Costituzione tutta da attuare attraverso un lento e difficile processo di defascistizzazione e di trasformazione delle istituzioni, della scuola e, con essa, dell’idea di pedagogia e della funzione sociale della cultura stessa, in uno scenario lacerato dalla dura contrapposizione tra forze scolastiche laiche e cattoliche. Una storia che si snoda attraversando i «sanguigni» anni Cinquanta – come li ha re-centemente definiti lo storico Carlo Felice Casula – ed il «decennio dei movimen-ti sociali (1963-1974)» – per usare la fortunata espressione dello storico inglese Paul Ginsborg – connotandosi come straordinaria stagione di lotte per l’attuazione dei diritti sociali, dei disposti costituzionali per una scuola realmente aperta a tutti e di massa, per il riconoscimento delle differenze e di quei bisogni individuali precedentemente repressi o negati. Un iter dettagliatamente seguito e accuratamente ricostruito in cui individuare le ragioni e le radici dei processi di sindacalizzazione degli insegnanti, di politicizzazione degli studenti, del fiorire delle così definite «iniziative innovative» (Cos, Mcc, Convitti della Rinascita, Ce-mea, Mce, etc…), che tanto hanno contribuito al rinnovamento della cultura sco-lastica e pedagogica italiana ed al diffondersi di un patrimonio di idee riformatrici e progressiste nella coscienza collettiva. È anche grazie a questo inedito protago-nismo che il paese gradualmente conquista, insieme a maggiori tutele del lavoro dipendente ed efficaci politiche redistributive, anche la scuola media unica (1962), la scuola materna statale (1968), la liberalizzazione degli accessi universi-tari (1969), gli strumenti per la ‘gestione sociale’ della scuola, ovvero i Decreti delegati (1974), definiti dall’autore «il punto più alto toccato dalla parabola del lungo processo di democratizzazione del sistema scolastico italiano avviatosi all’indomani della caduta del fascismo».

Alla luce di tali acquisizioni, nelle conclusioni del libro l’autore invita non solo gli studiosi di scienze storiche, umane e pedagogiche ma i lettori tutti ad una sti-molante e alquanto urgente riflessione: il processo involutivo che, a partire dalla seconda metà degli anni Settanta del Novecento, coinvolge le democrazie occi-dentali, investe direttamente, destrutturandoli, anche il sistema pubblico di welfa-re, il sistema scolastico italiano e l’attuazione dei diritti sia di chi nella scuola pre-sta servizio sia di chi ha il diritto di accedervi e di ottenere un’offerta formativa di qualità. Questo processo si dispiega attraverso un duplice movimento: di «colo-nizzazione dell’immaginario», ovvero della diffusione di una cultura della compe-titività e della spendibilità immediata dei saperi esclusivamente funzionale alla precarizzazione dei rapporti di lavoro; di privatizzazione e mercificazione di ciò che fino a qualche decennio prima è stato conquistato in quanto diritto, cioè il diritto universale all’istruzione gratuita, obbligatoria e laica. Tutto ciò viene oggi dichiarato come non più compatibile con le cosiddette «esigenze dei mercati»; ma, se non adeguatamente difeso, rischia di vanificare l’azione stessa della scuola e dell’istruzione pubblica, ovvero la formazione del cittadino democratico, soli-dale e protagonista delle trasformazioni interculturali in atto.

Edoardo Puglielli

173

G. Chiosso, Alfabeti d’Italia. La lotta contro l’ignoranza nell’Italia unita, Sei, Torino 2011, pp. 319.

La raccolta di saggi, alcuni dei quali già editi, focalizza l’attenzione sul proces-so di alfabetizzazione in Italia nel corso dell’Ottocento attraverso un’analisi che spazia dalla scuola alle numerose iniziative, destinate a rappresentare un’occa-sione di istruzione e di educazione per la popolazione adulta. Ne deriva un qua-dro ricco e composito in cui si intrecciano più dimensioni in linea con gli orien-tamenti della più recente ricerca storico-educativa: dalla presentazione dei model-li pedagogici alla storia delle istituzioni educative; dallo studio delle discipline ai contenuti dei libri di testo; dallo spoglio delle riviste pedagogiche all’esame della pubblicistica popolare con uno sguardo al mercato dell’editoria.

All’indomani dell’Unità appare evidente, agli occhi della classe politica, l’esigenza di promuovere nel paese una coscienza identitaria secondo la celeber-rima e fortunata espressione di Massimo D’Azeglio («Fatta l’Italia, bisogna fare gli Italiani»). Occorreva legittimare il risultato raggiunto sul piano politico e am-ministrativo attraverso la diffusione di un sentimento di appartenenza e coesione nazionale, esito non di un libero e spontaneo riconoscimento in una condivisa idea di cittadinanza, ma di una graduale e sistematica trasmissione di valori guida-ta dall’alto. La leadership intellettuale della penisola manifestava, infatti, una scarsa fiducia e una forte diffidenza nei confronti del ceto subalterno: dalla posizione assunta da Angelo Camillo De Meis, che individuava nel sovrano l’ideale media-tore tra la minoranza colta e la plebe «animalforme», a quella di Leone Carpi, convinto, nella logica del self helpismo, dell’efficacia del lavoro come strumento di crescita economica e di rigenerazione morale delle masse. La formazione dell’italiano «nuovo» presupponeva, pertanto, un’azione educativa volta all’affermazione di un pensare e sentire comune, accompagnata da un rinnova-mento etico con particolare attenzione al carattere del popolo italiano, animato da interessi individualistici, debole nella volontà e poco incline allo spirito di sa-crificio e alla consuetudine al lavoro. A chi affidare il compito e la responsabilità di tale processo? Era un interrogativo destinato a costituire il fulcro dell’ampio dibattito in cui, nella seconda metà dell’Ottocento, si fronteggiarono due diverse scuole di pensiero: da un lato la visione che, espressa soprattutto da De Sanctis, Coppino e Baccelli, attribuiva esclusivamente allo Stato la funzione di veicolare i principi morali della nazione attraverso una scuola laica e obbligatoria, fondata sulle «prime nozioni dei doveri dell’uomo e del cittadino» e sull’insegnamento della ginnastica; dall’altro un’impostazione che, pur nelle differenti accezioni del liberale Bonghi e del cattolico Allievo, circoscriveva il ruolo dello Stato, come sottolinea l’autore del testo, a «semplice strumento regolatore dell’iniziativa della società civile».

174

Il punto di partenza, rileva Giorgio Chiosso, era rappresentato dalla conquista dell’alfabeto. Si trattava di individuare una serie di percorsi che favorissero l’acquisizione dei primi rudimenti del sapere. Se la scuola, con le caratteristiche precedentemente richiamate, si configurava come il canale privilegiato rivolto alle giovani generazioni, ricca e variegata appariva la tipologia di iniziative che aveva-no come destinatario il mondo adulto. Alcune erano di natura formale, altre in-formale: tra le prime figuravano le scuole serali e festive, avviate da comuni, da associazioni benefiche e privati, oltre alle scuole reggimentali che, sorte nelle ca-serme, venivano frequentate dai militari di truppa analfabeti; entrambe le espe-rienze sollecitarono un’apposita produzione editoriale in cui si cimentarono mae-stri e professori, noti e meno noti. Nella seconda categoria rientrava ogni forma di educazione in grado di incidere indirettamente sui processi di alfabetizzazione: dai comizi agrari alle cattedre ambulanti di agricoltura finalizzate ad accrescere le conoscenze dei contadini e a diffondere innovative tecniche di coltivazione; dall’azione delle Società di mutuo soccorso, che promuovevano l’istruzione ele-mentare e professionale come indispensabile premessa del miglioramento delle condizioni di vita degli operai, all’impegno profuso dal movimento delle bibliote-che popolari circolanti orientato a favorire la pratica della lettura grazie al prestito dei libri a domicilio.

Altrettanto composita e diversificata risulta la fisionomia di coloro che opera-no in questa pluralità di contesti educativi. Centrale è la figura del maestro di cui, nel testo, viene ricostruita l’evoluzione professionale con particolare riferimento alla componente femminile in ordine soprattutto al contributo offerto dalle con-gregazioni religiose. Ad essa si affiancano il divulgatore agrario e il medico: il primo, identificabile con più attori sociali (possidenti, agronomi, insegnanti di scuole agrarie, ma anche preti e maestri), coniugava un insegnamento di livello medio-alto con quello di taglio popolare; il secondo che, incaricato di diffondere tra i ceti subalterni i principi di igiene e di una corretta alimentazione, agiva nell’ottica non solo della cura, ma anche della prevenzione delle malattie in una società tardo ottocentesca in cui alla salute e al benessere fisico del singolo era associata la prosperità economica della nazione.

L’ultimo capitolo è dedicato al libro per la scuola, strumento prezioso nelle mani del maestro, supporto alla sua attività didattica quotidiana. L’autore rico-struisce, in modo preciso e puntuale, il percorso che segna il passaggio dal gene-rico testo d’istruzione al manuale, inteso come testo in grado di «assicurare la conoscenza di un certo ambito del sapere ordinato secondo un canone ben pre-stabilito e predisposto con precisi criteri pedagogici e didattici» (p. 268). Analizza, contestualmente, la nascita e lo sviluppo dell’editoria scolastica come fenomeno connesso al delinearsi, nel mercato della carta stampata, di un settore che, desti-nato ad una costante espansione, si configurava come una sicura e rimunerativa fonte di investimento.

Maria Cristina Morandini

175

M. Stramaglia (a cura di), Pop pedagogia. L’educazione postmoderna tra simboli, merci e consumi, Pensa Multimedia, Lecce-Brescia 2012, pp. 252.

Il volume curato da Massimiliano Stramaglia, con un’argomentazione strin-gente, solida sul piano teorico, e con un puntuale riferimento a una vasta biblio-grafia, raccoglie diversi contributi intrecciati tra loro da una tematica, quella della pedagogia “popolare” o del quotidiano, che ha come sfondo la pedagogia neo-personalistica. Sicché, oggetto di riflessione della pedagogia popolare, precisa il cura-tore nell’Introduzione, è «l’educabilità della persona umana imbevuta di postmo-dernità, che invita a “sporcarsi le mani” con l’analisi dei simboli, delle merci e dei consumi del mondo odierno» [infra, Stramaglia, p. 8]. Si tratta, perciò, dell’educabilità della persona, entrata nel dibattito pedagogico contemporaneo come questione antropologica ormai irrinunciabile, perché complessa e proble-matica, legata a doppio filo ai condizionamenti e alla pervasività di una società consumistica, globalizzata e frammentata, in cui la persona umana diviene ora un soggetto passivo inserito nelle contingenze storiche e sociali del quotidiano [cfr. infra, Chello e Manno, pp. 15-23]; ora un oggetto di indagine che produce, nella postmodernità, un nuovo fronte di dibattito circa le differenze tra i sessi, i generi e i desideri, che porta la pedagogia a confrontarsi con soggetti-persone portatori di identità che non rispecchiano più modelli e schemi tradizionali: intersessuati, transgender, crossgender, nonché omossessuali e bisessuali [cfr. infra, Burgio, p. 40]; ora un soggetto che si relaziona a “un gruppo di persone” (il riferimento è al fenomeno dei flash mob) che si riunisce all’improvviso in un luogo pubblico, per mezzo di social media, internet, e-mail e telecomunicazioni, dando luogo ad azioni insolite, ma, in taluni casi, utili sul piano pedagogico, perché, attraverso la comunicrazia, possono ripristinare la sovranità popolare lacerata da un globalismo senza regole [cfr. infra, d’Aniello, p. 42]. E ancora, sul piano etico-educativo, il fenomeno dei flash mob diventa uno strumento per tentare di emancipare i popoli e le masse e recuperare quell’umanamente possibile che si è perso nel nostro tempo, ma anche un’identità attiva, «tesa ad invocare con originalità petizioni di soccorso o, quand’anche, di autodeterminazione nutrite da libertà, autonomia e responsabilità» [infra, d’Aniello, p. 42]. Ma la persona umana va oggi investigata dalla pedagogia anche in relazione al tempo che passa, e che produce frustrazioni per i segni che lascia sul corpo con l’invecchiamento. La persona si percepisce, con lo scorrere del tempo, come un soggetto che si allontana sempre più dalla vita, tanto da fare di tutto pur di preservare la bellezza dell’età giovanile. L’idea di bellezza nella relazione educativa viene esplicitata dall’A. come un ambito dell’esistenza umana che deve essere colto nella sua ricchezza e complessità, oltre le apparenze da cui la quotidianità è sovrastata, in cui il messaggio che si veicola consiste nell’ideale di una bellezza fisica, esteriore più che interiore, anche a costo di sottoporsi a rischiosi e delicati interventi di chirurgia estetica [cfr. infra, Fabbri,

176

p. 62]. Ecco che una pedagogia della tenerezza, un’educazione all’intimità, indica-te da Corsi, possono costituire scientificamente una via percorribile per recupera-re, in questo tempo, il legame tra aspetto fisico e individualità. Appare interessan-te, nella relazione tra adulti e bambini, la funzione educativa delle narrazioni av-venturose di Winnie Puh analizzata da Deluigi [cfr. infra, Deluigi, pp. 71-76].

Il volume passa, inoltre, in rassegna, contributi in cui nuovi scenari educativi si presentano alla luce di sentieri mediatici che influenzano in maniera determi-nante la crescita e la formazione delle nuove generazioni, dando vita a inedite forme di comunicazione e di relazione tra le persone. Ne consegue che la peda-gogia si trova a occuparsi ancora una volta del problema di dar forma a un oriz-zonte di senso laddove il giovane agisce nella quotidianità ponendosi in relazione con l’Altro da sé sia come homo videns (spettatore-consumatore passivo) che come homo digitans, dove «per essere e conoscere non è più necessario pensare ed intelli-gere» [infra, Conte, p. 84], quanto conoscere “tutto e subito” facendo “zapping” con il telecomando, oppure digitando su una tastiera. Il tentativo dell’A. consiste nell’individuare un segnavia pedagogico che indichi alcune linee di riflessione per “diventare umani”, categoria di senso fondamentale, oggi, per regolare e orienta-re le azioni quotidiane [infra, Conte, p. 91]. Il saggio di Potestio, analizzando i limiti e le potenzialità del programma televisivo S.O.S. Tata, pone l’attenzione su come si possa “fare educazione” attraverso la televisione, domandandosi se, alla fin fine, questa possa essere realmente concepita come uno dei media tecnologici più efficaci per dare suggerimenti ai genitori circa l’educazione e la cura dei figli [cfr. infra, Potestio, p. 98]. Il saggio di Pezzano, esplorando I cartoon: la famiglia Simpson, sottolinea come un mondo senza cartoni animati sarebbe, in un certo senso, un mondo privo di fantasia e di immaginazione. I cartoon, ma anche le sitcom, o i fumetti, possono assumere una funzione educativa, in quanto permet-tono di «interpretare molto meglio di quanto si creda la realtà» [infra, Pezzano, p. 103] e producono immaginazione creativa nei giovani, oltre a far comprendere a questi il ruolo sociale della famiglia; ne I Simpson, ad esempio, la famiglia è dipinta come un nucleo relazionale dinamico, che si “fa” sempre e continuamente nella realtà quotidiana. La persona umana come problema antropologico della post-modernità, che fa i conti con la perdita di un orizzonte di senso e di significato, con l’assenza di una piattaforma assiologica e di una connessione esperienziale, sollecita la pedagogia a interrogarsi su nuovi scenari, frontiere e spazi dell’educativo e dell’agire educativo. Il saggio di Augelli muove da queste consta-tazioni quando esplora la funzione della fiction televisiva, concepita come «una fra le attuali forme di narrazione mediatica» [infra, Augelli, p. 116] con cui giovani e meno giovani si confrontano, da utilizzare possibilmente in ambito formativo e, dunque, nei diversi contesti educativi (in famiglia, a scuola o negli ambiti in-formali). E, ancora, il saggio della Perfetti puntualizza il rapporto tra educazione e cinematografia, e, dunque, il ruolo che oggi assume la comunicazione filmica nei processi educativi/formativi. In particolare, l’A. esamina la cinematografia di

177

Pedro Almodóvar, il quale ha “fotografato”, nei suoi film, il valore della differen-za, ma anche un mondo intriso di pregiudizi, che emargina il diverso, nonché «il valore della narrazione ed il senso della parola, intese come cura per allontanare il dolore della solitudine, della malattia e della follia» [infra, Perfetti, p. 138].

Il volume raccoglie, poi, saggi che interrogano il passaggio dagli audiovisivi (analogici) agli strumenti educativi digitali, fondamentali nella postmodernità. Si pensi al web come “finestra sul mondo”, ma anche come luogo in cui si possono promuovere la democrazia e la cittadinanza. Sarracino, nel suo saggio, riprende il concetto deweyano di “democrazia”, dove questa, oltre a una forma di governo, è una pratica di vita associata che si fonda sulla comunicazione interpersonale delle esperienze di vita, sulla partecipazione, sulla condivisione delle scelte, dimo-strando che oggi l’educazione alla democrazia e alla cittadinanza può realizzarsi anche attraverso le tecnologie digitali, la rete e le pratiche di networking (forum, blog, social network) [cfr. infra, Sarracino, p. 146]. Ma il digitale può anche favo-rire l’amore attraverso le chat, sostiene Riva. L’amore si manifesta nello spazio virtuale soprattutto per i giovani, che sentono il bisogno di esprimere i propri sentimenti sempre meno nella relazione duale face to face e sempre più tramite la mediazione della tecnologia [cfr. infra, Riva, p. 157], generando nuove emergenze che la pop pedagogia deve affrontare con la creazione di figure professionali che forniscano consulenza pedagogica amorosa.

Gli ultimi saggi del volume si iscrivono all’interno dei consumi postmoderni, approdando su indagini di eventi planetari come l’Expo Milano 2015, che ci viene presentato da Malavasi come un laboratorio che, facendo i conti con la cultura popolare, si pone lo scopo di accomunare le migliori esperienze del mondo per progettare un futuro più equo e sostenibile, oltre che solidale [cfr. infra, Malavasi, p. 171]; il Green marketing e le scelte alimentari, che, nella cultura popolare, stentano ancora a radicarsi, per cui, attraverso l’educazione, si possono promuovere azioni di consumo consapevole e stili di vita corretti [cfr. infra, Bornatici, p. 175]; il colle-zionismo di fashion e celebrity doll, scritto da Stramaglia, il quale, analizzando un fe-nomeno abbastanza diffuso non solo tra i giovanissimi e i giovani, ma anche tra i meno giovani, indaga, nel possesso seriale di bambole, il ritrovamento della tene-rezza del padre o della madre che è stata, un tempo, forse negata [cfr. infra, Stra-maglia, p. 187]; le identità situate, che, secondo D’Ambrosio, vanno esplorate, per l’appunto, “in situazione”, in relazione con gli altri, con le cose, con il mondo. Le individualità si situano nel corpo e si manifestano attraverso la propria estensione nello spazio socio-culturale, dove prendono forma. La ricerca condotta dall’A. prende le mosse da questo presupposto di fondo, collocandosi in seno a un di-scorso meta-teorico in cui l’educativo e il pedagogico sono pratiche che «riquali-ficano e legittimano le esperienze diffuse anche in nuove forme di socialità e di relazione» [cfr. infra, D’Ambrosio, p. 196]. Chiude il lavoro, prima delle conclu-sioni del curatore, il contributo di Corsi, che presenta, da un lato, l’importanza di una pedagogia popolare accanto a quella accademica, e, dall’altro, una figura di

178

“pedagogista” che non appare più, nel nostro tempo, come “l’autentico intellet-tuale dell’educazione”, e l’urgenza di una pedagogia che deve dialogare con gli altri ambiti disciplinari e con i molteplici campi esperienziali in virtù della com-plessità antropologica della persona umana e di una società che ha perso di vista l’umanamente possibile [cfr. infra, Corsi, p. 203].

In sintesi, il volume curato da Stramaglia ha il merito di occuparsi, senza al-cuna pretesa di esaustività, di un filone di ricerca inedito nel panorama epistemo-logico della pedagogia, contribuendo a una maggiore consapevolezza dell’oriz-zonte complesso della formazione e dei processi formativi ed educativi in questo particolare momento storico e sociale.

Paolina Mulè

179

B. De Serio (a cura di) Costruire storie. Letture creative a scuola, Progedit, Bari 2012, pp. 128.

Il volume di Barbara De Serio è il risultato di un’attività di ricerca svolta in una scuola primaria di Foggia, finalizzata ad indagare il ruolo delle pratiche narra-tive, che “conservano una posizione centrale nel curriculo e che rivestono un ruolo imprescindibile nella formazione integrale della personalità infantile, so-prattutto se veicolate da libri, se organizzate nella forma del lavoro di gruppo e se finalizzate a promuovere una riflessione condivisa” (p.3).

Seguendo questa prospettiva, i saggi del volume accompagnano il lettore at-traverso le diverse declinazioni del “costruire storie”, suggerendo, nelle due parti che lo costituiscono, altrettanti modi per scoprire e valorizzare i variegati accenti posti su questa tematica nella letteratura scientifica e pedagogica.

Gli scopi del volume vengono annunciati e definiti nella premessa di Antonel-la Cagnolati: analizzare le linee teoriche che guidano il lavoro di progettazione pedagogica in ambito scolastico. Un’analisi che attraversa tanto la prima quanto la seconda parte del volume, più specificamente dedicata ad analizzare le strategie didattiche più utili per migliorare le attività narrative quotidianamente avviate con i bambini in ambito scolastico.

È Rossella Caso a rilevare l’importanza del ruolo dell’istituzione scolastica nella costruzione del futuro lettore, descrivendo come esempio di “buona prassi” il progetto “Crescere con le scuole”, da lei stessa ideato e realizzato (p.109). Un progetto nell’ambito del quale i ricercatori hanno avuto modo di sperimentare l’efficacia della philosophy of children non solo dal punto di vista metodologico, ma anche come luogo metaforico di riflessione e di sviluppo del pensiero critico e dell’immaginazione.

La philosophy of children – afferma Barbara De Serio – rappresenta al momento lo strumento metodologico più utile per accrescere nei bambini la capacità critica e argomentativa nonché per sviluppare infinite e personali rappresentazioni del mondo: “l’idea di concentrare l’attenzione su un approccio filosofico è nata dall’esigenza di programmare un percorso formativo capace di educare i bambini a riflettere liberamente, a porsi domande ed a cercare altrettanto liberamente del-le risposte ai propri interrogativi” (p.51).

La narrazione diventa invece pratica dell’arte nel contributo di Maria Goduto, che evidenzia come l’illustrazione, il cinema e l’immagine possano diventare strumenti narrativi nella misura in cui sono in grado di “superare e sovvertire le regole, dopo averle imparate, ricercando percorsi alternativi alle scelte conven-zionali o rituali” (p. 16).

L’attenzione viene dunque posta alla scuola e alla sua capacità di garantire una formazione aperta e flessibile, grazie alla quale ogni studente possa acquisire gli strumenti necessari per rivedere le proprie concezioni del mondo, “ri-

180

strutturandole o costruendone di nuove oppure giustificandole, cercando le paro-le e le motivazioni più adatte” (p.44). Vengono quindi ripensati gli interventi formativi secondo un processo di verbalizzazione delle conoscenze ed esplicita-zione dei pensieri. In altri termini, la scuola deve diventare il luogo nel quale il docente possa prendersi cura di se stesso e dei suoi studenti in una “modalità di rapporto con l’esperienza professionale che trasforma la possibilità di un nuovo apprendimento”. A sostenerlo è Daniela Dato (p.72), nel cui contributo la di-mensione narrativa acquisisce una valenza sociale che supera la soggettività indi-viduale per aprirsi al “telos della formazione delle risorse umane” (p.73) e a per-corsi di lettura che abbiano efficacia pedagogica e rilevanza educativa.

Il tema della narrazione come progettualità viene recuperato anche nel con-tributo di Maria Cantatore e Maria Tibollo, che raccontano le personali esperien-ze di lettura avviate in classe e da loro stesse vissute come significativi momenti di condivisione emotiva, tale da influenzare “la sfera relazionale ed emotiva dei bambini fornendo loro l’abitudine a raccontare e raccontarsi utilizzando nuovi linguaggi” (p.84).

Narrazione, dunque, come forma di pensiero antidogmatico e plurale, che su-pera i pregiudizi e l’individualità per aprirsi alla pratica collettiva. Efficace, a que-sto scopo, l’utilizzo delle fiabe, che come afferma Manuela Ladogana “si configu-ra come occasione di incontro e confronto fra tradizioni culturali, mondi e popo-li differenti. Si tratta di non proporre meramente le fiabe dei diversi paesi, ma di far immergere i bambini liberamente nei mondi dell’altrove, lasciandoli agire libe-ramente. È così il bambino impara a conoscere e com-prendere, le differenze tra terre, luoghi, popoli tra loro distanti” (p.91). Intesa in tal senso la fiaba appare un utile strumento didattico per rilanciare l’importanza delle attività ludiche e consi-derarle non più solo come momenti di svago, ma come importanti momenti di apprendimento, per conoscersi e conoscere la realtà in modo critico e creativo.

La lettura del testo è particolarmente consigliata a chi svolga la professione dell’educatore, poiché il volume fornisce uno sguardo costruttivo sull’esperienza formativa, attento soprattutto alla dimensione operativa della prassi educativa.

Federica Cirulli

181

L. Perla L’eccellenza in cattedra. Dal saper insegnare alla conoscenza dell’insegnamento, FrancoAngeli, Milano 2011, pp. 204.

Il volume mette a tema la figura dell’insegnante-Maestro, incarnazione della “eccellenza in cattedra”, e presenta i risultati di una ricerca condotta su 138 inse-gnanti di scuola primaria e secondaria e 98 studenti frequentanti un corso per “Educatori degli adulti e formazione continua”. La ricerca si inscrive nel solco di un’indagine fenomenologica già avviata dall’Autrice sulla “didattica dell’impli-cito”, e si colloca nell’orizzonte teoretico/epistemologico del “Pensiero degli insegnanti” (Teachers’ Thinking). In tale prospettiva le pratiche d’aula sono assunte come fonte del sapere sull’azione di insegnamento, stante la decisiva rilevanza attribuita alla dimensione implicita dell’agire stesso.

L’eccellenza dell’insegnante, la sua “magistralità nella pratica”, è avvicinata come nucleo centrale e “misterioso” dell’insegnamento prima che come “catego-ria pedagogica”. La inafferrabilità/indefinibilità della magistralità deriverebbe dal suo radicarsi nei saperi “biografici”/”pratici” del docente: la ricerca descritta mette a tema “la parola dell’insegnante” come “testo da interpretare” e mira a far emergere il “sapere pratico” di cui l’agire esperto è intriso. Più che a un intento normativo-prescrittivo (delineare il dover essere del “buon docente”), lo studio mira a far emergere la concretezza delle pratiche d’aula a partire dalla fenomeno-logia di molteplici “azioni docenti” prese in considerazione.

Il capitolo Primo, Bisogno di Maestre e di Maestri, ricostruisce le molteplici strati-ficazioni concettuali della magistralità. Il progressivo svuotamento del termine “Maestro” (e della connessa esperienza della magistralità) è assunto come dato di fatto e come punto problematico di partenza. Al “bisogno di modelli e di auctori-tas” dei giovani non corrisponde la presa in carico del ruolo magistrale da parte degli adulti, nonostante la paideia occidentale consegni all’esperienza e alla rifles-sione un canone dell’agire magistrale (assunto a premessa per l’intera ricerca). Numerosi e suggestivi i tratti della magistralità individuati: la padronanza di sé, l’obiettivo collocato nel “condurre la persona ad essere maestra di sé” (legge di maestria), che apre la via all’eccellenza perché chiede di elevarsi a un modello di Bene Assoluto; la “sintesi di tradizione e pensiero creativo”; saper “mostrare” e “offrire” gli oggetti culturali all’allievo; l’essere dotati di un “potere” radicato nel “primato dell’allievo”, nella “strumentalità formativa della cultura”, nella “voce”, nel “silenzio”/”ascolto pensante”, nei gesti che “rappresentano” l’oggetto cultu-rale e “rivelano” la persona del docente, nello “esempio”. L’indebolimento dell’idea di magistralità è ricondotto a una più generale crisi di statuto della me-diazione educativa, fondata in una “antimagistralità” sorta dalla crisi della funzio-ne paterna/di autorità e culturalmente generata da approcci demistificatori (mar-xismo critico, psicoanalisi, strutturalismo), che rileggono il tentativo di educa-re/formare (e le istituzioni ad esso deputate) come frutto di un apparato ideolo-

182

gico; ulteriore concausa sarebbe poi l’insistenza (nella percezione comune e nella letteratura dedicata) sulla “comunicazione”, che finirebbe per relegare nell’ombra l’asimmetria tipica della relazione educativa. Tutto ciò originerebbe una “ideolo-gia del fraintendimento” rispetto alla funzione educativa dell’insegnamento, eli-minando il fondamento della magistralità: gli oggetti culturali, generatori dell’asimmetria che caratterizza le pratiche d’aula. La relazione Maestro/Allievo si troverebbe così svuotata di senso, ridotta a uno scambio orizzontale contras-segnato da “intimità” e “parità”. Il recupero del significato e dell’esperienza au-tentica della magistralità passa, a parere dell’Autrice, per un superamento tanto dell’esemplarismo quanto dell’antimagistralità.

Il capitolo Secondo, Alla ricerca dell’eccellenza (nascosta), connette la compren-sione dell’eccellenza magistrale a un’indagine delle componenti tacite che inner-vano il sapere esperto dei docenti, corpus latente “di habitus, di credenze, di congetture, di ragionamenti abduttivi che solo parzialmente accedono alla com-prensione e alla rappresentazione in forma di conoscenza esplicita”: un sapere “pratico”, “esistenziale”, “fenomenologico, in quanto vissuto”, la cui universalità può essere guadagnata solo dal punto di vista della “rappresentazione tipologica dell’esperienza” ed esprimersi in forma narrativa (“comporre-comprendere-interpretare le singole esperienze”). Collocandosi nell’alveo di quella che Elio Damiano ha definito “Nuova Ricerca Didattica” (NRD) e che Tochon considera come una “rivoluzione di paradigma”, l’Autrice concentra l’attenzione sulla tra-sposizione magistrale dei contenuti insegnati in saperi insegnabili, per conseguire la “conoscenza tipologica dell’insegnamento” a partire dalle evidenze empiriche che emergono dalle pratiche degli insegnanti. Viene poi presentata la ricerca em-pirica, costruita su domande emerse a partire da suggestioni e spunti scaturiti nell’ambito di un corso di formazione per docenti di scuola primaria e secondaria svoltosi a Milano nel 2007. L’intera ricerca nasce su un impianto di tipo “collabo-rativo”: lo stesso approccio fenomenologico-empirico adottato mira a promuo-vere la cooperazione tra insegnanti e ricercatori.

La presentazione delle domande-guida della ricerca (“chi è un Maestro?”; “cosa significa per te la magistralità?”; “come fa lezione un Maestro?”; “ come avviene nella tua esperienza di insegnante la mediazione didattica?”), frutto dei lavori di un’indagine-pilota, è accompagnata da una minuziosa descrizione delle procedure di campionamento, del metodo adottato, degli strumenti impiegati (intervista elucidativa in profondità, scrittura di testi di ricostruzione/riflessione sulla propria esperienza, analisi esplorativa dei materiali mediante il programma NVivo, procedura di Qualitative Data Analysis in ottica Grounded Theory). Nel capi-tolo Terzo (Dall’analisi alla restituzione) l’accurata esposizione delle modalità di codifica dei materiali si accompagna a un’ampia sezione dedicata alla restituzione dei risultati, nella quale ogni domanda è corredata dall’esposizione dell’analisi e da ampi stralci delle interviste e/o dei testi esaminati.

183

Una sintesi complessiva del percorso è offerta nel capitolo Quarto, Verso i re-ferenziali della magistralità, che propone una “riflessione di secondo grado sulla ma-gistralità” condensata, per l’appunto, in alcune categorie di referenziali (“Presa-di-parola”; “Metodi e strategie”; “Esemplarità”; “Stile e cultura”; “Narrazione”; “Corporeità e cura”). Un ultimo capitolo, concepito come appendice, propone ritratti di “Maestri” desunti dalla letteratura, che vengono offerti al lettore per l’approfondimento.

Il testo ha il pregio di offrire una ricca e articolata bibliografia: molto esausti-va la rassegna sulla letteratura portante della Nuova Ricerca Didattica e dell’approccio dedicato al “Pensiero degli insgnanti”, colti entrambi sia nei fon-damenti teoretici che nelle procedure metodologico-strumentali e nei dispositivi euristici. Altrettanto completa la ricostruzione bibliografica della magistralità. Non sempre agevole la lettura della restituzione dei risultati, resa più complessa dalla la scelta di riportare ampi stralci dei materiali empirci utilizzati; scelta che, d’altra parte, restituisce la freschezza delle risposte fornite dagli interpellati e con-sente di cogliere in presa diretta la ricchezza degli impliciti in esse presenti.

Giorgia Pinelli

184

D. Maccario, A scuola di competenze. Verso un nuovo modello didattico, Sev, Torino 2012, pp. 191.

Molteplici sono le ricerche che hanno posto ad oggetto delle loro indagini la

competenza come criterio-guida nella gestione del processo di insegnamento-apprendimento. Non sempre, tuttavia, tali ricerche hanno saputo constestualizza-re adeguatamente il costrutto alla scuola. Il volume di Daniela Maccario offre in questa direzione un contributo originale, integrando i molteplici e talvolta diver-genti orientamenti che hanno assunto le ricerche sull’acquisizione e la valutazio-ne delle competenze, con una riflessione critica circa le modalità di trasmissione del patrimonio culturale da parte di coloro che sono istituzionalmente predispo-sti a rispondere a questo compito.

L’interesse dell’Autrice è infatti orientato ad offrire una risposta sul come si può preparare, organizzare, condurre l’insegnamento per aiutare gli studenti ad acquisire competen-ze. Più specificatamente il fil rouge che attraversa la riflessione presentata nel vo-lume riguarda il costrutto di competenza considerato in rapporto ai compiti della scuola e alle molteplici forme di supporto didattico operate dai docenti, che se presenti - scrive Daniela Maccario- “possono far presagire percorsi positivi nella conquista di competenze da parte degli studenti” (p. XVII).

Tuttavia, precisa l’A. – “molto ancora rimane da fare per sostenere scuola ed insegnanti nel confronto con le istanze che il concetto di competenza introduce nelle pratiche didattico-educative, sia sul piano della costruzione di conoscenze validate, … sia sul piano dell’offerta di occasioni di formazione” (p. XVII). Un ulteriore aspetto puntualmente individuato dall’Autrice riguarda il passaggio da un concetto generico di competenza alla definizione di un costrutto, elaborato se-condo approcci fondati e rigorosi; l’A. evidenzia inoltre la necessità di promuo-vere le condizione più adatte che favoriscano un effettivo sviluppo delle compe-tenze, affinché il problema della promozione di competenze in ambito scolastico non sia solo dichiarato, come sovente accade, sul piano normativo.

Nella prima parte del volume l’Autrice presenta una ricognizione dei contri-buti teorici relativi al costrutto di competenza individuando due proposte di let-tura. La prima enfatizza la nozione di mobilitazione integrata di apprendimenti che assume una prospettiva cognitivista dei processi di apprendimento. Secondo questa prospettiva, sostiene l’A., un soggetto è competente - “quando, dal pro-prio patrimonio di acquisizioni sa attingere quelle richieste dal compito al fine di costruire una strategia risolutiva che non è la semplice applicazione di conoscen-ze e strategie precedentemente apprese” (pp. 6-7). L’esercizio di una competenza infatti implica tre dimensioni: l’attivazione, l’integrazione e la focalizzazione, rispetti-vamente orientate a fare ricorso alle proprie risorse personali, alla combinazione sinergica delle risorse attivate e alla messa in atto di processi interpretativi orien-tati al compito.

La seconda chiave di lettura proposta richiama una matrice interpretativa del-la competenza di carattere socio-costruttivista e situazionista che valorizza la di-

185

namica soggetto-contesto. Una competenza - lo richiamo con le parole della stessa A. - “è strettamente ancorata ad una situazione entro un campo di espe-rienza vissuto da una situazione e per questo presenta sempre, in certa misura, tratti specifici” (p. 29). Queste osservazioni richiamano un nuovo paradigma de-nominato approccio situato alla competenza che pone al centro dell’impegno della scuola e degli insegnanti la promozione della competenza enattiva indicata come risultato di ciò che una persona ha costruito nel corso di un’ azione. A questo proposito, l’autrice evidenzia con sottile capacità di analisi quanto l’assunzione di tale approccio richiede di porre alla base di qualsiasi riflessione curricolare l’individuazione di situazioni o di contenuti contestualizzati e non più di conte-nuti disciplinari. Ne deriva un superamento della logica per obiettivi a meno “di non intendere l’obiettivo secondo l’accezione di strumento logico-operativo utile a definire la comprensione da parte dello studente di una situazione o di una classe di situazioni” (p.30).

Dopo aver descritto nel primo capitolo il costrutto di competenza in rappor-to ai compiti della scuola, nel secondo capitolo l’A. approfondisce le possibilità di intervento didattico in relazione al carattere processuale della competenza, da intendersi come costruzione che avviene con gradualità e secondo tappe o livelli personali di progressione. Nello specifico, l’invito dell’Autrice è quello “di consi-derare l’acquisizione di competenza non in termini di ‘tutto o niente’, ma come conquista che può avvenire per tappe, secondo percorsi relativamente diversi a partire da situazioni più o meno avvantaggiate” (p. 35). Si tratta, in altri termini, di definire livelli di competenza in relazione al contesto, al momento dell’ap-prendimento e alle differenti caratteristiche dei compiti scolastici al fine di costruire e gestire itinerari didattici che valorizzino le differenze fra gli allievi e i personali percorsi di avvicinamento all’acquisizione di competenze. Tuttavia, secondo l’A., per poter assumere lo sviluppo di una competenza come conquista progressiva è necessario disporre di strumenti per poter leggere tale progressione, ovvero di mo-delli di evoluzione delle competenze che superino la logica “per obiettivi” tradizionalmen-te assunta come matrice logico-operativa in campo didattico e valutativo per ab-bracciare una visione olistica e dinamica dei processi di apprendimento.

Di qui la proposta avanzata nel terzo e quarto capitolo di “assicurare i pre-supposti della competenza”. Più specificatamente l’autrice presenta una rassegna di strumenti concettuali e operativi per favorire negli studenti l’acquisizione di un patrimonio di conoscenze integrato, stabilizzato e spendibile nello svolgimento di compiti diversificati. I criteri operativi illustrati richiamano la distinzione tra conoscenze dichiarative e conoscenze procedurali. Ulteriori presupposti individuati dall’autrice per imparare ad avvalersi in modo autonomo delle competenze ac-quisite risiedono nello sviluppo del potenziale personale di apprendimento e nel ricono-scimento di diversi livelli di generalità nelle operazioni e nei processi di cui si in-tende promuovere l’acquisizione.

Nella seconda parte del volume l’A. pone al centro dell’attenzione del lettore la questione relativa alla costruzione e gestione dei percorsi di apprendimento.

186

L’attenzione è focalizzata sul concetto di situazione-problema, nozione non ine-dita nel pensiero pedagogico-didattico, rivisitata dall’A. all’interno di un approc-cio “per competenze”: sul piano dell’operatività didattica ciò comporta l’esigenza di pianificare percorsi formativi strutturati secondo la logica semplice-complesso che riconosce all’insegnante la responsabilità di “guidare la progressione degli ap-prendimenti, di costruire compiti adeguatamente strutturati e di offrire un mo-dellamento in maniera tale da guidare l’acquisizione graduale ed organizzata di conoscenze, abilità, processi … (p. 111). L’autrice tuttavia evidenzia la necessità di coniugare i vantaggi di approcci didattici gerarchici con quelli di contesti di apprendimento complessi (p. 116); in questa direzione la proposta dell’A. è quella di adottare uno schema didattico a spirale che alterna attività complesse, gestite secondo la logica delle situazioni-problema, a compiti specifici, finalizzati a pro-muovere l’acquisizione stabilizzata di apprendimenti di base. Non mancano, infi-ne, indicazioni di carattere operativo e metodologico utili a favorire l’acquisizione di competenze da parte degli allievi, in un’ottica riflessiva e contestualizzata.

Nell’ultimo capitolo l’attenzione è posta sul rinnovamento delle logiche della progettazione curriculare e della valutazione, derivante dall’assunzione della competenza come criterio didattico-educativo in campo scolastico; a questo pro-posito l’A. richiama la necessità di assumere un quadro epistemologico comple-tamente rinnovato rispetto a quello sotteso all’approccio per obiettivi, offrendo al contempo molteplici proposte orientate allo sviluppo di percorsi didattici per competenze. In merito alla valutazione delle competenze l’A. illustra le coordina-te di un approccio composito che vede accanto all’impiego di prove complesse, un’attenzione alla rilevazione degli apprendimenti di base che le costituiscono.

Alla luce di quanto esposto è evidente che il valore specifico del lavoro va ravvisato per molteplici ragioni. Ne indichiamo le più rilevanti.

La prima. Il volume offre non solo una rassegna dettagliata ed organica degli orientamenti più recenti sul tema delle competenze ma presenta - qui il valore aggiunto- la nozione di “modello didattico”, considerata nell’accezione di schema di lavoro, quadro condiviso di criteri di razionalizzazione delle scelte operative degli insegnati, a cui l’autrice riconosce, in linea con gli orientamenti odierni della ricerca didattica, un valore orientativo ed euristico-riflessivo.

La seconda. Il grande interesse del volume risiede nell’aver elaborato una proposta nutrita dall’indispensabile e costante confronto con le scuole, i dirigenti e gli insegnanti, nell’avvertita consapevolezza che solo un immersione reale nei contesti e nelle dinamiche dell’azione educativa possa di fatto generare una ricer-ca utile per la pratica.

Il volume si inserisce significativamente anche all’interno del vasto dibattito sulla formazione insegnate offrendo - agli insegnanti in formazione, ai ricercatori, agli studenti- strumenti concettuali ed operativi in vista della pratica.

Nunzia Schiavone

188

Norme per gli autori e i collaboratori

Gli articoli vanno consegnati su file, e non devono superare le 20 cartelle (cir-ca 3000 battute ciascuna, spazi inclusi).

Le recensioni non devono superare le due cartelle (circa 3000 battute ciascu-na, spazi inclusi).

Le segnalazioni non devono superare la cartella (circa 3000 battute). Ogni articolo va corredato con un abstract in italiano, già tradotto in inglese,

non superiore alle 800 battute, spazi inclusi, e completato con 3-5 parole-chiave anch’esse tradotte in inglese.

I contributi devono essere inediti. I titoli devono essere brevi ed essenziali; l’interlinea singola, carattere Gara-

mond, 11 pt. e 9 pt. per le note. Si eviti la titolazione di un paragrafo ad inizio articolo. I testi vanno spediti, via mail, ai seguenti indirizzi: l.perla@sc-formaz.uniba.it; agdevoti@alice.it; mariagrazia.riva@unimib.it

Norme tipografiche

1) Si usi il corsivo per parole o brevi espressioni in lingua straniera, dialettale, latina, per titoli di articoli, di libri e di opere.

2) Si usi il tondo per le parole in lingua straniera ormai assimilate all’italiano,

le parole usate in un’accezione diversa da quella usuale, le testate dei giornali, riviste, collane e periodici di ogni genere (tra virgolette alte).

3) Si eviti, in linea di massima, il grassetto e il sottolineato. 4) Le citazioni bibliografiche nelle note devono essere quanto più è possibile

complete di tutti gli elementi. Per i volumi: a) autore: nome puntato e cognome in maiuscoletto; se un autore è citato più

di una volta, nelle note successive alla prima si indicherà solo il cognome in maiuscoletto non preceduto dal nome puntato, seguito da cit.

b) titolo: in corsivo; c) eventuale indicazione del volume con cifra romana in maiuscoletto, prece-

duta da vol. / voll.; d) nome dell’editore; e) luogo di pubblicazione; f ) data di pubblicazione;

189

g) eventuale collana a cui l’opera appartiene, in parentesi tonde, con il numero arabico del volume;

h) numero dell’edizione, quando non è la prima, con numero arabico in esponente all’anno citato;

i) rinvio alla pagina (p.) o alle pagine (pp.) (le pagine in numerazione romana andranno in maiuscoletto). I numeri delle pagine andranno così indicati: pp. 120-9; 131-42;199-201.

I suddetti elementi vanno separati tra loro da una virgola (ad eccezione di luogo di pubblicazione e data di pubblicazione: Einaudi, Torino 1995.)

Per gli articoli di riviste il nome dell’autore e il titolo dell’articolo hanno le stesse caratteristiche sopra riportate per le citazioni di volumi, il titolo della rivi-sta va in tondo tra virgolette «doppie basse», con le seguenti indicazioni disposte in quest’ordine: a) annata o volume della rivista in cifra romana in maiuscoletto; b) numero di fascicolo in cifra arabica c) anno solare della pubblicazione della rivista in cifra arabica; d) numero di pagina.I suddetti elementi vanno separati tra loro da una virgola.

5) Uso delle virgolette a) doppi apici (‘ ‘): per evidenziare nel testo singole parole cui si desidera dare

una sfumatura particolare; b) caporali (« »): per citazioni di ogni genere, titoli di giornali, periodici, pub-

blicazioni seriali; capitoli e paragrafi di un libro. 6) Citazioni Le citazioni lunghe (non meno di quattro righe di testo) verranno composte

in corpo minore e staccate dal resto del testo Le citazioni brevi, inserite nel testo, vanno tra doppie virgolette caporali (« »). Se detti brani contengono, a loro volta, altre citazioni, queste vanno contraddistinte con virgolette doppie alte (doppi apici “ “). In ogni caso si dovrà evitare di utilizzare il corsivo per evidenziare brani riportati o sottolineare il carattere enfatico di singole parole. Eventuali omissioni di parte di citazioni saranno indicate con tre puntini tra parentesi qua-dre [...].

7) Rinvii nelle citazioni Op. cit.; p. …= Opera citata Per indicare l’opera citata in una nota precedente (qualora non siano state ci-

tateprecedentemente altre opere dello stesso autore). Qualora si fa riferimento a un’opera citata alcune note prima, conviene ripetere il nome dell’autore a se-

guito della dicitura op.cit. Ivi, p. per indicare l’opera citata nella nota precedente Ibid. = Ibidem indica stessa opera e stessa pagina citata nella nota precedente.

190

Esempio: 1 E. SPRANGER, La vita educa, La Scuola, Brescia 1965; 2 Ivi, p. 7; 3 E. Spranger, op. cit., p. 27; 4 Ibidem Le note a pié di pagina devono finire col punto. 8) Le note vanno a piè di pagina e contraddistinte con numerazione progres-

siva continua iniziando da 1. 9) I testi dovranno essere strutturati evitando l’inserimento di particolari tabu-

lazioni, “formato di paragrafo” e qualsivoglia comando speciale (per es.: “intesta-zione e piè di pagina”). Fotografie digitali a corredo del testo dovranno essere inviate come file separati e non incorporate nel documento di testo. Esse do-vranno avere un formato minimo di 1200x1600 punti, essere salvate in formato TIFF oppure JPG in alta qualità, e inviate su supporto fisico (CD) o a mezzo di posta elettronica. Per ognuna di esse dovrà essere allegata una didascalia e la spe-cifica dell’Autore.

10) Tavola delle abbreviazioni

cit. Ibid. (e non Ibidem) L’abbreviazione ID. è accetta-

ta solo nell’ambito della medesima nota, o della medesima citazione.

a cura di = a c. di a. = anno a.a. = anno accademico a.C. = avanti Cristo a c. di = a cura di b. / bb. = battuta/e c. / cc. = carta/e cap. / capp. = capitolo/i cfr. = confronta cod. / codd. = codice/i col. / coll. = colonna/e d.C. = dopo Cristo

ecc. = eccetera ed. = edizione ed. by = edited by es. = esempio f. / ff. = foglio/i fasc. = fascicolo hrsg. von = herausgegeben

von ID. = idem ms. / mss. = manoscritto/i n° = numero/i n.n. = non numerato nota = nota (sempre per este-

so) op. = opera p. / pp. = pagina/e passim (corsivo)= il passo ri-

corre frequentemente nell’opera citata.

r (corsivo) = recto s.a. = senza anno di stampa s.d. = senza data s.e. = senza indicazione edito-

re s.l. = senza luogo s.n.t. = senza note tipografiche s.t. = senza indicazione di tipo-

grafo s. / ss. = seguente/i sec. / secc. = secolo/i v (corsivo) = verso vol. / voll. = volume/i non devono essere abbreviati: esempio figura tavola traduzione (es. traduzione

italiana)

Il presente testo è una libera rielaborazione di quanto già diffuso dall’AIPE e da altri editori italiani.

Finito di stampare nel mese di settembre 2012 per conto della Tecnodid Editrice S.r.l. Piazza Carlo III, 42 – 80137 Napoli da Grafica Sud – Casalnuovo (NA)