Sociologica mi ha chiesto di riflettere in modo breve sull’esperienza della prima valutazione triennale della ricerca italiana che ha coperto il periodo 2001-2003, e in modo particolare sul lavoro del panel 14, ‘Scienze politiche e sociali’. Di tale panel, composto di cinque colleghi, sono stato presidente per tutto il periodo della valutazione nell’arco dell’anno solare 2005. Rispettando i tempi previsti, all’inizio del 2006 il Presidente del Civr, prof. Franco Cuccurullo, ha presentato il rapporto finale per tutti i panel. Questa prima valutazione della ricerca ha dovuto affrontare tutte le difficoltà dei pionieri, ed una riflessione può essere utile alle sue future prove, ammesso che l’esercizio assuma quel carattere di verifica regolare che era nelle intenzioni originali dei diversi ministri che hanno presieduto alla sua messa in opera.

 Credo che ormai la comunità accademica italiana conosca bene la logica di questa valutazione e che basti ripercorrerne brevemente solo i principi generali. L’obiettivo è la valutazione qualitativa da parte di pari di un numero ristretto di lavori che ogni unità (ateneo, facoltà, Cnr, centro di ricerca) deve selezionare in un rapporto preciso rispetto al suo personale accademici o e di ricerca (grossomodo la metà rispetto alle unità ricercatori Etp). Tali lavori erano messi a disposizione in forma elettronica o cartacea. I membri del panel devono collettivamente attribuire almeno due valutatori competenti a ogni lavoro. I valutatori ricevono copia fisica (cartacea o elettronica) dei lavori che giudicano in via telematica insieme alle linee guida per la valutazione.

In questo primo esercizio il Civr chiedeva di valutare la qualità generale su quattro dimensioni:

 

Al termine del giudizio per dimensioni, il valutatore doveva esprimere un giudizio di sintesi scegliendo tra 'Eccellente' (il lavoro si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale); 'Buono' (nel segmento 60-80%); 'Accettabile' (nel segmento 40-60%); 'Limitato' (nel 40% inferiore).

Infine, i membri del panel, collettivamente, dovevano armonizzare i giudizi dei valutatori quando essi divergevano. L’attribuzione di numeri alle categorie qualitative e alcune ponderazione hanno prodotto i ranking finali per le strutture – normalmente per università o istituto - che sono quindi leggibili come valore medio delle valutazioni di qualità di tutti i prodotti avanzati dalla struttura stessa.

 

Fin qui la struttura generale del processo. Tralascio la parte attinente alle incompatibilità (tra membro del panel e valutatore e origine del lavoro e/o autore del lavoro), peraltro documentate nel rapporto finale disponibile sul sito Civr. Tralascio anche di menzionare i problemi tecnici attinenti alla distribuzione dei prodotti, che saranno certo risolti dopo la prima esperienza. Tralascio infine anche di rilevare i tanti aspetti positivi del lavoro del panel, della cooperazione offerta della struttura centrale del Civr, della disponibilità dei valutatori. Dirò solo che nel complesso l’esperienza di lavoro del panel 14 è stata molto positiva, caratterizzata da un lavoro molto duro – molto più duro di quanto ci aspettassimo – professionale, equo e corretto nelle procedure. Non esito ad espormi sostenendo che, rispetto al livello medio delle attività di valutazione scientifica nel nostro settore, i lavori del panel/valutatori mi sono sembrati certamente più professionali ed universalisti.

 

Vorrei invece soffermarmi più estesamente su quegli aspetti e quei problemi che potrebbero portare a un miglioramento delle valutazioni future.

 

Il panel Scienze politiche e sociali era un piccolo panel, con solo 372 prodotti da valutare, composto da solo cinque membri (presidente incluso). Nessuno dei membri del panel era a conoscenza del percorso o dei criteri che avevano portato alla sua nomina e quattro membri su cinque hanno dichiarato che non si erano mai candidati per tale compito. Difficile valutare se questo sia un aspetto positivo o negativo. Rimane il fatto però che il panel era composto da un politologo, tre sociologi ed un esperto di problemi internazionali. Mancava un collega con competenza nel settore storico (storia istituzioni, storia politica, dottrine politiche, filosofia politica), settore con un cospicuo numero di lavori. Anche questo non è necessariamente un male in sé, visto che sovente la rincorsa a criteri di rappresentatività produce esiti infausti. Ma la mancanza di competenza diretta di questo settore ha costretto i membri del panel a consultarsi spesso con esperti esterni per l’attribuzione dei lavori dove più ardua era l’identificazione delle competenze di valutazione.

 

Il panel 14 ricopre un considerevole spettro disciplinare ed i lavori ci sono stati presentati suddivisi in cinque sotto-categorie: Comunicazione, (5,9% dei lavori); Storia, (4,6%), Scienza politica e Pubblica amministrazione, (36,5%), Politica sociale e ‘Social work’ (13,4%), e Sociologia & Antropologia (39,7%). Questi sottogruppi disciplinari – sulla cui origine non so niente – non sono apparsi significativi ai membri del panel. Anzi, per molti aspetti hanno contribuito a creare confusione. Il sottogruppo ‘Storia’ era internamente omogeneo, ma non includeva i moltissimi prodotti a carattere ed impostazione storica che si trovavano nel gruppo ‘Scienza politica e Pubblica amministrazione. La classe ‘Comunicazione’ era piccola e abbastanza disomogenea, ma soprattutto non adatta ad identificare un settore specifico e sufficientemente importante delle scienze politiche e sociali. La distinzione dei lavori tra il settore ‘Sociologia e Antropologia’ e quello ‘Social Work and Social policy’ non era chiara. I membri del panel hanno quindi trascurato questi sotto-gruppi ed hanno attribuito i lavori ai valutatori sulla base di criteri di competenza sostantiva. Tuttavia, una suddivisione più significativa potrebbe essere utile. In vista di una eventuale revisione delle sotto-classi, il panel ha espresso l’opinione che sarebbero più utili ed omogenei i seguenti cinque gruppi: a) sociologia e antropologia; b) scienza politica e amministrazione pubblica; c) analisi delle politiche pubbliche; d) storia politica, storia delle istituzioni, storia delle dottrine, filosofia politica; e) relazioni internazionali e politica estera.

 

Nel novero dei lavori sottoposti al panel ve ne erano non pochi del tutto estranei alle scienze politiche e sociali anche nella loro accezione più ampia. Questo è risultato dal fatto che l’autore singolo è libero di scegliere il panel a cui sottoporre i suoi elaborati. Ferma restando questa libertà di scelta, il panel dovrebbe però essere libero di trasferire ad altri panel lavori identificati come del tutto estranei al suo soggetto (nel nostro caso abbiamo dovuto valutare lavori di carattere prettamente filosofico, letterario, giuridico e psicologico, cercando, ovviamente, esperti in queste aree).

 

Tra le dimensioni o criteri di valutazione dei lavori in scienze politiche e sociali figuravano la ‘rilevanza’ e l’’internazionalizzazione’. I membri del panel hanno a lungo discusso queste due dimensioni concludendo che la ‘rilevanza’ è nelle scienze sociali di ben ardua definizione e l’ ’internazionalizzazione’ rischiava di tradursi in un bonus quasi automatico per i lavori in lingua straniera o di cooperazione internazionale. Tale dibattito è risultato in una lettera inviata a tutti i valutatori in cui si faceva riferimento a tali difficoltà e si suggeriva di considerare qualità e originalità come criteri principe, e di considerare ‘rilevanza’ e ‘internazionalizzazione’ come valore aggiunto importante solo quando esse apparivano certe e indiscutibili. In altre parole, rilevanza di policy e inserimento e collaborazione internazionali erano aspetti positivi e degni di essere rilevati quando presenti, mentre non era invece corretto dare un segno negativo a lavori che ne erano privi. Non è possibile eliminare queste due categorie che sono molto importanti in altri settori disciplinari, ma la soluzione suggerita dal panel c’è sembrata atta a relativizzare il loro valore nei nostri campi. In sede pratica si è poi riscontrato che queste due categorie non hanno mai fatto la differenza.

 

I membri del panel hanno spesso riflettuto sui criteri che avevano contribuito alla scelta da parte di ogni struttura dei lavori da inviare, soprattutto in considerazione del fatto che essendo la valutazione finale per ateneo, dovevano esserci stati diversi passaggi e mediazioni tra le liste iniziali proposte dalle strutture di base (dipartimenti e facoltà) e quelle finali di ateneo. Questo è forse più vero in un settore come quello delle Scienze politiche e sociali in cui i prodotti dell’ateneo provengono da molti dipartimenti sparsi attraverso diverse facoltà (Sociologia, Scienze politiche e sociali, Giurisprudenza, Storia, Scienze della formazione , etc.). Il panel ha avuto l’impressione che non tutte le strutture abbiano capito o voluto capire la logica dell’esercizio di valutazione triennale della ricerca. Tale logica era semplice: inviare un campione della ricerca di ateneo costituito dalla migliore produzione scientifica disponibile. In molti casi il panel ha avuto l’impressione che la scelta dei prodotti da sottoporre alla valutazione abbia ripercorso i cliché tradizionali della anzianità, del grado accademico e della rappresentanza delle diverse aree, componenti e sottosettori disciplinari, piuttosto che un’adeguata valutazione dei meriti scientifici assoluti. In questo senso i risultati finali in termini di qualità – che sono stati certamente non lusinghieri : una distribuzione statistica quasi ‘normale’, 20% circa ‘Eccellente’; 38% ‘Buono’, 30 % ‘Accettabile’ ; 11% ‘Limitato’– riflettono in buona parte l’inadeguatezza dei metodi di selezione dei prodotti. Si tenga inoltre presente che non di rado sono stati sottoposti alla valutazione titoli scientifici quali libri di testo o riassunti analitici e critici della letteratura che inevitabilmente hanno ottenuto basse valutazioni sulle dimensioni della ‘qualità’ ed ‘innovazione’. Se questa interpretazione è corretta, la prima valutazione della ricerca nazionale del Civr servirà ad insegnare alle strutture l’importanza di valorizzare le migliori e talvolta le più giovani energie di ricerca.

Una carenza che il panel ha chiaramente individuato è la mancata sottodivisione dei prodotti ‘libro’ tra monografie ed opere curate. Per quanto esistano di certo opere curate di grande utilità ed interesse, tali lavori sono più raramente il vertice della ricerca e pongono in ogni modo non pochi problemi di valutazione visto il numero e la diversità qualitativa dei singoli contributi. Nel caso delle opere curate, sarebbe utile che gli autori sottoponessero alla valutazione solo i loro contributi specifici (introduzioni e capitoli). Gli esperti hanno avuto molte difficoltà a separare il valore scientifico del singolo contributo del curatore dalla competenza redazionale o dell’intelligenza nella scelta dei contributi e della loro presentazione.

 

Quarantacinque atenei e il gruppo aggregato dei Cnr hanno partecipato alla valutazione e nessuno dei principali atenei manca dalla lista. Ciò nonostante, non vi sono macro-strutture nel settore. Solo tre appartengono al gruppo ‘grandi strutture (25-74 prodotti; il Cnr è struttura solo di nome in quanto composta di varie strutture separate fisicamente). La grande maggioranza, ben 31 strutture su 46, sono micro-strutture. Dei 372 prodotti presentati, più di un terzo proviene dalle prime cinque strutture. Più della metà dei prodotti provengono dai primi dieci atenei. Gli ultimi 18 Atenei in ordine di numero di prodotti, presentano solo il 10% di tutti i prodotti. Quindici atenei hanno meno di quattro lavori e ben sette atenei ne presentano solo 1.

Questi dati indicano due cose:

1) la distribuzione della ricerca nel settore è profondamente squilibrata (ancora più geograficamente: delle prime 10 strutture in termini di dimensione, solo una si trova nel sud del paese e per lo più i grandi atenei meridionali non presentano un numero di prodotti di scienze politiche e sociali commisurato alle loro dimensioni e popolazioni studentesche). Solo un ristretto numero di atenei/strutture presenta un nucleo di lavori sufficiente ad indicare la presenza significativa delle scienze politiche e sociali;

2) al calare dei lavori prodotti, il giudizio aggregato sulla struttura diventa aleatorio. E difficile pensare che sotto la soglia dei 10 prodotti il giudizio sui singoli prodotti possa essere significativamente aggregato in un giudizio generale sulla struttura. Nel nostro caso, quindi, giudizi qualitativi significativi sono possibili solo per circa 15 strutture (14 se si considera il Cnr non come una struttura sola).

Inoltre, ricordiamoci che questi dati sono aggregati a livello di ateneo. L’aggregazione dei risultati per Ateneo è forse soddisfacente in quei casi in cui una sola facoltà tende a rappresentare un tipo di studi in una delle 14 aree. Tuttavia, nelle scienze umane in genere, e particolarmente in quelle Sociali e oolitiche, più facoltà di un ateneo contribuiscono al settore (per esempio nel nostro caso Scienze politiche, Legge, Psicologia, Scienze della formazione, Sociologia, Lettere e Storia, Economia). Forse in questi casi sarebbe utile aggiungere una classificazione per sottostrutture di ateneo (Facoltà) o meglio ancora per dipartimenti. In altre parole, per avere un quadro più preciso e per evitare di appiattire a livello di ateneo differenze significative tra dipartimenti di uno stesso settore di studio, sarebbe necessario un numero molto più alto di lavori presentati alla valutazione. Vi sono ovvie implicazioni di tempi e costi, ma ciò renderebbe di gran lunga più significativa e realistica la valutazione (si tenga presente, a titolo indicativo, che il Rae inglese chiede prodotti a ‘tutti’ i membri dell’ateneo).

 

Non è questa la sede per addentrarci nella valutazione delle forze e debolezze di settore o area, ma vale forse la pena di concludere con alcune considerazioni sostantive sul tipo di lavoro che le scienze politiche e sociali italiane hanno proposto a questa valutazione (pur ricordando il possibile bias di scelta sopramenzionato). La produzione italiana del settore sottoposta a valutazione era costituita per il 58% da libri monografici o curati, per il 22 % da articoli in volumi ‘a cura di’, e solo per il 19-20% del totale da articoli in riviste. Non è possibile sapere quante di queste riviste sono peer reviewed. I libri sono per quasi il 90% in italiano, mentre gli articoli sono per il 60% in lingua inglese. Questo indica un certo tradizionalismo della produzione, che privilegia una forma di diffusione costosa e poco controllata qualitativamente. Indica anche la percezione da parte degli studiosi autori che i volumi costituiscono il risultato più importante del proprio lavoro.

In secondo luogo, si tratta di un campione della ricerca italiana che è quasi interamente costituito di opere provenienti da una singola struttura accademica e che per lo più sono opere di un autore singolo; sono rare le opere a più autori di una stessa struttura. La ricerca nelle scienze sociali italiane rimane saldamente ancorata al modello tradizionale della lavoro individuale della monografia d’autore e raramente offre collaborazioni tra strutture e tra autori.

Infine, una analisi qualitative suggerisce che troppi lavori sono ancora caratterizzati da una tendenza alla rassegna ed all’esegesi critica della letteratura; sono spesso affrontati in uno stile discorsivo, in qualche modo intermedio rispetto alla ricerca empirica di base guidata metodologicamente e all’analisi teorica avanzata. I lavori a solida base empirica sono relativamente pochi e gli sforzi di quantificazione rari. I lavori empirici e metodologicamente corretti sono spesso condotti da una prospettiva descrittiva molto limitata e senza ambizione. Gli studiosi italiani ed i lavori che hanno una competenza quantitativa avanzata sono concentrati in pochi centri.

 

In sintesi, la valutazione ha dato l’impressione che permane in Italia un modello di ricerca anche qualitativamente alto ma alquanto tradizionale: centrato sul lavoro del singolo studioso più che di ampi gruppi di ricerca; centrato su una singola sede più che su la cooperazione tra studiosi di sedi diverse; centrato su una singola area di specializzazione più che su una ricerca interdisciplinare; con una prevalenza di prodotti libri e pochi articoli; con un livello adeguato di visibilità internazionale nella forma dell’articolo, ma con una quasi totale ‘nazionalizzazione’ della forma libro; con una prevalenza di strutture piccole o piccolissime, lontane da quelle dimensioni che possono garantire interazione intellettuale significativa, visibilità internazionale ed eccellenza; con una prevalenza di opere storiche e teoriche su ricerca empirica e applicativa; con una disomogeneità molto accentuata tra settori con punte di eccellenza in alcune aree e debolezza quantitativo/qualitativa di altre a malapena rappresentate.

L’insieme dei problemi specifici del processo di selezione dei titoli e di valutazione presentati nella prima parte di questa breve riflessione e l’immagine complessiva della distribuzione della ricerca italiana in scienze politiche e sociali avrebbero meritato un’attenta riflessione. Il rapporto finale (e sovente i ranking) del panel 14 individuano con molta chiarezza gli squilibri geografici, quantitativi e qualitativi tra settori e strutture. Pur nelle inevitabili limitazioni di ogni lavoro di questi tipo i rapporti finali del Civr , per tutti i settori ma in modo particolare per il nostro, potevano costituire un’occasione di riflessione collettiva nella comunità scientifica e una base di dibattito tra tale comunità e i policy makers amministrativi e politici. L’obiettivo doveva essere l’individuazione dei meccanismi e degli strumenti per migliorare la qualità, la quantità e la distribuzione delle risorse del settore liberando energie potenziali di ricerca che esistono e che forse non hanno trovato adeguata rappresentanza in questa prima mandata di valutazione. Ho elementi di giudizio solo parziali, ma la mia impressione è che niente di tutto questo sia avvenuto in vista dei nuovi esercizi di valutazione. Forse il simbolo più chiaro della scarsa attenzione con cui il mondo politico ha seguito questo problema è stata l’incapacità del Ministro di essere presente nel gennaio del 2006 alla presentazione pubblica dei risultati di una valutazione che per un anno aveva assorbito gli sforzi di tutta la comunità scientifica nazionale.