Testata

Sociologica

Content Section

User:
Password:
Remember me on this computer.
Comments
There are 3 comments for this text
  • di acfreschi
    Valutazione della ricerca: il nodo irrisolto delle risorse tra produzione, strutture e processi produttivi.
  • di agu
    L'alba della valutazione
  • di icolozzi
    Relazione sui risultati della valutazione Civr (comitato 14 Scienze politiche e sociali) in riferimento all’area sociologica

Forefront

For registered users, discussions on methodological, substantial, and professional issues

Ricerca e politica universitaria

Come migliorare la qualità della ricerca in Italia? L’esperienza della valutazione triennale della ricerca nelle Scienze politiche e sociali (2001-2003)

, September 17, 2007

Introduzione

Sociologica mi ha chiesto di riflettere in modo breve sull’esperienza della prima valutazione triennale della ricerca italiana che ha coperto il periodo 2001-2003, e in modo particolare sul lavoro del panel 14, ‘Scienze politiche e sociali’. Di tale panel, composto di cinque colleghi, sono stato presidente per tutto il periodo della valutazione nell’arco dell’anno solare 2005. Rispettando i tempi previsti, all’inizio del 2006 il Presidente del Civr, prof. Franco Cuccurullo, ha presentato il rapporto finale per tutti i panel. Questa prima valutazione della ricerca ha dovuto affrontare tutte le difficoltà dei pionieri, ed una riflessione può essere utile alle sue future prove, ammesso che l’esercizio assuma quel carattere di verifica regolare che era nelle intenzioni originali dei diversi ministri che hanno presieduto alla sua messa in opera.
 Credo che ormai la comunità accademica italiana conosca bene la logica di questa valutazione e che basti ripercorrerne brevemente solo i principi generali. L’obiettivo è la valutazione qualitativa da parte di pari di un numero ristretto di lavori che ogni unità (ateneo, facoltà, Cnr, centro di ricerca) deve selezionare in un rapporto preciso rispetto al suo personale accademici o e di ricerca (grossomodo la metà rispetto alle unità ricercatori Etp). Tali lavori erano messi a disposizione in forma elettronica o cartacea. I membri del panel devono collettivamente attribuire almeno due valutatori competenti a ogni lavoro. I valutatori ricevono copia fisica (cartacea o elettronica) dei lavori che giudicano in via telematica insieme alle linee guida per la valutazione.
 
In questo primo esercizio il Civr chiedeva di valutare la qualità generale su quattro dimensioni:
  • Qualità: posizionamento del prodotto rispetto all'eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale; Originalità/Innovazione: contributo a nuove acquisizioni o all'avanzamento di conoscenze, nel settore di riferimento;
  • Rilevanza: valore aggiunto per l'avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute;
  • Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca d’altre nazioni.
 
Al termine del giudizio per dimensioni, il valutatore doveva esprimere un giudizio di sintesi scegliendo tra 'Eccellente' (il lavoro si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale); 'Buono' (nel segmento 60-80%); 'Accettabile' (nel segmento 40-60%); 'Limitato' (nel 40% inferiore).
Infine, i membri del panel, collettivamente, dovevano armonizzare i giudizi dei valutatori quando essi divergevano. L’attribuzione di numeri alle categorie qualitative e alcune ponderazione hanno prodotto i ranking finali per le strutture – normalmente per università o istituto - che sono quindi leggibili come valore medio delle valutazioni di qualità di tutti i prodotti avanzati dalla struttura stessa.
 
Fin qui la struttura generale del processo. Tralascio la parte attinente alle incompatibilità (tra membro del panel e valutatore e origine del lavoro e/o autore del lavoro), peraltro documentate nel rapporto finale disponibile sul sito Civr. Tralascio anche di menzionare i problemi tecnici attinenti alla distribuzione dei prodotti, che saranno certo risolti dopo la prima esperienza. Tralascio infine anche di rilevare i tanti aspetti positivi del lavoro del panel, della cooperazione offerta della struttura centrale del Civr, della disponibilità dei valutatori. Dirò solo che nel complesso l’esperienza di lavoro del panel 14 è stata molto positiva, caratterizzata da un lavoro molto duro – molto più duro di quanto ci aspettassimo – professionale, equo e corretto nelle procedure. Non esito ad espormi sostenendo che, rispetto al livello medio delle attività di valutazione scientifica nel nostro settore, i lavori del panel/valutatori mi sono sembrati certamente più professionali ed universalisti.
 
Vorrei invece soffermarmi più estesamente su quegli aspetti e quei problemi che potrebbero portare a un miglioramento delle valutazioni future.
 
La composizione del panel
Il panel Scienze politiche e sociali era un piccolo panel, con solo 372 prodotti da valutare, composto da solo cinque membri (presidente incluso). Nessuno dei membri del panel era a conoscenza del percorso o dei criteri che avevano portato alla sua nomina e quattro membri su cinque hanno dichiarato che non si erano mai candidati per tale compito. Difficile valutare se questo sia un aspetto positivo o negativo. Rimane il fatto però che il panel era composto da un politologo, tre sociologi ed un esperto di problemi internazionali. Mancava un collega con competenza nel settore storico (storia istituzioni, storia politica, dottrine politiche, filosofia politica), settore con un cospicuo numero di lavori. Anche questo non è necessariamente un male in sé, visto che sovente la rincorsa a criteri di rappresentatività produce esiti infausti. Ma la mancanza di competenza diretta di questo settore ha costretto i membri del panel a consultarsi spesso con esperti esterni per l’attribuzione dei lavori dove più ardua era l’identificazione delle competenze di valutazione.
 
La distribuzione dei lavori
Il panel 14 ricopre un considerevole spettro disciplinare ed i lavori ci sono stati presentati suddivisi in cinque sotto-categorie: Comunicazione, (5,9% dei lavori); Storia, (4,6%), Scienza politica e Pubblica amministrazione, (36,5%), Politica sociale e ‘Social work’ (13,4%), e Sociologia & Antropologia (39,7%). Questi sottogruppi disciplinari – sulla cui origine non so niente – non sono apparsi significativi ai membri del panel. Anzi, per molti aspetti hanno contribuito a creare confusione. Il sottogruppo ‘Storia’ era internamente omogeneo, ma non includeva i moltissimi prodotti a carattere ed impostazione storica che si trovavano nel gruppo ‘Scienza politica e Pubblica amministrazione. La classe ‘Comunicazione’ era piccola e abbastanza disomogenea, ma soprattutto non adatta ad identificare un settore specifico e sufficientemente importante delle scienze politiche e sociali. La distinzione dei lavori tra il settore ‘Sociologia e Antropologia’ e quello ‘Social Work and Social policy’ non era chiara. I membri del panel hanno quindi trascurato questi sotto-gruppi ed hanno attribuito i lavori ai valutatori sulla base di criteri di competenza sostantiva. Tuttavia, una suddivisione più significativa potrebbe essere utile. In vista di una eventuale revisione delle sotto-classi, il panel ha espresso l’opinione che sarebbero più utili ed omogenei i seguenti cinque gruppi: a) sociologia e antropologia; b) scienza politica e amministrazione pubblica; c) analisi delle politiche pubbliche; d) storia politica, storia delle istituzioni, storia delle dottrine, filosofia politica; e) relazioni internazionali e politica estera.
 
Lavori attribuiti al panel
Nel novero dei lavori sottoposti al panel ve ne erano non pochi del tutto estranei alle scienze politiche e sociali anche nella loro accezione più ampia. Questo è risultato dal fatto che l’autore singolo è libero di scegliere il panel a cui sottoporre i suoi elaborati. Ferma restando questa libertà di scelta, il panel dovrebbe però essere libero di trasferire ad altri panel lavori identificati come del tutto estranei al suo soggetto (nel nostro caso abbiamo dovuto valutare lavori di carattere prettamente filosofico, letterario, giuridico e psicologico, cercando, ovviamente, esperti in queste aree).
 
Criteri di valutazione
Tra le dimensioni o criteri di valutazione dei lavori in scienze politiche e sociali figuravano la ‘rilevanza’ e l’’internazionalizzazione’. I membri del panel hanno a lungo discusso queste due dimensioni concludendo che la ‘rilevanza’ è nelle scienze sociali di ben ardua definizione e l’ ’internazionalizzazione’ rischiava di tradursi in un bonus quasi automatico per i lavori in lingua straniera o di cooperazione internazionale. Tale dibattito è risultato in una lettera inviata a tutti i valutatori in cui si faceva riferimento a tali difficoltà e si suggeriva di considerare qualità e originalità come criteri principe, e di considerare ‘rilevanza’ e ‘internazionalizzazione’ come valore aggiunto importante solo quando esse apparivano certe e indiscutibili. In altre parole, rilevanza di policy e inserimento e collaborazione internazionali erano aspetti positivi e degni di essere rilevati quando presenti, mentre non era invece corretto dare un segno negativo a lavori che ne erano privi. Non è possibile eliminare queste due categorie che sono molto importanti in altri settori disciplinari, ma la soluzione suggerita dal panel c’è sembrata atta a relativizzare il loro valore nei nostri campi. In sede pratica si è poi riscontrato che queste due categorie non hanno mai fatto la differenza.
 
La scelta dei prodotti inviati al panel
I membri del panel hanno spesso riflettuto sui criteri che avevano contribuito alla scelta da parte di ogni struttura dei lavori da inviare, soprattutto in considerazione del fatto che essendo la valutazione finale per ateneo, dovevano esserci stati diversi passaggi e mediazioni tra le liste iniziali proposte dalle strutture di base (dipartimenti e facoltà) e quelle finali di ateneo. Questo è forse più vero in un settore come quello delle Scienze politiche e sociali in cui i prodotti dell’ateneo provengono da molti dipartimenti sparsi attraverso diverse facoltà (Sociologia, Scienze politiche e sociali, Giurisprudenza, Storia, Scienze della formazione , etc.). Il panel ha avuto l’impressione che non tutte le strutture abbiano capito o voluto capire la logica dell’esercizio di valutazione triennale della ricerca. Tale logica era semplice: inviare un campione della ricerca di ateneo costituito dalla migliore produzione scientifica disponibile. In molti casi il panel ha avuto l’impressione che la scelta dei prodotti da sottoporre alla valutazione abbia ripercorso i cliché tradizionali della anzianità, del grado accademico e della rappresentanza delle diverse aree, componenti e sottosettori disciplinari, piuttosto che un’adeguata valutazione dei meriti scientifici assoluti. In questo senso i risultati finali in termini di qualità – che sono stati certamente non lusinghieri : una distribuzione statistica quasi ‘normale’, 20% circa ‘Eccellente’; 38% ‘Buono’, 30 % ‘Accettabile’ ; 11% ‘Limitato’– riflettono in buona parte l’inadeguatezza dei metodi di selezione dei prodotti. Si tenga inoltre presente che non di rado sono stati sottoposti alla valutazione titoli scientifici quali libri di testo o riassunti analitici e critici della letteratura che inevitabilmente hanno ottenuto basse valutazioni sulle dimensioni della ‘qualità’ ed ‘innovazione’. Se questa interpretazione è corretta, la prima valutazione della ricerca nazionale del Civr servirà ad insegnare alle strutture l’importanza di valorizzare le migliori e talvolta le più giovani energie di ricerca.
Una carenza che il panel ha chiaramente individuato è la mancata sottodivisione dei prodotti ‘libro’ tra monografie ed opere curate. Per quanto esistano di certo opere curate di grande utilità ed interesse, tali lavori sono più raramente il vertice della ricerca e pongono in ogni modo non pochi problemi di valutazione visto il numero e la diversità qualitativa dei singoli contributi. Nel caso delle opere curate, sarebbe utile che gli autori sottoponessero alla valutazione solo i loro contributi specifici (introduzioni e capitoli). Gli esperti hanno avuto molte difficoltà a separare il valore scientifico del singolo contributo del curatore dalla competenza redazionale o dell’intelligenza nella scelta dei contributi e della loro presentazione.
 
Rappresentatività dei risultati e la dimensione delle strutture nel settore
Quarantacinque atenei e il gruppo aggregato dei Cnr hanno partecipato alla valutazione e nessuno dei principali atenei manca dalla lista. Ciò nonostante, non vi sono macro-strutture nel settore. Solo tre appartengono al gruppo ‘grandi strutture (25-74 prodotti; il Cnr è struttura solo di nome in quanto composta di varie strutture separate fisicamente). La grande maggioranza, ben 31 strutture su 46, sono micro-strutture. Dei 372 prodotti presentati, più di un terzo proviene dalle prime cinque strutture. Più della metà dei prodotti provengono dai primi dieci atenei. Gli ultimi 18 Atenei in ordine di numero di prodotti, presentano solo il 10% di tutti i prodotti. Quindici atenei hanno meno di quattro lavori e ben sette atenei ne presentano solo 1.
Questi dati indicano due cose:
1) la distribuzione della ricerca nel settore è profondamente squilibrata (ancora più geograficamente: delle prime 10 strutture in termini di dimensione, solo una si trova nel sud del paese e per lo più i grandi atenei meridionali non presentano un numero di prodotti di scienze politiche e sociali commisurato alle loro dimensioni e popolazioni studentesche). Solo un ristretto numero di atenei/strutture presenta un nucleo di lavori sufficiente ad indicare la presenza significativa delle scienze politiche e sociali;
2) al calare dei lavori prodotti, il giudizio aggregato sulla struttura diventa aleatorio. E difficile pensare che sotto la soglia dei 10 prodotti il giudizio sui singoli prodotti possa essere significativamente aggregato in un giudizio generale sulla struttura. Nel nostro caso, quindi, giudizi qualitativi significativi sono possibili solo per circa 15 strutture (14 se si considera il Cnr non come una struttura sola).
Inoltre, ricordiamoci che questi dati sono aggregati a livello di ateneo. L’aggregazione dei risultati per Ateneo è forse soddisfacente in quei casi in cui una sola facoltà tende a rappresentare un tipo di studi in una delle 14 aree. Tuttavia, nelle scienze umane in genere, e particolarmente in quelle Sociali e oolitiche, più facoltà di un ateneo contribuiscono al settore (per esempio nel nostro caso Scienze politiche, Legge, Psicologia, Scienze della formazione, Sociologia, Lettere e Storia, Economia). Forse in questi casi sarebbe utile aggiungere una classificazione per sottostrutture di ateneo (Facoltà) o meglio ancora per dipartimenti. In altre parole, per avere un quadro più preciso e per evitare di appiattire a livello di ateneo differenze significative tra dipartimenti di uno stesso settore di studio, sarebbe necessario un numero molto più alto di lavori presentati alla valutazione. Vi sono ovvie implicazioni di tempi e costi, ma ciò renderebbe di gran lunga più significativa e realistica la valutazione (si tenga presente, a titolo indicativo, che il Rae inglese chiede prodotti a ‘tutti’ i membri dell’ateneo).
 
Qualche nota sostantiva sull’immagine della disciplina
Non è questa la sede per addentrarci nella valutazione delle forze e debolezze di settore o area, ma vale forse la pena di concludere con alcune considerazioni sostantive sul tipo di lavoro che le scienze politiche e sociali italiane hanno proposto a questa valutazione (pur ricordando il possibile bias di scelta sopramenzionato). La produzione italiana del settore sottoposta a valutazione era costituita per il 58% da libri monografici o curati, per il 22 % da articoli in volumi ‘a cura di’, e solo per il 19-20% del totale da articoli in riviste. Non è possibile sapere quante di queste riviste sono peer reviewed. I libri sono per quasi il 90% in italiano, mentre gli articoli sono per il 60% in lingua inglese. Questo indica un certo tradizionalismo della produzione, che privilegia una forma di diffusione costosa e poco controllata qualitativamente. Indica anche la percezione da parte degli studiosi autori che i volumi costituiscono il risultato più importante del proprio lavoro.
In secondo luogo, si tratta di un campione della ricerca italiana che è quasi interamente costituito di opere provenienti da una singola struttura accademica e che per lo più sono opere di un autore singolo; sono rare le opere a più autori di una stessa struttura. La ricerca nelle scienze sociali italiane rimane saldamente ancorata al modello tradizionale della lavoro individuale della monografia d’autore e raramente offre collaborazioni tra strutture e tra autori.
Infine, una analisi qualitative suggerisce che troppi lavori sono ancora caratterizzati da una tendenza alla rassegna ed all’esegesi critica della letteratura; sono spesso affrontati in uno stile discorsivo, in qualche modo intermedio rispetto alla ricerca empirica di base guidata metodologicamente e all’analisi teorica avanzata. I lavori a solida base empirica sono relativamente pochi e gli sforzi di quantificazione rari. I lavori empirici e metodologicamente corretti sono spesso condotti da una prospettiva descrittiva molto limitata e senza ambizione. Gli studiosi italiani ed i lavori che hanno una competenza quantitativa avanzata sono concentrati in pochi centri.
 
Conclusioni
In sintesi, la valutazione ha dato l’impressione che permane in Italia un modello di ricerca anche qualitativamente alto ma alquanto tradizionale: centrato sul lavoro del singolo studioso più che di ampi gruppi di ricerca; centrato su una singola sede più che su la cooperazione tra studiosi di sedi diverse; centrato su una singola area di specializzazione più che su una ricerca interdisciplinare; con una prevalenza di prodotti libri e pochi articoli; con un livello adeguato di visibilità internazionale nella forma dell’articolo, ma con una quasi totale ‘nazionalizzazione’ della forma libro; con una prevalenza di strutture piccole o piccolissime, lontane da quelle dimensioni che possono garantire interazione intellettuale significativa, visibilità internazionale ed eccellenza; con una prevalenza di opere storiche e teoriche su ricerca empirica e applicativa; con una disomogeneità molto accentuata tra settori con punte di eccellenza in alcune aree e debolezza quantitativo/qualitativa di altre a malapena rappresentate.
L’insieme dei problemi specifici del processo di selezione dei titoli e di valutazione presentati nella prima parte di questa breve riflessione e l’immagine complessiva della distribuzione della ricerca italiana in scienze politiche e sociali avrebbero meritato un’attenta riflessione. Il rapporto finale (e sovente i ranking) del panel 14 individuano con molta chiarezza gli squilibri geografici, quantitativi e qualitativi tra settori e strutture. Pur nelle inevitabili limitazioni di ogni lavoro di questi tipo i rapporti finali del Civr , per tutti i settori ma in modo particolare per il nostro, potevano costituire un’occasione di riflessione collettiva nella comunità scientifica e una base di dibattito tra tale comunità e i policy makers amministrativi e politici. L’obiettivo doveva essere l’individuazione dei meccanismi e degli strumenti per migliorare la qualità, la quantità e la distribuzione delle risorse del settore liberando energie potenziali di ricerca che esistono e che forse non hanno trovato adeguata rappresentanza in questa prima mandata di valutazione. Ho elementi di giudizio solo parziali, ma la mia impressione è che niente di tutto questo sia avvenuto in vista dei nuovi esercizi di valutazione. Forse il simbolo più chiaro della scarsa attenzione con cui il mondo politico ha seguito questo problema è stata l’incapacità del Ministro di essere presente nel gennaio del 2006 alla presentazione pubblica dei risultati di una valutazione che per un anno aveva assorbito gli sforzi di tutta la comunità scientifica nazionale.
 
Keywords: ricerca, università, civr
Comments
Anna Carola Freschi, 05-11-2007, 11:18
Valutazione della ricerca: il nodo irrisolto delle risorse tra produzione, strutture e processi produttivi.

L'intervento di Stefano Bartolini sul processo di valutazione CIVR e sui suoi risultati indica alcune problematiche decisive.
Guardando alla policy di valutazione nel suo complesso emergono tre aspetti importanti. A più riprese Bartolini sembra evidenziare un modello organizzativo e di lavoro valutativo calato dall'alto sulla Commissione di valutazione, cui restano margini di discrezionalità non adeguati. Una parte cruciale del lavoro della Commissione è stata correggere il tiro rispetto alle indicazioni generiche e agli schemi previsti dalla procedura, senza tradirne la ratio ma alla ricerca costante delle soluzioni più adatte alla specificità delle discipline interessate. In secondo luogo, le strutture di ricerca italiane, nonostante fossero chiari gli obiettivi della valutazione, ne hanno fatto un uso conforme al loro funzionamento, con l’effetto perverso di far apparire le performance dell’area disciplinare forse peggiori di quelle che sono. Nel definire la policy per valorizzare la ricerca italiana quindi forse avrebbe giovato prendere più seriamente in considerazione i vincoli strutturali con cui ci si sarebbe dovuti confrontare.

 

Un'altra notazione generale, che Bartolini colloca al termine del suo contributo, riguarda il totale disinteresse con cui politica ed amministrazione centrale hanno guardato al lavoro, ai risultati e alle criticità del processo valutativo realizzato dalla comunità scientifica, fatto che getta non poche ombre sul futuro stesso della valutazione. Non è una sottolineatura da poco, soprattutto guardando alla fase di accanimento 'riformatore' con cui la politica italiana, ormai da più di un decennio, si occupa di Università e di ricerca pubbliche: riforme del reclutamento, agenzie di valutazione, riforme del ruolo (per non parlare dell’eterna riforma della didattica). L'urgenza di intervenire sull'Università è senza dubbio giustificata, ma richiederebbe di costruire le nuove regole partendo appunto da una adeguata analisi dei risultati dell'esperienza, piuttosto che da modelli astratti.

 

Le criticità del processo di valutazione CIVR segnalate da Bartolini riportano immediatamente l'attenzione sui problemi strutturali dell'organizzazione del lavoro scientifico nella ricerca del settore delle scienze politiche e sociali in Italia, ma presumibilmente con una valenza molto più ampia. E' esplicito in questo senso il rilievo a proposito dei criteri di selezione dei prodotti di ricerca da parte delle strutture, centri di ricerca e dipartimenti, che hanno preferito in genere attenersi a criteri di “anzianità, grado accademico, rappresentanza di area”. Bartolini evidenzia quindi un modello di selezione dei contributi per il CIVR che ha “ripercorso” logiche tradizionali. La necessità di prevedere un limite al numero di lavori sottoposti per struttura ha accentuato questo effetto. In altri termini, il modello di selezione ha in gran parte riprodotto le relazioni di potere all'interno delle strutture.

Questo significa che ricercatori a contratto, assegnisti, borsisti, o anche ricercatori neo-assunti hanno avuto ben poche possibilità di vedere valorizzato il loro lavoro, benché una consistente produzione scientifica, soprattutto empirica, emerge da sempre proprio nei primi stadi della carriera che negli ultimi dieci anni si sviluppa abnormemente fuori dal ruolo accademico. Si consideri un dato gigantesco che stenta ad essere preso in considerazione seriamente dall’Amministrazione centrale come dagli organi di governo degli Atenei, con tutte le sue implicazioni, qui visibili sul versante valutazione delle performance della ricerca nazionale: il rapporto medio fra personale di ricerca strutturato e non strutturato è in Italia di 1 a 1, soprattutto nelle strutture più grandi e importanti. Ammettiamo pure la varietà delle figure di ricercatori e collaboratori di ricerca del sistema italiano, non tutte impiegate a tempo pieno ‘precario’ e alcune in formazione, seppure sia ormai tipica la presenza costante di post-doc ed assegnisti nei dipartimenti. Nell’area delle scienze sociali e politiche, come in altre del resto, c’è infatti una consistente ‘riserva’ di ricercatori precari che non vengono ‘inseriti in struttura’ solo per vincoli di risorse e non per deficit curriculari. Il lavoro di questi ricercatori è fondamentale per il contributo che danno sia alle ricerche/pubblicazioni cui collaborano, anche senza apparire, sia per quello che danno attraverso i loro specifici progetti. La mancata emersione della produzione dei ricercatori precari in Italia contribuisce almeno in parte a spiegare la scarsità di produzione empirica e di articoli sottoposti a valutazione.

 

Ci sono altri aspetti importanti relativi a problemi strutturali della ricerca sociale italiana che emergono dal contributo di Bartolini: la 'scarsa ambizione' della ricerca empirica, il prevalere di un modello di lavoro incentrato sulla ricerca individuale piuttosto che in ampi gruppi, all'interno di una disciplina anziché in contatto almeno con i campi confinanti, la debole capacità di fare rete nella ricerca all'interno di un'area estremamente frammentata sul territorio. Questi caratteri sono forse un tratto culturale ereditario? O non hanno anche qualche relazione con alcuni tendenze relativamente recenti dell'Università italiana? La proliferazione degli atenei per esempio ha contribuito alla dispersione di ricercatori e ricerca, anziché favorire poli e reti di ricerca. La struttura dei bandi PRIN, con vincoli di numero di sedi aderenti ed unico tetto di budget medio, non favorisce l'aggregazione di ricercatori in grandi progetti tematici con sviluppi interdisciplinari e lascia fuori i non strutturati dalla possibilità di promuovere progetti innovativi, rendendo la loro condizione di instabilità professionale più frustrante dal punto di vista individuale e più limitante dal punto di vista dell’innovazione. La carenza costante di risorse per il reclutamento e il ricorso a finanziamenti esterni per finanziare assegni di ricerca e borse riduce l'ambizione dei progetti di ricerca, condizionandoli spesso troppo agli interessi dei committenti. Più in generale, l'intensità della carenza di risorse è tale da non favorire né la cooperazione, né la competizione, ma piuttosto la frantumazione dei comportamenti strategici, sia a livello individuale che a livello di strutture, togliendo alla ricerca respiro, massa critica e capacità di rete.

E' evidente che la crescente importanza della valutazione della ricerca dipende anche dalla stessa scarsità delle risorse e dalla necessità di mantenere la competitività della ricerca nazionale in un più ampio contesto. Su quest'ultimo punto il CIVR Area 14, come sottolinea bene Bartolini nel suo intervento, ha opportunamente deciso di privilegiare i criteri di originalità e qualità rispetto a quelli di collocazione dei contributi su riviste internazionali. E' un aspetto delicato soprattutto nel campo delle scienze politiche e sociali, un aspetto su cui speriamo di poter a breve ritornare su Primopiano

 

Ma restiamo alla questione valutazione/risorse. Ci sono, infatti, due elementi poco presenti nel dibattito sul tema e invece fondamentali se alla valutazione si legano la destinazione di risorse pubbliche e, in prospettiva, le progressioni di carriera dei ricercatori. Il primo elemento riguarda la relazione fra le risorse impiegate e la qualità dei risultati della ricerca. La relazione fra risorse impiegate (ricercatori, con diverse posizioni, costi strumentali, etc.) e risultati qualitativi della ricerca è un aspetto cruciale della questione: non possiamo valutare con lo stesso metro ricerche (ricercatori, strutturati e non, e strutture, piccole e grandi) con dotazioni di risorse non comparabili. Il secondo elemento cruciale è lo stadio di sviluppo del prodotto scientifico. Ricerche esplorative che aprono il campo a più consistenti investimenti e più estesi piani di lavoro rappresentano un elemento cruciale per l'avanzamento della ricerca. In sostanza i due aspetti rimandano ad alcune dimensioni verticali dei processi produttivi nella ricerca, in relazione alla risorse impegnate, che non possono essere trascurate se si vuole affrontare seriamente i problemi della resa della ricerca e quindi dell'organizzazione del lavoro scientifico. Altrimenti, il rischio di una valutazione che ricalchi i difetti del sistema cui si applica invece che promuoverne il superamento è davvero grande. Più in generale, come è noto, questo e' il rischio che si corre nel valutare la produzione senza considerare processi e struttura produttiva. La valutazione delle aree scientifiche incentrata sulle strutture date, considerata la grande dispersione dell’area e le logiche organizzative tipiche, non sembra così aver valorizzato il lavoro di ricerca disponibile, quanto forse avrebbe potuto fare un modello più attento ai caratteri dell’organizzazione del lavoro, alle diverse posizioni dei ricercatori, alle risorse impiegate.

Augusto Palombini, 22-09-2007, 11:47
L'alba della valutazione

 

Mi ha molto colpito lo scritto di Bartolini, perche' le sue considerazioni, che dal campo della sociologia potrebbero in qualche modo essere paradigmatiche per molte altre discipline, fotografano due tipiche caratteristiche delle fasi di esordio di nuovi processi:  la riflessione sull'affinamento delle regole, alla luce delle problematiche riscontrate sul campo, e quella sulla necessità che le regole siano conosciute e diffuse, e che ciascuna struttura impari quindi a sfruttare al meglio le proprie potenzialità.

Sul primo aspetto trovo punti di accordo e altri di disaccordo con le proposte espresse (ad esempio, trovo che il ricorso a 'macrosettori' sia la strada forzata nell'ottica di valorizzare i lavori di profilio interdisciplinare), ma considero questo piano più semplice da affrontare. Il secondo mi pare decisamente più interessante, sul piano dell'analisi. E' naturale che se un vecchio giocatore di rugby venisse inserito in una partita di calcio gli ci vorrebbe del tempo per rinunciare a quei comportamenti istintivi che fanno parte del suo bagaglio agonistico e che nel nuovo contesto risultano non regolamentari o poco producenti. Il cambiamento di paradigma che questa fase sta fotografando è di portata più vasta di quanto a volte percepiamo. Tuttavia credo che la logica della valutazione sia anche in grado di autoregolarsi, in un tempo ragionevole. La selezione di lavori, da parte delle strutture, in base a logiche di rappresentanza o anzianità, la mancata valorizzazione di giovani capaci (quasi sempre non strutturati), l'incomprensione sul tipo di lavori  da valorizzare, sono tutti aspetti che col tempo, a seguito di penalizzazioni e riconoscimenti, dovrebbero autocorreggersi, e abituare alle nuove "regole".

In questo processo è purtroppo evidente che l'anello più debole sia quello intermedio: i criteri e i responsabili della selezione dei lavori migliori negli atenei. E' l'anello più debole perchè richiede alle strutture di individuare organismi capaci di una selezione realmente valida, e - posto che la valutazione attui i suddetti circoli virtuosi - si renderanno necessari meccanismi di scelta dei revisori locali che siano al tempo stesso efficaci e politicamente sostenibili, cosa non semplice.

Infine, l'auspicio di Bartolini sulla prospettiva di  valutare a un livello di dettaglio maggiore di quello attuale è una speranza che è stata condivisa negli ultimi anni da tutti i sostenitori del processo in atto. E' chiaro che un'attività di questo tipo ha un valore scientifico e una sostenibilità politica direttamente proporzionale al livello di dettaglio che riesce a raggiungere. Staremo a vedere se le strutture esistenti o quelle venture avranno una capacità così elevata e all'altezza delle ambizioni che ne hanno caratterizzato gli annunci, con enfasi non sempre sincere.

 

 

 

 

Ivo Colozzi, 18-09-2007, 16:45
Relazione sui risultati della valutazione Civr (comitato 14 Scienze politiche e sociali) in riferimento all’area sociologica

Alcune premesse sul percorso della valutazione

 Il panel 14 – composto di 5 persone, fra cui 3 sociologi (Colozzi, Crouch, Franzosi) – ha ricevuto dal Civr 372 prodotti di ricerca pubblicati come volumi, capitoli di libri o articoli di rivista fra il 2001 e il 2003. La selezione dei prodotti non era stata realizzata dal Civr ma dai nuclei di valutazione di tutte le università italiane che avevano avuto l’incarico dal Miur di inviare al Civr i loro migliori prodotti di ricerca. Si tratta, quindi, di lavori che avevano già dovuto passare un primo vaglio e che dovrebbero rappresentare l’eccellenza della ricerca in riferimento a ciascun Ateneo. Il Civr ha suddiviso i prodotti inviati nelle seguenti categorie: Comunicazione (22), Storia (17), Scienze politiche e Amministrazione pubblica (135), Sociologia e antropologia (148), Lavoro sociale e politica sociale (50). Senza entrare nel merito della scelta delle categorie, che il Panel nella sua relazione ha proposto di modificare, va comunque segnalato che l’assegnazione alle diverse categorie non è stata sempre accettabile, per cui alcuni lavori sociologici sono finiti in Scienza politica e alcuni lavori di storia delle dottrine politiche o di filosofia politica in Sociologia e antropologia. Ho, quindi, dovuto procedere a una selezione dei lavori sociologici che non rispetta del tutto l’assegnazione alle diverse categorie, anche se i lavori provengono in gran parte dalle categorie Comunicazione, Sociologia e antropologia, Lavoro sociale e politica sociale.

 

I risultati in termini quantitativi

 In base alla selezione fatta, i lavori sociologici pervenuti al Civr sono stati 212, che rappresentano il 56,98 % del totale. La prima constatazione, quindi, è che la sociologia nell’ambito del Comitato 14 rappresenta ormai, in termini quantitativi, la disciplina più forte.

 

Il metodo di valutazione

I lavori pervenuti al panel sono stati ripartiti fra i 5 componenti. Ciascuno dei componenti ha assegnato ciascun prodotto a due referee da lui individuati, contattati e, previo assenso, inseriti nella lista dei valutatori. Nel comporre la mia lista, risultata di 42 nomi, ho coinvolto il numero più alto possibile di colleghi che precedentemente non figuravano nelle liste del Ministero.

Su ogni lavoro ai due giudizi dei referee si è aggiunto un giudizio di sintesi del panelist cui erano stati assegnati i prodotti e l’iter si è concluso con il consenso (a maggioranza o all’unanimità) dei 5 panelist sulla valutazione definitiva di ogni prodotto. La scala di valutazione prevedeva i seguenti punteggi: eccellente, buono, accettabile, limitato.

 

I risultati in termini qualitativi

Alla fine del percorso i risultati in termini qualitativi sono stati i seguenti:

 

 

Tutto il panel %
v.a.
Sociologia %

Eccellente

20
42
19,8

Buono

38
78
36,8

Sufficiente

30
71
33,5

Limitato

12
21
9,9

Totale

100
212
100


Se si considera che i prodotti avrebbero dovuto rappresentare l’eccellenza della ricerca universitaria, i risultati non possono essere considerati del tutto soddisfacenti, perché, comunque, più del 40% dei lavori è sotto la soglia del buono. Forse alcuni nuclei di valutazione degli Atenei non hanno ben compreso il senso del processo avviato dal Miur e hanno selezionato i lavori considerando criteri non strettamente legati alla qualità intrinseca degli stessi. Se questa ipotesi è vera o probabile, è opportuno, nel caso venisse ripetuta la valutazione, che ci attiviamo presso i nostri Atenei per suggerire criteri di selezione più adeguati che consentano alla disciplina di ottenere risultati migliori.

Per quanto riguarda l’area sociologica, il confronto con i risultati riferiti a tutto il panel evidenziano che sul piano qualitativo non si conferma il primato emerso dai dati quantitativi. Nel suo complesso, infatti, i lavori sociologici presentano una curva di distribuzione molto vicina alla media, con meno prodotti buoni, ma anche con meno prodotti limitati.

>