Home arrow Scuola e UniversitÓ arrow UN PROBLEMA DA AFFRONTARE CON CURA: VALUTARE LA RICERCA SCIENTIFICA
UN PROBLEMA DA AFFRONTARE CON CURA: VALUTARE LA RICERCA SCIENTIFICA E-mail
di Emilio Barucci
25 novembre 2011
ricerca scientificaMenegatti nell’ultimo numero di questa rivista affronta un tema che a noi ricercatori sta molto a cuore: come valutare la ricerca scientifica. Una questione importante che non può essere elusa: se si vuole andare verso un sistema universitario che funzioni davvero, occorre anche mettere in campo un sistema di valutazione efficace. Il tema tocca due diversi aspetti: la valutazione della ricerca, che porta ad assegnare fondi alle università e ai singoli ricercatori, il reclutamento del personale accademico.

La questione sollevata da Menegatti è che occorre – come sta facendo di recente l’ANVUR - dare una preferenza (valutazione superiore) alle pubblicazioni dei ricercatori su riviste scientifiche qualificate, cioè a dire su quelle riviste che rispondono a certi requisiti di qualità e di cui è stata valutata la rilevanza all’interno del dibattito scientifico (cosa che è possibile fare ricorrendo a indici bibliometrici).

L’impostazione è da condividere e rappresenta una strada obbligata che necessita però di alcuni accorgimenti per renderne efficace il funzionamento.

Partiamo dal perché sia da condividere. L’impostazione rappresenta una risposta ai mutamenti avvenuti nel mondo della ricerca scientifica. A lungo – fino a buona parte del XX secolo – il sistema universitario e la ricerca scientifica erano una cosa che coinvolgeva poche persone, un club in cui valeva sostanzialmente il principio della cooptazione e della certificazione della qualità da parte di un appartenente a quel novero di persone. Oggi il mondo della ricerca è diventato molto più ampio e anche le discipline si sono specializzate al loro interno. Per capirsi, sono finiti gli economisti a tutto tondo, adesso abbiamo specialisti di singoli aspetti della disciplina. In questo contesto la cooptazione e la certificazione della qualità da parte dei singoli (il maestro che garantiva sulle qualità dell’allievo) non possono più funzionare per valutare il valore della ricerca, occorre per forza di cose affidarsi a sistemi più decentralizzati (di mercato) e da questo punto di vista il ricorso ad una valutazione indipendente della qualità delle riviste rappresenta un meccanismo utile.

Veniamo agli accorgimenti da prendere.

In primo luogo occorre trovare un sistema per valutare i settori disciplinari in cui la ricerca non avviene su scala internazionale e non avviene tramite la pubblicazione di articoli scientifici quanto piuttosto tramite la pubblicazione di monografie o altri prodotti. Non è un problema marginale, tipicamente in materie umanistiche – ma anche nel diritto e nell’architettura – la ricerca scientifica assume forme che non passano tramite la pubblicazione su riviste e spesso non ha una dimensione internazionale.

Il secondo aspetto riguarda i meccanismi individuati. Chi ha fatto parte di commissioni per le valutazioni comparative dei docenti universitari sa che il criterio della pubblicazione su riviste internazionali qualificate è interpretato da molti in modo automatico con un ruolo limitato da parte della commissione. Questa ‘‘degenerazione’’ porta con sé implicazioni negative. In primo luogo non esiste un criterio univoco per valutare anche le pubblicazioni su riviste qualificate: le riviste qualificate non sono tutte uguali tra loro (c’è un ranking che ne valuta la qualità), occorre dunque dividerle in fasce cosa non semplice; le classifiche indipendenti possono essere diverse tra loro; come valutare tramite un meccanismo automatico un candidato che ha prodotto un risultato fondamentale ed uno che ne ha prodotti tanti di più limitato interesse?; occorre tenere presente dove la rivista è collocata o piuttosto le citazioni del contributo?. Sembrano dettagli ma il rischio è che diversi criteri possono dare (in una minoranza non trascurabile dei casi) risultati diversi (soprattutto i criteri collocazione editoriale e numero di citazioni). Quindi una valutazione oggettiva è complicata e un meccanismo premiale automatico può essere discutibile. Il secondo problema è che anche su riviste importanti possono essere collocati articoli di scarso valore, il processo di selezione dei contributi è sì severo come dice Menegatti ma non esclude il fenomeno della ‘‘pubblicazione degli articoli degli amici’’ e di articoli su argomenti di moda. L’adozione di un puro criterio meccanico può portare a risultati non sempre soddisfacenti ed è soprattutto illusorio che esista in modo oggettivo.

Un sistema di tal fatta necessita poi di una riflessione più profonda. Il meccanismo disegna degli incentivi a cui il ricercatore reagisce. Tipicamente il ricercatore tenderà a produrre molto e ad occuparsi di temi che stanno a cuore alle riviste più importanti. Questo può portare al proliferare di una produzione scientifica non necessariamente originale e al conformismo tralasciando altri temi non altrettanto di moda ma forse interessanti per la società. Un caso classico è quello delle discipline economiche: poiché le riviste internazionali pubblicano malvolentieri un contributo sull’economia italiana, pochi studiosi se ne occupano. Non è un bel risultato. Il rischio è quello che abbiamo avuto nei mercati finanziari con le agenzie di rating che dovevano dare un segnale circa la qualità di un titolo, se il segnale è sbagliato il risultato può essere pessimo. Il conformismo scientifico oltre che culturale è un problema che è sempre esistito e che deve essere tenuto sotto controllo garantendo un certo grado di biodiversità intellettuale, condizione necessaria per un vero avanzamento scientifico. Un meccanismo automatico di valutazione può non funzionare allo scopo.   

Queste critiche sono importanti ma non sono sufficienti a buttare via il principio che sta alla base dell’impostazione. Basta ricorrere a qualche accorgimento. Principalmente due. Non introdurre un automatismo stretto soprattutto per quanto riguarda il reclutamento – che deve essere lasciato all’autonomia della commissione e delle università che si assumono le responsabilità – e introdurre una soglia non troppo severa di accettabilità (pubblicazioni con referaggio o censite da una o più banche dati) sopra il quale la valutazione è rimessa nella sfera dell’autonomia. Insomma occorre stare attenti nel disegnare un meccanismo di valutazione/incentivo molto raffinato stringente che – nel caso di malfunzionamento – può dare pessimi risultati. Le soglie, le sedi di collocazione editoriale devono essere condivise con gli ambiti scientifici per renderle efficaci assicurando un certo grado di selettività. Quanto alla valutazione della ricerca si può forse essere più stringenti. La seconda indicazione è che occorre trovare un giusto mix tra criteri oggettivi di valutazione e assunzione di responsabilità da parte di chi effettuerà la valutazione altrimenti si rischia di cadere nella deresponsabilizzazione con risultati assai negativi. D’altro canto la riforma dell’università va  proprio in questa direzione: coniugare il binomio valutazione-autonomia.

Il diavolo sta nei dettagli: imporre dall’alto criteri di valutazione stringenti potrebbe essere complicato e inefficace, occorre quindi lavorare anche sull’innalzamento della cultura della valutazione e della responsabilità a tutti i livelli. Si tratta di agire sulla cultura e sulle istituzioni che governano il sistema universitario, solo così si giungerà a premiare davvero il merito.
  Commenti

Solo gli utenti registrati possono scrivere commenti.
Effettua il logi o registrati.

 
< Prec.   Pros. >