IDEE SUI CRITERI DI VALUTAZIONE PER LE IDONEITA' NAZIONALI - n.2
(Andrea Bellelli)

      In un intervento precedente ho espresso alcune considerazioni personali sui criteri di esclusione che possono essere adottati nelle procedure di idoneita' nazionali. In questo contributo vorrei invece esprimere alcune considerazioni sui criteri non escludenti. Assumo come modello l'idoneita' al ruolo di Professore Ordinario della nostra disciplina, ma le considerazioni che presento sono generiche e possono essere adattate per qualunque ruolo.

      Una necessaria premessa a queste considerazioni e' che ne' i singoli contributori ne' il Collegio in toto, con la sua assemblea, possono esprimere idee e normative che siano vincolanti per le commissioni valutatrici: le posizioni del Collegio hanno valore se risultano condivisibili e quelle dei singoli docenti che contribuiscono alle discussioni pubbliche che si aprono su questo sito hanno senso se stimolano l'elaborazione di posizioni condivisibili. Consegue che le idee qui espresse a titolo personale non sono che spunti per una discussione pubblica. D'altra parte, le discussioni fatte in circoli piu' ristretti, risultando non accessibili alla maggioranza dei membri del Collegio hanno un valore anche inferiore.

      La definizione dei criteri di valutazione concorsuale non escludenti e' molto difficile. Infatti, supponendo che la commissione abbia in precedenza adottato dei criteri minimi di esclusione dei candidati finalizzati a garantire che tutti i candidati che superano la prima fase di selezione siano studiosi con una certa attivita' di ricerca e didattica alle spalle, i criteri non escludenti devono valutare quali tra molti candidati validi siano "i migliori". Essendo mal definito il concetto di "migliore" in questo contesto, anche i criteri per identificare "i migliori" candidati saranno vaghi. Ci conforta pero' il fatto che la precedente adozione di criteri escludenti limita gli eventuali danni dovuti ad errori di giudizio: in ogni caso la commissione promuovera' un candidato valido, anche se non "il migliore" in assoluto.

      Diamo per scontato che la commissione concorsuale, anche avendo eliminato i candidati che non possiedono i requisiti minimi di inclusione, dovra' valutare un grande numero di candidati validi. E' IMPENSABILE CHE I COMMISSARI POSSANO LEGGERE PIU' CHE UNA MINIMISSIMA FRAZIONE DELLA PRODUZIONE SCIENTIFICA DEI CANDIDATI, per due ragioni: in primo luogo perche' questa e' presumibilmente immensa (100 concorrenti che abbiano pubblicato ciascuno 80 lavori scientifici presentano 8.000 pubblicazioni complessive: ai commissari che intendano leggerne 20 al giorno occorrono 400 giornate lavorative per leggerli tutti). In secondo luogo i candidati saranno degli esperti del loro specifico campo di ricerca mentre i commissari lavoreranno in altri campi e saranno in genere dei profani sul campo di ricerca della maggioranza dei candidati: consegue che, leggendo le pubblicazioni, i commissari potranno esprimere soltanto una valutazione molto grossolana. Poiche' e' difficile credere che la valutazione concorsuale possa basarsi sull'attenta lettura di tutte le pubblicazioni dei candidati, e' realistico pensare che anche tra i criteri non escludenti debbano figurare dei parametri bibliometrici: numero di citazioni (escluse le autocitazioni), impact factor cumulativo, etc. Bisogna essere consapevoli del fatto che i parametri bibliometrici applicati agli individui danno una valutazione molto imprecisa.
      Inoltre occorre porsi il problema se i parametri bibliometrici siano comunque accettabili e proporzionali al valore del candidato o se invece tendano ad una "saturazione" tale per cui oltre un certo livello diventano non significativi. La rivista Science ha recentemente pubblicato un editoriale sulla valutazione delle universita' italiane attualmente in corso da parte dell'ANVUR e ha scritto testualmente: "It's a public secret in Italy that some lab leaders co-author dozens of papers every year for which they did very little work. ANVUR's methodology does not ferret them out but rewards them with very high scores, which some have now listed on their Web sites."
      Sembra ragionevole assumere che un candidato non possa realisticamente offrire contributi veramente significativi a piu' di un certo numero di pubblicazioni ogni anno: supponendo che un limite plausibile sia di non oltre 6 pubblicazioni scientifiche all'anno per 30 anni, si dovrebbe assumere che i candidati che hanno pubblicato piu' di 180 lavori su riviste a diffusione internazionale dovrebbero essere considerati "top level" nel campo e che candidati con 200 o con 400 pubblicazioni (oppure supponendo un IF medio pari a 3, con IF totali pari a 200x3=600 e 400x3=1200) debbano ottenere la stessa considerazione da parte della commissione.

      Consegue al ragionamento precedente che l'uso dei criteri bibliometrici e' limitato tra un livello minimo di accettabilita' (nel mio contributo precedente era stato suggerito il valore indicativo di IF=120) ed uno massimo di eccellenza (IF>540). E' probabile che la commissione si ritrovi a valutare non solo un grande numero di candidati validi (IF>120) ma addirittura un significativo numero di eccellenti (IF>540). Oltre questi limiti gli indicatori bibliometrici perdono di significato ed occorre tenere in conto altri parametri.
      Indicatori oggettivi non bibliometrici esistono, naturalmente, quali ad esempio: l'attivita' didattica documentata ed eventualmente i giudizi degli studenti; i brevetti; l'attivita' divulgativa su riviste e giornali ad ampia diffusione o mediante radio e televisione; l'attivita' accademica (Direzione di Dipartimenti o Istituti; Presidenza di Facolta' o di Corsi di Laurea; etc.); i riconoscimenti e premi nazionali ed internazionali; etc. E' importante che questi indicatori siano tenuti in considerazione perche' identificano attivita' extra-scientifiche desiderabili: e' giusto ed utile che un bravo scienziato sia anche un bravo docente e un bravo divulgatore