Il ruolo del bibliotecario biomedico nella bibliometria di oggi
Servizio di documentazione scientifica Fondazione IRCCS Policlinico San Matteo, Pavia GIDIF RBM Working Group* V.Scotti@smatteo.pv.it
Abstract
Questo articolo si propone di mettere a fuoco il ruolo centrale che il bibliotecario biomedico ha assunto negli ultimi anni nel mondo della valutazione della ricerca. Partendo dal concetto di bibliometria, si esaminano i principali indicatori bibliometrici tradizionali (impact factor e h-index) per arrivare alle nuove metriche alternative (altmetrics). I bibliotecari supportano sempre più le attività di valutazione e hanno l'opportunità di riaffermare il ruolo chiave delle biblioteche scientifiche accademiche e non accademiche come luogo in cui da sempre "pulsa" l'attività di ricerca.
English abstract
This article aims to focus on the central role that the biomedical librarian has assumed in recent years in the world of research evaluation. Starting from the concept of bibliometrics, we examine the main traditional bibliometric indicators (impact factor and h-index) to arrive at the new alternative metrics (altmetrics). Librarians increasingly support evaluation activities and have the opportunity to reaffirm the key role of academic and non-academic scientific libraries as the place where research activity has always “pulsed”.
Per consultare l'articolo completo in formato pdf clicca qui.
Tra metriche tradizionali e social media
Fin dalla nascita dell’odierna editoria scientifica, il problema di come misurare l’impatto scientifico e sociale delle pubblicazioni di ricerca è stato di estremo interesse per scienziati e studiosi. L’impatto, infatti, può influenzare l’ottenimento di un incarico a perfezionare un progetto di ricerca, l’attrazione di investimenti fondamentali per sé e il proprio dipartimento/gruppo, la valutazione della propria attività professionale, l’incremento delle prospettive di carriera. Dal punto di vista di chi legge un articolo scientifico, inoltre, è importante capire velocemente l’importanza dei contenuti, vista la mancanza di tempo per leggere tutti i documenti pubblicati su un dato argomento. A oggi entrambi i problemi di valutazione e di selezione qualitativa rimangono di difficile soluzione. Le metriche bibliometriche “tradizionali” (Impact Factor e indici citazionali) sono figlie di un sistema in cui il web ancora non esisteva (l’Impact Factor è stato ideato nel 1955) o era ancora poco sviluppato (H-Index nasce nel 2005); inoltre esse, assieme alla peer review, hanno mostrato dei limiti nella capacità di valutazione della ricerca. L’evoluzione di strumenti Web 2.0 ha, di fatto, portato cambiamenti radicali nella nostra vita quotidiana. Tra questi, l’avvento dei social media ha facilitato le connessioni e la condivisione di informazioni tra le persone; di ciò hanno beneficiato anche i ricercatori. Negli ultimi dieci anni c’è stata una rapida evoluzione nel mondo degli indicatori bibliometrici, e stanno emergendo nuovi indicatori, basati appunto sul Web 2.0. Recentemente, il termine Altmetrics ha guadagnato un crescente interesse nella comunità scientifica, con sempre più scienziati preoccupati per l’impatto della propria ricerca non solo sulla comunità scientifica, ma anche sulla società. Partiamo dall’inizio.
Che cos’è la bibliometria?
La bibliometria è una disciplina che applica metodi matematici e statistici allo studio della comunicazione scientifica, della sua struttura e delle sue dinamiche. L'analisi bibliometrica si concentra sui prodotti finiti dell'attività di ricerca, ovvero articoli di riviste scientifiche, libri, bibliografie, con l'obiettivo sia di scoprire le relazioni quantitative tra pubblicazioni, autori ed aree di ricerca, sia di misurare la qualità (o performance) dei ricercatori. Per misurare la qualità della ricerca scientifica i bibliometri utilizzano degli indicatori di performance che si basano, nella maggior parte dei casi, sul numero di citazioni bibliografiche ricevute dalle pubblicazioni scientifiche di un autore, di un gruppo di ricerca, di un'istituzione: si presume che un alto numero di citazioni rispecchi l'influenza reale esercitata dagli autori citati sugli autori citanti confermando l'utilità della loro ricerca per il progresso scientifico. Il conteggio delle citazioni (citation index) consente, partendo da un documento, di risalire a tutti gli articoli pubblicati su un gruppo selezionato di riviste, selezionate dalle banche dati su cui si va a calcolare tale indice, scientifiche internazionali, che lo hanno citato in bibliografia. La bibliometria non guarda al contenuto, come può fare la peer review, ma estrapola relazioni quantitative in base alle citazioni bibliografiche ricavate dagli articoli di riviste scientifiche.
La peer review, in italiano “revisione alla pari”, è una procedura di selezione di articoli, proposti da membri della comunità scientifica, eseguita da specialisti nell’ambito in questione (i cosiddetti referee) che ne valuteranno il contenuto e stabiliranno se il lavoro a loro sottoposto è idoneo per la pubblicazione. I revisori decideranno, quindi, se lo scritto ricevuto dall’editore per la valutazione è da accettare, da modificare ulteriormente per poter essere accettato o da rigettare. Le riviste che sono indicizzate nelle principali banche dati bibliografiche e citazionali sono selezionate tenendo presente la bontà dei propri revisori. La bibliometria, inoltre, è nata per aiutare le biblioteche a selezionare le riviste da aggiungere alle proprie collezioni bibliografiche. Quale metodo migliore se non selezionare le più citate tra le riviste? Inoltre, le metriche hanno funzioni chiave in qualsiasi sistema di ricerca. Servono come proxy per processo decisionale basato sull'evidenza: la spesa pubblica per la ricerca dovrebbe poggiare su meccanismi solidi che riflettono responsabilità e fiducia. Tuttavia, le metriche convenzionali per la valutazione della ricerca si concentrano principalmente sui risultati della ricerca, vale a dire pubblicazioni su riviste (numero e citazioni).
I dati, che sono comunemente derivati da database bibliometrici commerciali, come Scopus o Web of Science, si sono affermati nel corso degli anni come “costosi” guardiani del sistema di ricompensa accademico, dotandolo non solo di dati, ma anche di insiemi di indicatori e metriche sempre più complessi e di difficile interpretazione. È stato sostenuto che un uso così semplicistico delle metriche è lontano dall'essere una "indicazione robusta" della qualità della ricerca (si veda al riguardo il rapporto della European Commission Expert Group on Altmetrics del 2017). La bibliometria – o più specificamente la scientometria – dovrebbe sempre essere usata in sinossi con più indicatori, e soprattutto in combinazione con una revisione qualitativa. L'uso intensificato delle metriche tradizionali nella valutazione della ricerca riflette una cultura sempre più orientata alla pubblicazione, che tende a trascurare gli aspetti che non possono essere (facilmente) misurati. Infatti, per quanto possa essere ben sviluppato un indicatore, nel momento in cui diventa una misura importante per la valutazione della ricerca e dei fondi per finanziarla, esso influenzerà e modellerà ciò che misura e, nel peggiore dei casi, diventerà l'obiettivo (ossia la pubblicazione su riviste con Impact Factor).
In tale filone si inserisce la DORA Declaration al fine di contrastare l’uso indiscriminato dell’Impact Factor, dando nel 2012 un segnale chiaro della necessità di misure più adeguate e meno manipolabili per valutare la ricerca. La Dichiarazione, a cui hanno aderito redattori, editori di riviste scientifiche, organizzazioni che si occupano di ricerca, studiosi, impegna i sottoscrittori a comportamenti responsabili e corretti nelle pratiche di valutazione. A dar man forte alla DORA Declaration, nel 2015 viene sottoscritto il Leiden Manifesto for research metrics, il quale suggerisce invece dieci principi per una corretta valutazione, tra i quali quello di non utilizzare il solo Impact Factor come unico parametro per la valutazione tout court. Una forte spinta all’innovazione è indubbiamente arrivata dell’open science nel concetto primario di dare accesso aperto alle risorse, articoli, dati attraverso l’open access nello scenario molto più ampio della citizen science, soprattutto a livello europeo. Nascono così iniziative come le Altmetrics, misure alternative di impatto ai tradizionali indicatori, che si basano sull’utilizzo dei social media proponendo il concetto di “impatto sociale” ( cioè quanto la ricerca “raggiunga” la società) sino ad arrivare a concepire forme di uso responsabile delle metriche.
Lo stesso calcolo dell’Impact Factor si sta modificando, introducendo, negli articoli da considerare citabili, anche gli early access. Questa decisione “epocale” della Clarivate Analytics nasce dalla consapevolezza che ormai un numero sempre crescente di riviste pubblica gli articoli in versione online prima della loro inclusione formale come parte di un volume/fascicolo programmato. Quali e quanti saranno le implicazioni di tale passaggio lo scopriremo a partire dall’edizione 2022 dell’Impact Factor. Nello scenario bibliometrico non si possono poi non considerare i profili citazioni derivanti da ORCID, Researcher ID e Scopus ID utilizzati per le valutazioni, attraverso piattaforme come Scival e Incites, non solo a livello di singolo ricercatore, ma anche di ente in un contesto di benchmarking nazionale e mondiale. Tutti gli argomenti sopra citati meritano un approfondimento in un contesto in cui la stessa Unione europea, tramite il programma Horizon Europe, chiede più open access di qualità e una valutazione che misuri l’impatto sulla società. Gli Altmetrics, assieme ai recenti sviluppi della bibliometria, probabilmente ci raccontano una storia differente e un nuovo concetto d’impatto.
Quali metriche?
Riassumendo questa breve incursione nella bibliometria possiamo affermare che vi sono metriche diverse tra loro che tentano di misurare la portata e l'influenza del lavoro accademico. Rientrano principalmente in una delle tre categorie:
- metriche a livello di articolo: indicatori che mirano a misurare la portata o l'influenza di un singolo prodotto di ricerca come un articolo di giornale o un set di dati. Esempio: numero di citazioni;
- metriche a livello di giornale: indicatori che mirano a misurare la portata o l'influenza di un giornale. Esempio: Journal Impact Factor;
- metriche a livello di autore: indicatori che mirano a misurare la portata o l'influenza di un singolo autore. Esempio: hindex.
Poiché diventa sempre più importante monitorare e valutare come la ricerca scientifica viene effettivamente utilizzata, non solo all'interno del sistema di ricerca ma anche in ambito sociale, e come i risultati sono condivisi, discussi e adottati, i finanziatori e i politici finanziatori e i responsabili politici sono alla ricerca di indicatori alternativi per produrre prove di un più ampio impatto della ricerca. Gli Altmetrics (abbreviazione di metriche alternative) misurano l'uso o le menzioni online dei risultati della ricerca, anche in anche in sbocchi non convenzionali, come banche dati, media, blog, Wikipedia, documenti politici e molti altri documenti politici e molti altri. Vi sono vari fornitori di dati alternativi. Tra di essi i principali sono la piattaforma fornita da Almetric.com, tramite lo score dato dalla ciambella chiamata donut, e Plum Analytics attraverso il proprio score di Plum X. Trovate questi indici accanto agli articoli nelle pagine dei principali editori (ad esempio Wiley, Taylor and Francis Group) e anche in Scopus, per quanto riguarda lo score di Plum X.
Sebbene la parte più importante di un report Altmetric siano i dati qualitativi, è anche utile inserire l'attenzione nel contesto e vedere come stanno andando alcuni risultati della ricerca rispetto ad altri. Il punteggio, lo score, di Altmetric per un articolo fornisce un indicatore della quantità di attenzione che esso ha ricevuto. È bene precisare che lo score è un conteggio ponderato. Il punteggio è derivato da un algoritmo automatizzato e rappresenta un conteggio ponderato e pesato della quantità di attenzione il risultato della ricerca ha ottenuto sul web. Nelle immagini sotto vediamo un esempio di calcolo dello score di Altmetric.com, il più diffuso e conosciuto portale di metriche alternative.
Perché è pesato? Per riflettere la portata relativa di ciascun tipo di sorgente (Facebook, Twitter, news ecc.). È facile immaginare che molto probabilmente la menzione di un articolo scientifico o di una scoperta in un blog attiri maggiormente l'attenzione sull'output della ricerca rispetto a post su Facebook. È anche importante notare che, sebbene i punti sopra riportati siano buoni indicatori per comprendere il sistema di ponderazione, l’algoritmo tiene conto di molti altri fattori come tweet duplicati o calcoli sui livelli per diversi tipi di fonti di notizie. Non è quindi possibile calcolare il punteggio Altmetric con la semplice aggiunta di menzioni da altre fonti. Inoltre la grande differenza rispetto ai tradizionali indici e che cliccando sulla ciambella (donut) si possono visualizzare le fonti da cui proviene la menzione e i dettagli, positivi o negativi, relativi all’articolo. Inoltre, con strumenti che applicano l’analisi del testo è possibile e analizzare i commenti positive o negative che un articolo riceve. Una piattaforma open source basata sul web, come Vojant.org, è in grado di sviluppare quella “sentiment analysis” che permette di leggere tra le righe di un puro dato numerico. Queste metriche promettono di scoprire aspetti, precedentemente invisibili, dell'open science, dato che la loro attenzione è direttamente sui risultati o attività che li circondano. Difatti la diffusione è tracciata in quasi in tempo reale sia all'interno che all'esterno del mondo accademico, prestando attenzione al output anche prima della pubblicazione in una rivista e della citazione. Di certo tali metriche portano con sé tutta una serie di rischi e di limiti dati anche dalla loro giovane età. Inoltre, è sempre presente il rischio del “gaming”, ossia il fenomeno per cui servizi commerciali “vendono” messaggi di Facebook, Tweet o blog per favorire il proprio prodotto (in questo caso, la ricerca). Ancora, una pesante critica è la mancanza di uno standard definito, che invece le metriche tradizionali hanno. Infine, non è chiaro quali tipi di qualità i dati di Altmetrics indichino. Un'altra critica è che i fornitori stessi non sono completamente aperti in termini di metodi, algoritmi e dati che impiegano. Quindi, i risultati sono difficilmente replicabili e il loro utilizzo nel processo decisionale non è né standardizzato né del tutto trasparente
E i bibliotecari biomedici?
Come abbiamo visto la bibliometria è una disciplina molto delicata. Richiede competenze specifiche e conoscenze approfondite degli indicatori, dei sistemi di rilevazione e dei loro limiti. I bibliotecari da anni si confrontano con la bibliometria e con gli strumenti che forniscono dati bibliometrici. In Italia la valutazione bibliometrica viene utilizzata in differenti settori: dalla valutazione dei ricercatori, alla produzione scientifica, ai bandi di ricerca finalizzata. I bibliotecari biomedici sono chiamati a fornire assistenza quotidiana alle direzioni scientifiche nella formulazione degli obiettivi annuali e a preparare i report bibliometrici a supporto della valutazione. Valutazione basata sempre più su indici bibliometrici, in primis l’Impact Factor, per passare a calcoli più complessi come la suddivisione in quartile (Q1e Q2) delle riviste e relativo “premio”, o la suddivisione tra le differenti tipologie dei lavori (review, lettera, lettera con dati ecc.) e posizionamento degli autori di un ente.
Spesso solo l’occhio allenato di un bibliotecario può districare i dilemmi che nascono dalla classificazione differente sui database bibliografici (lettera o editoriale?). Tutto questo spinge verso una valutazione che tenta di essere oggettiva ma che rischia di diventare un mero calcolo, un numero senza agganci con il valore del paper o quanto vi è scritto. La nuova programmazione triennale che vede coinvolti gli IRCCS italiani 2022-2024 ne è un esempio. Da tempo i bibliotecari aderenti al consorzio di Bibliosan hanno creato gruppi ad hoc per poter affrontare, comprendere e fornire mutuo aiuto per districarsi in dettami sempre più stringenti e che richiedono competenze molto elevate nella conoscenza di tali indicatori e delle loro performance. Competenze “a carico” del bibliotecario attraverso corsi di formazione, in lingua inglese, partecipazione a webinar, partecipazione a workshop sulle tematiche, ricerche di materiale informativo, senza che tale tempo venga quantificato ne valorizzato adeguatamente.
L’introduzione della cosiddetta “piramide della ricerca” ha posto l’accento su valutazioni del ricercatore basate su un sistema articolato di indici e valori da superare per poter aspirare a entrare nel Sistema sanitario nazionale. Tale idoneità viene valutata attraverso la capacità del ricercatore di superare determinate soglie bibliometriche espresse in sei indicatori rilevabili da due strumenti di analisi citazionale: SciVal (Elsevier) e InCites (Clarivate Analytics). Per tale motivo sempre più i bibliotecari biomedici costituiscono, di fatto, un punto di riferimento per i ricercatori, sia per comprendere il significato degli indicatori sui quali vengono valutati, che per individuare le giuste strategie di pubblicazione necessarie a superare le soglie parametriche indicate dal Ministero della Salute. Ogni giorno in biblioteca si affrontano i problemi derivanti dallo sdoppiamento dei profili in Scopus o Researcher Id con conseguenze sul calcolo non solo dell’H-Index, ma anche sulla produzione scientifica stessa del ricercatore e dell’ente o della sua capacità di ottenere un finanziamento. Il destinare un lavoro correttamente al ricercatore/medico che lo ha scritto si basa su di un algoritmo che deve essere “educato” a non ripetere i medesimi errori di non corretta assegnazione degli articoli scientifici. Molto spesso solo l’esperienza del bibliotecario di casi simili e la conoscenza delle procedure per richiedere le modifiche ai profili portano il ricercatore a risolvere in tempi brevi le problematiche che si incontrano. Il dibattito sul ruolo del bibliotecario nella bibliometrica non nasce certo in tempi recenti. Da sempre, sin dall’utilizzo dell’Impact Factor per decidere quali riviste acquistare, i bibliotecari supportano le attività di valutazione e, riappropriandosi delle competenze bibliometriche, hanno l’opportunità di riaffermare il ruolo chiave delle biblioteche scientifiche accademiche e non, luogo in cui da sempre “pulsa” l’attività di ricerca, ribadendo così il proprio ruolo di professionista della conoscenza al servizio della comunità scientifica e dei cittadini. Per fare il bibliotecario biomedico ci vuole il fisico: bisogna essere costantemente aggiornati e formati, poiché le piattaforme commerciali cambiano spesso non solo interfaccia, ma anche gli algoritmi che dettano il calcolo degli indicatori. Capire il loro funzionamento diventa strumento prezioso per supportare al meglio i ricercatori in un lavoro di back office costante, ma troppo spesso sconosciuto.
Gumpenberger, Wieland, e Gorraiz forniscono quattro ragioni per cui i servizi bibliometrici si adattano perfettamente alle biblioteche accademiche e scientifiche:
- i bibliotecari utilizzano già le principali banche dati;
- hanno esperienza di raccolta dati, pulizia e analisi dei dati;
- i bibliotecari offrono servizi per i ricercatori;
- i bibliotecari hanno la possibilità di partecipare alle comunità di ricerca bibliometrica.
La terza attività, quella più importante, è quella del servizio e dell'assistenza ai ricercatori, che viene fornita:
- facendo conoscere gli strumenti della valutazione e illustrandone pregi e limiti;
- informando sulle nuove metriche ed il loro significato e utilizzo;
- proponendo nuove modalità di diffusione dei risultati della ricerca per aumentarne l'impatto sulla comunità scientifica e sulla società.
Questo include anche aiutare e indirizzare i ricercatori a meglio utilizzare i loro profili social o banalmente a tenere aggiornati i propri profili citazionali e collegarli a strumenti, come ORCID, in grado di offrire una sorta di curriculum gestito direttamente dal ricercatore. Profili social che troppo spesso vengono visti come una perdita di tempo, nel migliore dei casi, o come una mercificazione della propria professione nei peggiori. Errate concezioni in entrambi i casi. La pandemia di Covid-19 ha ben evidenziato quali sono i vantaggi di una informazione in tempo reale sui dati della ricerca, che spesso sono stati diffusi tramite i social a base più prettamente “professionale” come Twitter o LinkedIn. Di contro ha mostrato pure i suoi limiti, ma ha dato la possibilità ai “cittadini” di essere informati e di avere a loro disposizione notizie e dati forniti di “prima mano” da chi studiava l’evoluzione della malattia. L’informazione passa sempre più dalla rete del web e dei social e di questo bisogna tener conto anche in termini di differenti stakeholders a cui si rivolge l’informazione stessa e che non potrebbero accedere a fonti validate. Come sottolineato da Bik e Goldstein, “online social media tools can be some of the most rewarding and informative resources for scientists – if you know how to use them”. Non bisogna avere timore dei social media, bisogna imparare a usarli correttamente. In questo flusso, le biblioteche biomediche giocano un ruolo fondamentale offrendo non solo l’accesso alle banche dati, alle riviste online e agli strumenti del web, ma soprattutto fornendo la corretta formazione per il loro utilizzo e conoscenza. Aspetto fondamentale del web e della scienza rimane la collaborazione: da sempre gli scienziati cercano interazioni, pareri e suggerimenti da parte degli altri colleghi. Non a caso, negli ultimi decenni la scienza è sempre più condotta da team, gruppi di ricerca, équipes che possono contribuire in maniera condivisa a un progetto comune. Alla fine di questo percorso, appare sempre più evidente come le biblioteche siano un luogo naturale per la bibliometria e per misurare l’impatto della ricerca. I bibliotecari hanno esperienza nel ciclo di vita delle pubblicazioni scientifiche, del loro ruolo nel processo di ricerca, comprendono le differenze disciplinari e come queste influiscono sulla bibliometria, conoscono potenza e limiti degli indicatori biblio-altmetrici e hanno anche una vasta conoscenza di dati, metadati e strumenti di gestione della bibliografia che possono mettere a disposizione. Per questo è importante che siano coinvolti nei progetti di ricerca, possibilmente fin dall’inizio, o comunque in modo non meramente esecutivo. È quello che gli anglosassoni chiamano embedded librarian.