RSS

L’editoria scientifica non funziona? Cambiare si può

08 ott

The_death_of_the_peer-reviewed_articleIn questi giorni ha fatto molto discutere un articolo pubblicato su Science che sembrerebbe evidenziare dei lati oscuri nel mondo dell’editoria scientifica open-access. L’autore del lavoro, John Bohannon, raccconta di avere mandato a 304 riviste scientifiche ad accesso libero un articolo volutamente infarcito di errori metodologici grossolani, con lo scopo di mettere alla prova il processo di revisione delle riviste suddette: sorprendentemente, ben 157 riviste hanno dichiarato che l’articolo meritava di essere pubblicato. La maggior parte di queste erano riviste già note per essere poco affidabili (comparivano nella blacklist curata dal prof. Jeffrey Beall), ma anche riviste più dignitose hanno abboccato allo scherzetto di Bohannon. Per capire la portata di questo risultato e inquadrarlo nel giusto contesto, occorre fare un passo indietro e spiegare come vengono pubblicati gli articoli scientifici nel mondo accademico. Quando un ricercatore vuole pubblicare un articolo che descrive la sua scoperta, lo manda a una rivista accademica specializzata; questa dà una prima rapida occhiata per capire se il lavoro è sufficientemente interessante per i suoi lettori (riviste molto quotate come Nature e Science richiedono standard molto elevati), dopodiché spedisce la bozza ai reviewer, cioè altri scienziati del settore (spesso due o tre) che hanno il compito di leggere attentamente l’articolo e fornire un parere tecnico. Il responso può essere positivo, e allora l’articolo viene pubblicato, oppure negativo, magari per qualche errore di metodo oppure perché le conclusioni degli autori non sono supportate dai risultati sperimentali. Il più delle volte, si verifica una situazione intermedia: i reviewers segnalano agli autori le correzioni da fare, e dopo un tira e molla più o meno lungo si arriva al responso definitivo. Questo processo, denominato peer-review o revisione tra pari, è o dovrebbe essere il marchio di qualità per una pubblicazione scientifica, ed è proprio questo a non aver funzionato con l’articolo di Bohannon: la maggior parte delle riviste interpellate hanno deciso di accettare l’articolo, dimostrando di non aver effettuato nessuna peer-review o di averla fatta in modo molto superficiale. Non è un problema da poco, perché la revisione tra pari serve anche a togliere dalle spalle dei ricercatori il peso di dover controllare minuziosamente le pubblicazioni scientifiche dei colleghi, che in questo modo sono invece già state approvate dalla comunità scientifica. Per pianificare i loro esperimenti, gli scienziati si basano sui lavori pubblicati da altri: per questo, per evitare l’amplificazione degli errori, è fondamentale che ogni pubblicazione passi il vaglio della peer-review.

produktbilde_science_journalsAssodato che la revisione tra pari è un passaggio essenziale per una rivista scientifica che si rispetti, esistono tuttavia due diversi modelli di business per queste riviste. Alcune sono a pagamento, altre sono ad accesso libero. Le prime sono accessibili solo dopo aver acquistato un costosissimo abbonamento, generalmente pagato dall’università o dall’ente di ricerca presso cui il ricercatore lavora; le altre, invece, sono accessibili gratuitamente da tutti, scienziati e non. Queste ultime sono le cosiddette riviste open-access finite sul banco degli imputati nell’inchiesta di Bohannon. In effetti, benché sembri apparentemente la soluzione migliore, le riviste open-access portano con sé un problema. Se le riviste tradizionali guadagnano dagli abbonamenti, infatti, le riviste open-access tendono invece a rivalersi sui ricercatori che vogliono pubblicare un articolo: quando l’articolo viene accettato, l’autore è costretto a sborsare cifre a volte elevatissime (spesso nell’ordine delle migliaia di euro). La mia sensazione, e credo non solo mia, è che questo possa introdurre un effetto distorsivo: rispetto a una rivista tradizionale, la rivista open-access è – almeno in linea teorica – incentivata ad accettare gli articoli piuttosto che a bocciarli. Se a questo uniamo il costante bisogno dei ricercatori di pubblicare per contare qualcosa nella comunità scientifica (è il famoso “publish or perish“), ecco spiegato il proliferare di riviste scientifiche open-access di dubbia qualità e il rischio di vedere pubblicati articoli spazzatura. Chiariamoci, anche le riviste a pagamento possono prendere delle cantonate (esiste un sito – Retraction Watch – che raccoglie tutti gli articoli pubblicati e poi ritirati), ma a mio avviso l’open-access rischia di esserne toccato in modo particolare. D’altra parte, non possiamo negare ai cittadini la possibilità di leggere gli articoli scientifici: dopotutto, il più delle volte quelle ricerche vengono svolte grazie a fondi pubblici. Il problema vero, secondo me, non è l’open-access, ma l’intero meccanismo dell’editoria accademica e della peer-review, che andrebbe riformato in modo da venire incontro alle esigenze di tutti gli attori in gioco: i cittadini, i ricercatori, lo Stato (che paga) e le riviste scientifiche che operano in modo serio. Prima di descrivere la riforma che ho in mente, vorrei però elencare quelli che a mio giudizio sono i problemi principali del sistema attuale.

Riviste inaffidabili – Per fare carriera, uno scienziato deve pubblicare il più possibile. Le performance dei ricercatori, anche nell’ottica dell’assegnazione dei fondi statali, vengono valutate sulla base del numero di pubblicazioni. Publish or perish. Pubblica o muori (professionalmente, s’intende!). Con questa domanda crescente, c’è il rischio che appaiano dal nulla editori senza scrupoli con l’unico obiettivo di avvantaggiarsi della fame di pubblicazioni.

Revisione inefficiente – Più sopra non ho detto una cosa a proposito dei reviewer: essi forniscono la loro consulenza a titolo gratuito. Come scrive il prof. Greg Hickok sul suo blog, i ricercatori più anziani ed esperti sono spesso sommersi da richieste di review, un lavoro che porta via tempo ed energie. Non avendo neppure un incentivo economico, essi tendono a declinare l’invito, con il risultato che spesso i reviewer sono dei giovani scienziati all’inizio della loro carriera, i quali pur di aggiungere una stelletta al loro curriculum accettano anche di lavorare gratuitamente. Spesso – dice Hickok – questi giovani ricercatori fanno delle ottime revisioni, ma sicuramente peccano di esperienza e possono commettere errori di valutazione. Inoltre, legato a questo problema c’è anche quello delle tempistiche: dal momento che trovare ricercatori disposti a fare review non è facile, spesso passa moltissimo tempo prima che un articolo ottenga un responso definitivo da parte della rivista. Nel caso delle riviste open-access, poi, esiste come dicevo il rischio che un editore chiuda un occhio su un articolo non particolarmente brillante pur di raggranellare qualche migliaio di euro. Tutte queste cose vanno a discapito della qualità degli articoli pubblicati, e allungano le tempistiche.

Trasparenza – I cittadini hanno il diritto di sapere dove vanno a finire le loro tasse, un diritto che – inutile girarci intorno – può essere garantito solo passando a un modello di pubblicazione open-access. Il paywall imposto dalle riviste a pagamento è alto: un abbonamento annuale a Nature costa più di 200 euro, mentre per Science il prezzo è 150 dollari. Indipendentemente dalla cifra, però, si tratta soprattutto di una questione di principio: le ricerche sono finanziate con soldi pubblici, di conseguenza è comprensibile che il privato cittadino pretenda di conoscere i frutti del suo investimento senza che qualcuno gli chieda di sborsare altri soldi.

Costi elevati – Se un abbonamento per un singolo utente costa 200 euro, immaginate quanto possa pagare un’università pubblica o un ente di ricerca per garantire l’accesso a tutti i suoi ricercatori, professori e studenti. Moltiplicate questo numero per tutte le riviste a cui i gruppi di ricerca potrebbero essere interessati ed otterrete una cifra astronomica. Pensate che a volte, persino l’autore dell’articolo stesso è costretto a pagare la rivista per poterne avere una copia, se questa non è coperta dall’abbonamento dell’università. D’altra parte, se anche tutte le riviste si convertissero al modello open-access, le università non smetterebbero di spendere: pubblicare un articolo su PLoS ONE, ad esempio, costa circa 1000 euro ed è anche una delle riviste più economiche.

PeerJSo che il problema dell’editoria scientifica è complesso e non pretendo certo di avere la soluzione. Tuttavia, mi permetto di fare una proposta che a mio avviso potrebbe contribuire a risolvere gran parte dei problemi sopra enunciati. Il modello di riferimento è quello adottato da una nuova rivista di biologia ad accesso libero, PeerJ, che ha scelto un modello di business innovativo: invece di chiedere agli autori di pagare per ogni articolo pubblicato, PeerJ offre loro la possibilità di “abbonarsi” alla rivista (come autore, non come lettore), pagando una cifra ridicola rispetto ai 1000 euro di PLoS ONE: appena 99 dollari. Inoltre, nel momento in cui l’autore paga, automaticamente acquisisce il diritto di pubblicare su PeerJ un articolo all’anno, per sempre (ovviamente devi sempre passare il filtro della peer-review). Certo, anche gli altri autori che hanno collaborato alla stesura dell’articolo dovranno pagare la loro quota (fino a un massimo di 12), ma avere l’opportunità di pubblicare per sempre senza dover sborsare altri soldi offre sicuramente vantaggi enormi sul lungo periodo. Ad esempio, se un team di cinque autori decidesse di pubblicare un articolo all’anno su PeerJ spenderebbe complessivamente 495 dollari, meno di un decimo rispetto a quanto spenderebbe se volesse pubblicare gli stessi lavori su PLoS ONE. Oltre a ridurre i costi, questo sistema porrebbe un freno al proliferare incontrollato e a volte dannoso delle riviste open-access: quando un ricercatore si abbona a una rivista, infatti, è incentivato a pubblicare sempre su quella rivista per mere ragioni economiche, di conseguenza dimunirà la richiesta di nuove riviste. Trattandosi inoltre di riviste ad accesso libero, anche il problema della trasparenza sarebbe risolto. E persino l’incentivo ad accettare articoli che affligge le riviste ad accesso libero viene in questo modo ridimensionato: una volta concesso a un autore l’abbonamento annuale, la rivista non ha più interessi particolari ad accettare i suoi articoli e potrà svolgere una revisione accurata senza condizionamenti. Rimane l’altro problema che inficia la qualità della peer-review: il fatto che i reviewer non siano pagati. Non accade neppure con PeerJ che io sappia, e invece credo proprio che sarebbe il caso di introdurre questa novità. Quando chiediamo una consulenza a un esperto, quello giustamente pretende di essere pagato. Se non lo facessimo, credete che questo si impegnerebbe allo stesso modo? Io penso di no. Trovo francamente sconcertante il fatto che la comunità scientifica accetti questo trattamento come se fosse normale e lecito (si è sempre fatto così!) e non vi si opponga, dal momento che esso rappresenta di fatto uno sfruttamento gratuito di tempo e competenze altrui. Fortunatamente, non sono l’unico a pensarla così. Se le riviste iniziassero a pagare i reviewer, anche con una cifra piccola, simbolica, troverebbero molti più ricercatori disposti a offrire la loro professionalità e probabilmente si dedicherebbero alle revisioni con maggiore impegno e celerità, a tutto vantaggio della qualità della peer-review e dei tempi di pubblicazione.

About these ads
 
15 commenti

Pubblicato da su 8 ottobre 2013 in Scienza, Varie

 

Tag: , , , , , ,

15 risposte a “L’editoria scientifica non funziona? Cambiare si può

  1. @VedoNinaVolare

    8 ottobre 2013 at 19:37

    Ma un ricercatore/professore non è pagato dall’università anche per fare il reviewer? Cioè la cosa non fa parte del suo lavoro?
    (Domanda senza intento polemico eh)

     
    • emmecola

      8 ottobre 2013 at 19:59

      Ottima osservazione. Io formalmente non sono ricercatore, perciò non posso risponderti con sicurezza. Bisognerebbe chiedere a chi ha firmato un contratto da ricercatore, ma ho l’impressione che dipenda molto da università a università e che l’impegno come reviewer sia considerato una convenzione, un patto non scritto tra scienziati piuttosto che un dovere formale nei confronti dello Stato che ti paga lo stipendio. Mi piacerebbe conoscere il parere di qualche ricercatore/professore però! Ora vado a cercarne qualcuno.. :-)
      ps: io ho fatto da reviewer per alcune riviste (anche prima di aver conseguito il dottorato), e l’ho fatto anche se il contratto che ho firmato non parlava di review..

       
  2. doppok

    8 ottobre 2013 at 20:23

    Sai che anche il sistema PeerJ non mi convince? Pagare e avere il diritto a una pubblicazione per sempre (una pubblicazione per testa se ho capito bene) non elimina il problema, anzi. Inoltre, se giustamente bisogna pagare reviewer, farlo con introiti così bassi diventa dura.

     
    • emmecola

      8 ottobre 2013 at 21:26

      No no un attimo, forse mi sono espresso male: non è che la rivista è obbligata a farti pubblicare un articolo all’anno, la pubblicazione te la devi comunque “guadagnare”, deve passare la peer review. Tanto che se tu paghi i 99 dollari e poi ti bocciano l’articolo, non è che ti ridanno automaticamente indietro i soldi, ti dicono “ritenta, sarai più fortunato”. Quanto agli introiti così bassi, loro si sono fatti due conti e pare che ci stiano dentro (http://arstechnica.com/science/2012/06/new-open-access-journal-aims-to-disrupt-scholarly-publishing/). Probabilmente la cifra attuale è troppo bassa per contemplare anche un pagamento per i reviewer, ma con un piccolo aggiustamento secondo me si riuscirebbe a prevedere anche questa possibilità. Per dire, anche 200 euro con 1 pubblicazione all’anno sarebbe meglio dei 1000-2000 euro delle altre riviste.

       
      • doppok

        9 ottobre 2013 at 14:41

        Ah ok, adesso mi è più chiaro. Mi rimane però il dubbio che un sistema simile possa essere adottato con criteri più permissivi per poter avere più sottoscrizioni. Ma qui, ovviamente, entra in gioco l’intenzione dell’editore di fare o meno un buon prodotto.

         
  3. Matteo

    8 ottobre 2013 at 22:50

    ciao Moreno, ottime osservazioni. Anche io ho letto l’articolo di Bohannon. Ecco cosa ne penso:

    1) l’articolo era in polemica con le riviste open-access ma il problema vale per tutte, quindi l’autore e’ stato un po’ di parte secondo me;

    2) si paga anche per pubblicare su riviste non open-access dato che spesso stampano gli articoli in cartaceo e paghi l’editing: i prezzi possono arrivare anche a 1,000-2,000 dollari;

    3) non e’ scritto in alcun contratto che si deve accettare di fare il reviewer; e’ un servizio che si fa “per la comunita'”: oggi io faccio la review al tuo lavoro e domani tu la fai al mio; inoltre alcune riviste offrono sconti e abbonamenti gratuiti ai reviewer come ricompensa;

    4) l’autore ha mandato il falso paper anche a riviste a cui nessun ricercatore di buon livello si sognerebbe di sottomettere il proprio lavoro; in ogni campo specifico non vi sono moltissimi giornali “buoni” (non sto parlando di impact factor), quindi si sa dove si possono trovare articoli affidabili;

    5) editori non open-access come Nature Publishing Group (NPG) fanno pagare abbonamenti altissimi alle universita’, e di fatto agli autori che generano tali articoli; non solo, possono aumentare da un anno all’altro il costo di quanto vogliono in modo assurdo (spesso vi sono sorte di “sciopero” degli autori per contrastare tali fenomeni);

    6) personalmente firmo ogni review che faccio, ed in questo modo tutto il processo sarebbe piu’ trasparente.

    In conclusione, se un ricercatore ha un buon articolo di certo sa a che giornali sottometterlo (open-access o meno), altrimenti pubblicare su certe riviste non garantirebbe alcuna citazione, e pertanto alcun beneficio scientifico all’autore.

    PS: la prossima volta provo PeerJ e faro’ sapere com’e’ andata.

     
  4. Alessandro

    9 ottobre 2013 at 00:27

    Concordo pienamente, l’open access per come è strutturato attualmente è il risultato più distorto del “publish or perish”. Per quanto riguarda il compenso ai reviewer, piuttosto che offrire un pagamento simbolico, perchè non regalargli l’abbonamento al giornale? Spiegandomi meglio, si potrebbe offrire al reviewer una sorta di “abbonamento premium”. In questo modo gli istituti di ricerca potrebbero ridurre le sottoscrizioni ai giornali più importanti ed imprescindibili, spingendo quindi i singoli ricercatori a proporsi loro stessi come peer-reviewer per avere accesso ai giornali, innescando una sorta di circolo virtuoso.

     
    • emmecola

      9 ottobre 2013 at 13:19

      Alcune riviste lo fanno, in effetti. Però ovviamente non si tratta di riviste open-access, per quelle open-acess (come PeerJ, che secondo me è il modello migliore) l’incentivo non può che essere economico! Non posso regalarti un abbonamento alla mia rivista se questa è già ad accesso libero! :)

       
  5. VoceIdealista

    9 ottobre 2013 at 09:53

    L’ha ribloggato su laVoceIdealista.

     
  6. keith grimaldi

    9 ottobre 2013 at 11:11

    Ironico che proprio Science pubblicò quel articolo su DNA e arsenic che fu subito bocciato da alcuni blogger entro un giorno!

    Comunque il problema c’è ma non è open access in se stesso (forse Science voleva infanghire tutto l’open access…) – I giornali PLoS sono riconosciuti per l’eccelenza. Il problema è la marea di “riviste” che offrono di pubblicare un articolo “peer reviewed” per qualche centinaia di euro (quelli sul blacklist). Ma sono veramente un problema? Lasciamo tutto alla natural selection – se pubblichi in una rivista di questo tipo non sarai preso sul serio, perchè la maggioranza do noi sappiamo che queste riviste non valgono niente… non aiuteranno con la carriera, anzi…

    Però c’è un problema che è molto importante per me… l’esitenza di queste riviste darebbe la possibilità ad una società commerciale che è “ethically challenged” di promuovere un prodotto inutile (es. un test genetico che non è valido) con la pretesa che è basato su una ricerca “peer reviewed”

    Pagare il reviewer non sarebbe male :)

    “Moreno puoi corregere se vuoi!)

     
    • emmecola

      9 ottobre 2013 at 13:25

      Keith, hai ragione sulle società ethically challenged. Se un articolo non ha subito una buona peer review rischia di influenzare in modo negativo anche lo sfruttamento commerciale di quei risultati, non soltanto la ricerca fine a se stessa!

      Riguardo alle riviste spazzatura hai ragione, ma dal lavoro di Bohannon sembra che anche le riviste più affidabili abbiano abboccato all’inganno (dice il 45% di quelle testate).. Sono queste riviste quelle che mi preoccupano di più.

       
      • keith grimaldi

        9 ottobre 2013 at 14:21

        Certo se una rivista “autorevole” ha abboccato, è una preoccupazione. Però come altri hanno notato, non c’era un gruppo di control nel esperimento di Science – non hanno sottomesso l’articolo ad un numero simile di subscription journals. Un flaw importante sul esperimento specialmente perchè Science stesso non aveva notato tutti gli errori in lavori potenzialemente “ground breaking” (come geni della longevità, RNA editing, e ovviamente quello su arsenic, quest’ultimo, se fosse vero avrebbe cambiato molte delle regole della struttura della vita sia qui sulla terra che “al’estero” nel universo).

        Sono sicuro che avrebbero trovato che non è un problema solo di open access – dopo tutto le riviste serie di open access usano gli stessi reviewers che le riviste closed, mentre le riviste open access fasulle non usano nessun reviewer

         
  7. emmecola

    9 ottobre 2013 at 16:57

    Keith, ancora una volta sono d’accordo con te. Era l’occasione buona per fare un confronto serio tra le riviste tradizionali e quelle open-access! Peccato.

     

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...

 
%d blogger cliccano Mi Piace per questo: