Per caso, in un flusso di notizie e informazioni, mi sono imbattuto in un articolo su Nature Scientific Reports. Presenta i dati di un sondaggio di 1.500 scienziati sulla riproducibilità dei risultati della ricerca. Se in precedenza questo problema è stato sollevato per la ricerca biologica e medica, dove da un lato è spiegabile (false correlazioni, la complessità generale dei sistemi in studio, a volte viene accusato anche il software scientifico), dall'altro ha un carattere fenomenologico (ad esempio, i topi tendono a comportarsi diversamente con gli scienziati generi diversi (1 e 2)).
Tuttavia, non tutto è liscio con più scienze naturali, come fisica e ingegneria, chimica, ecologia. Sembrerebbe che queste stesse discipline si basino su esperimenti "assolutamente" riproducibili condotti nelle condizioni più controllate, ahimè, sorprendente - in tutti i sensi - il risultato del sondaggio: fino al 70% dei ricercatori ha riscontrato esperimenti non riproducibili e risultati ottenuti non solo da altri gruppi di scienziati, MA anche degli autori / coautori dei lavori scientifici pubblicati!
Ogni piovanello loda la sua palude?
Sebbene il 52% degli intervistati indichi una crisi di riproducibilità nella scienza, meno del 31% considera i dati pubblicati fondamentalmente errati e la maggioranza ha dichiarato di fidarsi ancora del lavoro pubblicato.
Domanda: c'è una crisi di riproducibilità dei risultati?
Naturalmente, non si dovrebbe fare a pezzi e linciare tutta la scienza in quanto tale solo sulla base di questa indagine: metà degli intervistati erano ancora scienziati associati, in un modo o nell'altro, a discipline biologiche. Come notano gli autori, in fisica e chimica, il livello di riproducibilità e fiducia nei risultati ottenuti è molto più alto (vedi grafico sotto), ma ancora non del 100%. Ma in medicina le cose vanno molto male rispetto al resto.
Video promozionale:
Mi viene in mente un aneddoto:
Marcus Munafo, psicologo biologico presso l'Università di Bristol, in Inghilterra, ha un interesse di vecchia data per la riproducibilità dei dati scientifici. Ricordando i giorni dei suoi giorni da studente, dice:
Domanda: quante opere pubblicate nel tuo settore sono riproducibili?
Profondità del problema di latitudine e longitudine
Immagina di essere uno scienziato. Ti imbatti in un articolo interessante, ma i risultati / esperimenti non possono essere riprodotti in laboratorio. È logico scriverne agli autori dell'articolo originale, chiedere consigli e porre domande chiarificatrici. Secondo il sondaggio, meno del 20% lo ha fatto in qualsiasi momento della propria carriera scientifica!
Gli autori dello studio osservano che, forse, tali contatti e conversazioni sono troppo difficili per gli scienziati stessi, perché rivelano la loro incompetenza e incoerenza in determinate questioni o rivelano troppi dettagli del progetto attuale.
Inoltre, un'assoluta minoranza di studiosi ha tentato di pubblicare una confutazione di risultati irriproducibili, affrontando l'opposizione di editori e revisori che chiedevano che i confronti fossero minimizzati con lo studio originale. C'è da meravigliarsi se la possibilità di segnalare la non riproducibilità dei risultati scientifici è di circa il 50%.
Prima domanda: hai provato a riprodurre i risultati dell'esperimento?
Seconda domanda: hai provato a pubblicare il tuo tentativo di riprodurre i risultati?
Forse, quindi, all'interno del laboratorio, almeno per effettuare un test di riproducibilità? La cosa più triste è che un terzo degli intervistati non ha mai nemmeno pensato di creare metodi per verificare la riproducibilità dei dati. Solo il 40% ha indicato di utilizzare regolarmente tali tecniche.
D: Hai mai sviluppato tecniche / processi tecnici speciali per migliorare la riproducibilità dei risultati?
Un altro esempio, una biochimica del Regno Unito, che non ha voluto rivelare il suo nome, dice che i tentativi di ripetere, riprodurre il lavoro per il suo progetto di laboratorio raddoppiano semplicemente i tempi ei costi dei materiali, senza dare o aggiungere nulla di nuovo al lavoro. Verifiche aggiuntive vengono eseguite solo per progetti innovativi e risultati insoliti.
E, naturalmente, le eterne domande russe che hanno iniziato a torturare i colleghi stranieri: chi è la colpa e cosa fare?
Chi è colpevole?
Gli autori del lavoro hanno identificato tre principali problemi di riproducibilità dei risultati:
- Pressioni da parte dei superiori per far pubblicare il lavoro in tempo
- Segnalazione selettiva (a quanto pare, significa la soppressione di alcuni dati, che "rovinano" l'intera immagine)
- Analisi dei dati insufficiente (inclusa statistica)
Domanda: quali fattori sono responsabili di risultati scientifici irriproducibili?
Risposte (dall'alto verso il basso): –Rapporto del campione –Pressione dei boss –Analisi / statistiche scadenti –– Ripetibilità insufficiente dell'esperimento in laboratorio –Supervisione insufficiente –Mancanza di metodo o codice –Scarsa progettazione sperimentale –Mancanza di dati grezzi dal laboratorio primario –Frode –Verifica insufficiente da parte di esperti / revisori –Problemi con i tentativi di riproduzione –È richiesta competenza tecnica per la riproduzione –Variabilità dei reagenti standard - "Neddachka e Pichalka"
Cosa fare?
Su 1.500 intervistati, più di 1.000 specialisti si sono espressi a favore del miglioramento delle statistiche nella raccolta e nell'elaborazione dei dati, nel miglioramento della qualità della supervisione da parte dei capi e nella pianificazione più rigorosa degli esperimenti.
D: Quali fattori aiuteranno a migliorare la riproducibilità?
Risposte (dall'alto verso il basso): - Migliore comprensione delle statistiche - Supervisione più rigorosa - Migliore progettazione sperimentale - Formazione - Revisione interna del laboratorio - Migliori abilità pratiche - Incoraggiamento del controllo incrociato formale dei dati - Revisione interlaboratorio - Assegnazione di più tempo per la gestione del progetto - Aumento degli standard delle riviste scientifiche - Assegnare più tempo per lavorare con i record di laboratorio
Conclusione e qualche esperienza personale
In primo luogo, anche per me, come scienziato, i risultati sono sbalorditivi, anche se mi sono già abituato a un certo grado di irriproducibilità dei risultati. Ciò è particolarmente evidente nei lavori eseguiti da cinesi e indiani senza "audit" di terze parti sotto forma di professori americani / europei. È positivo che il problema sia stato riconosciuto e pensato alle sue soluzioni. Terrò con tatto il silenzio sulla scienza russa in relazione al recente scandalo, sebbene molti facciano onestamente il loro lavoro.
In secondo luogo, l'articolo ignora (o meglio, non considera) il ruolo delle metriche scientifiche e delle riviste scientifiche peer-reviewed nell'emergere e nello sviluppo del problema dell'irriproducibilità dei risultati della ricerca. Perseguendo la velocità e la frequenza delle pubblicazioni (leggi, aumento degli indici di citazione), la qualità cala drasticamente e non c'è tempo per un'ulteriore verifica dei risultati.
Come si suol dire, tutti i personaggi sono di fantasia, ma basati su eventi reali. In qualche modo uno studente ha avuto la possibilità di rivedere un articolo, perché non tutti i professori hanno il tempo e l'energia per leggere attentamente gli articoli, quindi viene raccolta l'opinione di 2-3-4 studenti e medici, da cui si forma la recensione. È stata scritta una recensione, che ha evidenziato l'irriproducibilità dei risultati secondo il metodo descritto nell'articolo. Ciò è stato chiaramente dimostrato al professore. Ma per non rovinare il rapporto con i "colleghi" - del resto ci riescono in tutto - la recensione è stata "corretta". E ci sono 2 o 3 di questi articoli pubblicati.
Risulta essere un circolo vizioso. Lo scienziato invia l'articolo al direttore della rivista, dove indica i revisori “desiderati” e, soprattutto, “non graditi”, cioè lasciando solo coloro che sono positivamente disposti nei confronti del team di autori. Esaminano il lavoro, ma non possono "cagare nei commenti" e cercano di scegliere il minore dei due mali: questo è un elenco di domande a cui è necessario rispondere, quindi pubblicheremo l'articolo.
Un altro esempio, di cui ha parlato l'editore di Nature solo un mese fa, sono i pannelli solari di Grazel. A causa dell'enorme interesse per questo argomento nella comunità scientifica (dopotutto, vogliono ancora un articolo su Nature!), I redattori hanno dovuto creare un questionario speciale in cui devono indicare molti parametri, fornire calibrazioni delle apparecchiature, certificati, ecc. Per confermare che il metodo per misurare l'efficienza pannelli è conforme ad alcuni principi e standard generali.
E, in terzo luogo, quando ancora una volta senti parlare di un vaccino miracoloso che conquista tutto e tutti, una nuova storia su Jobs in una gonna, nuove batterie o sui pericoli / benefici degli OGM o delle radiazioni degli smartphone, soprattutto se promosso da scrittori gialli del giornalismo, quindi sii comprensivo e non saltare alle conclusioni. Attendere la conferma dei risultati da parte di altri gruppi di scienziati, l'accumulo dell'array e dei campioni di dati.
