Come non funziona il metodo scientifico: un caso di studio

L’articolo  stato aggiornato dopo la pubblicazione iniziale

Molte persone, per via telematica o a voce, hanno mostrato curiosità e interesse sul funzionamento di questo tanto amato metodo scientifico, due paroline magiche che ogni scienziato ripete e si ripete ad ogni piè sospinto. Capita però raramente, al di fuori dei laboratori e delle università, di poter mostrare un esempio reale e concreto di funzionamento (o in questo caso di non funzionamento) del metodo stesso.

Il caso che ci si presenta davanti è quello di una ricercatrice, o meglio, un’ex ricercatrice, oggi politica, che chiede aiuto agli ex colleghi per la stesura di un dossier molto particolare.

Prima di tutto una premessa: in questa sede non mi interessa dare giudizi sulle idee sull’operato politico della persona in questione, né su quello del suo partito, tutto ciò che mi interessa è la questione scientifica.

Andiamo con ordine: sabato 5 ottobre compare un’aggiornamento di stato sul profilo dell’onorevole Elena Fattori, senatrice della repubblica e membro delle commissioni agricoltura e politiche comunitarie, e, come dicevamo, ex ricercatrice biomedica.

Il testo è il seguente:

2013-10-16_103607

Appello agli scienziati che seguono questa pagina!
OGGETTO MAIS TRANSGENICO MON 810
Stiamo portando aventi una battaglia per evitare l’invasione di questo mais OGM.
Per invocare la clausola di salvaguardia occorre un dossier scientifico sull’argomento che ad oggi manca. Le informazione e gli studi sono vaghi e purtroppo la politica e gli intessi si mescolano ai dati scientifici. Mi servirebbe aiuto per produrre un dossier totalmente ASETTICO e SCIENTIFICO che sia diviso più o meno così:
[omissis]
Vorrei realizzare una task force che in tempi decenti raccolga tutti i dati in letteratura e faccia una relazione su questi punti. Chi vuole partecipare mi scriva su: elena.fattori@senato.it, magari dicendomi la specializzazione e su quali di questi punti voglia lavorare così organizziamo dei gruppi.

Apparentemente nulla di strano, direte voi, anzi, una volta tanto si chiede di realizzare un dossier scientifico anziché affidarsi a preconcetti o ideologie.

Stop.

Parliamo di metodo scientifico. Le basi le dovreste conoscere tutti, visto che si studiano alle scuole elementari:
1 – Osservare un fenomeno
2 – Formulare un’ipotesi sul suo funzionamento
3 – Effettuare un esperimento per verificare la presenza di errori nella nostra teoria
4a – Se l’esperimento evidenzia che ci sbagliavamo modificare la teoria
4b – Se l’esperimento non rivela errori continuare a sperimentare finché nuove evidenze non ci fanno modificare la teoria
Fin qui tutto molto semplice. Ricordiamoci che la nostra teoria si considera per principio falsa, e che gli esperimenti che facciamo hanno lo scopo di scoprire gli errori (falsificare la teoria). Più a lungo rimaniamo senza trovare errori più la teoria “ci piace”. Dopo un numero sufficiente di esperimenti la si potrà considerare senza ombra di dubbio “dimnostrata”.

Ok, ma dopo? Una volta che gli scienziati hanno sperimentato a sufficienza, come facciamo a trarre delle conclusioni? Anche qui le basi sono piuttosto semplici. gli scienziati pubblicano i loro risultati su riviste scientifiche, le quali li accettano dopo un processo di revisione, e queste pubblicazioni vengono indicizzate in appositi database che possiamo consultare per sapere come stanno le cose. Nell’insieme queste pubblicazioni formano quella che gli addetti ai lavori chiamano “letteratura scientifica”.

Torniamo alla senatrice Fattori. In sostanza ciò che lei sta chiedendo è proprio questo, una ricerca nella letteratura scientifica riguardante i risultati finora ottenuti sul mais GM MON 810. Dov’è allora l’errore (tralasciando la stranezza di porre una simile richiesta su facebook, anziché rivolgersi a qualche istituto scientifico)? Se cercate bene lo troverete nel primo paragrafo, dove dice “Stiamo portando aventi una battaglia per evitare l’invasione di questo mais OGM” e “Per invocare la clausola di salvaguardia occorre un dossier scientifico sull’argomento“. Notate niente? Se ci fate caso la senatrice ha già esplicitato quali devono essere le conclusioni dello studio: evitare l’invasione di questo mais e invocare la clausola di salvaguardia. In pratica ha posto una conclusione e ha chiesto agli scienziati di trovare prove di questa sua conclusione.

C’è bisogno di spiegare perché è sbagliato trarre le conclusioni prima e raccogliere i dati poi? Diciamo di sì. Il motivo è che questo ci porta ad una nota fallacia logica chiamata cherry picking, nota anche come fallacia dell’evidenza incompleta. Infatti se non ci limitiamo a cercare tutto ciò che di scientifico è stato scritto in materia ma cerchiamo appositamente prove a favore della nostra conclusione preferita, probabilmente le troveremo, ma ignoreremo anche tutte quelle contrarie, comprese anche quelle che eventualmente confutano specificamente le nostre. In questo caso ciò che conta è l’insieme delle evidenze, non le singole evidenze a favore di ciò che crediamo.

Se non tenessimo conto di questo ci lascerebbe alquanto stupiti l’affermazione della Fattori secondo cui un dossier scientifico sul MON 810 “ad oggi manca”, per non parlare di quando scrive che “gli studi sono vaghi”. Ci stupirebbe assai perché in realtà di dossier scientifici completi ne esistono eccome, e sono quelli realizzati dall’EFSA (l’autorità europea per la sicurezza alimentare) e dall’FDA (il suo corrispettivo statunitense) basandosi su oltre quindici anni di studi, che concludono che il mais MON 810 è sicuro sia dal punto di vista alimentare che da quello ambientale (i due linkati sono solo per esempio, solo sul sito dell’EFSA si trovano centinaia di documenti in merito, aggiornati annualmente).

Il cherry picking è figlio di un particolare bias cognitivo (i bias cognitivi sono dei piccoli “errori” insiti nel funzionamento della nostra mente che ci impediscono in certe condizioni di ragionare in maniera logica) noto come bias di conferma, che ci porta a selezionare e prestare più attenzione a quelle informazioni che sono più vicine a ciò che noi crediamo.

Come si evita allora di cadere in questo errore? Innanzitutto evitare di giungere alle conclusioni in anticipo è già un buon inizio. In secondo luogo si può ridurre sensibilmente il fattore soggettivo lavorando in un certo senso “bendati”: si pongono innanzitutto delle condizioni iniziali di qualità, che ci dicono quali studi potranno essere inclusi nella nostra ricerca. Per esempio per gli studi di tossicità si richiederà un numero minimo di partecipanti e l’uso del doppio cieco randomizzato. Il secondo step è quello di prendere tutte le pubblicazioni scientifiche sull’argomento che soddisfino i requisiti, indipendentemente dalle conclusioni a cui giungono. Infine si analizzano queste pubblicazioni con gli appositi strumenti statistici e a questo punto si traggono le conclusioni basandosi sui dati ottenuti. Questo sistema si chiama review sistematica, ed è quello comunemente utilizzato dagli scienziati.

Siamo sicuri che invece l’approccio della senatrice Fattori non possa funzionare? Sì, lo siamo perché i nostri politici non sono stati i primi a cercare di manipolare la scienza a loro favore in questo campo. Ci sono stati altri che ci hanno provato prima di loro, ultimi in ordine di tempo i francesi, il cui dossier era stato ovviamente bocciato dall’EFSA, così come tutti quelli che lo avevano preceduto.

Aggiornamento: il seguito

Ho commesso un errore: Mi sono andato a leggere i commenti presenti sotto il testo della Fattori, e ora mi sento in dovere fare un paio di considerazioni. Se volete leggervi l’intera discussione, la trovate qui, anche se non è facile seguire dato che facebook di default non mette più i commenti in ordine cronologico.

Nel giro di poche ore sotto l’ormai noto “appello agli scienziati” sono comparsi più di 200 commenti. La notizia agli scienziati gli è arrivata sul serio e in un lampo si scatenato l’inferno. Tra i commentatori molti si sono qualificati come scienziati e hanno fatto notare la poca correttezza del chiedere la realizzazione di un dossier scegliendo a priori le conclusioni a cui dovrà giungere, altri hanno segnalato i dossier dell’EFSA e diversi altri studi. In poco tempo sono comparsi tra i commentatori i nomi di biologi noti e di diversi giornalisti scientifici. Quasi tutti affermavano la stessa cosa: gli studi esistono e giungono a conclusioni opposte rispetto a quelle che vorrebbe lei.

Le risposte della senatrice sono illuminanti. Le prime sono tutte variazioni sul tema del “io sono una scienziata, gli OGM li conosco, voi no quindi state zitti”. E così arriviamo alla seconda fallacia logica della giornata: l’appello all’autorità, in questo caso la sua. Tralasciamo per un momento il fatto che in ambito scientifico l’appello all’autorità non ha alcun valore, perché contano solo i dati di fatto e i risultati degli studi scientifici, e invece chiediamoci: ma Elena Fattori si può davvero considerare un’autorità in campo di OGM, al punto da poter zittire altri biologi che non concordano con lei? Vediamo, se cerchiamo su PubMed vediamo che la Fattori, escludendo le omonimie, ha una quarantina di pubblicazioni principalmente riguardanti la preclinica di un vaccino contro l’epatite c, realizzato con virus modificati e alcuni lavori con topi transgenici. A quanto risulta non ha mai partecipato ad alcuno studio sulle biotecnologie vegetali, men che mai su piante geneticamente modificate, né risulta che abbia studiato gli effetti degli OGM al di fuori dei laboratori. In altre parole no, non è affatto un’autorità in materia, non può permettersi di zittire i suoi colleghi, soprattutto se questi le presentano studi e pubblicazioni sull’argomento.

Nella seconda trance di risposte invece la Fattori cambia tattica, accusando di volta in volta il suo interlocutore di non essere “un vero scienziato”. E con questa fanno tre fallacie Elena, a cinque vinci un premio? La fallacia in questione è nota come no true scotsman (nessun vero scozzese), e consiste nel cambiare arbitrariamente il proprio target sulla base di ciò che si vuole dimostrare. In altre parole la Fattori si è rivolta inizialmente agli scienziati, ma vedendo che questi non concordavano con lei ha deciso di rivolgersi ai “veri scienziati”, escludendo automaticamente da questo insieme chiunque non fosse del suo stesso parere. Non dubito che anche quando sarà il momento di analizzare le pubblicazioni scientifiche accetterà solo la “vera scienza” con questo intendendo quelle pubblicazioni che confermano i suoi preconcetti.

Infine, ormai assediata, la Fattori conclude che “la scienza fa paura a tutti”. E una volta tanto sono d’accordo, signora senatrice, la scienza può far paura, soprattutto a chi cerca di manipolarla e strumentalizzarla per i propri fini politici.

Annunci

15 thoughts on “Come non funziona il metodo scientifico: un caso di studio

  1. “la scienza fa paura a tutti” concordo, fa paura che venga usata al contrario e distorta, piegata per biachi fini elettorali.
    E questa sarebbe una ex ricercatrice? Sono disgustato.

  2. Pingback: La Scienza non è un burattino! | worldsoutsidereality

  3. Feyman parlava di Cargo cult science per indicare chi imita il comportamento scientifico senza davvero usare il metodo scientifico

  4. *Dopo un numero sufficiente di esperimenti la si potrà considerare senza ombra di dubbio “dimnostrata”* (sic). Non concordo molto su questa frase… a parte rarissimi casi, non si arriva mai al “senza ombra di dubbio”… io direi che la si potrà considerare plausibilmente valida, a meno di nuove scoperte.

    • Sicuramente hai ragione, era per sintetizzare. Le leggi di Newton per esempio le consideriamo sostanzialmente definitive, anche se è sempre vero che in linea di principio potrebbero un giorno venire invalidate da nuove evidenze 🙂

      • Albert Einstein pare ci sia riuscito… ciononstante le equazioni di Newton sono talmente “quasi esatte” (e semplici) che facciamo finta che lo siano.

      • Infatti, ci sarebbe parecchio da scrivere su quando possiamo considerare “buona” una teoria e su teorie il cui “core” resiste sostanzialmente intatto ad innumerevoli verifiche. Tanto per dire, nessuno scienziato serio oggi potrebbe mettere in dubbio che le specie si evolvono per selezione naturale, che le malattie infettive sono dovute a microorganismi, che l’energia si conserva o che il mondo è fatto di atomi e molecole… poi sui dettagli stiamo ancora cercando di capirci qualcosa!
        Come dicevo ci si potrebbe scrivere un sacco, ma non era questo l’argomento dell’articolo e non volevo dilungarmi troppo. Magari in futuro potremmo scrivere un pezzo su questo.

    • concordo con te’.
      il numero sufficientemente alto di esperimenti quale sarebbe?
      ricordo che la legge dei grandi numeri (tanto cara agli statistici) indica un numero INFINITO di esperimenti per affermare una realta’ statistica …. quindi in pratica dice che la statistica non ha nulla a che spartire con la realta’ (di suo finita).

      • A dire il vero la legge dei grandi numeri (che descrive la tendenza verso la media di distribuzione della media calcolata di una serie di variabili casuali indipendenti) non c’entra nulla, comunque ho già spiegato il significato di quella frase.

  5. Appena letto la richiesta della politica mi sono chiesto: “bene, e se il dosser scientifico non dimostra quel che voleva lei? Che fa, cambia idea?” Fosse stata una sceinzaita vera, sì.

    Comunque questo mi ricorda una richiesta giunta molti anni fa a Banca Etica (e fortunatamente ignorata). Un socio chiedeva che venissero sponsorizzati studi per dimostrare la dannosità degli OGM, per contrastare quelli che ne dimostravano la innocuità in quanto sponsorizzati dalle multinazionali. Perché (con tutti i caveat dei conflitti di interesse, naturalmente, che esistono) per dimostrare scientificamente una tesi basta selezionare i finanziatori giusti.

    In un’altra occasione veniva stigmatizzato (dalle associazioni antielettrosmog) un ricercatore perché, pur essendo finanziato da enti governativi, e quindi dovendo istituzionalmente fare gli interessi della gente, con i suoi studi mostrava l’innocuità dei campi elettromagnetici.

  6. Quando si parla di metodo scientifico corretto si potrebbe anche dire che “la scienza ha sempre ragione”, perché quando scopre che ha torto cambia idea, e quindi ha ragione di nuovo.
    Intendo ovviamente la “ragione” in quel momento…ragionevole.

  7. Pingback: L’Uomo, l’Animale, la cura – 9 | worldsoutsidereality

Cosa ne pensi? Prima di lasciare un commento ti prego di leggere l'articolo (tutto, non solo il titolo). Attenzione: Non sono ammessi commenti contenenti insulti. Non sono ammessi commenti scritti con il caps lock (IN QUESTO MODO). Non sono ammessi commenti irrispettosi dell'interlocutore. Questi commenti saranno cancellati senza essere letti insieme alle risposte eventualmente ricevute nel frattempo. Se necessario sarà attivata la moderazione. Gli off topic sono ammessi con riserva. Per commentare è necessario inserire un nickname e un indirizzo email (questo non verrà pubblicato)

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...