Pour faire suite à mon dernier billet sur l’étude de G.-E. Séralini, revenons brièvement sur l’une des principales critiques adressée à cette étude: la petite taille des groupes de rats testés (10 par traitement). Il est intéressant de constater que les auteurs ont répondu que l’étude avait coûté assez cher comme ça (soit), et que c’était le standard de l’étude de Monsanto… un peu léger. Ce billet en particulier montre l’importante variance des petites populations; je vous propose une variation sur ce thème avec les mêmes outils, mais sans traitement statistique complexe (et il en faut pour analyser des courbes de survie), juste une illustration des biais engendrés par de petits nombres, ou, en langage peu scientifique, comment un rat qui n’a pas eu de chance dans la vie se remarque plus dans un groupe de 10 rats que de 1000.
Pour les amateurs, voici le code R que j’ai pondu au-dessus de mon café aujourd’hui (on a les loisirs qu’on peut), sans doute rustique, mais avec des commentaires qui pourront en éclairer certains (avant twitter, c’est à cela que servaient les #):
Pour chacune des figures ci-dessous, j’ai reproduit indépendamment 9 “expériences”, chacune constituée d’un ensemble de m “manips”, comprenant elles-mêmes n “rats”. Ainsi, dans la première série, une expérience comprend 4 manips de 10 rats, ce qui est exactement le contexte de l’étude de Séralini et al (l’étude comprenait 6 expériences différentes, non regroupables, et qui partageaient le même témoin négatif). En quoi consiste ces expériences? Très simple: on mets des rats dans une cage et on attend qu’ils meurent (le tout virtuellement).
Pour reprendre les données du blog cité ci-dessus, je considère que mes “rats” ont 72% de chance de développer une tumeur (ou de mourir, comme vous préférez) au bout d’un certain temps. J’ai découpé ce temps en 100 pas de temps arbitraires, ce qui signifie qu’a chaque pas de temps mes rats ont une probabilité (100%-72%)^(1/100) de rester indemne (en d’autres termes, à condition de ne pas tirer la boule noire à chaque pas de temps, on peut faire partie des 28% de chanceux à la fin de l’expérience). Je ne crois pas qu’il s’agisse d’un modèle de mortalité très exact (en particulier la probabilité devrait augmenter au cours du temps), mais je m’en contenterai pour aujourd’hui. Je précise que mes 4 groupes de 10 rats ont la même probabilité de mourir à chaque pas de temps, mais il se trouve que chaque groupe porte une étiquette: le témoin négatif (courbe noire), le traitement 1 (ou si vous voulez, un peu d’OGM dans la nourriture, courbe verte), les traitement 2 et 3 (un peu plus d’OGM à chaque fois courbes oranges et rouges respectivement). Vous avez compris que dans cette simulation les groupes sont parfaitement interchangeables, car elle suppose que les OGM dans la nourriture n’ont pas d’impact sur le taux de mortalité. Voyons ce qu’une première simulation donne avec des groupes de 10 rats:

Mêmes causes, mêmes effets: comme les Control Freaks, on remarque que le taux de mortalité observé varie considérablement d’un groupe à l’autre, en gros entre 40% et 100%, avec au départ la même probabilité de mourir!
Les chercheurs ayant réalisé les expériences n°4, 5 et 8 conclueront peut-être que les OGM ont pour effet d’accélérer la mortalité, ou l’apparition de tumeurs. En revanche, les auteurs ayant travaillé sur l’expérience n°1 (et, dans une moindre mesure, 9) constateraient que seuls les groupes ayant consommé des OGM comportaient encore des survivants à la fin de l’expérience! Les chercheurs du labo n°6, eux, voient que les OGM retardent l’apparition de tumeurs. Les autres seraient bien embêtés, et peut-être ne publieraient pas leurs travaux (difficile de pousser un article avec des résultats négatifs ou non conclusifs), essaieraient peut-être de mijoter une explication à base d’effet non-linéaires en fonction des doses, ou seraient peut-être simplement ignorés car incapables d’apporter une contradiction spectaculaire aux autres groupes (la règle “les résultats les plus médiatiques ont raison” l’emporte sur la règle “le dernier qui a parlé a raison”, même si toutes les deux sont aussi détestables). Passons maintenant à 50 rats, le standard pour les études de carcinogenèse, paraît-il:

Les courbes se rapprochent, mais ce n’est pas parfait: pendant que j’avais le dos tourné, les chercheurs de l’expérience n°9 ont déjà appelé le Nouvel Obs avec super histoire qui fera la une demain! Essayons avec 250 rats par groupe, pour la simple et bonne raison que 250 est à 50 ce que 50 est à 10:

Ouf! on n’ira pas au paradis des rats mais on y arrive; nos chercheurs virtuels on pris un forfait au Journal of Negative Results in Biomedicine parce qu’ils n’ont pu montrer aucune effet… et pour cause. On peut même se demander ce que les gens espèrent démontrer avec 10 rats… et encore, par opposition à R, dans la vraie vie la variabilité a bien des sources: les différences entre les rats, les lots d’aliments, les protocoles… La solution à l’ambiguïté des résultats de Séralini est donc simple, du moins sur le papier: des rats, des rats, encore des rats! et d’autant plus que l’effet est subtil! et de l’argent, plein, parce que les animaleries ça coûte cher! et des test statistiques aussi! Je n’ai pas réalisé de test sur ces données (Séralini non plus!) ce qui aurait peut-être permis de montrer que ces biais étaient l’effet du hasard… Mais un test, même s’il aide à sortir des pièges du “on voit bien que” n’est pas une garantie absolue! Rappelons que l’essence d’un test statistique, c’est de supposer que la variable testée n’a pas d’effet, et ensuite de montrer que cette “hypothèse nulle” est peu probable. En biologie, une variable est couramment admise avoir un effet si le test pertinent sur les résultats de l’expérience donne une “p-value” inférieur à 5%, c’est-à-dire que si la variable n’avait pas d’effet en réalité, les mêmes résultats auraient une probabilité de 5% de se produire par le seul effet du hasard…. Ce qui arrive par construction et en moyenne une fois sur 20, et encore, cette moyenne tolère des écarts! Ceci est très bien illustré par xkcd (comme souvent):

Pour finir, une dernière précision: auteur excepté, aucun animal n’a été maltraité pendant cette expérience.








