{"id":2010,"date":"2014-05-31T01:04:23","date_gmt":"2014-05-31T00:04:23","guid":{"rendered":"http:\/\/www.mimiryudo.com\/blog\/?p=2010"},"modified":"2014-06-04T17:25:45","modified_gmt":"2014-06-04T16:25:45","slug":"les-osteopathes-critiquent-le-manque-de-validite-de-wikipedia-lca","status":"publish","type":"post","link":"https:\/\/www.mimiryudo.com\/blog\/2014\/05\/les-osteopathes-critiquent-le-manque-de-validite-de-wikipedia-lca\/","title":{"rendered":"Les ost\u00e9opathes critiquent le manque de validit\u00e9 de Wikip\u00e9dia [LCA]"},"content":{"rendered":"

Cette semaine, le Time<\/a> puis Sciences & Avenir<\/a> ont relay\u00e9 un article du Journal Of the American Osteopathic Association<\/a> en titrant l’information principale : \u00ab\u00a0sur Wikipedia, 9 articles sur 10 de m\u00e9decine seraient erron\u00e9s\u00a0\u00bb<\/em>.
\nLe titre raconte n’importe quoi, et c’est dommage parce que dans l’article fran\u00e7ais, ils creusent la m\u00e9thodologie de fa\u00e7on intelligente : \u00ab\u00a0(…) pas d’informations concr\u00e8tes sur la nature des erreurs et discordances (…) Les assertions\u00a0extraites des fiches Wikipedia ne sont ainsi pas d\u00e9taill\u00e9es (…) impossible de v\u00e9rifier l’importance ou la validit\u00e9 des erreurs qui auraient \u00e9t\u00e9 relev\u00e9es.\u00a0\u00bb<\/p>\n

Du coup, j’ai fait comme tous les gens curieux qui ont du temps \u00e0 perdre : j’ai regard\u00e9 l’article source…<\/p>\n

<\/p>\n

Le journal, les auteurs. <\/strong><\/p>\n

Bref apart\u00e9. Dans les sciences de la m\u00e9decine, actuellement, le CV comporte trois choses : une activit\u00e9 de soins, une activit\u00e9 d’enseignement et une activit\u00e9 de recherche. Pour ce dernier point, en 2014, on attend d’un (re)chercheur qu’il fasse avancer la science.
\nOr, c’est bien connu, la science ne progresse que si on remplit des revues m\u00e9dicales d’articles en toute sorte : lettre, fiche, cas clinique, \u00e9tude \u00e9pid\u00e9miologique, diagnostique, th\u00e9rapeutique, m\u00e9ta-analyse, poster, traduction et commentaire d’article…
\nLes \u00e9crits restent, les paroles meurent. (Au passage, les \u00e9crits utiles restent, mais les \u00e9crits vains meurent…)
\nEt pour avoir un beau CV, on ne demande pas de publier des articles dans T\u00e9l\u00e9 Poche ou Picsou Magazine, mais de publier dans des revues prestigieuses. Pour mesure le prestige d’une revue, actuellement, on mesure son Impact Factor, qui est le nombre de fois o\u00f9 chaque article est cit\u00e9 dans la litt\u00e9rature scientifique en moyenne. En gros, c’est le nombre de retweets <\/em>moyen.<\/em> Plus il est important, plus l'\u00a0\u00bbimpact\u00a0\u00bb du magazine est important dans la communaut\u00e9 scientifique \u2014 par exemple, l’impact factor du British Medical Journal est \u00e0 17, c’est tr\u00e8s important !<\/p>\n

Bon, donc, l\u00e0-dessus, l’impact factor du Journal of American Osteopathic Association<\/a> est \u00e0 0.
\nSi on se tient \u00e0 l’impact factor (qui n’est pas un mode id\u00e9al de classification, mais celui en vigueur en tout cas), ce n’est pas une tr\u00e8s bonne revue. Et elle est s\u00fbrement beaucoup moins lue que Picsou Magazine en plus.<\/p>\n

Je trouve \u00e9tonnant de voir 17 auteurs sur cet article. Je ne vais pas m’amuser \u00e0 tous les checker, mais globalement les premiers semblent \u00eatre des fid\u00e8les du J.A.O.A. (American Osteopathic, z’avez compris).<\/p>\n

Le r\u00e9sum\u00e9<\/strong><\/p>\n

Les auteurs ont compar\u00e9 les articles de Wikipedia avec des sources valid\u00e9es sur les 10 pathologies les plus co\u00fbteuses aux USA.
\nDeux investigateurs ont relu les articles, extrait les \u00ab\u00a0assertions\u00a0\u00bb et compar\u00e9 chaque phrase \u00e0 la litt\u00e9rature. A la fin, ils ont compar\u00e9 leurs deux r\u00e9sultats.
\nIl y avait des discordances sur 9 des 10 articles entre Wikipedia et la litt\u00e9rature. Donc attention.<\/p>\n

Arr\u00eat sur image<\/strong><\/p>\n

Les gars vont prendre 10 articles s\u00fbrement \u00e9normes (maladie coronaire, cancer du poumon, hypertension art\u00e9rielle…), le d\u00e9couper en phrases et analyser CHAQUE affirmation \u2014 et ce, dans le seul but de montrer qu’il peut y avoir des discordances entre l’encyclop\u00e9die et les preuves scientifiques. (Visiblement, le cours de water-bowling du mercredi soir a \u00e9t\u00e9 annul\u00e9 et il fallait s’occuper).<\/p>\n

Introduction<\/strong><\/p>\n

Blablabla : 47 \u00e0 70% des m\u00e9decins l’utilisent comme une r\u00e9f\u00e9rence. On va comparer 10 articles \u00e0 la litt\u00e9rature.<\/p>\n

M\u00e9thode<\/strong><\/p>\n

10 articles s\u00e9lectionn\u00e9s le 25 avril 2012 (2 ans pour la publication dans la revue donc).
\n10 relecteurs qui s\u00e9lectionnent eux-m\u00eames les assertions qu’ils vont devoir analyser (\u00e7a existe le biais de fain\u00e9antise ? nan parce que du coup, genre les assertions \u00ab\u00a0p\u00e9nibles\u00a0\u00bb \u00e0 trouver, ils peuvent \u00ab\u00a0oublier\u00a0\u00bb de les enregistrer… D’ailleurs, on verra dans le tableau que les reviewers n’ont pas trouv\u00e9 le m\u00eame nombre d’assertion dans le m\u00eame article… avec des diff\u00e9rences parfois importantes : 112 versus 58 assertions pour la contusion, 172 versus 72 pour la d\u00e9pression – on imagine que celui \u00e0 72 a fini par en souffrir \u00e0 mi-article !<\/p>\n

Les relecteurs doivent regarder dans la litt\u00e9rature pour chaque assertion (truc de maboul) et noter ensuite : \u00ab\u00a0concordant\u00a0\u00bb \/ \u00ab\u00a0discordant\u00a0\u00bb pour chacune, entre Wikipedia et la litt\u00e9rature. Une tierce personne classera ensuite leurs avis en similaires \/ non-similaires mais on peut presque oublier…<\/p>\n

Et pour s’assurer que les relecteurs n’ont pas fait n’importe quoi, ils vont faire un test de McNemar pour comparer leurs proportions (c’est comme \u00e7a que je comprends en tout cas, arr\u00eatez-moi si je dis une b\u00eatise !) : notez bien que \u00e7a, c’est un objectif secondaire : \u00ab\u00a0est-ce nos relecteurs savent faire leur boulot ?\u00a0\u00bb Ca ne r\u00e9pond en rien \u00e0 la question : \u00ab\u00a0wikipedia est-il fiable ?\u00a0\u00bb<\/p>\n

R\u00e9sultats<\/strong><\/p>\n

Bon, \u00e7a va vite. Ils donnent les d\u00e9finitions (dans les r\u00e9sultats ?!), pr\u00e9sentent les 10 pathologies trait\u00e9es…
\nEt puis plouf !
\n\u00ab\u00a0Dans 9 articles, il y avait une discordance entre Wikipedia et la litt\u00e9rature pour les assertions similaires. Seule la contusion \u00e9tait un bel article\u00a0\u00bb (je r\u00e9sume)<\/strong>
\n\u00ab\u00a0Dans 4 articles, il y avait une discordance entre Wikipedia et la litt\u00e9rature pour les assertions non-similaires entre les 2 relecteurs\u00a0\u00bb (gn\u00e9\u00e9\u00e9\u00e9 ?!)<\/p>\n

Bon, ok, on s’en fiche. On veut LE tableau<\/a> ! (Je ne le reproduis pas, j’ai pas le droit).<\/p>\n

Le tableau<\/strong><\/p>\n

Bon, l\u00e0, je regrette de ne pas \u00eatre biostatisticien, parce que je pense qu’il y a des choses \u00e0 redire. A d\u00e9faut, on peut d\u00e9j\u00e0 critiquer la forme totalement imbitable… et essayer d’analyser quand m\u00eame un peu, pour vous montrer en quoi ils sont \u00e0 c\u00f4t\u00e9 de leurs pompes.<\/p>\n

Prenons deux exemples.
\nUn \u00ab\u00a0mauvais\u00a0\u00bb article, fustig\u00e9 par les 17 auteurs, la revue, le Time, Sciences & Avenir. La honte de Wikipedia si on en croit le petit p mis en avant. L’hyperlipid\u00e9mie.<\/p>\n

 <\/p>\n\n\n\n\n\n\n<\/colgroup>\n\n\n\n\n\n\n
<\/td>\nSimilaire<\/td>\nNon-similaire<\/td>\nEnsemble<\/span><\/td>\nTotal<\/td>\n<\/tr>\n
Hyperlipidemia<\/td>\nConcordant<\/td>\nDiscordant<\/td>\nConcordant<\/td>\nDiscordant<\/td>\nConcordant<\/span><\/td>\nDiscordant<\/span><\/td>\n<\/td>\n<\/tr>\n
\u2002Reviewer 1<\/td>\n17<\/td>\n0<\/td>\n11<\/td>\n0<\/td>\n28<\/span><\/td>\n0<\/span><\/td>\n28<\/span><\/td>\n<\/tr>\n
\u2002Reviewer 2<\/td>\n19<\/td>\n4<\/td>\n4<\/td>\n2<\/td>\n23<\/span><\/td>\n6<\/span><\/td>\n29<\/span><\/td>\n<\/tr>\n
\u2002P value<\/td>\n<\/td>\n<.001<\/td>\n<\/td>\n.375<\/td>\n<\/td>\n.001<\/td>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Disons que je suis le \u00ab\u00a0Reviewer 1\u00a0\u00bb. Je lis l’article \u00ab\u00a0hyperlipid\u00e9mie\u00a0\u00bb, je trouve 28 assertions. Sur ces 28 assertions… 28 concordent avec la litt\u00e9rature, et 0 discordent ! Banco, l’article parfait : 100% de concordance.
\nMon coll\u00e8gue, le \u00ab\u00a0Reviewer 2\u00a0\u00bb, ne l’entend pas de cette oreille. Il trouve 29 assertions, dont 6 discordantes : 80% de concordance \u00ab\u00a0seulement\u00a0\u00bb.
\nEt donc… what else ? \u00ab\u00a0Meeeeeeeeeeerde\u00a0\u00bb se disent soudain les 17 auteurs en choeur, on a oubli\u00e9 de d\u00e9finir un seuil pour dire \u00ab\u00a0bon article ou mauvais article\u00a0\u00bb (parce qu’on pouvait se douter qu’en \u00e9pluchant chaque phrase on arriverait \u00e0 un taux de 10% ou 20% ou 30% d’assertions \u00ab\u00a0non retrouv\u00e9es\/discordantes\u00a0\u00bb avec la litt\u00e9rature). Bon, donc c’est balaud, mais l\u00e0, visiblement une moyenne de 90% de corr\u00e9lation entre l’article Wikipedia et la litt\u00e9rature, c’est un \u00ab\u00a0mauvais article\u00a0\u00bb, un des 9 qui ont d\u00e9montr\u00e9 une discordance.<\/p>\n

Par chance, nous avons UN bon article. UN seul pour les sauver tous : la contusion. D’ailleurs, les 17 auteurs en parlent dans leur discussion et expliquent que les \u00ab\u00a0contributeurs de cet article particulier devaient \u00eatre plus experts (que ceux des 9 autres, r\u00e9dig\u00e9s par des pingouins sous opium)\u00a0\u00bb.<\/p>\n

Regardons donc le tableau de ce fabuleux article.<\/p>\n\n\n\n\n\n\n\n
<\/td>\nSimilaire<\/td>\nNon-similaire<\/td>\nEnsemble<\/span><\/td>\nTotal<\/td>\n<\/tr>\n
Concussion<\/td>\nConcordant<\/td>\nDiscordant<\/td>\nConcordant<\/td>\nDiscordant<\/td>\nConcordant<\/span><\/td>\nDiscordant<\/span><\/td>\n<\/td>\n<\/tr>\n
\u2002Reviewer 1<\/td>\n40<\/td>\n24<\/td>\n22<\/td>\n26<\/td>\n62<\/span><\/td>\n50<\/span><\/td>\n112<\/span><\/td>\n<\/tr>\n
\u2002Reviewer 2<\/td>\n26<\/td>\n8<\/td>\n21<\/td>\n3<\/td>\n47<\/span><\/td>\n11<\/span><\/td>\n58<\/span><\/td>\n<\/tr>\n
\u2002P value<\/td>\n<\/td>\n.888<\/td>\n<\/td>\n.56<\/td>\n<\/td>\n.839<\/td>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Donc, je suis le nouveau reviewer 1, et sur mes 112 assertions relev\u00e9es, 50 sont discordantes : 54% de concordance seulement…
\nLe nouveau reviewer 2, lui, retient une concordance de 81%.
\nDonc le (seul) \u00ab\u00a0bon\u00a0\u00bb article a une concordance moyenne de 67,5% quand le \u00ab\u00a0mauvais\u00a0\u00bb article sur l’hyperlipid\u00e9mie en avait une \u00e0 90%.<\/strong>
\nC’est s\u00fbrement parce qu’il y avait des contributeurs experts sur la contusion…<\/strong><\/p>\n

\"...\"<\/a><\/p>\n

En fait, s’il y a UN truc \u00e0 tirer de cette \u00e9tude, ce sont les proportions de concordance entre Wikipedia et la litt\u00e9rature : 76% pour le cancer du poumon, 91% pour le diab\u00e8te sucr\u00e9, 74% pour l’ost\u00e9oarthrite, 73% pour les maladies coronaires, 80% pour la BPCO, 89% pour l’hyperlipid\u00e9mie, 64% pour la contusion, 78% pour l’hypertension, 61% pour la d\u00e9pression, 87% pour les douleurs dorsales… soit 77% de \u00ab\u00a0concordance\u00a0\u00bb entre Wikipedia et la litt\u00e9rature.<\/strong> J’aimerais savoir quelle revue peut en dire autant : regardons nos livres de pr\u00e9paration aux ECN pour s’apercevoir de leur d\u00e9su\u00e9tude, leurs approximations… Je ne suis pas s\u00fbr qu’on sera \u00e0 77% !<\/strong><\/p>\n

Enfin, tout \u00e7a c’est joli, mais l’article raconte n’importe quoi, donc. Ce n’est pas 9 sur 10 erron\u00e9s, mais 23% d’assertions non prouv\u00e9es dans les articles. C’est UN PEU diff\u00e9rent quand m\u00eame…
\nEvidemment, il reste LA question quand on parle de statistiques : c’est bien joli ma d\u00e9monstration sur mon blog \u00e0 impact factor nul, mais pourtant les petits p sont significatifs au seuil de 5% donc c’est significatif…<\/strong><\/p>\n

Exact ! Reste \u00e0 savoir ce qu’on a calcul\u00e9…
\nBon alors, encore une fois, je parle de trucs que je ne ma\u00eetrise pas vraiment. S’il y a des statisticiens dans la salle…
\nA mon avis :<\/p>\n