Por Ioannidis sabemos que hay sesgos evitables y sesgos inevitables en la metodología de la investigación científica. Cuando esos sesgos se repiten -se unen al incontrolable error aleatorio y la prevalente manipulación comercial de la evidencia- y son transmitidos del ensayo clínico a la revisión sistemática, al meta-análisis y a la Guía de Práctica Clínica, la consecuencia es una infradeterminación agregada que hace muy difícil seguir defendiendo la MBE como instrumento racional de toma de decisiones en medicina. 

Pero hay otros factores además de los propios límites del conocimiento biomédico y la manipulación comercial: las influencias estructurales que perpetúan los sesgos. El pasmoso número de experimentos positivos que existen en la investigación clínica, la farmacología y la conductual colocan estas disciplinas en el último escalón de la jerarquía de las ciencias.

No es fácil aceptar que la hasta ahora triunfante ciencia biomédica es poco más que una acumulación de falsos positivos. Quienes sufren directamente esta infradeterminación no son las casas comerciales viendo mermada la confianza de la clase médica y la sociedad en sus productos (¡ojalá así fuera) sino que son los enfermos que sufren las consecuencias de decisiones duras tomadas por sus médicos con evidencias blandas.

Gracias a twuit de Richard Smith, ex editor del BMJ, conocemos un texto publicado hace aproximadamente 1 año en la revista de la Royal Society Open Science titulado «The natural selection of bad science» que profundiza en las causas «académicas» de la epidemia de falsos positivos

La Ley de Campbell citada en el epígrafe es demoledora (esta es nuestra torpe traducción): 

«Cuanto más se utiliza un indicador social cuantitativo para la toma de decisiones sociales, más probable será que las presiones logren corromperlo y con más facilidad ocurrirá que acaben distorsionados y corruptos los procesos sociales que se está intentando mejorar»

Este interesante artículo señala la incapacidad de las distintas reformas metodológicas realizadas en las últimas décadas para evitar la elevada prevalencia de experimentos con resultados positivos y se plantea que dicha dificultad debe responder a causas no relacionadas con la metodología:

«¿Por qué los intentos de corregir los errores hasta ahora han fallado? En abril de 2015, se celebró un simposio a puerta cerrada sobre la fiabilidad de la investigación biomédica y la contemporánea crisis de fe existente en la investigación. Muchos investigadores prominentes creen que hasta la mitad de la literatura científica, no solo en medicina sino también en psicología y otros campos, puede estar gravemente sesgada… Creemos que la persistencia de los problemas a pesar de las reformas propuestas tiene más que ver con el sistema de incentivos que rodea la investigación que con propiamente asuntos de método científico» (negritas nuestras)

Los autores defienden que en el sistema de investigación actúan procesos evolutivos que seleccionan mala ciencia. Por ejemplo, si el éxito depende del número de publicaciones, el incentivo es publicar, no hacer avanzar la ciencia:

«Vamos a demostrar que la persistencia de los pobres resultados obtenidos en la práctica de la investigación puede explicarse como la consecuencia de un proceso de selección natural de mala ciencia» 

Para los autores habría unos incentivos en las instituciones académicas y profesionales que actuarían a favor de seleccionar mala ciencia:

• La presión por publicar ha conseguido, por ejemplo, que los nuevos contratados investigadores en el CNRS francés hayan doblado el número de publicaciones con las que cuentan en el momento de su primer contrato: de 12,5 en 2005 a 22 en 2013
• La competición por conseguir fondos y becas es mayor que nunca y se selecciona a los receptores cada vez más por razones no estrictamente relacionadas con la calidad de los proyectos sino de «relaciones», institución de procedencia y «contactos». El premio Nobel de física Peter Higgs reconocía en una entrevista que hoy en día el no hubiera conseguido avanzar en su carrera investigadora.
• La necesidad de destacar hace que con cada vez más frecuencia se «vendan» los resultados de la investigación como innovadores, rupturistas, pioneros etc. Entre 1974 y 2014 estas palabras han aumentado su presencia en los abstracts del PubMed un 2500%:

«Como es poco probable que los científicos sean realmente 25 veces más innovadores hoy en día que en los últimos 40 años, uno solo puede concluir que esta evolución del lenguaje refleja una respuesta a las crecientes presiones por la novedad y, en general, por destacarse de la multitud»

• Sobrevaloración de los indicadores de impacto que impulsan fraudes como la autocita

En definitiva, expresan los autores:

«Nuestro argumento es que los incentivos para generar un curriculum tienen consecuencias particulares en la ecología de las comunidades científicas. El problema radica, en parte, en el hecho de que los artículos con resultados positivos o hipótesis novedosas serán publicados con más probabilidad que los que tienen resultados negativos.. es probable que estos incentivos para obtener resultados positivos aumenten los descubrimientos falsos.»

Si los investigadores son recompensados ​​por tener más publicaciones y los resultados positivos son generalmente más fáciles de publicar y más prestigiosos que los resultados negativos, los investigadores que sean capaces de obtener más resultados positivos, independientemente de su valor, tendrán ventajas y serán más recompensados en sus carreras académicas. De hecho, lo que estamos viendo es que los investigadores son los que muchas veces deciden no informar de los resultados negativos.

Una forma de garantizar que los resultados positivos son verdaderos sería que los investigadores fueran más rigurosos en los fundamentos teóricos en los que se basan y en los diseños experimentales. Pero como dicen los autores del texto que estamos reseñando, «esta ruta requiere esfuerzo y es probable que reduzca la velocidad de producción.» Además, incluso trabajos desacreditados siguen siendo citados y suman en el global de publicaciones de los investigadores.

La Ley de Campbell, establecida en el epígrafe de este documento, implica que si los investigadores se sienten incentivados a aumentar la cantidad de artículos publicados, ellos modificarán sus métodos para producir la mayor cantidad posible de resultados publicables en lugar de las investigaciones más rigurosas. Este proceso no requiere
estrategias directas por parte de los individuos: simplemente se van seleccionando cohortes de investigadores que sobreviven y triunfan gracias a estas estrategias que posteriormente son transmitidas a aprendices y reproducidas por un sistema, a su vez, cada vez más controlado por estos triunfantes investigadores.

Por eso los autores, tras proponer una elegante modelación del proceso, afirman:

«Si queremos mejorar cómo funciona nuestra cultura científica debemos considerar no solo las conductas individuales que deseamos cambiar, sino también las fuerzas sociales que proporcionan incentivos a esos comportamientos.. en ausencia de cambio, los incentivos existentes necesariamente conducirán a la persistente degradación de las prácticas científicas»

Se revisan algunas soluciones como mejorar las revisiones por pares de las revistas o exigir la reproducibilidad de los estudios, pero estas garantías son insuficientes:

«Nuestro modelo presenta una imagen algo pesimista de la comunidad científica»

Apelan los autores a una confianza creemos que voluntarista en los valores científicos:

«Creemos que muchos, sino la mayoría, de los científicos están realmente impulsado a descubrir la verdad sobre el mundo. Sería demasiado cínico creer que los científicos son impulsados solo por incentivos extrínsecos, formando investigadores que se ajusten a las expectativas del Homo economicus…todavía hay mucha ciencia buena por ahí» 

Lo que parece claro es que el sistema de recompensa y evaluación de la productividad científica genera unos incentivos perversos. Evaluar «la cantidad» es más susceptible de manipulación, distorsión y corrupción que si se pondera «la calidad» pero esto último es más complejo y lento. Parece importante que cambien las «pautas institucionales de evaluación» que, sin embargo, necesariamente van a tener unos tiempos distintos a los rígidos requisitos que se exigen para recibir fondos o empleos:

«Reducir la producción de un individuo a métricas simples y objetivas, como el número de publicaciones o impactos de revistas, implica ahorros considerables en términos de tiempo, energía y ambigüedad. Desafortunadamente, los costos a largo plazo de usar métricas cuantitativas simples para evaluar el mérito del investigador son elevados. Si nos tomamos en serio la tarea de garantizar que nuestra ciencia sea significativa y reproducible, debemos asegurar que nuestras instituciones incentiven ese tipo de ciencia.»

Difícil se nos antoja el cambio cuando lo fiamos a instituciones como las universidades o entidades de financiación de la investigación dominadas por el interés comercial o la patentabilidad más que al progreso de la biomedicina o la sociedad.

Mientras, como dice Gérvas, «pobres pacientes».