Introducción

La diseminación de la evidencia científica se encuentra influenciada por diversos factores que, si se dan de manera sistemática, pueden llevarnos a conclusiones erróneas, como hacernos pensar que una terapia es más o menos efectiva de lo que realmente es.

En dos artículos secuenciales se describirán, sin pretensión de exhaustividad, algunos sesgos y limitaciones que se pueden encontrar en la literatura biomédica, y que deben ser considerados a la hora de hacer un análisis crítico de lo que se lee, así como de efectuar inferencias sobre su validez interna y externa.

En esta primera parte nos referiremos al sesgo de publicación y la publicación redundante.

Sesgo de publicación

Ampliamente estudiado, el sesgo de publicación se traduce en que los trabajos de investigación que muestran resultados estadísticamente significativos, independiente de la calidad metodológica de los mismos, tienen más posibilidades de ser publicados -o de serlo más precozmente-, que aquellos que no demuestran efectos. Tales estudios tienen también mayores posibilidades de ser publicados en varias revistas a la vez, y a serlo en aquellas de mayor difusión y prestigio. Esto es válido tanto para los ensayos clínicos como para los estudios observacionales. Aún más, la probabilidad de publicación de un trabajo se asocia con el tamaño de la muestra de pacientes estudiados.

¿Qué importancia tiene esto? Querámoslo o no, debemos aceptar, que tan relevante como saber que un fármaco es efectivo, es saber que no lo es, particularmente si además de efectos potencialmente beneficiosos posee otros que son adversos para el paciente. Por otra parte, este sesgo tiende a producir es una sobrevaloración del impacto real de las intervenciones sobre los pacientes. En teoría, esto debiera inducir a la comunidad médica a utilizar estas intervenciones con mayor liberalidad y, eventualmente, a disminuir la costo-efectividad del sistema sanitario en su conjunto.

El estudio que se muestra en la Figura 1 aporta evidencia empírica sobre la ocurrencia de este sesgo: mientras más del 85% de los trabajos con resultados significativos llegó a publicarse, sólo una cuarta parte de los que mostraron resultados nulos o no significativos lo hicieron¹.

Figura 1. Proporción de estudios cuantitativos no publicados, según el tipo de resultados.

Curiosamente, contra lo que podría esperarse, el origen principal de este sesgo no está en las casas editoriales, sino en los propios investigadores, quienes se abstienen de enviar a publicación sus hallazgos cuando éstos no son, a su juicio, "importantes" o estadísticamente significativos. En otras palabras, cuando los resultados no apoyan la hipótesis que en definitiva el autor deseaba demostrar.

Es fácil deducir que este sesgo se hace presente con especial fuerza entre los estudios financiados por la industria. Para ser justos, no obstante, también es importante mencionar que muchas revistas imponen condiciones en este sentido, aceptando selectivamente los estudios con resultados más significativos, lo cual resulta lógico, considerando que el lector común espera precisamente encontrar trabajos que muestren resultados contundentes, “clarificadores” en el tema de su interés.

También disponemos de evidencia empírica sobre el papel que juegan los investigadores en el sesgo de publicación. Un estudio de Ioannidis² revela cómo los trabajos con resultados negativos tienen menos probabilidades de ser enviados a publicación o de serlo más tardíamente, y que sin embargo, una vez que ya han sido enviados a las casas editoriales, su probabilidad de ser publicados es similar a la de los estudios con resultados significativos.

Finalmente, una forma extrema de este sesgo se da en ciertos países, en los cuales lo que llega a publicarse son casi exclusivamente trabajos con resultados positivos, en los que la intervención fue mejor que el placebo. Una revisión de los trabajos publicados en países orientales, por ejemplo, dio cuenta que el 100% de los ensayos sobre acupuntura fueron favorables a dicha técnica, y para las otras intervenciones el porcentaje superó el 95%³ (Figura 2).

Figura 2. Casos extremos de sesgo de publicación en medicina alternativa (adaptado de Vickers, et al.).

¿Existe alguna alternativa de solución al sesgo de publicación?

Se ha visto que los intentos por obtener retrospectivamente información sobre los estudios no publicados tienen poco éxito. La única solución posible a este fenómeno parece ser el registro público prospectivo de los estudios, antes de su ejecución, que permita acceder a sus resultados independientemente de lo que arrojen y de si son publicados o no. Iniciativas desarrolladas en este sentido incluyen, entre otros:

• Creación de registros nacionales de ensayos clínicos.
• Registros abiertos mantenidos a través de Internet, tales como el “Current Controlled Trial’s metaRegister”.
• Los esfuerzos desplegados por la Cochrane Collaboration, que se tradujeron en que dos importantes compañías farmacéuticas (Schering Health Care y GlaxoWellcome) comenzaran a registrar prospectivamente sus ensayos (ejemplo que lamentablemente no ha sido imitado más tarde por otros productores).
• Políticas editoriales de las revistas biomédicas de alto impacto que declaran que sólo publicarán ensayos clínicos previamente registrados.

Simes demostró cómo el efecto favorable de una quimioterapia, revelado por el análisis combinado de un conjunto de RCT, desaparecía cuando la revisión era restringida a los estudios que habían sido registrados en forma anticipada, y en los cuales por lo tanto, el sesgo de publicación no pudo operar⁴ (Figura 3).

Figura 3. Análisis de ensayos clínicos publicados v/s ensayos clínicos registrados.

El análisis de los ensayos clínicos publicados demostró una sobrevida considerablemente mejor en los pacientes con cáncer ovárico avanzado tratados con quimioterapia combinada comparado con la monoterapia con agentes alquilantes. El análisis de los ensayos clínicos registrados (publicados y no publicados) no permite confirmar este efecto.

Publicación redundante

Cuando se revisa un tema en la literatura, es necesario estar atento a la posibilidad de encontrar diversos trabajos favorables a la intervención que le interesa evaluar, que resulten finalmente ser versiones duplicadas del mismo ensayo clínico, publicadas con algún desfase temporal en distintas revistas, alterando el orden de los autores, y aún con discrepancias en los datos entre una versión y otra, lo que los hace difícilmente reconocibles.

Este problema ocurre especialmente en ensayos multicéntricos, cuando los investigadores de algunos hospitales participantes desean ver publicados sus hallazgos en forma independiente.
Varios trabajos han demostrado que, al recopilar literatura para un metaanálisis, un porcentaje importante (alrededor de 20%) de los artículos encontrados había sido publicado en más de una ocasión -hasta seis veces en ciertos estudios-, y que casi en la mitad de esos casos, el nombre del primer autor y el número de autores eran diferentes^5,6.

La Figura 4 muestra una revisión del efecto del ondansetron v/s placebo, sobre los vómitos del postoperatorio, en la que los autores analizaron la presencia y el efecto de los trabajos duplicados. La conclusión está a la vista: agregar los duplicados a los originales produjo una sobreestimación de la eficacia del tratamiento de un 23%⁷.

Figura 4. Estudio del efecto del ondansetron sobre los vómitos del postoperatorio v/s placebo. Agregar los duplicados a los originales produjo una sobreestimación de la eficacia del tratamiento de un 23%.

La publicación múltiple se genera principalmente en los estudios cuyos resultados demostraron efectos de mayor magnitud y significación, lo que parece lógico, considerando que ese es el tipo de trabajo que cualquier autor desearía ver difundido de la forma más amplia posible.

La mayoría de las revistas de renombre revisadas por pares se encuentran adheridas a protocolos internacionales, que prohíben expresamente aceptar trabajos ya publicados en otras revistas. No obstante, tener una de estas publicaciones en sus manos –o en pantalla- tampoco es garantía frente al problema de la publicación redundante; de hecho, parte importante de los casos descritos afectó precisamente a este tipo de revistas.

Figura 1. Proporción de estudios cuantitativos no publicados, según el tipo de resultados.

Figura 2. Casos extremos de sesgo de publicación en medicina alternativa (adaptado de Vickers, et al.).

Figura 3. Análisis de ensayos clínicos publicados v/s ensayos clínicos registrados.

Figura 4. Estudio del efecto del ondansetron sobre los vómitos del postoperatorio v/s placebo. Agregar los duplicados a los originales produjo una sobreestimación de la eficacia del tratamiento de un 23%.

Esta obra de Medwave está bajo una licencia Creative Commons Atribución-NoComercial 3.0 Unported. Esta licencia permite el uso, distribución y reproducción del artículo en cualquier medio, siempre y cuando se otorgue el crédito correspondiente al autor del artículo y al medio en que se publica, en este caso, Medwave.