Análisis crítico de la literatura
Medwave 2011 Dec;11(12):e5274 doi: 10.5867/medwave.2011.12.5274
Fundamentos del análisis crítico: en búsqueda de la verdad
Fundamentals of critical analysis: in search of truth
Miguel Araujo Alonso
Referencias | Descargar PDF |
Para Descargar PDF debe Abrir sesión.
Imprimir | A(+) A(-) | Lectura fácil

Resumen

Uno de los fundamentos más importantes para analizar críticamente los estudios clínicos es la evidencia sobre la asociación entre la calidad de un estudio y sus resultados. Esta asociación se expresa de la siguiente forma: a menor calidad metodológica, los estudios tienden a exhibir resultados más favorables a las intervenciones, es decir, tienden a sobreestimar la efectividad de las mismas. Sin embargo, como ocurre muchas veces en epidemiología, una observación no necesariamente se reproduce al estudiar nuevamente el fenómeno. También puede ocurrir que en un momento dado surge evidencia que, al contrario, encuentra que los estudios de mejor calidad tienden a mostrar efectos mayores. La relación también se da en los estudios observacionales, cuando se comparan, respecto de la evaluación de un factor de riesgo, estudios de cohorte con estudios de casos y controles. Estos últimos tienden a sobreestimar el riesgo asociado a ese factor. Existe asociación entre estudios de mejor calidad con revistas de mayor prestigio, pero no podemos inferir que todos los estudios publicados en las revistas más famosas son confiables, o viceversa.


 


“…tratar de seguir la información significa abandonar vigorosamente el papel del pasivo receptor y transformarse en activo intérprete, lo que, por desgracia, no garantiza hacerse con ninguna verdad alternativa. La verdad esquiva, escurridiza, requiere más esfuerzo y esperanza”1


Posibilidad de sesgo en los estudios de menor calidad

Uno de los fundamentos más importantes para analizar críticamente los estudios clínicos, es la evidencia sobre la asociación entre la calidad de un estudio y sus resultados. Esta asociación se expresa de la siguiente forma: a menor calidad metodológica, los estudios tienden a exhibir resultados más favorables a las intervenciones, es decir, tienden a sobreestimar la efectividad de las mismas. Los trabajos de Schulz y Moher aportaron pruebas empíricas de ello, respecto de los ensayos clínicos.

Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995; 273: 408-412.

Moher D, Pham B, Jones A et al. Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses? Lancet 1998; 352: 609-613.

Sin embargo, como ocurre muchas veces en epidemiología, una observación no necesariamente se reproduce al estudiar nuevamente el fenómeno. Este y otros estudios (Clifford 2002, Emerson 1990) no demostraron asociación entre calidad y magnitud de los efectos:

Balk EM, Bonis PA, Moskowitz H, Schmid CH, Ioannidis JP, Wang C, Lau J. Correlation of quality measures with estimates of treatment effect in meta-analyses of randomized controlled trials. JAMA. 2002 Jun 12;287(22):2973-82.

O en un momento dado surge evidencia que, al contrario: encuentra que los estudios de mejor calidad tienden a mostrar efectos mayores:

Bausell RB, Lee WL, Soeken KL, Li YF, Berman BM. Larger effect sizes were associated with higher quality ratings in complementary and alternative medicine randomized controlled trials. J Clin Epidemiol. 2004 May;57(5):438-46.

La relación también se da en los estudios observacionales, cuando se comparan, respecto de la evaluación de un factor de riesgo, estudios de cohorte (“mayor validez”) con estudios de casos y controles (“menor validez”). Estos últimos tienden a sobreestimar el riesgo asociado a ese factor. En esta revisión, los estudios de casos y controles mostraron un mayor riesgo de cáncer gástrico por el consumo de carne procesada de 63%, mientras las cohortes sólo de un 24%.

Larsson SC, Orsini N, Wolk A. Processed meat consumption and stomach cancer risk: a meta-analysis. J Natl Cancer Inst. 2006 Aug 2;98(15):1078-87.

Y también ocurre al comparar cohortes de mayor calidad con las metodológicamente más débiles. En esta revisión, las cohortes de menor calidad (sin ajuste de variables confusoras) mostraban que había una asociación significativa, mientras las cohortes con ajuste decían que no.

Humphrey LL, Chan BK, Sox HC. Postmenopausal hormone replacement therapy and the primary prevention of cardiovascular disease. Ann Intern Med 2002;137: 273-84.

Por lo tanto, este fenómeno generalizado, bastante consistente, sugiere que las investigaciones de “menor calidad” efectivamente tienen una dosis mayor de sesgo, que desvía sus resultados, haciendo aparecer o aumentando la magnitud de las asociaciones (el efecto de la intervención, la importancia de un factor de riesgo).


¿Tienen mayor calidad los estudios publicados en las revistas de mayor prestigio?

¿Hay evidencia de asociación entre los indicadores de calidad e impacto de la revista y la de los artículos publicados en ella? Este podría ser un dato interesante para quien no desea complicarse la vida... bastaría con saber cuáles son las revistas más confiables y leer las conclusiones de los estudios contenidos en ellas.

Lee KP, Schotland M, Bacchetti P, Bero LA. Association of journal quality indicators with methodological quality of clinical research articles. JAMA. 2002 Jun 5;287(21):2805-8.

Nuevamente, la asociación existe, pero no podemos inferir que todos los estudios publicados en las revistas más famosas son confiables, o viceversa.


¿Reflejan los resultados del análisis crítico la calidad real de un estudio?

Cuando llevamos a cabo el análisis crítico de un estudio, utilizamos los datos aportados por el autor en la publicación. Esto tiene sus limitaciones. Que el autor no haya mencionado una determinada característica del estudio no quiere decir que no la posea:

  • Imagine un estudio cuyo título señala que se trata de un ensayo clínico “randomizado”. En la sección métodos, sin embargo, el autor no especifica la técnica de asignación utilizada. ¿Qué implica esto? Simplemente, que no podemos asegurar que efectivamente sea randomizado. Quizás lo sea, quizás no.
  • El autor tampoco indicó si se produjeron pérdidas de seguimiento, a lo mejor porque no las hubo y por lo tanto no consideró necesario mencionarlo, o quizás porque fueron importantes y prefirió omitir el dato.

Esto ha sido evaluado formalmente:

Soares HP, Daniels S, Kumar A, Clarke M, Scott C, Swann S, Djulbegovic B; Radiation Therapy Oncology Group. Bad reporting does not mean bad methods for randomised trials: observational study of randomised controlled trials performed by the Radiation Therapy Oncology Group. BMJ. 2004 Jan 3;328(7430):22-4.

Hill CL, LaValley MP, Felson DT. Discrepancy between published report and actual conduct of randomized clinical trials. J Clin Epidemiol. 2002 Aug;55(8):783-6.

Por ello, la calidad del reporte no debe confundirse con la calidad metodológica del estudio:

Huwiler-Muntener K, Juni P, Junker C, Egger M. Quality of reporting of randomized trials as a measure of methodologic quality. JAMA. 2002 Jun 5;287(21):2801-4.

También es importante recordar que muchas veces, por desconocimiento de los métodos epidemiológicos, los autores utilizan términos inadecuados para referirse a un aspecto del diseño del estudio, o confunden conceptos.


Ejemplos de estudios que describen resultados de análisis críticos

Referidos a especialidades, patologías o tipos de intervenciones específicas:

Latronico N, Botteri M, Minelli C, Zanotti C, Bertolini G, Candiani A. Quality of reporting of randomised controlled trials in the intensive care literature. A systematic analysis of papers published in Intensive Care Medicine over 26 years. Intensive Care Med. 2002 Sep;28(9):1316-23. Epub 2002 Jun 13.

Linde K, Jonas WB, Melchart D, Willich S. The methodological quality of randomized controlled trials of homeopathy, herbal medicines and acupuncture. Int J Epidemiol. 2001 Jun;30(3):526-31.

En revistas o grupos de revistas específicas:

Sonis J, Joines J. The quality of clinical trials published in The Journal of Family Practice, 1974-1991. J Fam Pract. 1994 Sep;39(3):225-35.

Otras variedades de estudio, además de los ensayos clínicos (estudios de pruebas diagnósticas, estudios observacionales):

Reid MC, Lachs MS, Feinstein AR. Use of methodological standards in diagnostic test research. Getting better but still not good. JAMA. 1995 Aug 23-30;274(8):645-51.

Licencia Creative Commons Esta obra de Medwave está bajo una licencia Creative Commons Atribución-NoComercial 3.0 Unported. Esta licencia permite el uso, distribución y reproducción del artículo en cualquier medio, siempre y cuando se otorgue el crédito correspondiente al autor del artículo y al medio en que se publica, en este caso, Medwave.

 

One of the cornerstones of critical analysis of clinical trials is the evidence on the associations between the quality of a study and its results. The following are likely scenarios. The lower the methodological soundness of a study, the more favorable results may be obtained for the studied interventions, thus overestimating their effectiveness. However, as many times occurs in epidemiology, the reported observation may not necessarily be reproduced when the phenomenon is studied again. One may also find evidence that points to the contrary - the better the methodological quality of the study, the greater the observed effect. This relationship can also be found in observational studies of a risk factor that compare cohort studies to case-controlled studies. The latter tend to overestimate the risk associated to the factor. There is also an association between better quality studies and high impact journals, but we cannot infer that all studies published in top journals are reliable, and viceversa.

Autor: Miguel Araujo Alonso[1]

Filiación:
[1] Hospital de Los Andes, Chile; Medwave, Santiago, Chile

E-mail: maraujo@medwave.cl

Citación: Araujo M. Fundamentals of critical analysis: in search of truth. Medwave 2011 Dec;11(12):e5274 doi: 10.5867/medwave.2011.12.5274

Fecha de envío: 25/11/2011

Fecha de aceptación: 26/11/2011

Fecha de publicación: 1/12/2011

Origen: solicitado

Tipo de revisión: sin revisión por pares

Comentarios (0)

Nos complace que usted tenga interés en comentar uno de nuestros artículos. Su comentario será publicado inmediatamente. No obstante, Medwave se reserva el derecho a eliminarlo posteriormente si la dirección editorial considera que su comentario es: ofensivo en algún sentido, irrelevante, trivial, contiene errores de lenguaje, contiene arengas políticas, obedece a fines comerciales, contiene datos de alguna persona en particular, o sugiere cambios en el manejo de pacientes que no hayan sido publicados previamente en alguna revista con revisión por pares.

Aún no hay comentarios en este artículo.


Para comentar debe iniciar sesión

Medwave publica las vistas HTML y descargas PDF por artículo, junto con otras métricas de redes sociales.

Se puede producir un retraso de 48 horas en la actualización de las estadísticas.

  1. Romero G, Murillo B, Cerrón L, Caballero A. Fuera de Onda, Relatos de una Historia de Radio Libre. Madrid: Entimema, 2003.
Romero G, Murillo B, Cerrón L, Caballero A. Fuera de Onda, Relatos de una Historia de Radio Libre. Madrid: Entimema, 2003.