Resumen

Aplicaciones del análisis crítico

¿Para qué se utiliza el análisis crítico de la literatura? El análisis crítico es en primer lugar, condición básica para la correcta interpretación de cualquier estudio que hayamos decidido revisar. En epidemiología, para aprender a “leer” una publicación debemos poder analizarla críticamente.

El análisis crítico permite además verificar si un estudio cumple ciertos criterios de inclusión y exclusión previamente establecidos, en lo que a su calidad metodológica se refiere. Esto se usa con cierta frecuencia al ejecutar revisiones sistemáticas de la literatura, aunque generalmente los criterios de elegibilidad se restringen sólo al tipo de diseño de investigación utilizado (por ejemplo, que se trate de ensayos aleatorizados). En las revisiones sistemáticas de estudios observacionales, por su parte, suele aplicarse algún criterio de calidad metodológica específica, por ejemplo que los estudios incluyan algún método de ajuste de variables pronósticas:

Risk of ischaemic stroke in people with migraine: systematic review and meta-analysis of observational studies. Etminan M, Takkouche B, Isorna FC, Samii A. BMJ. 2005 Jan 8; 330(7482): 63.

Una vez resuelto qué estudios son los elegibles para la revisión, permite efectuar análisis de sensibilidad, es decir, evaluar en qué medida los resultados de los estudios varían en función de su calidad metodológica. Por ejemplo, un análisis de sensibilidad podría explorar si los resultados del tratamiento son los mismos al combinar por separado los estudios de baja calidad metodológica, y aquellos calificados de alta calidad, o al comparar estudios con distinto potencial de sesgo:

Bernal-Delgado E, Latour-Perez J, Pradas-Arnal F, Gomez-Lopez LI. The association between vasectomy and prostate cancer: a systematic review of the literature. Fertil Steril. 1998 Aug;70(2):191-200.

En ocasiones, al combinar estudios en una revisión sistemática, se utilizan técnicas de análisis estadístico para explorar si existe asociación entre las características metodológicas o clínicas de los estudios y la magnitud del efecto observado en ellos. Por ejemplo, a través de un análisis multivariado mediante regresión logística, se puede evaluar si existe asociación entre el uso de ciego, el encubrimiento de la asignación de los pacientes a los grupos, o ciertas características basales de los sujetos (variables de exposición), y el efecto detectado en cada estudio (variable de resultado). A estas técnicas se les conoce como meta regresión:

Linde K, Scholz M, Ramirez G, Clausius N, Melchart D, Jonas WB. Impact of study quality on outcome in placebo-controlled trials of homeopathy. J Clin Epidemiol. 1999 Jul;52(7):631-6.

Barker FG 2nd. Efficacy of prophylactic antibiotic therapy in spinal surgery: a meta-analysis.Neurosurgery. 2002 Aug;51(2):391-400; discussion 400-1.

Principales métodos existentes

El análisis crítico de la literatura se puede realizar de manera implícita durante la lectura de un artículo -por ejemplo cuando se lee un estudio aislado por interés personal-, o bien puede llevarse a cabo estructuradamente, en base a criterios previamente establecidos de manera explícita. Esto último es lo que ocurre cuando se lleva a efecto una revisión formal de un tema.

Tradicionalmente han existido dos métodos principales de análisis crítico estructurado:

• Las listas de chequeo, es decir, una serie ordenada de criterios cuyo cumplimiento debe verificarse revisando el texto del estudio, y que en general serán calificados con un “Sí” (cumple), un “No”, o un “No se sabe/No se puede decir” (más la siempre presente columna de observaciones y comentarios).
• Las escalas, en las que al cumplimiento de cada criterio se asocia un puntaje. La suma de los puntajes por factor da lugar a un puntaje final de calidad. La crítica a estos modelos ha sido que no dan cuenta apropiadamente del valor relativo que cada criterio tiene para un estudio en particular. Un mismo puntaje en dos estudios puede representar amenazas a la validez muy distintas.

Como ya hemos señalado, estos métodos no bastan por sí mismos para calificar la validez interna del estudio. Es necesario ir más allá y estimar cuánto sesgo puede esperarse de la falta de cumplimiento de un criterio en cada caso.

El modelo más tradicional de análisis crítico, diseñado en función del tipo de pregunta de investigación (diagnóstico, etiología, pronóstico, tratamiento, etc.), fueron las “Users’ guides to the medical literature” publicadas en una famosa serie en JAMA. Estas guías estaban estructuradas sobre ejemplos prácticos, en un formato coloquial, y dividían el análisis en 3 secciones:

I. ¿Son válidos los resultados de este artículo? [Are the results of this article valid?]: En esta sección se identifican criterios primarios y secundarios de validez interna del estudio.
II. ¿Cuáles son los resultados? [What were the results?]: Analiza la magnitud y precisión de los resultados.
III. ¿Ayudarán los resultados al cuidado de mis pacientes? [Will the results help me in caring for my patients?]: Analiza la significación clínica y la validez externa de los resultados.

La mayoría de las listas de chequeo y escalas existentes han sido diseñadas para evaluar ensayos clínicos. Moher hizo una recopilación de ellas en 1995 y encontró 25 versiones distintas:

Moher D, Jadad AR, Nichol G, Penman M, Tugwell P, Walsh S. Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials. 1995 Feb;16(1):62-73.

Más recientemente, Katrak identificó 121 instrumentos publicados para el análisis crítico de estudios clínicos de distinta naturaleza:

A systematic review of the content of critical appraisal tools. Katrak P, Bialocerkowski AE, Massy-Westropp N, Kumar VS, Grimmer KA. BMC Med Res Methodol. Published online before print September 16, 2004

Una lista de chequeo puede ser breve o muy extensa, como la del ejemplo siguiente:

Esta profusión de sistemas alternativos para evaluar los estudios llevó al anestesiólogo y epidemiólogo clínico Alex Jadad a formular la primera versión “validada” de una escala de análisis crítico para ensayos clínicos, diseñada originalmente para investigaciones sobre el manejo del dolor. Por su simpleza y la forma rigurosa en que fue formulada, esta escala ganó gran aceptación entre quienes realizan revisiones sistemáticas y metaanálisis, y aunque todavía se debate si debiera aplicarse o no, probablemente sea la más utilizada. La calidad de la escala se basa en su validez de constructo y la consistencia de sus resultados:

Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJ, Gavaghan DJ, McQuay HJ. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials. 1996 Feb;17(1):1-12.

Siendo tan famosa, es bueno conocerla:

Figura 1. Validated quality scale.

¿Cómo se aplica?

• Asigne 1 punto al estudio si aparece descrito como randomizado.
• Asigne 1 punto adicional si aparece descrito como doble ciego.
• Asigne 1 punto adicional si incluye una descripción de los abandonos y pérdidas de seguimiento.
• Asigne 1 punto adicional si verifica que el método de randomización fue apropiado; en caso contrario, reste un punto.
• Asigne 1 punto adicional si verifica que el ciego fue apropiado; en caso contrario, reste un punto.

Interpretación: Rango de puntajes posibles 0-5
                       Baja calidad: menos de 3

La validez de la escala de Jadad ha sido sometida a prueba por algunos autores, para evaluar si su aplicabilidad es la misma en otras áreas fuera del manejo del dolor, y también se han formulado ya versiones “modificadas” de la escala original:

Clark HD, Wells GA, Huet C, McAlister FA, Salmi LR, Fergusson D, Laupacis A. Assessing the quality of randomized trials: reliability of the Jadad scale. Control Clin Trials. 1999 Oct;20(5):448-52.

Oremus M, Wolfson C, Perrault A, Demers L, Momoli F, Moride Y. Interrater reliability of the modified Jadad quality scale for systematic reviews of Alzheimer's disease drug trials. Dement Geriatr Cogn Disord. 2001 May-Jun;12(3):232-6.

En relación al análisis de ensayos clínicos, citaremos también a Schulz, porque su trabajo dio lugar a que la verificación del “encubrimiento de la asignación” [allocation concealment] en un ensayo clínico sea el criterio de análisis crítico único más utilizado en la literatura, particularmente en las revisiones sistemáticas de la colaboración Cochrane:

Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA. 1995 Feb 1;273(5):408-12.

Bunn F, Alderson P, Hawkins V. Colloid solutions for fluid resuscitation. Cochrane Database Syst Rev. 2003;(1):CD001319.

A partir de estos trabajos pioneros, se siguen haciendo esfuerzos por generar instrumentos válidos para analizar la calidad de los estudios, no sólo en el ámbito de los ensayos clínicos aleatorizados, sino en todas las formas de investigación clínica. En siguientes entregas de esta serie haremos referencia a los más recientes y metodológicamente más sólidos en las áreas de diagnóstico y aquéllos orientados al análisis de estudios observacionales.

Downs SH, Black N. The feasibility of creating a checklist for the assessment of the methodological quality both of randomized and non-randomised studies of health care interventions. J Epidemiol Community Health 1998;52: 377-84.

Esta obra de Medwave está bajo una licencia Creative Commons Atribución-NoComercial 3.0 Unported. Esta licencia permite el uso, distribución y reproducción del artículo en cualquier medio, siempre y cuando se otorgue el crédito correspondiente al autor del artículo y al medio en que se publica, en este caso, Medwave.