Resumen

Guía práctica para analizar críticamente un trabajo de revisión, calidad de las revisiones sistemáticas, y documentos derivados de las revisiones sistemáticas

Guía práctica para analizar críticamente un trabajo de revisión

Hoy en día los criterios más usados para evaluar la calidad metodológica de una revisión sistemática son los contenidos en el instrumento “AMSTAR”. Si quiere conocer un poco más de él, mire este artículo:

Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, Hamel C, Porter AC, Tugwell P, Moher D, Bouter LM. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol. 2007 Feb 15;7:10.

Para cada una de estas preguntas, el instrumento pide que usted indique si la respuesta es positiva, negativa, si no se puede responder (por ejemplo, porque los datos o la claridad con que está expuesta la metodología de la revisión no lo permiten), o si el criterio en cuestión no es aplicable a esta revisión en particular.

Más que aplicarlo a la manera de una lista de chequeo, la idea es que usted tenga presentes estos criterios cuando lea una revisión, y en base a ellos se forme una opinión sobre la confiabilidad de la misma.

Las preguntas que plantea el instrumento AMSTAR son las siguientes:

1.  ¿Fue un diseño “a priori”?
   Criterio: la pregunta de investigación y los criterios de inclusión deben ser establecidos antes de iniciar la revisión.
2. ¿Hubo duplicación de la selección de los estudios y de la extracción de datos?
   Criterio: deben existir al menos dos extractores independientes de los datos y un procedimiento para llegar a consenso en caso de que existan desacuerdos.
   Se ha visto que existe baja correlación en el análisis crítico de estudios publicados, es decir: distintos revisores pueden llegar a diferentes conclusiones sobre la calidad de un estudio. También se ha establecido que el renombre o la respetabilidad de los autores de los estudios primarios o de la revista en que apareció publicado influyen sobre su evaluación.
   Por estas razones, siempre es deseable que el análisis crítico de los artículos haya sido hecho por dos o más revisores independientes. En la mayoría de las revisiones de buena calidad, este antecedente está consignado en la sección "métodos". Idealmente además, el análisis debiera ser ciego a la identidad de los autores. Este último aspecto se cumple con menos frecuencia.
3. ¿Se realizó una búsqueda amplia de la literatura?
   Criterio: la búsqueda debe realizarse en al menos dos fuentes electrónicas. El informe debe señalar los años que abarcó la búsqueda y las bases de datos utilizadas (ej. EMBASE, MEDLINE, Lilacs). Las palabras clave y términos MeSH deben estar explicitados y cuando sea posible, debe estar disponible la estrategia de búsqueda. Las búsquedas deben ser complementadas con consulta a registros especializados o expertos en el campo de estudio, y por la revisión de las listas de referencias en los estudios encontrados.
4. ¿Se utilizó el estado de la publicación (ejemplo: literatura gris) como criterio de inclusión?
   Criterio: los autores debieran declarar que ellos buscaron trabajos sin fijarse en el estado de publicación, el idioma del artículo, etc.
5. ¿Se provee una lista de los estudios incluidos y excluidos?
   Criterio: debe entregarse una lista de los estudios incluidos y excluidos.
   Considere la correspondencia de los estudios seleccionados con el tema investigado, teniendo presente nuevamente las poblaciones, la exposición o intervención y los desenlaces.
   Tenga presente además los diseños de investigación utilizados en los estudios primarios: la posibilidad de encontrar resultados contradictorios aumenta si se incluyen estudios de distinto diseño. Lo deseable es que se haya seleccionado los diseños más robustos para investigar el tema en cuestión. Por ejemplo: ensayos clínicos randomizados para las intervenciones terapéuticas o preventivas, cohortes prospectivas para tópicos relacionados con factores pronósticos; descartando en general los estudios de diseño más débil.
6. ¿Se entregan las características de los estudios?
   Criterio: debe incluirse en forma completa, en tablas, la información esencial de los estudios originales, tal como el tipo de participantes, las intervenciones y los desenlaces evaluados en cada estudio.
7. ¿Se evaluó y documentó la calidad científica de los estudios?
   Criterio: se deben describir los métodos de evaluación a priori.
   Existen diversas guías y escalas de puntaje publicadas, que permiten hacer una valoración crítica de los estudios obtenidos de la literatura, identificando en ellos posibles fuentes de sesgos. La mayoría de estas escalas no ha sido validada como instrumento, es decir, no se ha demostrado empíricamente que un determinado puntaje se asocia a un cierto margen de error en los resultados del estudio. Pese a esto, existe un marco teórico sólido y una evidencia suficiente de que la calidad de los estudios influye sobre los resultados, como para avalar su aplicación. Así, constituye un elemento a favor de cualquier revisión, el hecho de que los autores hayan utilizado criterios explícitos de evaluación de la calidad metodológica. Como ejemplo, en estudios sobre terapia: que se haya verificado si se aplicó o no un método de randomización, si se hizo enmascaramiento (doble ciego), si se encubrió la asignación de los pacientes a los grupos de tratamiento y control, etc.
8. ¿Se utilizó adecuadamente la calidad de los estudios en la formulación de conclusiones?
   Criterio: los resultados del rigor metodológico y calidad científica deberían considerarse en el análisis y las conclusiones de la revisión, y declararse explícitamente en la formulación de recomendaciones.
9. ¿Fueron apropiados los métodos para combinar los hallazgos de los estudios?
   Criterio: para los resultados agrupados, se debe realizar un test para evaluar su homogeneidad (ejemplo: prueba de Chi cuadrado para homogeneidad, I²), para asegurar que los estudios son combinables.
   La heterogeneidad en los resultados de los estudios primarios puede explicarse por distintas razones:
   - Por efecto del azar (para ello se utilizan los “test de homogeneidad”, que evalúan si las diferencias en los efectos observados entre los distintos estudios difieren mas allá de lo que uno pudiera esperar simplemente por azar)
   - Por diferencias en los diseños de investigación, o
   - Por variaciones en los componentes básicos del estudio: población (ejemplo: poblaciones de edades distintas), intervención (ejemplo: el fármaco se usó por un tiempo o a una dosis distinta entre un estudio y otro), o en la forma de medir los resultados. La revisión debiera analizar cada uno de estos factores.
   Si la heterogeneidad existe, debe utilizarse un modelo de efecto aleatorio y/o debe considerarse la pertinencia clínica de combinarlos (ejemplo: ¿Es prudente (razonable) combinar? O sea, ¿no son peras y manzanas?).
10. ¿Se evaluó la probabilidad de sesgo de publicación?
    Criterio: una evaluación del sesgo de publicación debe incluir una combinación de apoyos gráficos (tales como “funnel plot”) y/o pruebas estadísticas (ejemplo: test de regresión de Egger).
    Si bien esto es lo óptimo, sobre todo si uno sospecha que podría haber un cúmulo importante de estudios no publicados en el tema, a los que no se pudo acceder con la búsqueda; en la práctica son pocas las revisiones que lo evalúan formalmente.
11. ¿Fueron declarados los conflictos de interés?
    Criterio: las fuentes de ayuda económica deben estar claramente reconocidas, tanto en la revisión sistemática como en los estudios incluidos en ella.
    Es importante verificar también que las conclusiones de los autores deriven directamente de los resultados de la revisión, y que no se planteen como ciertas asociaciones que no hayan sido debidamente demostradas, ni que, existiendo suficiente evidencia como para sostenerlas, la magnitud de las mismas sea distorsionada –exagerada- por un uso abusivo o poco preciso del lenguaje.

Calidad de las revisiones sistemáticas

El lector debe mantener entonces una actitud crítica y extraer sus propias conclusiones a partir de los resultados objetivos de la revisión. Recuerde que un metaanálisis no es sinónimo de validez, es simplemente una técnica estadística que puede ser bien o mal utilizada.

Como siempre en epidemiología, sobre la calidad de las revisiones no hay sólo “buenas” y “malas”, sino una gama infinita de situaciones intermedias. Al respecto, considere que si bien una revisión sistemática pudiera tener debilidades en más de un aspecto, de todas formas será una fuente útil, que probablemente le aporte mejor evidencia que un grupo de artículos aislados obtenidos a través de un procedimiento no sistemático (ejemplo: revisando las revistas de la especialidad que usted suele consultar).

Por último, es importante señalar que con frecuencia las revisiones sistemáticas no llegan a resultados concluyentes. Esto se explica por una combinación de causas: puede que efectivamente los resultados de los estudios no aporten evidencias categóricas respecto a la efectividad de una terapia, o la superioridad de un tipo de tratamiento sobre otro. Esto ocurre cuando:

• los estudios disponibles no han llegado a establecer una asociación estadísticamente significativa, o
• algunos la muestran pero el efecto es de pequeña magnitud, o
• los resultados entre estudios son contradictorios, o
• hay pocos estudios y de pequeño tamaño muestral, o
• los pocos estudios existentes son dependientes de la industria (conflicto de interés), o
• son de baja calidad metodológica, o
• simplemente no hay ningún estudio que cumpla el diseño especificado (puede que los criterios de inclusión de los estudios a considerar en la revisión sean muy exigentes y que eso determine que muchos de los estudios que algunos considerarían en principio "interesantes" queden fuera por limitaciones metodológicas).

Documentos derivados de las revisiones sistemáticas

Las revisiones sistemáticas se pueden encontrar publicadas como tales en las revistas biomédicas y en bases de datos especializadas, sin embargo, también son la base de otra serie de documentos, a saber:

• Guías de Práctica Clínica
  Conjuntos de recomendaciones basadas en la evidencia científica respecto al manejo de una patología. Cuando enfrente una guía clínica debe estar atento a sus características, especialmente a los métodos que se utilizaron para elaborarla, porque así como hay guías sustentadas en revisiones sistemáticas ("guías clínicas basadas en evidencia"), también las hay producidas a través de métodos menos rigurosos.
  Piense en estas guías cuando tenga la tarea de elaborar protocolos de atención en su institución. Si desea acceder a guías clínicas de buena calidad, ingrese a esta base de datos que reúne la mayoría de las guías generadas en países anglosajones (últimamente se han ido incorporando también fuentes en español), por parte de sociedades científicas, instituciones privadas y centros universitarios:

National Guidelines Clearinghouse

• Informes de Evaluación de Tecnologías de Salud
  Son reportes producidos por las agencias de evaluación de tecnologías de salud, entidades ligadas en su mayoría a países desarrollados y a organismos de sanidad públicos. Estos informes son una excelente fuente de información científica sobre la eficacia, seguridad y costo-efectividad de las tecnologías emergentes, aunque también cubren tópicos tradicionales y de alcance masivo, tales como: el manejo del dolor lumbar, la enfermedad coronaria, los exámenes preoperatorios y otros similares.

¿Dónde encontrar revisiones sistemáticas?

He aquí algunas de las principales fuentes y portales para acceder a ellas:

• Medline: utilizando el filtro “Systematic Review” de Clinical Queries, la opción “Meta-analysis” de Limits, u otro filtro específico.
• Cochrane Database of Systematic Reviews y su versión en español La Biblioteca Cochrane Plus. La mayoría de las revisiones Cochrane se encuentra hoy en día traducidas a nuestro idioma.
• Centre for Reviews and Dissemination. Este centro, dependiente de la Universidad de York, es el sostenedor de importantes bases de datos como DARE y HTA, que recopilan revisiones publicadas en otras fuentes, las resumen y analizan críticamente.
• Tripdatabase. Constituye un excelente recurso de búsqueda, que rastrea en forma simultánea un sinnúmero de fuentes, incluyendo bases de datos de revisiones sistemáticas (DARE, Cochrane Collaboration, etc.), de guías clínicas (National Guidelines Clearinghouse, CMA Infobase, etc.), artículos recientes en revistas especializadas de renombre (BMJ, Jama, etc.), Medline a través de PubMed, etc.

Esta obra de Medwave est� bajo una licencia Creative Commons Atribuci�n-NoComercial 3.0 Unported. Esta licencia permite el uso, distribuci�n y reproducci�n del art�culo en cualquier medio, siempre y cuando se otorgue el cr�dito correspondiente al autor del art�culo y al medio en que se publica, en este caso, Medwave.