Revista Biomédica Revisada Por Pares
El análisis crítico de la literatura es un proceso de evaluación que permite al lector formarse una idea del potencial de error en los resultados de un estudio, ya sea por sesgo o confusión. Se suele considerar además dentro del análisis crítico la apreciación del potencial de error por azar, la correcta interpretación de los resultados que arroja el estudio, y la aplicabilidad de los mismos a un determinado contexto de pacientes. Sin embargo, no hay una dicotomía entre estudios “válidos” y “no válidos”. Existen estudios de gran calidad, que cumplen rigurosamente los más importantes criterios de validez interna. En otro extremo, hay artículos con limitaciones metodológicas serias que les restan todo valor científico. ¿Qué condiciones debe cumplir un buen análisis crítico? Debe partir de una adecuada identificación del tipo de problema y del diseño utilizado por los autores; no debe ser realizado mecánicamente, sino en forma razonada, considerando las principales fuentes de sesgo que podrían afectar a ese estudio en particular; y por último, que un estudio no cumpla determinado criterio puede tener una explicación perfectamente plausible. Para finalizar, se definen y discuten los conceptos de validez interna y externa.
El análisis crítico de la literatura es un proceso de evaluación que permite al lector formarse una idea del potencial de error en los resultados de un estudio, ya sea por sesgo -error sistemático- o confusión. El análisis crítico no entrega una sentencia definitiva sobre la condición de verdad de los resultados, pero nos aproxima indirectamente a ella, señalando hasta qué punto pueden considerarse confiables.
Se suele considerar además dentro del análisis crítico la apreciación del potencial de error por azar, la correcta interpretación de los resultados que arroja el estudio, y la aplicabilidad de los mismos a un determinado contexto de pacientes. No vamos a discutir si eso es pertinente o no. Todos esos componentes son necesarios al abordar un trabajo de investigación y serán tratados in extenso en los capítulos posteriores de esta serie; sin embargo, es importante que la secuencia sea correcta.
Si un estudio tiene un alto potencial de error, lo que se haga con esos resultados también lo tendrá. Si el estudio sobre una intervención es de baja calidad pero su resultado es atractivo (ej. disminución de la mortalidad en un 20%), podemos sentirnos tentados a aplicar la intervención haciendo caso omiso de la mala calidad del estudio. Antes de hacerlo, piense que podríamos someter a un grupo de pacientes a una intervención que en realidad es inefectiva, o cuyos efectos adversos superan los beneficios reales.
El mensaje es que, antes que nada, debemos analizar la validez interna del estudio (ver más adelante). Si parece razonablemente confiable, podemos interpretar y utilizar sus resultados según corresponda. Si no parece confiable, debemos ser cautelosos en la aplicación de los resultados, o simplemente no tomarlos en cuenta.
Como todo en epidemiología, aquí tampoco las cosas son en blanco y negro. No hay una dicotomía entre estudios “válidos” y “no válidos”. Existen estudios de gran calidad, que cumplen rigurosamente los más importantes criterios de validez interna. En otro extremo, hay artículos con limitaciones metodológicas serias que les restan todo valor científico. Y encontraremos también una amplia gama de situaciones intermedias. ¿Cómo enfrentarlas para decidir si un estudio es confiable o no? Utilizando el buen juicio, aplicando sus conocimientos epidemiológicos, y mirando al resto de la investigación existente en ese campo. Recuerde que para obtener conclusiones sobre la dirección y magnitud de las asociaciones en salud es necesario, además de evaluar los estudios en forma individual, que seamos capaces de analizar el conjunto de la evidencia disponible.
La tendencia inicial en quienes aprenden análisis crítico de la literatura es a descalificar en exceso los artículos que evalúan. Esta actitud debe ser moderada para que no conduzca al inmovilismo, en el que ningún trabajo es lo suficientemente bueno o confiable (“sesgo del epidemiólogo”). Veremos, además, que ciertos diseños poseen limitaciones intrínsecas en cuanto a su capacidad de controlar los sesgos.
El escenario global de la investigación clínica se encuentra plagado de estudios con deficiencias metodológicas, y hay que aprender a convivir con ello. Para algunos, esto ha llegado a constituir un “escándalo”:
D G Altman. The scandal of poor medical research. BMJ, Jan 1994; 308:283-284.
Y 10 años después, se siguen planteando las mismas inquietudes, esta vez con énfasis en los estudios observacionales:
Como veremos más adelante, lo concreto es que es común encontrar deficiencias metodológicas en los estudios en todas las áreas de la medicina.
¿Qué condiciones debe cumplir un buen análisis crítico?
• Debe partir de una adecuada identificación del tipo de problema y del diseño utilizado por los autores.
Un error relativamente frecuente es analizar un estudio con criterios que no corresponden al tipo de pregunta o diseño en cuestión, por ejemplo, evaluar un estudio sobre pronóstico con los criterios de un ensayo clínico, o un estudio de pruebas diagnósticas con los criterios de un estudio sobre etiología.
A veces se dan condiciones que facilitan este tipo de confusiones, por ejemplo, cuando se realiza un estudio de cohorte utilizando para ello pacientes que formaron parte de un ensayo clínico, ya sea para evaluar efectos de largo plazo o para realizar otro análisis secundario:
• Que no sea realizado mecánicamente, sino en forma razonada, considerando las principales fuentes de sesgo que podrían afectar a ese estudio en particular.
El análisis crítico trata en gran medida de verificar, a través de la lectura del artículo, si el estudio cumple ciertos criterios o condiciones metodológicas deseables. Existen pautas de análisis crítico específicas para los distintos diseños de investigación. Quien realiza el análisis debe conocer los fundamentos metodológicos de cada uno de los criterios empleados en el análisis. No basta aprender de memoria qué debiera cumplir un estudio para ser confiable, debemos entender cabalmente el sentido y alcance de los criterios aplicados, y cuáles son los más importantes para ese estudio en particular.
• Que un estudio no cumpla determinado criterio puede tener una explicación perfectamente plausible.
El revisor debe considerar hasta qué punto, dadas las características del estudio, le son aplicables cada uno de los criterios de análisis. Imagine un ensayo clínico en el que se compara una intervención quirúrgica con un tratamiento farmacológico: ¿será razonable, por ejemplo, pedirle a ese estudio que sea doble ciego? Que no lo sea, ¿le resta validez? Por cierto sería ideal que fuera ciego, pero probablemente no sea razonable exigirlo, dada la dificultad obvia para cegar la intervención. Vea cómo se expresa esto en un ejemplo real:
La validez interna de un estudio ha sido definida como la capacidad que tienen los hallazgos de la investigación, de representar la verdadera relación entre una exposición y un desenlace, bajo las circunstancias particulares en que fue realizado.
¿Qué podemos extraer de esta definición? En primer lugar, que la validez interna se refiere a la condición de verdad de los hallazgos, es decir, si los resultados del estudio efectivamente dan cuenta de lo que ocurre en la población en estudio o de la cual proviene la muestra. Recuerde que el hallazgo de una asociación en un estudio puede explicarse no sólo porque esa asociación efectivamente existe, sino también puede haber sido encontrada por azar, sesgo o confusión.
En segundo término, que la validez interna se refiere solamente a las condiciones en las que se realizó el estudio, es decir, a esos pacientes, y a las variables de exposición y resultado tal y como fueron definidas en él, y no a cualquier población ni a otras formas de medir el desenlace o a otras modalidades de la misma intervención.
Por otra parte, por razones obvias, el autor espera que sus hallazgos sean aplicables no sólo a pacientes idénticos a los del estudio, sino a un universo un poco más amplio.
Lamentablemente, no siempre la población del estudio es representativa del espectro de pacientes que uno encuentra en la práctica. A veces cuando se diseña un estudio se fijan criterios de inclusión que tienen como objetivo limitar sesgos o que se establecen simplemente por conveniencia práctica, y que afectan la representatividad de la muestra. Por ejemplo, imagine que desea evitar al máximo las pérdidas de seguimiento, para lo cual decide excluir a los pacientes que viven en zonas más alejadas o que no poseen teléfono en sus hogares. O al revés, podría extraer los sujetos de una población de la que espera alto grado de cooperación, digamos, estudiar un grupo de médicos y enfermeras. De hecho, varios estudios han sido hechos en profesionales de salud:
En este caso, la muestra usó una población de médicos. ¿Significa eso que al autor le interesa el comportamiento de las variables sólo en esos profesionales? Por cierto que no, su interés es la asociación entre tabaquismo y accidente vascular hemorrágico en los hombres en general, cualquiera sea su oficio.
En otras ocasiones, los pacientes se seleccionan entre aquellos que tienen más probabilidad de presentar el evento de interés, con el propósito de disminuir el tamaño muestral necesario para el estudio (en general mientras mayor es la proporción de eventos esperados, menor el número de sujetos que es necesario reclutar).
En otros casos, en cambio, los criterios son poco exigentes, precisamente para reflejar de mejor manera la población que uno esperaría encontrar en condiciones prágmáticas. Entonces, para evaluar estos aspectos al analizar un estudio, deberemos fijarnos en:
En los ensayos clínicos, por diversas razones, del total de pacientes elegibles siempre existe una fracción que finalmente no ingresa al estudio, y que puede limitar la representatividad de la muestra:
La validez “externa” entonces se refiere a las inferencias que podemos hacer más allá de la población muestral o aquella que concierne al estudio. Para determinar si los resultados del estudio son extrapolables o aplicables a una población o contextos distintos, debemos utilizar el buen juicio y considerar, por ejemplo, cuál es el grado de dependencia del fenómeno estudiado de variables culturales o sociales. No es lo mismo un estudio que evalúa la efectividad de la aspirina (la cual debiera comportarse de manera similar en cualquier país que se utilice), que uno que evalúa los efectos de una estrategia educativa, cuyos resultados probablemente pueden variar mucho entre un contexto y otro.
La validez externa depende también de qué tan particular o específico fue el escenario donde se desarrolló el estudio, razón por la cual se considera que los estudios multicéntricos tienen en general mayor validez externa, porque reflejan un espectro de condiciones más amplio que el que ofrece un estudio ejecutado en un solo centro.
Esta obra de Medwave está bajo una licencia Creative Commons Atribución-NoComercial 3.0 Unported. Esta licencia permite el uso, distribución y reproducción del artículo en cualquier medio, siempre y cuando se otorgue el crédito correspondiente al autor del artículo y al medio en que se publica, en este caso, Medwave.
Critical analysis of biomedical literature is process that helps readers discover potential errors in the results of clinical trials either from bias or confusion. Critical analysis also considers the potential of random error, correct interpretation of study results, and the possibility of applying the results on a given set of patients. However, there is no dichotomy between “valid” and “non valid” results. On the one hand, there are very good studies that rigorously comply with the strictest standards of internal validity. On the other hand, there are studies with severe methodological shortcomings that render them lacking in scientific value. What conditions must a good critical analysis fulfill? It must begin by correctly identifying the problem and the study design. Instead of being conducted mechanically it should be done thoughtfully, taking into consideration any possible source of bias. And lastly, if the study does not comply with all criteria, there may be a perfectly good reason. The article finishes by over viewing the concepts of internal and external validity.
Autor:
Miguel Araujo Alonso[1]
Citación: Araujo M. Critical analysis of literature: The basics. Medwave 2011 Nov;11(11):e5229 doi: 10.5867/medwave.2011.11.5229
Fecha de envío: 12/10/2011
Fecha de aceptación: 12/10/2011
Fecha de publicación: 1/11/2011
Origen: solicitado
Tipo de revisión: sin revisión por pares
Nos complace que usted tenga interés en comentar uno de nuestros artículos. Su comentario será publicado inmediatamente. No obstante, Medwave se reserva el derecho a eliminarlo posteriormente si la dirección editorial considera que su comentario es: ofensivo en algún sentido, irrelevante, trivial, contiene errores de lenguaje, contiene arengas políticas, obedece a fines comerciales, contiene datos de alguna persona en particular, o sugiere cambios en el manejo de pacientes que no hayan sido publicados previamente en alguna revista con revisión por pares.
Nombre/name: Patricio Herrera
Fecha/date: 2011-11-18 20:01:24
Comentario/comment:
Para reforzar el concepto mencionado por el Dr. Araujo en su artÃculo sobre Análisis CrÃtico de la Literatura (1), nos parece conveniente examinar a fondo el significado y trascendencia del término “sesgoâ€, ya abordado por el mismo autor.
Según Sackett, "Sesgo es cualquier proceso, en cualquier etapa de la inferencia, que tiende a producir resultados o conclusiones que difieren sistemáticamente de la verdad".
Todo proyecto destinado a producir información médica, en particular aquellos que ocuparán diseños analÃticos, supone la revisión exhaustiva del paradigma al que se pretende agregar, quitar o modificar ciertos elementos. Como apropiadamente señala el Dr. Araujo, los estudios primarios y las “revisiones clÃnicas†propiamente tales, se restringen a puntos especÃficos y limitados del tema a que va dirigido el esfuerzo de investigación.
Ya en esta etapa “primigeniaâ€, que ha de consistir en la revisión de todo lo que constituye la “verdad†actual (al momento de llevar a cabo la elaboración de la pregunta o hipótesis) –el paradigma- sobre el asunto en cuestión, hay alta probabilidad de sesgos y, de hecho, se puede afirmar –sin riesgo de error- que esta tarea no es abordada por autores de revistas de “corriente principal†cuando, en el planteamiento del problema sobre el que versa el estudio, se excluye sistemáticamente la literatura que no está en el idioma de los autores, generalmente, el idioma que más atrae a los lectores: Inglés.
En nuestro medio no es raro encontrar descripciones de asuntos clÃnico epidemiológicos en que se escribe que tal o cual asunto es descrito “por primera vez en nuestro medioâ€, lo que resulta equivocado, error debido a la insuficiente exploración de la literatura –en este caso- local.
Ya en esta fase inicial, los futuros autores de la publicación deben saber interpretar sin sesgos la literatura disponible, so riesgo de producir efectos eventualmente muy adversos en el universo de lectores que puede llegar a leer el producto de su artÃculo.
Un ejemplo de lo anterior es la aceptación universal, durante más de 10 años, de la recomendación de no usar antibióticos en niños con diarrea, derivada de un artÃculo con serios reparos metodológicos no advertidos –quizás- por el hecho de haber sido publicado en una revista de reconocido prestigio y difusión (3).
Los sesgos, como elementos de distorsión muchas veces incontrolable (en contraste con los métodos para hacerlo sobre el efecto del azar), constituyen un extenso capÃtulo de la EpidemiologÃa ClÃnica no siempre bien abordado e incluye una verdadera colección de éstos en cada uno de los diseños usados para extraer información de utilidad en el campo de la práctica clÃnica.
Al respecto, no basta con afirmar, sobre determinado aspecto de un estudio, que “está sesgadoâ€. Bien mirada, una proposición de esta naturaleza puede ser verdadera o falsa: es una hipótesis a probar. Al hacer esta afirmación, entonces, quien la hace se obliga a desentrañar en qué cuantÃa y en qué dirección afecta el presunto sesgo denunciado a las conclusiones que se pueden extraer de lo escrito, cosa que no es fácil pues, una vez introducido el sesgo en un material de estudio y, sobre todo, ya manipulado para extraer conclusiones, puede ser imposible lograr tal tarea. Una de las áreas en que más inciden los sesgos incontrolables es la de las “pruebas diagnósticasâ€.
En ausencia de un “manual†que guÃe la investigación cientÃfica (si existiera, no serÃa propiamente cientÃfica), sà existe un extenso registro de los riegos de error en esta materia y los requisitos que, de no cumplirse, invalidan lo que, en último término, buscan los lectores: las conclusiones. Con un agravante, cual es que las decisiones tomadas por tales lectores, ligadas a su interacción como agente de salud con la población –por decirlo asÃ- convierte un error en un ilÃcito, por lo menos en el campo ético.
Este comentario busca resaltar lo anotado por el Dr. Araujo en el sentido que “leer†es, para estos efectos, mucho más que recorrer las lÃneas de un escrito con la vista y poder dar cuenta, después, de qué se trataba lo leÃdo. La lectura crÃtica implica saber mirar el texto en su concepto y examinarlo desde varios puntos de vista que van más allá del que proporciona la aplicación de las bien conocidas guÃas de lectura crÃtica, ampliamente difundidas.
1.Araujo M. Análisis crÃtico de la literatura: nociones básicas. Medwave 2011 Nov;11(11) doi: 10.5867/medwave.2011.11.5229.
2.Sackett DL J.Chron.Dis.â€Bias in analytical researchâ€. 1972; 32:51-63.
3. Wong CS, Jelacic S, Habeeb RL, Watkins SL, Tarr PI. “The risk of hemolytic-uremic syndrome after antibiotic treatment of Escherichia coli O157:H7 infectionsâ€. NEJM 2000; 342:1930-36.
Nombre/name: Sandra Donoso
Fecha/date: 2011-11-22 12:36:10
Comentario/comment:
Patricio Herrera, buenÃsma información, gracias por compartirla.
Para comentar debe iniciar sesión
Estudios originales