Notas metodológicas
Medwave 2020;20(11):e8092 doi: 10.5867/medwave.2020.11.8092
La revisión sistemática viva: nuevos aportes y desafíos
Living systematic review: new inputs and challenges
Laura Vergara-Merino, Catalina Verdejo, Cynthia Carrasco, Manuel Vargas-Peirano
Referencias | Descargar PDF |
Para Descargar PDF debe Abrir sesión.
Imprimir | A(+) A(-) | Lectura fácil

Palabras clave: Systematic Reviews as Topic, Review Literature as Topic

Resumen

Este artículo es el segundo de una serie metodológica colaborativa de revisiones narrativas sobre temáticas de bioestadística y epidemiología clínica. El objetivo de este trabajo es describir la pertinencia, las consideraciones y los desafíos de las revisiones sistemáticas vivas. La revisión sistemática viva es una propuesta de actualización continua, que conserva el rigor y la calidad metodológica de una revisión sistemática. El modelo vivo es adecuado cuando la revisión busca responder una pregunta prioritaria para la toma de decisiones en salud, la certeza de la evidencia para esa pregunta es baja y es muy probable que surja nueva evidencia al respecto. Para que una revisión sistemática viva sea exitosa debe considerar varios aspectos, por ejemplo: que la búsqueda sea continua y automatizada, que existan criterios de actualización de la revisión, que se evalúe cómo se llevará a cabo la actualización del metanálisis y cómo será el proceso editorial, y que la publicación se amigable, entre otras. Al ser una propuesta relativamente nueva deberá enfrentar múltiples cambios que permitan su mejor funcionamiento, por lo que debemos estar atentos a estos cambios venideros.


 

Ideas clave

  • Las revisiones sistemáticas vivas conservan el rigor y la calidad metodológica de las revisiones sistemáticas convencionales. El modelo vivo alude a un sistema de actualización en que la evidencia se integra a medida que se hace disponible.
  • A pesar de la existencia de herramientas de traducción del conocimiento orientadas a que los autores de las revisiones sistemáticas identifiquen cuál es el mejor modelo para su revisión, estas aún no incluyen el formato vivo en su diagrama de flujo propuesto.
  • Este documento señala cuándo es pertinente realizar una revisión sistemática viva, así como comentar sus consideraciones y sus desafíos, en un lenguaje amigable, dirigido a la formación de estudiantes de pre y posgrado.
Introducción

De acuerdo con la medicina basada en evidencia, las revisiones sistemáticas son el tipo de síntesis de evidencia que nos entregan información más confiable y oportuna al momento de tomar decisiones en salud. Es por esto, que la mayoría de las guías de práctica clínica actuales utilizan evidencia de revisiones sistemáticas al momento de elaborar sus recomendaciones[1],[2]. Debido a su alta rigurosidad y calidad metodológica, una revisión sistemática tarda en promedio más o menos 67 semanas (1 año y 3 meses) en realizarse y publicarse[3]. Esto, sumado a los muchos ensayos clínicos publicados y registrados diariamente[4], hace que la revisión sistemática pueda estar desactualizada poco tiempo después de su publicación[5] y, por lo tanto, que la evidencia que sustenta las recomendaciones a los clínicos no se corresponda con la última evidencia disponible[6]. Frente a esto, Elliot y colaboradores proponen en 2014 una nueva forma de actualización de revisiones sistemáticas que no sacrifica su rigurosidad ni calidad metodológica: la revisión sistemática “viva” (living systematic review en inglés)[7]. Actualmente, ya existen revisiones sistemáticas realizadas con este modelo[8],[9],[10],[11],[12],[13],[14],[15],[16],[17], y la colaboración Cochrane cuenta con una guía para realizarlas[18].

Este artículo corresponde al segundo de una serie metodológica de revisiones narrativas acerca de tópicos generales en bioestadística y epidemiología clínica, las que exploran y resumen en un lenguaje amigable, artículos publicados disponibles en las principales bases de datos y textos de consulta especializados. La serie está orientada a la formación de estudiantes de pre y posgrado. Es realizada por la Cátedra de Medicina Basada en la Evidencia de la Escuela de Medicina de la Universidad de Valparaíso, Chile, en colaboración con el Departamento de Investigación del Instituto Universitario del Hospital Italiano de Buenos Aires, Argentina, y el Centro Evidencia UC, de la Universidad Católica, Chile. El objetivo de este artículo es especificar cuándo es pertinente realizar una revisión sistemática viva, así como comentar sus consideraciones y sus desafíos.

¿Cuándo elegir el formato vivo para una revisión sistemática?

Antes de revisar en detalle las particularidades de una revisión sistemática viva es importante definir cuándo sería conveniente actualizar una revisión sistemática con este formato. Existen tres requisitos que tiene que cumplir la pregunta de una revisión sistemática para considerar el modelo vivo para su realización[19]:

1) La pregunta abordada debe ser prioritaria para la toma de decisiones; ya que de no serlo, el efecto o conclusiones de la revisión no se traducirá en una mejoría en la atención de pacientes.

2) La certeza de la evidencia existente para la pregunta es baja o muy baja, ya que de existir alta certeza para la pregunta no sería necesario invertir recursos ni tiempo en una actualización continua de la evidencia disponible.

3) Es probable que en el futuro se genere nueva evidencia para la misma pregunta; puesto que, si se prevé que no habrá nueva evidencia, no vale la pena invertir recursos en una actualización continua.

Los autores de una revisión sistemática viva deben justificar en su protocolo el uso del formato vivo para actualizar la revisión (y declarar que se mantendrá en este formato), mencionando criterios preestablecidos (en caso de tenerlos) para abandonar el formato vivo por un abordaje convencional. Un motivo para dejar el formato vivo sería que se dejara de cumplir cualquiera de los tres puntos que mencionamos anteriormente[19].

Existen herramientas de traducción del conocimiento orientadas a que los autores de las revisiones sistemáticas identifiquen cuál es el mejor modelo para su revisión, sin embargo, estas aún no incluyen el formato vivo en su diagrama de flujo propuesto[20].

¿Qué es lo nuevo en una revisión sistemática viva?

Como mencionamos anteriormente, la revisión sistemática viva mantiene el rigor metodológico y la calidad de una revisión sistemática[18],[21],[22], sin embargo, propone una nueva forma de actualización y publicación que incluye la evidencia a medida que se hace disponible[7],[19]. Debemos considerar que una revisión sistemática viva puede ser creada desde cero, o a partir de una revisión sistemática convencional convertida al formato vivo. Para poder llevar a cabo esta actualización continua (otorgándole la vitalidad a la revisión) son recomendables múltiples cambios en la producción y publicación de las revisiones sistemáticas vivas con respecto a las clásicas. A continuación, enumeramos algunos: 

1. Carga y distribución del trabajo
En la elaboración de una revisión sistemática, el grupo de trabajo es reducido con una carga de trabajo intensa durante un período de tiempo limitado. En una revisión sistemática viva la propuesta es generar un grupo de trabajo más amplio, y que cada uno de los participantes tenga una carga de trabajo más liviana, pero permanente en el tiempo, y así lograr la actualización continua que requiere[19],[23]. Además, el grupo de trabajo puede cambiar a medida que pasa el tiempo, incluyendo nuevas personas al equipo y excluyendo otras según la disponibilidad de los participantes y la carga de trabajo demandada por la revisión[19].

2. Búsqueda continua y automatizada
Para asegurar el carácter vivo de la revisión sistemática, es indispensable que la búsqueda se corra periódicamente cumpliendo con lo establecido por cada revisión sistemática viva, pero sin comprometer su sensibilidad (recordemos que esta debe conservar el rigor metodológico). Para lograrlo, debemos cambiar el modelo convencional en que los autores crean la estrategia, corren la búsqueda y posteriormente realizan el tamizaje, por un “modelo de empuje”. Este requiere que un experto cree la estrategia. Sin embargo, luego automatiza la búsqueda en distintas bases de datos y avisa a los autores cada vez que haya estudios nuevos que tamizar, lo que aliviana el trabajo de los autores en la búsqueda y permite invertir su tiempo en procesos posteriores[23].

La automatización presenta dos limitaciones: hay algunas bases de datos que no son compatibles con la automatización (a veces indispensables para una revisión en específico) y las búsquedas de material no publicado requieren el recurso humano[19],[23]. Para paliar estas limitaciones, y cumplir con la búsqueda sensible y continua, se puede recurrir al trabajo colaborativo de la comunidad científica y/o establecer una búsqueda más espaciada a priori para las bases de datos (y búsquedas de material no publicado) en las que la automatización no es posible[19].

3. Definir distintos escenarios de actualización
El proceso de actualización de una revisión sistemática convencional es un proceso arduo y que muchas veces requiere el mismo esfuerzo que la publicación original. Para que no suceda esto en el formato vivo, los autores deben definir la manera en que se actualizará e integrará la nueva evidencia. Existen tres posibles escenarios a los que se pueden ver enfrentados los autores luego de una actualización de la búsqueda y tamizaje; Elliot y colaboradores proponen los siguientes cursos de acción para cada uno[19] (Figura 1): 

  • Se actualiza la búsqueda y tamizaje, y no hay nuevos estudios incluibles en la revisión: informar última fecha de búsqueda y explicitar que no se halló nueva evidencia.
  • Se actualiza la búsqueda y tamizaje, y hay nueva evidencia que muy probablemente no cambiará los resultados y conclusiones de la revisión: informar última fecha de búsqueda, explicitar que se encontró nueva evidencia y que no se integrará aún a la revisión sistemática viva con la justificación correspondiente. 
  • Se actualiza la búsqueda y tamizaje, y hay nueva evidencia que posiblemente cambiará los resultados y conclusiones de la revisión: informar última fecha de búsqueda, los detalles de la evidencia encontrada y explicitar que la incorporación de la nueva evidencia está en proceso, mientras se realizan las siguientes etapas para poder publicar una actualización con la información integrada (extracción de datos, síntesis y evaluación de la calidad).

Figura 1. Escenarios de actualización de una revisión sistemática viva.

Los autores de una revisión sistemática viva deben definir y explicitar estos escenarios y el curso de acción que tomarán en cada uno de ellos, tanto en el protocolo como en la revisión y sus actualizaciones de manera transparente.

4. Particularidades en los métodos estadísticos
El mayor conflicto desde el punto de vista estadístico al momento de realizar una revisión sistemática en el formato vivo, es que aumenta el error tipo I con cada actualización del metanálisis: aumenta la probabilidad de encontrar un efecto cuando no lo hay[24],[25]. Además, es relevante que sepamos cuando ya hay evidencia suficiente para poder decir que no existe diferencia entre las intervenciones o exposiciones, ya que al no saberlo habrá mucho trabajo innecesario (controlar error tipo II). Otro elemento, que debemos tener en consideración es la heterogeneidad, que puede variar con cada actualización[24].

Existen distintos métodos para controlar estos factores al momento de repetir un metanálisis. El análisis secuencial de experimentos (trial sequential analysis en inglés) y el metanálisis secuencial (sequential meta-analysis en inglés) corrigen tanto el error tipo I, el error tipo II y ajustan resultados y tamaño de muestra necesario según la heterogeneidad[24],[26],[27]. Otros métodos como el de Shuster y la ley del logaritmo iterado (Law of the iterated logarithm en inglés) corrigen el error tipo I[24],[28],[29]. No describiremos cada método, ya que se escapa de los objetivos de esta revisión.

Los autores de una revisión sistemática viva deben especificar qué metodología utilizarán sopesando pros y contras de cada una de ellas. Además, deben considerar que ninguno de estos métodos corrige errores sistemáticos (solo aleatorios tipo I y, algunos, tipo II), por lo que deben abordar los sesgos de publicación y de reporte selectivo que puedan haber[24].

5. Proceso editorial y de revisión por pares
Las actualizaciones de las revisiones sistemáticas convencionales son sometidas al mismo proceso editorial y de revisión por pares (según la revista en la que se publique) que su versión original, lo que demanda bastante tiempo. En el caso de una revisión sistemática viva, su primera versión debe someterse al proceso editorial y revisión por pares determinada por la revista al igual que una revisión sistemática convencional. Sin embargo, al actualizar la búsqueda y tamizaje más frecuentemente (por ejemplo: cada un mes para las de la colaboración Cochrane) es poco práctico que cada una de sus actualizaciones sea sometida al mismo proceso. Por esto, Elliot y colaboradores dan propuestas para cada uno de los tres escenarios de actualización descritos en el punto tres de este apartado[7],[19]:

  • Se actualiza la búsqueda y tamizaje y no hay nuevos estudios incluibles en la revisión: no requeriría nueva revisión por pares, sólo revisión editorial.
  • Se actualiza la búsqueda y tamizaje y hay nueva evidencia que no se incorpora a la revisión sistemática viva aún (por razones explicitadas en protocolo y revisión): la revisión por editor es necesaria, sin embargo, la revisión por pares sería opcional.
  • Se actualiza la búsqueda y tamizaje y hay nueva evidencia incorporada en la revisión: requeriría revisión por pares y editorial. Si la nueva evidencia no cambia las conclusiones se podría hacer solo revisión por editor.

Otras propuestas de los mismos autores son: considerar la opción de una revisión por pares post publicación (como la implementada por algunas revistas como F1000[30]) sobre todo en el tercer escenario, y que cada uno o dos años la revisión sistemática viva se someta a ambas revisiones para verificar que las búsquedas periódicas se estén realizando, asegurando la calidad metodológica[7],[19].

6. Publicación
El proceso de publicación es esencial para que una revisión sistemática viva cumpla con su objetivo de llevar evidencia actualizada y rigurosa a los usuarios y tomadores de decisiones. Es, además, uno de los principales puntos en que difiere con el modelo convencional de revisiones sistemáticas: debe ser un formato de publicación dinámica, persistente, en línea, que permita una actualización rápida y en una plataforma amigable para los usuarios[7]. Asimismo, debemos tener presente que las autorías de la revisión sistemática viva y sus actualizaciones pueden cambiar a través del tiempo, según la participación meritoria de autoría de cada investigador en el proceso[19].

Un punto controversial es el identificador (Digital Object Identifier, DOI) de este tipo de revisión y cada una de sus actualizaciones; ya que si cada una de las actualizaciones tiene un identificador distinto, el factor de impacto de la revisión como proyecto puede subestimarse[31]. Por otro lado, si cada actualización mantuviese el mismo identificador original, la función de DOI en cuanto a identificar el proyecto se cumpliría, aunque la productividad académica de un investigador puede subestimarse[19].

7. Uso de tecnologías emergentes
Cuando hablamos de tecnologías, no solo nos referimos al avance tecnológico computacional y de inteligencia artificial, sino también a la optimización del recurso humano con modelos más eficientes de colaboración[23]. El aprovechamiento de estas tecnologías es transversal a todos los puntos mencionados previamente, recomendable en todos los pasos al momento de hacer una revisión sistemática viva, y crucial para hacerla sostenible. Sin embargo, debemos destacar que ninguna de las herramientas que mencionaremos es exclusiva del modelo vivo de revisión: todas pueden agilizar en gran medida la realización de cualquier revisión sistemática.

Existen programas que promueven la colaboración y plataformas que simplifican la realización de revisiones sistemáticas (por ejemplo: Rayyan QCRI, Covidence, Distiller). Con respecto a herramientas que agilicen cada paso en particular, hay mayor desarrollo de nuevas tecnologías en los pasos iniciales de una revisión: en la búsqueda y en la selección de estudios incluibles. En la búsqueda, la automatización en las distintas bases de datos y el cambio de modelo a uno “de empuje” (como explicamos en el punto 3), son posibles gracias al desarrollo de nuevas tecnologías.

En la selección de estudios, la inteligencia artificial cada vez toma mayor importancia, ahorrando trabajo al grupo humano de investigadores y haciendo el proceso más eficiente. Según la revisión sistemática que se lleve a cabo, hay distintas opciones disponibles al momento de la selección de estudios. Una de ellas es la clasificación genérica, que se basa en máquinas que aprenden de humanos expertos (mientras más aprenden, más sensibles se vuelven) y permite excluir estudios según una condición genérica (por ejemplo: seleccionar todos los ensayos clínicos aleatorizados) ahorrando mucho trabajo en el tamizaje. La otra es la clasificación específica, que se basa en máquinas que aprenden directamente del tamizaje humano hecho para la revisión original. Al momento de elegir alguno de estos mecanismos para hacer más eficiente el proceso, los investigadores deben considerar que los clasificadores específicos tienen mucho menos datos de aprendizaje que los genéricos, y por lo tanto, son menos precisos. No obstante, los clasificadores genéricos no son compatibles con todas las revisiones[23].

En los otros pasos del proceso de la revisión sistemática viva, hay menos experiencia con el uso de nuevas tecnologías, pero nuevas herramientas en desarrollo podrían facilitar el proceso de extracción, de síntesis y de reporte de evidencia. Para la extracción, existen programas que permiten extraer datos directamente desde tablas y gráficos en formato PDF (por ejemplo: Graph2Data) y otros que automatizan la evaluación del riesgo de sesgo (por ejemplo: RobotReviewer), lo que podría ahorrar tiempo y hacer más exacto estos procesos. Para la síntesis y reporte, se podrían generar secciones del manuscrito a partir de plantillas pre hechas[23]. El impacto de estas opciones es desconocido y hace falta tiempo para ver cómo se desarrollarán estas herramientas (u otras) en estos pasos.

Finalmente, es indispensable que exista colaboración dentro de la comunidad científica, y así crear sistemas que permitan evitar la duplicación de trabajo y generar equipos amplios con el fin de llevar evidencia actualizada a los tomadores de decisiones[19],[23].

¿Cuáles son sus desafíos?

Uno de los desafíos que tendrá que enfrentar la revisión sistemática viva, por ser una propuesta nueva y aún en desarrollo, será la necesidad de adaptarse a nuevas herramientas y mecanismos que la puedan volver más eficiente. Eso implica que probablemente sufrirá cambios con el pasar de los años[7],[19]. Los autores de las primeras revisiones sistemáticas con este formato de la colaboración Cochrane señalaron que aún hay muchos desafíos que este modelo debe afrontar, como el poder mantenerlas “vivas” considerando los recursos y el tiempo de trabajo constante que demandan[31]. Además, identificaron ciertas necesidades en el proceso incluyendo la aceleración del proceso de actualización en la interfaz que comunica los hallazgos, la mejora de algunas de las herramientas utilizadas (ejemplo: RevMan) y del flujograma PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses), lo que permitiría que se muestren las búsquedas de forma viva, entre otras[31]. Hay aún muchas maneras posibles de mejorar las herramientas y los mecanismos de publicación de las revisiones sistemáticas vivas, por lo que tenemos que permanecer atentos a los cambios venideros.

Otro gran desafío es utilizar este método de actualización en otros tipos de revisiones. Dentro de este punto, la posibilidad de crear guías de práctica clínica vivas es de vital importancia, ya que permitiría acortar la brecha de tiempo en que la evidencia está disponible para los tomadores de decisiones, y haría más eficiente el mecanismo de actualización de las guías[32]. El modelo propuesto para lograr esto es que, en lugar de seguir la forma tradicional que actualiza toda una guía clínica al mismo tiempo, cada recomendación se actualice a medida que la revisión sistemática viva asociada a esta incorpore nueva evidencia[19],[32].

Finalmente, el objetivo de estas revisiones no debiera ser solo sintetizar evidencia actualizada para los tomadores de decisiones, si no también orientar futuras investigaciones primarias disminuyendo la distancia que hay entre investigadores primarios (de ensayos clínicos) e investigadores secundarios (que realizan las revisiones secundarias, entre ellas las revisiones sistemáticas vivas)[33]. Además, al tener una búsqueda amplia que identifique registros de estudios, las revisiones sistemáticas vivas permitirían suspender ensayos redundantes registrados y recomendar mejoras posibles a otros ensayos[33]. De esta manera, contribuirían a evitar el desperdicio de recursos humanos y materiales en investigación primaria.

Conclusiones

Las revisiones sistemáticas vivas son revisiones sistemáticas que se actualizan frecuentemente, incorporando nueva evidencia a medida que esta se hace disponible. Conservan el rigor metodológico de las revisiones sistemáticas tradicionales, pero hay múltiples consideraciones que tener en mente al momento de llevarlas a cabo. Sus proyecciones son múltiples, y el modelo vivo de actualización puede utilizarse en otros tipos de revisiones, por lo que aumentan aún más las oportunidades que nos puedan entregar en el futuro.

Notas

Roles de contribución
LVM: conceptualización, metodología, investigación, recursos, redacción, edición, revisión, visualización y administración de proyecto. CV: conceptualización, investigación, recursos, redacción, revisión, edición y visualización. CC, MVP: conceptualización, edición, revisión, visualización y supervisión.

Conflictos de intereses
Los autores completaron la declaración de conflictos de interés de ICMJE y declararon que no recibieron fondos por la realización de este artículo; no tienen relaciones financieras con organizaciones que puedan tener interés en el artículo publicado en los últimos tres años y no tienen otras relaciones o actividades que puedan influenciar en la publicación del artículo. Los formularios se pueden solicitar contactando al autor responsable o al Comité Editorial de la Revista. 

Financiamiento
Los autores declaran que no existe financiamiento institucional para la realización de este estudio.

Consideraciones éticas
Al ser un estudio secundario, no fue necesaria su presentación a comité ético científico.

Figura 1. Escenarios de actualización de una revisión sistemática viva.
Licencia Creative Commons Esta obra de Medwave está bajo una licencia Creative Commons Atribución-NoComercial 3.0 Unported. Esta licencia permite el uso, distribución y reproducción del artículo en cualquier medio, siempre y cuando se otorgue el crédito correspondiente al autor del artículo y al medio en que se publica, en este caso, Medwave.

 

This is the second article from a collaborative methodological series of biostatistics and clinical epidemiology narrative reviews. This review aims to describe living systematic reviews’ relevance, the considerations that should be taken when producing one, and the challenges proper of this type of review. The living systematic review is a continuous update that maintains a systematic review’s rigor and methodological quality. The living format is appropriate when the review aims to answer a priority question in terms of health decision-making, the existent certainty of the evidence for this question is low or very low, and new evidence will likely appear soon. To carry out a successful living systematic review, researchers should consider different things, such as: having a continuous and automated search, having update criteria, evaluating how to update the meta-analysis and how to perform the editorial process, and publishing in a friendly format, among others. As living systematic reviews are a new proposal, they will likely change in the future to improve their performance, so we will have to keep an eye on its future updates.

Autores: Laura Vergara-Merino[1,2], Catalina Verdejo[2], Cynthia Carrasco[1], Manuel Vargas-Peirano[1,2]

Filiación:
[1] Centro Interdisciplinario de Estudios en Salud (CIESAL), Universidad de Valparaíso, Valparaíso, Chile
[2] Escuela de Medicina, Universidad de Valparaíso, Valparaíso, Chile

E-mail: manuel.vargas@uv.cl

Correspondencia a:
[1] Angamos 655, Viña del Mar,
Chile

Citación: Vergara-Merino L, Verdejo C, Carrasco C, Vargas-Peirano M. Living systematic review: new inputs and challenges. Medwave 2020;20(11):e8092 doi: 10.5867/medwave.2020.11.8092

Fecha de envío: 25/8/2020

Fecha de aceptación: 26/11/2020

Fecha de publicación: 23/12/2020

Origen: No solicitado.

Tipo de revisión: Revisión por pares externa, por tres árbitros a doble ciego.

Comentarios (0)

Nos complace que usted tenga interés en comentar uno de nuestros artículos. Su comentario será publicado inmediatamente. No obstante, Medwave se reserva el derecho a eliminarlo posteriormente si la dirección editorial considera que su comentario es: ofensivo en algún sentido, irrelevante, trivial, contiene errores de lenguaje, contiene arengas políticas, obedece a fines comerciales, contiene datos de alguna persona en particular, o sugiere cambios en el manejo de pacientes que no hayan sido publicados previamente en alguna revista con revisión por pares.

Aún no hay comentarios en este artículo.


Para comentar debe iniciar sesión

Medwave publica las vistas HTML y descargas PDF por artículo, junto con otras métricas de redes sociales.

Se puede producir un retraso de 48 horas en la actualización de las estadísticas.

  1. Guidelines for guidelines, Standards. NHMRC [accessed 4 Aug 2020]. [Internet]. | Link |
  2. World Health Organization. Handbook for Guideline Development. WHO Library Cataloguing-in-Publication Data 2014.
  3. Borah R, Brown AW, Capers PL, Kaiser KA. Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry. BMJ Open. 2017 Feb 27;7(2):e012545. | CrossRef | PubMed |
  4. Bastian H, Glasziou P, Chalmers I. Seventy-five trials and eleven systematic reviews a day: how will we ever keep up? PLoS Med. 2010 Sep 21;7(9):e1000326. | CrossRef | PubMed |
  5. Shojania KG, Sampson M, Ansari MT, Ji J, Doucette S, Moher D. How quickly do systematic reviews go out of date? A survival analysis. Ann Intern Med. 2007 Aug 21;147(4):224-33. | CrossRef | PubMed |
  6. Créquit P, Trinquart L, Yavchitz A, Ravaud P. Wasted research when systematic reviews fail to provide a complete and up-to-date evidence synthesis: the example of lung cancer. BMC Med. 2016 Jan 20;14:8. | CrossRef | PubMed |
  7. Elliott JH, Turner T, Clavisi O, Thomas J, Higgins JP, Mavergames C, et al. Living systematic reviews: an emerging opportunity to narrow the evidence- practice gap. PLoS Med. 2014 Feb 18;11(2):e1001603. | CrossRef | PubMed |
  8. Hodder RK, O'Brien KM, Stacey FG, Tzelepis F, Wyse RJ, Bartlem KM, et al. Interventions for increasing fruit and vegetable consumption in children aged five years and under. Cochrane Database Syst Rev. 2019 Nov 7;2019(11):CD008552. | CrossRef | PubMed |
  9. Kahale LA, Hakoum MB, Tsolakian IG, Matar CF, Barba M, Yosuico VED, et al. Oral anticoagulation in people with cancer who have no therapeutic or prophylactic indication for anticoagulation. Cochrane Database Syst Rev. 2017 Dec 29;12(12):CD006466. | CrossRef | PubMed |
  10. Akl EA, Kahale LA, Hakoum MB, Matar CF, Sperati F, Barba M, et al. Parenteral anticoagulation in ambulatory patients with cancer. Cochrane Database Syst Rev. 2017 Sep 11;9(9):CD006652. | CrossRef | PubMed |
  11. Sbidian E, Chaimani A, Afach S, Doney L, Dressler C, Hua C, et al. Systemic pharmacological treatments for chronic plaque psoriasis: a network meta- analysis. Cochrane Database Syst Rev. 2020 Jan 9;1(1):CD011535. | CrossRef | PubMed |
  12. Kahale LA, Hakoum MB, Tsolakian IG, Matar CF, Terrenato I, Sperati F, et al. Anticoagulation for the long-term treatment of venous thromboembolism in people with cancer. Cochrane Database Syst Rev. 2018 Jun 19;6(6):CD006650. | CrossRef | PubMed |
  13. Spurling GK, Del Mar CB, Dooley L, Foxlee R, Farley R. Delayed antibiotic prescriptions for respiratory infections. Cochrane Database Syst Rev. 2017 Sep 7;9(9):CD004417. | CrossRef | PubMed |
  14. Counotte MJ, Meili KW, Taghavi K, Calvet G, Sejvar J, Low N. Zika virus infection as a cause of congenital brain abnormalities and Guillain-Barré syndrome: A living systematic review. F1000Res. 2019 Aug 14;8:1433. | CrossRef | PubMed |
  15. Cnossen MC, Scholten AC, Lingsma HF, Synnot A, Tavender E, Gantner D, et al. dherence to Guidelines in Adult Patients with Traumatic Brain Injury: A Living Systematic Review. J Neurotrauma. 2016 Aug 25. | CrossRef | PubMed |
  16. Counotte MJ, Kim CR, Wang J, Bernstein K, Deal CD, Broutet NJN, et al. Sexual transmission of Zika virus and other flaviviruses: A living systematic review. PLoS Med. 2018 Jul 24;15(7):e1002611. | CrossRef | PubMed |
  17. Simpson SQ, Gaines M, Hussein Y, Badgett RG. Early goal-directed therapy for severe sepsis and septic shock: A living systematic review. J Crit Care. 2016 Dec;36:43-48. | CrossRef | PubMed |
  18. Cochrane collaboration. Guidance for the production and publication of Cochrane living systematic reviews: Cochrane Reviews in living mode. 2019. [accessed 22 Jul 2020]. [Internet]. | Link |
  19. Elliott JH, Synnot A, Turner T, Simmonds M, Akl EA, McDonald S, et al. Living systematic review: 1. Introduction-the why, what, when, and how. J Clin Epidemiol. 2017 Nov;91:23-30. | CrossRef | PubMed |
  20. What Review is Right for You? [accessed 18 Aug 2020]. [Internet]. | Link |
  21. Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med. 2009 Jul 21;6(7):e1000097. | CrossRef | PubMed |
  22. Higgins JPT, Thomas J. Cochrane Handbook for Systematic Reviews of Interventions. John Wiley & Sons 2019. | Link |
  23. Thomas J, Noel-Storr A, Marshall I, Wallace B, McDonald S, Mavergames C, et al. Living systematic reviews: 2. Combining human and machine effort. J Clin Epidemiol. 2017 Nov;91:31-37. | CrossRef | PubMed |
  24. Simmonds M, Salanti G, McKenzie J, Elliott J; Living Systematic Review Network. Living systematic reviews: 3. Statistical methods for updating meta- analyses. J Clin Epidemiol. 2017 Nov;91:38-46. | CrossRef | PubMed |
  25. Borm GF, Donders AR. Updating meta-analyses leads to larger type I errors than publication bias. J Clin Epidemiol. 2009 Aug;62(8):825-830.e10. | CrossRef | PubMed |
  26. Thorlund K, Devereaux PJ, Wetterslev J, Guyatt G, Ioannidis JP, Thabane L, et al. Can trial sequential monitoring boundaries reduce spurious inferences from meta-analyses? Int J Epidemiol. 2009 Feb;38(1):276-86. | CrossRef | PubMed |
  27. Higgins JP, Whitehead A, Simmonds M. Sequential methods for random-effects meta-analysis. Stat Med. 2011 Apr 30;30(9):903-21. | CrossRef | PubMed |
  28. Shuster JJ, Neu J. A Pocock approach to sequential meta-analysis of clinical trials. Res Synth Methods. 2013 Sep;4(3):269-79. | CrossRef | PubMed |
  29. Hu M, Cappelleri JC, Lan KK. Applying the law of iterated logarithm to control type I error in cumulative meta-analysis of binary outcomes. Clin Trials. 2007;4(4):329-40. | CrossRef | PubMed |
  30. F1000Research. Open Access Publishing Platform. Beyond a Research Journal. [accessed 26 Jul 2020]. [Internet] | Link |
  31. Millard T, Synnot A, Elliott J, Green S, McDonald S, Turner T. Feasibility and acceptability of living systematic reviews: results from a mixed-methods evaluation. Syst Rev. 2019 Dec 14;8(1):325. | CrossRef | PubMed |
  32. Akl EA, Meerpohl JJ, Elliott J, Kahale LA, Schünemann HJ; Living Systematic Review Network. Living systematic reviews: 4. Living guideline recommendations. J Clin Epidemiol. 2017 Nov;91:47-53. | CrossRef | PubMed |
  33. Sutton AJ. Not enough I say! Expand the remit of living systematic reviews to inform future research. J Clin Epidemiol. 2017 Nov;91:54-55. | CrossRef | PubMed |
Guidelines for guidelines, Standards. NHMRC [accessed 4 Aug 2020]. [Internet]. | Link |

World Health Organization. Handbook for Guideline Development. WHO Library Cataloguing-in-Publication Data 2014.

Borah R, Brown AW, Capers PL, Kaiser KA. Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry. BMJ Open. 2017 Feb 27;7(2):e012545. | CrossRef | PubMed |

Bastian H, Glasziou P, Chalmers I. Seventy-five trials and eleven systematic reviews a day: how will we ever keep up? PLoS Med. 2010 Sep 21;7(9):e1000326. | CrossRef | PubMed |

Shojania KG, Sampson M, Ansari MT, Ji J, Doucette S, Moher D. How quickly do systematic reviews go out of date? A survival analysis. Ann Intern Med. 2007 Aug 21;147(4):224-33. | CrossRef | PubMed |

Créquit P, Trinquart L, Yavchitz A, Ravaud P. Wasted research when systematic reviews fail to provide a complete and up-to-date evidence synthesis: the example of lung cancer. BMC Med. 2016 Jan 20;14:8. | CrossRef | PubMed |

Elliott JH, Turner T, Clavisi O, Thomas J, Higgins JP, Mavergames C, et al. Living systematic reviews: an emerging opportunity to narrow the evidence- practice gap. PLoS Med. 2014 Feb 18;11(2):e1001603. | CrossRef | PubMed |

Hodder RK, O'Brien KM, Stacey FG, Tzelepis F, Wyse RJ, Bartlem KM, et al. Interventions for increasing fruit and vegetable consumption in children aged five years and under. Cochrane Database Syst Rev. 2019 Nov 7;2019(11):CD008552. | CrossRef | PubMed |

Kahale LA, Hakoum MB, Tsolakian IG, Matar CF, Barba M, Yosuico VED, et al. Oral anticoagulation in people with cancer who have no therapeutic or prophylactic indication for anticoagulation. Cochrane Database Syst Rev. 2017 Dec 29;12(12):CD006466. | CrossRef | PubMed |

Akl EA, Kahale LA, Hakoum MB, Matar CF, Sperati F, Barba M, et al. Parenteral anticoagulation in ambulatory patients with cancer. Cochrane Database Syst Rev. 2017 Sep 11;9(9):CD006652. | CrossRef | PubMed |

Sbidian E, Chaimani A, Afach S, Doney L, Dressler C, Hua C, et al. Systemic pharmacological treatments for chronic plaque psoriasis: a network meta- analysis. Cochrane Database Syst Rev. 2020 Jan 9;1(1):CD011535. | CrossRef | PubMed |

Kahale LA, Hakoum MB, Tsolakian IG, Matar CF, Terrenato I, Sperati F, et al. Anticoagulation for the long-term treatment of venous thromboembolism in people with cancer. Cochrane Database Syst Rev. 2018 Jun 19;6(6):CD006650. | CrossRef | PubMed |

Spurling GK, Del Mar CB, Dooley L, Foxlee R, Farley R. Delayed antibiotic prescriptions for respiratory infections. Cochrane Database Syst Rev. 2017 Sep 7;9(9):CD004417. | CrossRef | PubMed |

Counotte MJ, Meili KW, Taghavi K, Calvet G, Sejvar J, Low N. Zika virus infection as a cause of congenital brain abnormalities and Guillain-Barré syndrome: A living systematic review. F1000Res. 2019 Aug 14;8:1433. | CrossRef | PubMed |

Cnossen MC, Scholten AC, Lingsma HF, Synnot A, Tavender E, Gantner D, et al. dherence to Guidelines in Adult Patients with Traumatic Brain Injury: A Living Systematic Review. J Neurotrauma. 2016 Aug 25. | CrossRef | PubMed |

Counotte MJ, Kim CR, Wang J, Bernstein K, Deal CD, Broutet NJN, et al. Sexual transmission of Zika virus and other flaviviruses: A living systematic review. PLoS Med. 2018 Jul 24;15(7):e1002611. | CrossRef | PubMed |

Simpson SQ, Gaines M, Hussein Y, Badgett RG. Early goal-directed therapy for severe sepsis and septic shock: A living systematic review. J Crit Care. 2016 Dec;36:43-48. | CrossRef | PubMed |

Cochrane collaboration. Guidance for the production and publication of Cochrane living systematic reviews: Cochrane Reviews in living mode. 2019. [accessed 22 Jul 2020]. [Internet]. | Link |

Elliott JH, Synnot A, Turner T, Simmonds M, Akl EA, McDonald S, et al. Living systematic review: 1. Introduction-the why, what, when, and how. J Clin Epidemiol. 2017 Nov;91:23-30. | CrossRef | PubMed |

What Review is Right for You? [accessed 18 Aug 2020]. [Internet]. | Link |

Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med. 2009 Jul 21;6(7):e1000097. | CrossRef | PubMed |

Higgins JPT, Thomas J. Cochrane Handbook for Systematic Reviews of Interventions. John Wiley & Sons 2019. | Link |

Thomas J, Noel-Storr A, Marshall I, Wallace B, McDonald S, Mavergames C, et al. Living systematic reviews: 2. Combining human and machine effort. J Clin Epidemiol. 2017 Nov;91:31-37. | CrossRef | PubMed |

Simmonds M, Salanti G, McKenzie J, Elliott J; Living Systematic Review Network. Living systematic reviews: 3. Statistical methods for updating meta- analyses. J Clin Epidemiol. 2017 Nov;91:38-46. | CrossRef | PubMed |

Borm GF, Donders AR. Updating meta-analyses leads to larger type I errors than publication bias. J Clin Epidemiol. 2009 Aug;62(8):825-830.e10. | CrossRef | PubMed |

Thorlund K, Devereaux PJ, Wetterslev J, Guyatt G, Ioannidis JP, Thabane L, et al. Can trial sequential monitoring boundaries reduce spurious inferences from meta-analyses? Int J Epidemiol. 2009 Feb;38(1):276-86. | CrossRef | PubMed |

Higgins JP, Whitehead A, Simmonds M. Sequential methods for random-effects meta-analysis. Stat Med. 2011 Apr 30;30(9):903-21. | CrossRef | PubMed |

Shuster JJ, Neu J. A Pocock approach to sequential meta-analysis of clinical trials. Res Synth Methods. 2013 Sep;4(3):269-79. | CrossRef | PubMed |

Hu M, Cappelleri JC, Lan KK. Applying the law of iterated logarithm to control type I error in cumulative meta-analysis of binary outcomes. Clin Trials. 2007;4(4):329-40. | CrossRef | PubMed |

F1000Research. Open Access Publishing Platform. Beyond a Research Journal. [accessed 26 Jul 2020]. [Internet] | Link |

Millard T, Synnot A, Elliott J, Green S, McDonald S, Turner T. Feasibility and acceptability of living systematic reviews: results from a mixed-methods evaluation. Syst Rev. 2019 Dec 14;8(1):325. | CrossRef | PubMed |

Akl EA, Meerpohl JJ, Elliott J, Kahale LA, Schünemann HJ; Living Systematic Review Network. Living systematic reviews: 4. Living guideline recommendations. J Clin Epidemiol. 2017 Nov;91:47-53. | CrossRef | PubMed |

Sutton AJ. Not enough I say! Expand the remit of living systematic reviews to inform future research. J Clin Epidemiol. 2017 Nov;91:54-55. | CrossRef | PubMed |