Publicado | Última actualización:

.evrob-wrap{overflow-x:auto !important;margin:22px 0 !important;}.evrob-table{border-collapse:collapse !important;width:100% !important;min-width:520px !important;}.evrob-table th{background-color:#0d2137 !important;color:#ffffff !important;padding:10px 12px !important;text-align:left !important;border:1px solid #cddaea !important;font-size:0.92rem !important;}.evrob-table td{background-color:#ffffff !important;color:#1a1a1a !important;padding:9px 12px !important;border:1px solid #cddaea !importante;alineación-vertical:superior !importante;tamaño-fuente:0.92rem !importante;}.evrob-table tr:nth-child(even) td{color-fondo:#f0f5fa !importante;}.evrob-cap{margen:6px 0 0 0 !importante;tamaño-fuente:0.85rem !importante;color:#1a1a1a !importante;}

La herramienta RoB 2 para evaluar el riesgo de sesgo es el instrumento Cochrane revisado para determinar si se puede confiar en el resultado de un ensayo aleatorizado. Sterne y sus colegas la publicaron en el BMJ en 2019 ( BMJ 2019;366:l4898 ). Analiza cinco dominios, plantea un conjunto fijo de preguntas en cada uno y convierte las respuestas en uno de tres juicios: Bajo riesgo de sesgo, Algunas preocupaciones o Alto riesgo de sesgo. Esta guía explica las preguntas de señalización de RoB 2 dominio por dominio, muestra cómo los algoritmos llegan a un juicio, describe un ensayo hipotético desde la primera respuesta hasta la calificación general y establece cómo informar el resultado en una revisión sistemática.

En palabras simples

RoB 2 no asigna una única puntuación de calidad a cada ensayo. Para cada resultado obtenido, se responden preguntas breves sobre cinco aspectos de la ejecución y el informe del ensayo. Estas respuestas generan una calificación para cada aspecto, y la peor calificación determina la calificación general. Un resultado se considera bajo solo cuando todos los dominios son bajos. Si un dominio es alto, el resultado general se considera alto.

Qué evalúa la herramienta de riesgo de sesgo RoB 2

El criterio de riesgo de sesgo (RoB 2) evalúa un único resultado del ensayo, no el ensayo completo. La guía Cochrane define dicho resultado como una estimación del efecto relativo de dos intervenciones sobre un resultado específico. Por lo tanto, un ensayo que informa sobre dolor, función y eventos adversos requiere varias evaluaciones. La guía añade que es probable que estas decisiones coincidan con los resultados de la tabla de Resumen de Hallazgos, aunque aún no ha emitido una regla formal sobre cuántos resultados evaluar ( riskofbias.info ).

Hay tres aspectos del diseño que conviene corregir antes de abrir el primer documento.

  • Los dominios son obligatorios. La guía establece que los cinco dominios abarcan todos los tipos de sesgo que pueden afectar a los ensayos aleatorios, por lo que cada uno es obligatorio y no se deben añadir más dominios.
  • Los nombres describen las causas. Los autores evitaron utilizar las etiquetas de la versión 1, como sesgo de selección, sesgo de rendimiento, sesgo de deserción y sesgo de detección, porque dichas etiquetas no describían los problemas específicos evaluados.
  • Debe declararse el efecto de los intereses. Usted elige entre el efecto de la asignación a la intervención (el efecto de intención de tratar) y el efecto de la adherencia a la intervención (el efecto por protocolo). Solo el dominio 2 cambia con esta elección, y esta no está relacionada con si se combinan las razones de probabilidades o las diferencias de riesgo.

El capítulo 8 del manual advierte que los análisis ingenuos por protocolo y por tratamiento recibido pueden estar seriamente sesgados, y que la estimación válida por protocolo requiere métodos especializados; por lo tanto, la mayoría de las revisiones especifican el efecto de asignación. Nuestra guía sobre el análisis por intención de tratar frente al análisis por protocolo explica por qué esta distinción es importante antes de que comience a responder preguntas.

La evidencia que respalda los dominios es empírica. En el estudio metaepidemiológico ROBES, que abarcó 2,443 ensayos aleatorizados en 228 metaanálisis de Cochrane, las estimaciones del efecto de la intervención fueron, en promedio, exageradas en los ensayos con juicios de riesgo de sesgo alto o poco claro (en comparación con los de bajo riesgo) para la generación de la secuencia, con una razón de razones de probabilidades de 0.91 (intervalo de credibilidad del 95 %: 0.86 a 0.98) ( Savović et al., Am J Epidemiol 2018 ). Ese estudio utilizó los juicios anteriores en lugar de RoB 2, pero ilustra por qué la herramienta pregunta sobre el proceso de aleatorización.

Los cinco dominios y sus preguntas de señalización RoB 2

La tabla que aparece a continuación muestra los cinco dominios para un ensayo de grupos paralelos aleatorizado individualmente, el problema central que evalúa cada uno y el número de preguntas de señalización en la plantilla para el efecto de la asignación a la intervención.

DominioNombre en la herramientaProblema central que pruebaPREGUNTAS
D1Sesgo derivado del proceso de aleatorización¿La secuencia de asignación fue aleatoria y oculta, y las diferencias iniciales sugieren algún problema?3 (1.1 hasta 1.3)
D2Sesgo debido a desviaciones de las intervenciones previstas¿El conocimiento de la asignación provocó desviaciones del protocolo y fue apropiado el análisis?7 (2.1 hasta 2.7)
D3Sesgo debido a la falta de datos de resultados¿Se dispone de datos sobre los resultados para casi todos los participantes aleatorizados, y podría la falta de datos depender del valor real?4 (3.1 hasta 3.4)
D4Sesgo en la medición del resultado¿Fue la medición apropiada y comparable entre los grupos? ¿Pudo el conocimiento de los evaluadores haber influido en ella?5 (4.1 hasta 4.5)
D5Sesgo en la selección del resultado informado¿El resultado reportado fue seleccionado entre varias mediciones o análisis de resultados?3 (5.1 hasta 5.3)

Tabla 1. Dominios y número de preguntas de RoB 2. Fuente: Guía Cochrane RoB 2, 22 de agosto de 2019. El efecto de la adherencia a la intervención utiliza un conjunto de preguntas diferente en el dominio 2.

Cómo se responden las preguntas sobre la señalización de RoB 2

Cada una de las preguntas de señalización de RoB 2 está redactada para ser razonablemente objetiva. Debe responder con una de cinco opciones: Sí, Probablemente sí, Probablemente no, No o Sin información. Las respuestas Sí y Probablemente sí tienen la misma implicación en cuanto al riesgo de sesgo que No y Probablemente no. Las preguntas están formuladas de manera que un Sí puede indicar un riesgo de sesgo bajo o alto, por lo que debe leer el algoritmo y nunca asumir que Sí es la respuesta correcta.

Cuatro reglas evitan la mayoría de los errores al responder.

  1. No utilice la información con moderación. La guía lo reserva para casos en los que el informe es demasiado escueto para justificar un "Probablemente sí" o un "Probablemente no", y donde una suposición sería irrazonable. Un ensayo a gran escala realizado por una unidad de ensayos con experiencia que no describe la generación de secuencias en un documento con límite de palabras tiene más probabilidades de responderse como "Probablemente sí".
  2. Sepa qué significa que falte un detalle. Si una pregunta busca evidencia de un problema, la ausencia de información significa que no hay evidencia de ese problema. Si se refiere a algo que debería informarse, como las pérdidas por falta de seguimiento, el silencio genera preocupación.
  3. Responda cada pregunta de forma independiente. Un desequilibrio en la línea base no debe alterar sus respuestas a las preguntas sobre generación u ocultación de secuencias. Se registra únicamente en la pregunta 1.3.
  4. Cita el informe. El cuadro de texto libre que aparece junto a cada pregunta debe contener citas breves y directas siempre que sea posible.

Los algoritmos asignan las respuestas a una propuesta de juicio de dominio. Considere este resultado como una propuesta. La guía indica que los usuarios deben verificarlo, pueden modificarlo y deben explicar cualquier desviación. Asimismo, señala a los evaluadores que interpreten «riesgo de sesgo» como «riesgo de sesgo material», de modo que las preocupaciones solo deben plantearse cuando un problema pueda afectar la capacidad de extraer conclusiones fiables.

La fiabilidad requiere atención en la práctica. En un estudio de fiabilidad entre evaluadores realizado por Minozzi y colaboradores, cuatro evaluadores aplicaron RoB 2 a 80 resultados que abarcaban siete resultados de 16 ensayos en una revisión Cochrane. Durante el ejercicio de calibración, no lograron un acuerdo sobre el juicio general (kappa de Fleiss de -0.15), y el tiempo medio para aplicar la herramienta fue de 168.5 minutos por estudio. Posteriormente, el equipo redactó un documento de implementación específico para el tema y volvió a medir el acuerdo, y el artículo informa que la fiabilidad mejoró ( Minozzi et al., J Clin Epidemiol 2022 ). La lección práctica es acordar las reglas de interpretación, como qué se considera "casi todos" los datos de resultados, antes de comenzar la extracción.

Dominio 1 RoB 2 Preguntas de señalización, proceso de aleatorización

Las preguntas de señalización RoB 2 en el dominio 1 indagan si la secuencia de asignación fue aleatoria (1.1), si se mantuvo oculta hasta que los participantes fueron reclutados y asignados (1.2) y si las diferencias iniciales sugieren un problema con la aleatorización (1.3). Las diferencias compatibles con el azar no generan riesgo, y un pequeño número de diferencias significativas al nivel de 0.05 generalmente son compatibles con el azar. Un juicio de riesgo bajo requiere una ocultación adecuada y ninguna preocupación sobre la generación de la secuencia.

1.1 Secuencia aleatoria1.2 Oculto1.3 El desequilibrio sugiere un problemaSentencia en rebeldía
Y / PY / NIY / PYN / PN / NIBajo
Y / PYY / PYY / PYAlgunas preocupaciones
N / PN / NIY / PYY / PYAlgunas preocupaciones
AñoNIN / PN / NIAlgunas preocupaciones
AñoNIY / PYAlto
AñoN / PNAñoAlto

Tabla 2. Preguntas de señalización de RoB 2 del dominio 1 y asignación predeterminada. Y = Sí, PY = Probablemente sí, N = No, PN = Probablemente no, NI = Sin información. Fuente: Guía de RoB 2, Tabla 4.

Dominio 2 RoB 2 Preguntas de señalización, desviaciones de las intervenciones previstas

Las preguntas de señalización RoB 2 en el dominio 2 son las más complejas y se dividen en dos partes para el efecto de la asignación. La Parte 1 cubre las preguntas 2.1 a 2.5. Pregunta si los participantes (2.1) y los cuidadores o las personas que administran la intervención (2.2) estaban al tanto de la asignación y, de ser así, si las desviaciones surgieron debido al contexto del ensayo (2.3), si afectaron el resultado (2.4) y si estaban equilibradas entre los grupos (2.5). "Contexto del ensayo" se refiere a los efectos del reclutamiento y la participación, como un participante que se siente desafortunado después de ser asignado al comparador y busca el tratamiento experimental. La falta de adherencia que refleja lo que sucedería fuera del ensayo se responde No o Probablemente no.

La Parte 2 abarca las preguntas 2.6 y 2.7 y pregunta si un análisis apropiado estimó el efecto de la asignación. Los análisis por intención de tratar y los análisis modificados por intención de tratar que excluyen solo a los participantes con datos de resultados faltantes son apropiados. Los análisis ingenuos por protocolo y los análisis según el tratamiento recibido no son apropiados. La pregunta 2.7 pregunta si analizar a las personas en el grupo incorrecto podría haber tenido un impacto sustancial, y la guía señala que esto puede ser cierto incluso cuando menos del 5 % se vieron afectados si el resultado es poco frecuente.

ParterespuestasJuicio parcial
Parte 1 (2.1 a 2.5)2.1 y 2.2 ambos N / PNBajo
Parte 1Ya sea 2.1 o 2.2 Y / PY / NI, y 2.3 N / PNBajo
Parte 1Ya sea conscientes, y 2.3 NIAlgunas preocupaciones
Parte 1Ya sea conscientes, 2.3 Y / PY, y 2.4 N / PNAlgunas preocupaciones
Parte 1Ya sea consciente, 2.3 Y/PY, 2.4 Y/PY/NI y 2.5 Y/PYAlgunas preocupaciones
Parte 1Ya sea consciente, 2.3 Y / PY, 2.4 Y / PY / NI y 2.5 N / PN / NIAlto
Parte 2 (2.6, 2.7)2.6 años / añoBajo
Parte 22.6 N/PN/NI y 2.7 ​​N/PNAlgunas preocupaciones
Parte 22.6 N/PN/NI y 2.7 ​​Y/PY/NIAlto
Dominio 2Ambas partes bajas, o algunas preocupaciones en cualquiera de las partes sin ninguna alta, o altas en cualquiera de las partes.Bajo, Algunas preocupaciones, Alto respectivamente

Tabla 3. Preguntas de señalización del dominio 2 de RoB 2 y asignación predeterminada para el efecto de la asignación. Fuente: Guía de RoB 2, Tabla 6.

Dominio 3 RoB 2 Preguntas de señalización, datos de resultados faltantes

Las preguntas de señalización RoB 2 en el dominio 3 comienzan con una prueba simple. ¿Se disponía de datos para este resultado para todos, o casi todos, los participantes aleatorizados (3.1)? La guía indica que la disponibilidad del 95 % de los participantes suele ser suficiente para un resultado continuo, mientras que para un resultado dicotómico el umbral depende del riesgo del evento. Los valores imputados se consideran datos faltantes. Si los datos están incompletos, se pregunta si hay evidencia de que el resultado no estuvo sesgado por la falta de datos (3.2), si la falta de datos podría depender del valor verdadero (3.3) y si es probable que así fuera (3.4). Las razones para un "Sí" en 3.4 incluyen diferentes proporciones de datos faltantes entre los grupos, diferentes razones entre los grupos y censura por interrupción del tratamiento en los análisis de tiempo hasta el evento.

3.1 Datos completos3.2 Evidencia de ausencia de sesgo3.3 Podría depender del valor real3.4 Probablemente dependeSentencia en rebeldía
Y / PYNANANABajo
N / PN / NIY / PYNANABajo
N / PN / NIN / PNN / PNNABajo
N / PN / NIN / PNY / PY / NIN / PNAlgunas preocupaciones
N / PN / NIN / PNY / PY / NIY / PY / NIAlto

Tabla 4. Preguntas de señalización de RoB 2 del dominio 3 y asignación predeterminada. NA = No aplicable. Fuente: Guía de RoB 2, Tabla 10.

Dominio 4 RoB 2 Preguntas de señalización, medición del resultado

Las preguntas de señalización de riesgo de sesgo (RoB 2) en el dominio 4 preguntan si el método de medición fue inapropiado (4.1), si la medición o la determinación pudieron haber diferido entre los grupos (4.2), si los evaluadores conocían la intervención recibida (4.3), si el conocimiento pudo haber influido en la evaluación (4.4) y si es probable que lo haya hecho (4.5). Para los resultados informados por los participantes, el evaluador es el participante. El conocimiento de la asignación puede influir en los síntomas autoinformados y las calificaciones basadas en el juicio, pero la guía señala que es improbable que influya en resultados como la mortalidad por todas las causas.

respuestasSentencia en rebeldía
4.1 N / PN / NI, 4.2 N / PN y 4.3 N / PN o 4.4 N / PNBajo
4.1 N/PN/NI, 4.2 N/PN, 4.3 Y/PY/NI, 4.4 Y/PY/NI, 4.5 N/PNAlgunas preocupaciones
4.1 N/PN/NI, 4.2 N/PN, 4.3 A/PY/NI, 4.4 A/PY/NI, 4.5 A/PY/NIAlto
4.2 respondió NI con respuestas que, por lo demás, eran correctas.Algunas preocupaciones (Altas si 4.5 es Y / PY / NI)
4.1 años/años anteriores o 4.2 años/años anterioresAlto

Tabla 5. Preguntas de señalización y asignación predeterminada del dominio 4 de RoB 2, resumen. Fuente: Guía de RoB 2, Tabla 12.

Dominio 5 RoB 2 Preguntas de señalización, selección del resultado informado

Las preguntas de señalización de riesgo de sesgo (RoB 2) en el dominio 5 indagan si los datos se analizaron de acuerdo con un plan preespecificado y finalizado antes de que estuvieran disponibles los datos de resultados no enmascarados (5.1), y si es probable que el resultado se haya seleccionado a partir de múltiples mediciones de resultados elegibles (5.2) o múltiples análisis elegibles (5.3). Ejemplos de múltiples mediciones incluyen varias escalas o puntos temporales para un mismo resultado. Ejemplos de múltiples análisis incluyen modelos ajustados y no ajustados o diferentes puntos de corte. Necesita el protocolo o el plan de análisis estadístico para responder con seguridad.

5.1 Se siguió el plan5.2 Seleccionado a partir de mediciones5.3 Seleccionado a partir de análisisSentencia en rebeldía
Y / PYN / PNN / PNBajo
N / PN / NIN / PNN / PNAlgunas preocupaciones
AñoN / PNNIAlgunas preocupaciones
AñoNIN / PN o NIAlgunas preocupaciones
AñoY / PYAñoAlto
AñoAñoY / PYAlto

Tabla 6. Preguntas de señalización y asignación predeterminada del dominio 5 de RoB 2. Fuente: Guía de RoB 2, Tabla 14.

Desde juicios de dominio hasta una calificación general

La evaluación general utiliza las mismas tres etiquetas que los dominios. Un resultado es Bajo solo si todos los dominios son Bajos. Genera cierta preocupación si al menos un dominio plantea dudas y ninguno es Alto. Es Alto si al menos un dominio es Alto, o si existen ciertas preocupaciones en varios dominios de manera que disminuya sustancialmente la confianza en el resultado. Esta última cláusula es una decisión subjetiva, por lo que conviene registrar el razonamiento siempre que se utilice.

Regla de juicio general de la herramienta de riesgo de sesgo RoB 2 que muestra criterios Alto, Algunas preocupaciones y Bajo
Figura 1. Criterio de valoración general. Marcas rojas: Alto riesgo de sesgo; marcas ámbar: Algunas dudas; marcas verdes: Bajo riesgo de sesgo. Revise las filas de arriba a abajo. Fuente: Guía Cochrane RoB 2, 22 de agosto de 2019.

La guía también indica que una evaluación de alto riesgo en cualquier dominio debe tener la misma implicación para el resultado general, independientemente del dominio al que pertenezca. Se desaconseja detenerse una vez que un dominio alcanza un nivel de alto riesgo al realizar una revisión sistemática completa, ya que la transparencia en los registros a nivel de dominio facilita la lectura y el diseño de futuros ensayos. Las reglas de detención solo son aceptables cuando el protocolo establece que los ensayos de alto riesgo no se incluirán en la síntesis.

RoB 2 Cuestiones de señalización en la práctica, un ejemplo resuelto

El siguiente ensayo es hipotético, y las preguntas de señalización de riesgo de sesgo (RoB 2) que se presentan a continuación se responden en su totalidad. Su único propósito es mostrar la mecánica del estudio. Se trata de un ensayo aleatorizado, abierto y de dos grupos, que compara un programa de ejercicio estructurado con la atención habitual en adultos con lumbalgia crónica. Se aleatorizaron un total de 240 adultos, 120 por grupo. El resultado evaluado es la intensidad del dolor en una escala numérica de 0 a 10 a las 12 semanas, según lo informado por el participante. La revisión analiza el efecto de la asignación a la intervención.

DominioRespuestas a las preguntas sobre señalizaciónLa sentencia
Aleatorización D11.1 Y (secuencia generada por computadora). 1.2 Y (asignación web central). 1.3 N (puntuaciones de dolor basales similares).Bajo
Desviaciones D22.1 Y y 2.2 Y (el ejercicio no puede ser cegado). 2.3 PN (algunos participantes de atención habitual buscaron fisioterapia, lo que también ocurriría fuera de un ensayo). 2.4 y 2.5 NA. 2.6 Y (todos los participantes aleatorizados con datos analizados según la asignación). 2.7 NA.Bajo (Parte 1 Bajo, Parte 2 Bajo)
D3 Datos faltantesDatos disponibles para 212 de 240 (88%), con 15 datos faltantes en el grupo de ejercicio y 13 en el grupo de atención habitual. 3.1 N. 3.2 N (sin análisis de sensibilidad). 3.3 Y (las personas con mayor dolor pueden abandonar el estudio). 3.4 PN (proporciones similares, 12.5% frente a 10.8%, y razones registradas similares).Algunas preocupaciones
Medición D44.1 N (una escala de calificación numérica es adecuada). 4.2 N (misma escala y momento). 4.3 Y (el participante es el evaluador y conoce el brazo). 4.4 Y. 4.5 PY (los participantes que esperan beneficiarse del ejercicio pueden reportar menos dolor).Alto
Resultado informado del D55.1 Y (protocolo registrado y plan de análisis finalizados antes de la revelación de la asignación de los grupos). 5.2 N (una escala de dolor en un momento preespecificado). 5.3 N (un análisis preespecificado).Bajo
En generalUn dominio alto (D4).Alto

Tabla 7. Ejemplo práctico de las preguntas de señalización de RoB 2 para un ensayo hipotético. Todos los detalles del ensayo son ficticios a modo de ilustración.

La calificación general es Alta porque el dominio 4 es Alto, independientemente de lo que indiquen los otros cuatro dominios. Nótese que el veredicto depende de una respuesta, la pregunta 4.5. Los revisores deben registrar por qué eligieron Probablemente sí, citando el informe cuando sea posible. La siguiente tabla muestra cómo varía la calificación cuando cambia una respuesta o una característica de diseño.

EscenarioDominio 4Dominio 3Calificación general
Según lo informado (estudio abierto, dolor autoinformado, 4.5 personas-año)AltoAlgunas preocupacionesAlto
Los revisores dan una puntuación de 4.5 PN (no hay motivos para pensar que el informe haya sido influenciado).Algunas preocupacionesAlgunas preocupacionesAlgunas preocupaciones, o altas si ambas juntas reducen sustancialmente la confianza. Documente la elección.
Mismo ensayo, pero el dolor se sustituyó por una prueba de marcha cronometrada por un evaluador ciego (4.3 N).BajoAlgunas preocupacionesAlgunas preocupaciones
Como se informó, la tasa de abandono es mayor en el grupo de ejercicio debido a brotes de dolor (3.4 años).AltoAltoAlto

Tabla 8. Tabla de decisión que muestra cómo responde la calificación general a los cambios en el ensayo hipotético. Los dominios 1, 2 y 5 permanecen bajos en todos los escenarios.

Gráfico de semáforo de riesgo de sesgo RoB 2 de seis ensayos ilustrativos en cinco dominios con juicio general
Figura 2. Resumen con semáforo para seis ensayos ilustrativos. D1 a D5 corresponden a los cinco dominios de riesgo de sesgo (RoB 2). Un signo más verde indica bajo riesgo de sesgo, un signo de interrogación ámbar indica cierta preocupación y una cruz roja indica alto riesgo de sesgo. El ensayo D es el ejemplo resuelto mencionado anteriormente. El ensayo F presenta cierta preocupación en cuatro de los cinco dominios y se califica como alto en general debido a la cláusula de múltiples preocupaciones, que es un juicio del revisor. Datos ilustrativos. Preparado por Editverse.

Los gráficos como el de la Figura 2 son habituales en las revisiones sistemáticas. McGuinness y Higgins crearon el paquete R robvis y la aplicación web Shiny para que los equipos de revisión puedan generar rápidamente gráficos de riesgo de sesgo con calidad de publicación ( Res Synth Methods 2021 ). Para obtener más información sobre cómo dibujar gráficos de ensayos y metaanálisis, consulte nuestra guía sobre gráficos de investigación clínica.

Un ejemplo real: Preguntas de señalización de RoB 2 aplicadas al ensayo ARTHROL.

El ensayo hipotético anterior muestra la mecánica, pero no puede mostrar cómo se comportan las preguntas de señalización de riesgo de sesgo (RoB 2) frente a un informe real. Esta sección aplica la herramienta a un ensayo aleatorizado publicado, ARTHROL, que comparó el resveratrol oral con placebo en adultos con osteoartritis dolorosa de rodilla. El efecto de interés es el efecto de la asignación a la intervención (intención de tratar), y el resultado evaluado es el cambio en el dolor de rodilla en una escala numérica de 0 a 100 a los 3 meses. Las tablas 9 a 11 y la figura 3 muestran la evaluación.

Evaluación ilustrativa de Editverse para la enseñanza

Esta evaluación es un ejemplo didáctico de Editverse que muestra cómo se responden las preguntas clave a partir de un informe publicado. No constituye un juicio sobre los autores ni sobre la calidad de su trabajo. Los revisores que evalúan el mismo ensayo pueden responder de manera diferente a las filas marcadas como preguntas de criterio, y la guía lo contempla.

ParámetroDetail
Cita (Vancouver)Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Resveratrol oral en adultos con osteoartritis de rodilla: un ensayo aleatorizado controlado con placebo (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371 / journal.pmed.1004440
IdentificadoresPMID 39137167. PMCID PMC11321588.
Registro y protocoloClinicalTrials.gov NCT02905799, registrado antes del inicio del ensayo. Protocolo publicado antes de la inclusión del primer participante (Nguyen C, Boutron I, Baron G, et al. BMJ Open. 2017;7(9):e017652. DOI 10.1136 / bmjopen-2017-017652).
LicenciaAcceso abierto bajo licencia CC BY 4.0 (creativecommons.org/licenses/by/4.0Se reutilizan aquí citas breves y una figura con la debida atribución, y todo lo demás se parafrasea. © 2024 Nguyen et al.
¿Por qué este juicio?Se trata de un ensayo de dos brazos, grupos paralelos, doble ciego y controlado con placebo, que se presenta conforme a las directrices CONSORT, y que cuenta con registro, protocolo publicado y plan de análisis estadístico. El diagrama de flujo detalla todos los datos necesarios para los dominios 2 y 3, y el resultado principal es informado por los participantes, lo que justifica el estudio del dominio 4.

Tabla 9. Ensayo seleccionado para el ejemplo real, con identificadores y licencia.

Diagrama de flujo CONSORT del ensayo aleatorizado ARTHROL utilizado para un ejemplo de riesgo de sesgo RoB 2, 142 participantes aleatorizados
Figura 3. Diagrama de flujo CONSORT del ensayo ARTHROL. Reproducido de Nguyen C, et al. PLoS Med 2024;21(8):e1004440 (Figura 1), © 2024 Nguyen et al., bajo CC BY 4.0. El contenido no fue editado y el archivo se convirtió a WebP. La nota al pie del diagrama indica que los cuatro participantes señalados en la aleatorización por problemas de elegibilidad fueron incluidos, seguidos y analizados, lo cual guarda relación con la pregunta 2.6.

La tabla que aparece a continuación sigue el informe del ensayo, el protocolo y el plan de análisis en el orden de los cinco dominios. Cada fila indica dónde se encuentra la evidencia, de modo que un segundo revisor pueda comprobar la respuesta en un minuto. Los juicios sobre los dominios provienen de las tablas de algoritmos de la guía Cochrane del 22 de agosto de 2019, y el algoritmo es solo una propuesta que un evaluador puede modificar justificando su decisión.

PreguntaEvidencia en el documento y dónde encontrarlaRespuesta
Dominio 1, proceso de aleatorización. Nivel de dificultad: Bajo. El algoritmo (tabla de orientación 4) con 1.1 Y, 1.2 Y y 1.3 PN da como resultado Bajo.
1.1 ¿Secuencia aleatoria?Una lista generada por computadora a partir de un estadístico independiente, estratificada por centro, con bloques permutados de 2, 4 o 6 (Métodos, Aleatorización y enmascaramiento).Y
1.2 ¿Secuencia oculta?La asignación se realizó mediante un software de aleatorización seguro, y el protocolo indica que la secuencia se ocultó mediante una interfaz informática en el formulario electrónico de recopilación de datos (e-CRF). Los comprimidos fueron preetiquetados por el proveedor (Métodos; protocolo, Método S1).Y
1.3 ¿El desequilibrio de la línea base sugiere un problema?Los grupos fueron de 71 y 71 bajo asignación 1:1 y el dolor de rodilla basal promedio fue de 56.9 y 55.5 (Tabla 1). Algunas covariables difieren, por ejemplo, el uso previo de AINE 46% frente a 31% y la edad promedio 59.8 frente a 63.0 años, pero el tamaño es plausible por azar con 71 por brazo y aproximadamente 25 características comparadas. DECISIÓN DE JUICIOPN
Dominio 2, desviaciones de las intervenciones previstas (efecto de la asignación). Nivel de dificultad: Bajo. Parte 1 Baja (2.1 y 2.2 ambos PN o N) y Parte 2 Baja (2.6 Y), por lo que el dominio es Bajo (tabla de orientación 6).
2.1 ¿Los participantes están al tanto de la asignación?El artículo indica que los participantes desconocían la identidad de los participantes y que las cápsulas tenían el mismo tamaño, color y sabor (Métodos). No se informa sobre ninguna prueba de éxito del enmascaramiento.PN
2.2 ¿Los cuidadores y repartidores están informados?“Los participantes, los investigadores, los estadísticos y los médicos tratantes desconocían el grupo de asignación” (Métodos, Aleatorización y enmascaramiento).N
2.3 a 2.5 Desviaciones del contexto del ensayoNo aplica porque ni la pregunta 2.1 ni la 2.2 fueron respondidas con Y, PY o NI.NA
2.6 ¿Análisis apropiado?El modelo longitudinal restringido incluye a todos los participantes aleatorizados con al menos un valor basal o posterior al basal, y el diagrama de flujo muestra 71 por grupo analizados para el resultado primario, incluidos cuatro participantes señalados en la aleatorización por problemas de elegibilidad (nota al pie de la Figura 1; Análisis estadístico). El 15 % que no completó la intervención asignada (120 de 142 sí la completaron) se analiza como aleatorizado.Y
2.7 ¿Impacto de analizar en el grupo equivocado?No aplica porque 2.6 era Y.NA
Dominio 3, datos de resultados faltantes. Nivel de dificultad: Bajo. 3.1 PY da Bajo sin más preguntas (Tabla de orientación 10).
3.1 ¿Datos para todos o casi todos?Se disponía de datos de dolor a los tres meses para 67 de 71 y 68 de 71, es decir, 135 de 142 (95.1%), con 4 y 3 datos faltantes (nota al pie de la Tabla 2; Discusión, limitaciones). La guía indica que el 95% suele ser suficiente para un resultado continuo, por lo que esto se ajusta a la regla general. DECISIÓN DE JUICIOPY
3.2 a 3.4No aplica. Si un evaluador prefirió N para 3.1, la pregunta 3.2 dependería de los análisis de sensibilidad del peor y mejor caso en el Apéndice S5, que esta evaluación no abrió.NA
Dominio 4, medición del resultado. Nivel de dificultad: Bajo. 4.1 PN, 4.2 PN y 4.3 PN siguen la primera fila de la tabla de orientación 12, que es Baja.
4.1 ¿Método inapropiado?Una escala numérica de valoración del dolor autoadministrada de 0 a 100, elegida para seguir las recomendaciones de OMERACT y OARSI para ensayos sobre osteoartritis de rodilla (Métodos, Resultados).PN
4.2 ¿Hubo diferencias en las mediciones entre los grupos?Ambos grupos completaron el mismo cuestionario en casa antes de la visita programada, “para minimizar la influencia de los recolectores de datos en las respuestas de los participantes” (Métodos, Resultados).PN
4.3 ¿Los evaluadores estaban al tanto de la intervención?Para los resultados informados por los participantes, el evaluador es el propio participante, y los participantes desconocían la identidad de los participantes (véase 2.1). No se informa de ninguna prueba de éxito del enmascaramiento.PN
4.4 y 4.5No aplica porque 4.3 era PN.NA
Dominio 5, selección del resultado informado. Juicio bajo. 5.1 PY con 5.2 N y 5.3 PN da como resultado Bajo (Tabla de orientación 14).
5.1 ¿Plan preestablecido finalizado antes de que se desvelen los datos?El ensayo se registró antes de su inicio (NCT02905799), y la versión 1.1 del protocolo, del 14 de diciembre de 2016, que sigue vigente en la versión 7.0 del 23 de marzo de 2021, fijó el resultado primario, el punto temporal de 3 meses y el análisis longitudinal restringido (Método S1, secciones 7 y 8.2). Los autores escriben que «Se informaron todos los resultados preespecificados en el protocolo». Los archivos del plan de análisis independiente están fechados el 3 y el 4 de octubre de 2022, después del último seguimiento del 12 de mayo de 2022, y el artículo no indica cuándo se desenmascararon los datos, por lo que esta respuesta depende del protocolo. DECISIÓN DE JUICIOPY
5.2 ¿Seleccionado entre varias mediciones?Una medida principal (escala numérica de valoración del dolor) en un momento preestablecido (3 meses). Las demás escalas se denominan secundarias.N
5.3 ¿Seleccionado de entre varios análisis?El modelo descrito es el modelo longitudinal restringido fijado en el protocolo y el plan de análisis. El protocolo considera el centro como un efecto aleatorio, mientras que el plan de análisis y el artículo utilizan un efecto fijo. Los autores indican que no utilizaron el enfoque GEE previsto para los resultados dicotómicos debido a que solo participaron tres centros, una razón ajena a los resultados. Los análisis de sensibilidad (ANCOVA, modelo de dos puntos temporales, peor y mejor caso) se identifican como tales (Análisis estadístico). DECISIÓN DE JUICIOPN
Valoración general: Baja. Los cinco dominios son de nivel Bajo, que es la única vía para alcanzar el nivel Bajo en la Tabla 1 de orientación.

Tabla 10. Preguntas de señalización de riesgo de sesgo 2 para el resultado primario de ARTHROL (cambio en el dolor de rodilla a los 3 meses, resveratrol versus placebo, efecto de la asignación a la intervención). Y significa sí, PY probablemente sí, PN probablemente no, N no y NA no aplicable. Las referencias a las secciones se refieren a Nguyen et al. 2024 a menos que se indique lo contrario. Las filas etiquetadas como decisiones de juicio son aquellas en las que evaluadores razonables podrían responder de manera diferente. Los algoritmos siguen la guía de riesgo de sesgo 2 de Cochrane del 22 de agosto de 2019 (sus tablas 1, 4, 6, 10, 12 y 14).

El resumen que figura a continuación recoge los juicios y las respuestas que decidieron cada uno de ellos.

DominioLa sentenciaRespuestas que lo decidieronPruebas decisivas
Aleatorización D1Bajo1.1 Y, 1.2 Y, 1.3 PNBloques estratificados generados por computadora, ocultación controlada por software, armas equilibradas
Desviaciones D2BajoParte 1 Baja, Parte 2 BajaParticipantes y clínicos enmascarados, todos los participantes aleatorios analizados según lo asignado
D3 Datos faltantesBajo3.1 años135 de 142 con datos de 3 meses (95.1%)
Medición D4Bajo4.1 PN, 4.2 PN, 4.3 PNMisma escala de autoinforme en ambos grupos, completada por participantes enmascarados.
Resultado informado del D5Bajo5.1 PY, 5.2 N, 5.3 PNRegistrado, el protocolo fijó el resultado y el modelo, una medida primaria
En generalBajoBajo en los cinco dominiosTabla de orientación 1

Tabla 11. Juicios generales y de dominio para el resultado primario de ARTHROL. Las reglas provienen de la guía Cochrane RoB 2 del 22 de agosto de 2019.

Qué te dice y qué no te dice una calificación baja.

El resultado principal fue un cambio medio en el dolor de rodilla de -15.7 puntos con resveratrol y -15.2 con placebo, una diferencia de -0.6 (IC del 95%: -8.0 a 6.9). El riesgo de sesgo de tipo 2 (RoB 2) califica este resultado como bajo porque el ensayo se realizó y se informó de manera que protege contra el sesgo. No dice nada sobre la precisión. Los autores aleatorizaron a 142 de los 164 participantes previstos y describen el estudio como insuficientemente potente, y esa limitación pertenece al juicio de imprecisión en una evaluación GRADE, no a un dominio de RoB 2.

Por qué el incumplimiento no se tuvo en cuenta en contra del ensayo.

Solo 120 de 142 participantes (85 %) completaron la intervención asignada, lo cual resulta preocupante hasta que se recuerda la pregunta formulada. En cuanto al efecto de la asignación, las desviaciones del protocolo solo son relevantes cuando se derivan del contexto del ensayo, y resulta apropiado analizar a todos los participantes según su asignación aleatoria. Una revisión que indagara sobre el efecto de la adherencia a la intervención utilizaría un conjunto diferente de preguntas en el dominio 2 y requeriría un análisis más especializado que el aquí presentado.

Donde dos evaluadores podrían diferir

Cuatro filas llevan una etiqueta de juicio. La fila 1.3 depende de cuánta diferencia de base se acepta como azar, la fila 3.1 se basa en la regla general del 95%, y las filas 5.1 y 5.3 dependen de cómo se trata un plan de análisis con fecha posterior al seguimiento y un cambio en el término central. Según el algoritmo, una respuesta menos favorable a 1.3 (PY), 5.1 (PN o NI) o 5.3 (NI) reduciría ese dominio, y con él la calificación general, a Algunas preocupaciones, y una Y o PY en 5.3 daría Alto. Una N en 3.1 llevaría al evaluador a la pregunta 3.2 y los análisis de sensibilidad. Cualquiera que sea su respuesta, registre la cita y la sección que justifiquen su elección. Ese registro es lo que hace que una evaluación RoB 2 sea verificable por un segundo revisor.

Compare este resultado con el hipotético ensayo abierto descrito anteriormente en esta guía. En ese caso, un resultado informado por el participante en un ensayo no enmascarado elevó el dominio 4 a Alto. Aquí, el mismo tipo de resultado se encuentra en un diseño enmascarado y controlado con placebo, por lo que el dominio 4 permanece Bajo. El tipo de resultado no cambió la calificación, sino el enmascaramiento. El conjunto completo de preguntas de señalización se encuentra en la guía Cochrane RoB 2 y los detalles del ensayo están en el artículo original.

Variantes de clúster y de cruce en resumen

La guía de 2019 proporciona tres plantillas, una para cada uno de los siguientes tipos de ensayos: ensayos aleatorizados de grupos paralelos individuales, ensayos aleatorizados de grupos paralelos por conglomerados (incluidos los diseños de cuña escalonada) y ensayos cruzados aleatorizados y otros diseños emparejados. Los cinco dominios anteriores se aplican a los ensayos aleatorizados individuales, incluidos los ensayos cruzados. Los ensayos aleatorizados por conglomerados reciben un dominio adicional, 1b, que cubre el sesgo derivado de la identificación o el reclutamiento de participantes individuales dentro de los conglomerados. La guía indica que aún no existe una versión para los ensayos cruzados por conglomerados. El Manual Cochrane resume ambas variantes en su Capítulo 23, y las plantillas oficiales se encuentran en riskofbias.info . Si se encuentra con un ensayo cruzado, nuestro artículo sobre el diseño cruzado y los períodos de lavado explica las características del diseño que deberá evaluar.

Informe sobre el riesgo de bioseguridad (RoB) 2: Preguntas y juicios sobre señalización

El informe debe permitir al lector reproducir sus juicios. La guía recomienda presentar los juicios consensuados a nivel de dominio en la revisión principal, como una tabla, una figura o dentro de un diagrama de bosque, y colocar las respuestas de señalización con su texto de apoyo en un apéndice. Los registros individuales de los evaluadores deben ir en un suplemento y no deben ser prominentes. Cubra los siguientes puntos en su metodología.

  1. Indique el nombre de la herramienta y su versión, y especifique la plantilla de diseño que utilizó para cada prueba.
  2. Indique el efecto del interés y, para el cumplimiento, qué desviaciones evaluó.
  3. Enumere los resultados y los momentos evaluados, e indique qué resultado de cada ensayo eligió cuando se informaron varios.
  4. Describa cómo trabajaban los evaluadores y cómo se resolvían los desacuerdos.
  5. Explique cada anulación de una propuesta de algoritmo y cualquier uso de la cláusula de múltiples preocupaciones.
  6. Cita las fuentes que utilizaste para cada ensayo, incluidos los protocolos y las entradas del registro, ya que el dominio 5 depende de ellas.

Frase de métodos que puedes adaptar

Se evaluó el riesgo de sesgo en cada ensayo aleatorizado incluido para [resultado] en [momento] utilizando RoB 2 (guía del 22 de agosto de 2019) para el efecto de la asignación a la intervención. Dos revisores respondieron las preguntas de señalización de forma independiente, resolvieron las diferencias mediante discusión y registraron las citas de apoyo. Los juicios generales y a nivel de dominio (Bajo, Algunas preocupaciones, Alto) se alcanzaron utilizando los algoritmos publicados, y cualquier modificación se documenta en el suplemento.

Analice la revisión según PRISMA 2020 y coloque su indicador de riesgo de sesgo junto al diagrama de bosque. Nuestro generador de diagramas de flujo PRISMA 2020 se encarga del diagrama, y ​​la calculadora de tablas de evidencia GRADE facilita el siguiente paso. Si está redactando esta sección dentro de una tesis, el artículo sobre cómo relacionar las directrices de presentación de informes con los capítulos de la tesis muestra dónde corresponde cada elemento.

Errores comunes al aplicar RoB 2

  • Evaluar el ensayo en lugar del resultado. Los problemas de aleatorización afectan a todo el estudio, pero las desviaciones, la medición y la selección del resultado informado están ligadas al resultado específico.
  • Confiar en la etiqueta "intención de tratar". La guía señala que el término no tiene una definición consistente en los informes de los estudios. Compare el análisis real con la pregunta 2.6.
  • Considerar el ajuste de covariables como una solución para la aleatorización defectuosa. La guía indica que un ensayo que controló los desequilibrios iniciales para mitigar los fallos de la aleatorización debería evaluarse con ROBINS-I en su lugar (Sterne et al., BMJ 2016).
  • Dejar que una respuesta conduzca a otra. Responda cada pregunta basándose en sus propias pruebas.
  • Por defecto, no hay información. Utilice "Probablemente sí" o "Probablemente no" cuando las circunstancias permitan emitir un juicio razonable.
  • Omitiendo la nota de implementación. Los resultados de fiabilidad mostrados anteriormente demuestran por qué merece la pena dedicar tiempo a una hoja de reglas breve y específica para cada tema.
  • Presentar la salida del algoritmo sin razonamiento alguno. Una cuadrícula de colores simple genera dudas. Añada justificaciones abreviadas.

Varios de estos errores también aparecen en la lista más amplia de nuestra guía sobre errores comunes en metaanálisis. Si no está seguro de cuántos ensayos necesita su síntesis una vez descartados los de alto riesgo, consulte el número mínimo de estudios para un metaanálisis. Para conocer la jerarquía del diseño del estudio que sustenta estas decisiones, consulte los niveles de evidencia en la investigación clínica, y para el siguiente paso tras el riesgo de sesgo, consulte nuestra guía de metodología GRADE . Nuestra descripción general anterior de la herramienta Cochrane de riesgo de sesgo 2.0 ofrece una introducción más amplia, y nuestra clase magistral sobre metaanálisis abarca la agrupación, la heterogeneidad y el sesgo de publicación.

Herramientas y recursos

Editverse ofrece tres herramientas gratuitas que facilitan la evaluación del riesgo de sesgo. Úsalas para dibujar figuras, seleccionar pruebas y crear diagramas de flujo.

Herramientas de investigación gratuitas de Editverse

  • GraphProCrea gráficos listos para publicar, de 25 tipos diferentes, con pruebas t, ANOVA, correlación y valores p de chi-cuadrado integrados. Gratis, sin necesidad de registrarse.
  • EstatProCalculadoras estadísticas gratuitas y una herramienta de selección de pruebas que abarca comparaciones de grupos, resultados categóricos, análisis de tiempo hasta el evento y precisión diagnóstica.
  • Diagrama de flujo Pro: genera diagramas de flujo PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE y ARRIVE directamente en tu navegador.

Apoyo profesional para la evaluación del riesgo de sesgo y las revisiones sistemáticas.

Una evaluación sólida del riesgo de sesgo (RoB 2) comienza con el protocolo de revisión, ya que allí se definen el efecto de interés, los resultados y las reglas de aplicación. Editverse ofrece soporte para revisiones sistemáticas desde el protocolo hasta el manuscrito, con informes alineados con COPE, ICMJE y GPP 2022. Los paquetes que se describen a continuación son los que mejor se ajustan al flujo de trabajo de evaluación del riesgo de sesgo descrito en este artículo.

Protocolo

$500

Protocolo compatible con PROSPERO, que incluye criterios de elegibilidad, estrategia de búsqueda, plan de extracción de datos y orientación para seleccionar la herramienta de evaluación del riesgo de sesgo. El plazo de entrega estándar es de 2 a 3 semanas.

Ver paquete →

Revisión sistemática más metaanálisis

$1,800

Revisión completa y metaanálisis de hasta 15 estudios elegibles, con evaluación de la calidad, cifras de riesgo de sesgo, gráficos de bosque y cumplimiento de PRISMA 2020.

Ver paquete →

¿No está seguro de qué paquete se ajusta a su pregunta? Nuestra página de servicios de redacción de revisiones sistemáticas explica cómo funciona el proceso, y nuestros servicios de redacción de manuscritos cubren la redacción una vez que sus evaluaciones estén completas.

Conclusión

La herramienta de riesgo de sesgo RoB 2 premia una rutina disciplinada. Decida el efecto de interés y los resultados a evaluar, redacte una breve hoja de reglas, responda a cada una de las preguntas de señalización de RoB 2 del informe y el protocolo, y deje que los algoritmos propongan calificaciones de dominio que usted verificará posteriormente. La calificación general sigue al dominio con peor desempeño, con una excepción basada en el juicio para varias preocupaciones. Presente los juicios consensuados en el texto principal y las respuestas de apoyo en un suplemento. De esta manera, la evaluación se convierte en un registro transparente que los lectores, revisores y paneles GRADE pueden consultar.

Referencias

  1. Sterne JAC, Savović J, Page MJ, et al. RoB 2: una herramienta revisada para evaluar el riesgo de sesgo en ensayos aleatorizados. BMJ. 2019;366:l4898. DOI 10.1136/bmj.l4898. PMID 31462531. Fuente abierta
  2. Higgins JPT, Savović J, Page MJ, Elbers RG, Sterne JAC, editores. Herramienta revisada de Cochrane para la evaluación del riesgo de sesgo en ensayos aleatorizados (RoB 2). Documento de orientación, 22 de agosto de 2019. Fuente abierta
  3. Manual Cochrane para revisiones sistemáticas de intervenciones, Capítulo 8, Evaluación del riesgo de sesgo en un ensayo aleatorizado. Fuente abierta
  4. Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: una herramienta para evaluar el riesgo de sesgo en estudios de intervenciones no aleatorizados. BMJ. 2016;355:i4919. DOI 10.1136/bmj.i4919. PMID 27733354. Fuente abierta
  5. Savović J, Turner RM, Mawdsley D, et al. Asociación entre las evaluaciones del riesgo de sesgo y los resultados de los ensayos aleatorizados en las revisiones Cochrane: el estudio metaepidemiológico ROBES. Am J Epidemiol. 2018;187(5):1113-1122. DOI 10.1093/aje/kwx344. PMID 29126260. Fuente abierta
  6. Minozzi S, Dwan K, Borrelli F, Filippini G. La fiabilidad de la herramienta revisada de riesgo de sesgo de Cochrane para ensayos aleatorizados (RoB2) mejoró con el uso de instrucciones de implementación. J Clin Epidemiol. 2022;141:99-105. DOI 10.1016/j.jclinepi.2021.09.021. PMID 34537386. Fuente abierta
  7. McGuinness LA, Higgins JPT. Visualización del riesgo de sesgo (robvis): un paquete de R y una aplicación web Shiny para visualizar evaluaciones del riesgo de sesgo. Res Synth Methods. 2021;12(1):55-61. DOI 10.1002/jrsm.1411. PMID 32336025. Fuente abierta
  8. Page MJ, McKenzie JE, Bossuyt PM, et al. La declaración PRISMA 2020: una guía actualizada para la presentación de informes de revisiones sistemáticas. BMJ. 2021;372:n71. DOI 10.1136/bmj.n71. PMID 33782057. Fuente abierta
  9. Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Resveratrol oral en adultos con osteoartritis de rodilla: un ensayo aleatorizado controlado con placebo (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/journal.pmed.1004440. PMID 39137167. Fuente abierta
  10. Nguyen C, Boutron I, Baron G, Coudeyre E, Berenbaum F, Poiraudeau S, et al. Evolución del dolor a los 3 meses con resveratrol oral en la osteoartritis de rodilla (ARTHROL): protocolo para un ensayo multicéntrico aleatorizado, doble ciego y controlado con placebo. BMJ Open. 2017;7(9):e017652. DOI 10.1136/bmjopen-2017-017652. PMID 28965100. Fuente abierta