Publicado
La herramienta PROBAST (Herramienta de evaluación del riesgo de sesgo del modelo de predicción) es el instrumento estándar para juzgar si un modelo de predicción publicado es fiable y si se ajusta a los pacientes que le interesan. Wolff y sus colegas la publicaron en Annals of Internal Medicine en 2019 [1], y un artículo complementario explica y desarrolla el razonamiento detrás de cada pregunta [2]. Esta publicación explica cómo está estructurada la herramienta PROBAST y luego aplica las 20 preguntas de señalización, una fila a la vez, a un modelo real de acceso abierto, el modelo de parto prematuro QUIDS publicado en PLOS Medicine [3]. Cada fila apunta a la sección del artículo que la respalda, y cada fila que se basa en un juicio está etiquetada.
En palabras simples
Un modelo predictivo transforma algunos datos sobre un paciente en un riesgo. La herramienta PROBAST formula 20 preguntas específicas sobre cómo se construyó y probó el modelo, agrupadas en cuatro dominios (participantes, predictores, resultado y análisis), para determinar si la precisión reportada podría estar sobreestimada. A continuación, plantea una pregunta adicional: ¿el modelo se ajusta a las necesidades de sus pacientes? Un modelo puede estar cuidadosamente diseñado y aun así no ser el adecuado para su clínica.
Qué evalúa la herramienta PROBAST
La herramienta PROBAST fue diseñada para revisiones sistemáticas de modelos de predicción, y funciona igualmente bien para un clínico o editor que evalúa un solo artículo. Abarca modelos de diagnóstico (¿está presente la afección ahora?) y modelos de pronóstico (¿ocurrirá un evento más adelante?), y se aplica a estudios que desarrollan, validan o actualizan un modelo [1,2]. Produce dos veredictos distintos. El primero es el riesgo de sesgo, definido como deficiencias en el diseño, la realización o el análisis que distorsionan las estimaciones de la capacidad predictiva del modelo. El segundo es la preocupación por la aplicabilidad, que pregunta si la población, los predictores y el resultado del estudio se ajustan a la pregunta planteada.
El sesgo es relevante aquí debido al optimismo. Un modelo que es lo suficientemente flexible como para ajustarse demasiado a sus datos de desarrollo parece excelente en esos datos, pero tiene un rendimiento inferior en pacientes nuevos. De Jong y sus colegas describen esto como una brecha sistemática entre el rendimiento declarado durante el desarrollo y el rendimiento obtenido en la validación [4]. Su metaanálisis de 50 revisiones sistemáticas que utilizaron la herramienta PROBAST abarcó 1,510 estudios y 2,104 modelos, y todos los dominios mostraron un riesgo de sesgo incierto o alto [4]. Por lo tanto, la evaluación es un paso rutinario, no una excepción.
Cada pregunta de señalización admite una de cinco respuestas: sí, probablemente sí, probablemente no, no o ninguna información. Las preguntas contribuyen a una calificación del dominio: baja, alta o incierta. En la guía PROBAST, un dominio es bajo cuando todas las preguntas se responden con sí o probablemente sí; es potencialmente alto cuando al menos una pregunta se responde con no o probablemente no; e incierto cuando falta información y ninguna pregunta se responde con no [1,2]. Las calificaciones no se suman para obtener una puntuación, y la decisión final recae en el revisor.
¿Dónde se sitúa la herramienta PROBAST entre las herramientas relacionadas?
La herramienta PROBAST evalúa los métodos, no los informes. La exhaustividad de los informes corresponde a TRIPOD, que se cubre en nuestra guía para la presentación de informes de modelos de predicción con TRIPOD+AI . La extracción de datos para las revisiones de modelos de predicción sigue la lista de verificación CHARMS [5], y el tamaño de la muestra para el desarrollo del modelo sigue los criterios de Riley y colegas [6], que reemplazan la antigua regla fija de eventos por variable. Para otros diseños de estudio, las herramientas de correspondencia son RoB 2 para ensayos (véase nuestro tutorial de RoB 2 ), ROBINS-I para intervenciones no aleatorizadas (véase la guía de ROBINS-I ) y QUADAS-2 para estudios de precisión diagnóstica (véase QUADAS-2 en la práctica ). Nuestra guía de evaluación del riesgo de sesgo cubre la herramienta de ensayo en profundidad.
PROBAST+AI, la actualización de 2025
En 2025, Moons y sus colegas publicaron PROBAST+AI en el BMJ [7]. Consta de dos partes. La parte de desarrollo del modelo utiliza 16 preguntas de señalización para evaluar la calidad y la aplicabilidad, y la parte de evaluación del modelo utiliza 18 preguntas de señalización para evaluar el riesgo de sesgo y la aplicabilidad. Ambas partes mantienen cuatro dominios, ahora denominados participantes y fuentes de datos, predictores, resultado y análisis, y la aplicabilidad se sigue evaluando para los tres primeros. Los autores afirman que PROBAST+AI puede reemplazar la herramienta original [7]. Esta publicación aplica la herramienta original de 2019, porque sus 20 preguntas son fijas y son las que se utilizan en la literatura de revisión existente [4]. Si su protocolo, supervisor o revista objetivo nombra PROBAST+AI, utilice el conjunto de preguntas de 2025 y mantenga el mismo hábito de puntero de evidencia que se muestra a continuación.
La herramienta PROBAST de un vistazo: 4 dominios y 20 preguntas de señalización.
La tabla parafrasea las 20 preguntas en palabras sencillas e indica dónde suele ubicarse la evidencia en un documento. Algunas preguntas de análisis, como la 4.5 y la 4.9, se aplican únicamente al desarrollo del modelo, y otras se adaptan a la parte que se está evaluando.
| Pregunta | Lo que pide, en palabras sencillas | Donde mirar |
|---|---|---|
| 1.1 | ¿La fuente de datos es adecuada, como por ejemplo una cohorte o un ensayo clínico, en lugar de un diseño que distorsione el riesgo absoluto? | Resumen, párrafo sobre el diseño del estudio |
| 1.2 | ¿Son los criterios de inclusión y exclusión adecuados para la población a la que va dirigido? | Texto sobre los requisitos de elegibilidad, diagrama de flujo de participantes |
| 2.1 | ¿Se definen y miden los predictores de la misma manera para todos los participantes? | Definiciones de predictores, protocolos de medición |
| 2.2 | ¿Se midieron los predictores sin conocer el resultado? | Diseño del estudio, declaraciones sobre el enmascaramiento |
| 2.3 | ¿Estarán disponibles todos los predictores cuando se pretenda utilizar el modelo? | Lista de predictores en relación con el uso previsto |
| 3.1 | ¿El resultado se determinó mediante un método adecuado? | Definición del resultado y fuente de datos |
| 3.2 | ¿Se utilizó una definición de resultado preespecificada o estándar? | Protocolo, registro, métodos |
| 3.3 | ¿El resultado se define sin utilizar ningún predictor? | Definición del resultado en función de la lista de predictores |
| 3.4 | ¿El resultado se definió y determinó de la misma manera para todos los participantes? | Procedimientos multicéntricos, suplemento |
| 3.5 | ¿Se determinó el resultado sin conocer los valores predictivos? | Descripción del evaluador sobre el enmascaramiento |
| 3.6 | ¿Es apropiado el tiempo transcurrido entre la medición del predictor y el resultado? | Ventana de seguimiento, uso previsto |
| 4.1 | ¿Hay suficientes eventos de resultado para la tarea? | Eventos y predictores candidatos, sección de tamaño de la muestra |
| 4.2 | ¿Se manejaron adecuadamente los predictores continuos y categóricos? | Métodos estadísticos, transformaciones |
| 4.3 | ¿Se incluyeron en el análisis todos los participantes inscritos? | Diagrama de flujo, población de análisis |
| 4.4 | ¿Se gestionaron adecuadamente los datos faltantes? | Párrafo con datos faltantes, Tabla 1 |
| 4.5 | ¿La selección de predictores estuvo exenta de cribado univariado? (solo desarrollo) | Párrafo sobre la construcción de modelos |
| 4.6 | ¿Se abordaron la censura, los riesgos competitivos y el muestreo de los controles cuando fue pertinente? | Tipo de modelo, descripción de seguimiento |
| 4.7 | ¿Se informaron medidas de rendimiento adecuadas, incluyendo calibración y discriminación? | Sección de rendimiento, gráfica de calibración |
| 4.8 | ¿Se abordaron el sobreajuste, el subajuste y el optimismo? | Validación interna, contracción |
| 4.9 | ¿Coinciden los predictores y ponderaciones finales con el análisis multivariable reportado? (solo en desarrollo) | Tabla modelo, ecuación |
La aplicabilidad se basa en tres criterios adicionales en lugar de preguntas de señalización. Los participantes y el contexto, los predictores y el resultado se califican como de baja, alta o incierta preocupación en relación con la pregunta de la revisión. La aplicabilidad explica por qué un mismo artículo puede ser adecuado para una revisión y no para otra.
Cómo realizar una evaluación con la herramienta PROBAST en cinco pasos
- Escribe la pregunta de la revisión. Antes de abrir cualquier documento, indique la población, los predictores, el resultado, el momento, el contexto y el uso previsto del modelo. No se puede evaluar su aplicabilidad sin esta información.
- Clasifica el documento. Clasifique cada documento como de desarrollo, validación o ambos, y califique cada parte por separado. Un documento que combine ambas funciones puede obtener calificaciones diferentes para cada sección.
- Responda a las preguntas de señalización con una pista que sirva de evidencia. Anote la sección, tabla o figura que respalda cada respuesta y cite con moderación.
- Califica cada dominio. Aplique la regla de que cualquier "no" o "probablemente no" hace que un dominio sea potencialmente alto, y luego decida si la razón es una fuente real de distorsión.
- Emita el juicio general. El artículo presenta un bajo riesgo de sesgo solo cuando los cuatro dominios son bajos, y la misma lógica se aplica a la aplicabilidad.
Utilice dos revisores que trabajen de forma independiente y luego concilien sus resultados. Una metarevisión de 2023 sobre el uso de PROBAST informó tendencias estables en el sesgo a lo largo del tiempo y un bajo acuerdo entre evaluadores [8], lo cual es la razón práctica para acordar la pregunta de revisión, el umbral de eventos y el manejo de las respuestas sin información antes de que comience la evaluación.
El artículo de acceso abierto que evaluamos
El artículo es Stock y colegas, Desarrollo y validación de un modelo de predicción de riesgo de parto prematuro para mujeres con síntomas de parto prematuro (el estudio QUIDS) , publicado en PLOS Medicine en 2021 [3]. Es un caso de enseñanza sólido por tres razones. Contiene una parte de desarrollo y una parte de validación externa, describe sus métodos con suficiente detalle para responder a la mayoría de las preguntas clave del texto principal, y sus autores señalan los puntos débiles de su propio diseño, lo que hace visibles las decisiones tomadas. La licencia es CC BY 4.0, confirmada por el campo de licencia de la versión de registro de Crossref, el campo de licencia de Europe PMC y la declaración de permisos JATS en el texto completo. El artículo está indexado en PubMed como PMID 34228732 (PMCID PMC8259998).
El modelo estima el riesgo de parto prematuro espontáneo en los 7 días posteriores al parto en mujeres con signos y síntomas de trabajo de parto prematuro. Se desarrolló mediante un metaanálisis de datos individuales de participantes de cinco estudios de cohortes prospectivos (1,783 mujeres, 139 eventos) y se validó en una nueva cohorte prospectiva en 26 unidades del Reino Unido (2,924 mujeres, 85 eventos). El modelo final combina la fibronectina fetal cuantitativa (qfFN) con el tabaquismo, la etnia, la nuliparidad y el embarazo múltiple.
| Elemento de la pregunta de revisión | Texto utilizado para esta evaluación |
|---|---|
| Población y entorno | Mujeres embarazadas de entre 22+0 y 34+6 semanas con signos y síntomas de parto prematuro y membranas intactas, evaluadas en unidades obstétricas hospitalarias que disponen de un analizador cuantitativo de fFN. |
| Predictores | fFN cuantitativa más factores clínicos de rutina disponibles en la primera evaluación. |
| Resultado y plazos | Parto prematuro espontáneo dentro de los 7 días posteriores a la prueba. |
| Uso previsto | Apoyar las decisiones sobre ingreso y tratamiento en mujeres sintomáticas |
Estas son nuestras elecciones para el ejercicio, no afirmaciones del artículo. Un revisor con una pregunta diferente, por ejemplo, una revisión de modelos para su uso donde no existe un analizador, calificaría la aplicabilidad de manera distinta. La evaluación se basa únicamente en el artículo principal, incluyendo sus tablas y figuras. Las tablas del texto complementario S1 no se revisaron, por lo que las filas que dependen de ellas lo indican.
Aplicación de la herramienta PROBAST a QUIDS, dominios 1 a 3
Dominio 1, participantes
| Q | Respuesta | Evidencia e indicio | Etiqueta |
|---|---|---|---|
| 1.1 | Sí: | El desarrollo se basó en un metaanálisis de datos individuales de participantes (IPD) de cinco estudios de cohortes prospectivos europeos (Stock et al., Resumen). La validación se realizó con una cohorte prospectiva en 26 unidades dirigidas por consultores del Reino Unido (Métodos, Validación externa). Las cohortes prospectivas preservan el riesgo absoluto. | |
| 1.2 | Probablemente si | La elegibilidad se define por la edad gestacional, los síntomas, las membranas intactas y la ausencia de contraindicaciones para la prueba de fFN (Métodos, Resultado del modelo, población objetivo y predictores candidatos). Cuatro conjuntos de datos iniciales "utilizaron ELISA para determinar la concentración de fFN y fueron excluidos" (Métodos, Desarrollo del modelo), y 27 de 2,968 mujeres no fueron elegibles en el examen con espéculo (Resultados, Validación externa; Fig. 1). Los síntomas fueron definidos por cada investigador. | Decisión de juicio |
Calificación del dominio 1: bajo riesgo de sesgo. Aplicabilidad: baja preocupación , ya que la población indicada coincide con la pregunta de la revisión.
Dominio 2, predictores
| Q | Respuesta | Evidencia e indicio | Etiqueta |
|---|---|---|---|
| 2.1 | Probablemente si | Los estudios de desarrollo utilizaron “resultados cuantitativos de fFN determinados por el sistema analizador rápido de fFN 10Q” (Métodos, Desarrollo del modelo). La validación empleó un analizador adaptado en cada centro con control de calidad (Métodos, Validación externa; los detalles del control de calidad se encuentran en el Texto complementario S1, no revisado). En el texto principal no se describe cómo se armonizaron el tabaquismo y la etnia en las cinco cohortes. | Decisión de juicio |
| 2.2 | Sí: | Las cohortes eran prospectivas, por lo que el resultado era desconocido en el momento de la medición. En la validación, "El resultado cuantitativo de fFN se ocultó a los médicos y se almacenó como un código de 3 letras" (Métodos, Validación externa). | |
| 2.3 | Sí: | “Todos los predictores candidatos incluidos están disponibles en el momento de la evaluación inicial de los signos y síntomas del parto prematuro.” (Métodos, resultado del modelo, población objetivo y predictores candidatos). |
Clasificación del dominio 2: bajo riesgo de sesgo. Aplicabilidad: baja preocupación para unidades con analizador. La introducción señala que la fFN cuantitativa carece de aprobación de la FDA de EE. UU. y que el NICE consideró que la evidencia era insuficiente para recomendarla, por lo que una revisión dirigida a entornos sin analizador debería generar una gran preocupación al respecto.
Dominio 3, resultado
| Q | Respuesta | Evidencia e indicio | Etiqueta |
|---|---|---|---|
| 3.1 | Probablemente si | La fecha de nacimiento y si el parto fue espontáneo se obtuvieron de los registros. «Todos los demás datos se recopilaron de los registros de los participantes y se registraron en la base de datos del estudio» (Métodos, Validación externa). El momento del nacimiento es objetivo, pero el texto principal no describe una evaluación independiente para determinar si el parto fue espontáneo o médicamente indicado. | Decisión de juicio |
| 3.2 | Sí: | El resultado principal fue el parto prematuro espontáneo dentro de los 7 días posteriores a la prueba cuantitativa de fFN (Métodos, Resultado del modelo, población objetivo y predictores candidatos), según lo establecido en protocolos publicados (Métodos, Supervisión del estudio). Los análisis que incluyeron todos los partos prematuros se marcaron como no preespecificados (Métodos, Modelos adicionales y análisis de subgrupos). | |
| 3.3 | Sí: | El resultado es un nacimiento dentro de un intervalo de tiempo. Ninguno de los cinco predictores finales forma parte de esa definición (Resultados, Desarrollo del modelo y validación interna). | |
| 3.4 | Probablemente si | Se aplicó una misma definición a todas las cohortes y se describieron los centros de validación con diferentes niveles de atención neonatal (Métodos, Validación externa). El resultado no depende de la práctica neonatal local. | |
| 3.5 | Probablemente si | El valor de qfFN se ocultó, por lo que no pudo influir en la determinación del resultado. Los médicos sí vieron el resultado cualitativo de fFN, y la tocolisis podría retrasar el parto. Los autores afirman: «La tocolisis se incluyó en el análisis de sensibilidad para explorar cualquier posible efecto del tratamiento sobre el retraso del parto» (Métodos, Resultado del modelo, población objetivo y predictores candidatos). | Decisión de juicio |
| 3.6 | Sí: | “La elección de este resultado se basó en nuestro estudio cualitativo previo realizado con mujeres y profesionales de la salud” (Métodos, misma subsección). La Introducción vincula el beneficio de los corticosteroides prenatales con su administración dentro de los 7 días posteriores al parto. |
Calificación del dominio 3: bajo riesgo de sesgo. Aplicabilidad: baja preocupación , ya que el resultado a los 7 días coincide con la pregunta de la revisión.
Aplicación de la herramienta PROBAST a QUIDS, análisis del dominio 4
El dominio 4 es donde la mayoría de los artículos de predicción pierden su calificación, y es el único dominio donde las partes de desarrollo y validación de QUIDS divergen. Ambas partes están marcadas como Dev y Val. Dos pequeños cálculos basados en los datos del propio artículo se encuentran detrás de las filas 4.1 y 4.9.
- Eventos por predictor candidato. El desarrollo tuvo 139 eventos y 10 predictores candidatos, por lo que 139 dividido entre 10 es 13.9, que los autores redondean a aproximadamente 14 (Métodos, Cálculos del tamaño de la muestra). Esto se encuentra dentro del rango anterior de 10 a 20 [4], pero por debajo de los 20 eventos por predictor candidato que se suelen aplicar al usar la herramienta PROBAST. Aceptamos "probablemente sí" porque los autores afirman que los datos cumplieron con los criterios modernos de tamaño mínimo de muestra, por lo que un revisor más estricto podría responder "probablemente no" y calificar el dominio de análisis de desarrollo como poco claro o alto.
- Eventos de validación. Se registraron 85 eventos en 2,924 mujeres (2.9 por ciento), por debajo de los aproximadamente 100 eventos que los propios autores citan como mínimo para la validación (Resultados, Validación externa; Métodos, Cálculos del tamaño de la muestra).
- Verificación de contracción para 4.9. Al dividir cada coeficiente ajustado por optimismo en la Tabla 2 por su valor original, se obtiene un valor entre 0.943 y 0.946 para los cinco predictores, lo que concuerda con el factor de contracción uniforme de 0.94 que se menciona en el artículo.
| Q | Respuesta | Evidencia e indicio | Etiqueta |
|---|---|---|---|
| 4.1 | Dev probablemente sí, Val probablemente no | Dev ratio 13.9 eventos por predictor candidato, ver más arriba. Val “Una limitación potencial es el número de eventos en nuestra validación externa (85).” (Discusión). Los autores también escriben que “se necesitaba un mínimo de alrededor de 100 eventos y 100 no eventos para la validación del modelo de predicción de riesgo” (Métodos, Cálculos del tamaño de la muestra). | Decisión de juicio (ambas partes) |
| 4.2 | Sí: | Los predictores continuos se analizaron en su escala continua. La no linealidad se trató con polinomios fraccionarios, lo que dio como resultado una forma de raíz cuadrada para qfFN (Métodos, Desarrollo del modelo; Resultados). La etnicidad se agrupó en Blanco y no Blanco debido a la escasez de grupos (Discusión). | |
| 4.3 | Probablemente si | En la validación, 27 mujeres no cumplían los criterios de inclusión en el examen con espéculo y 17 pruebas resultaron inválidas, por lo que se analizaron 2,924 de 2,968, lo que representa una pérdida de 44 mujeres, o el 1.5 % (Resultados, Validación externa; Fig. 1). Las exclusiones se deben a los criterios de elegibilidad para la prueba, no al resultado. | Decisión de juicio |
| 4.4 | Sí: | La imputación múltiple de valores faltantes mediante ecuaciones encadenadas se realizó por separado en cada estudio original, con 60 imputaciones en la fase de desarrollo y 8 en la de validación (Métodos, Desarrollo del modelo; Validación externa). Un análisis de sensibilidad con casos completos arrojó resultados similares (Resultados, Validación externa). El IMC faltaba en el 29.7 % de los casos durante la fase de desarrollo (Tabla 1), pero no se incluyó en el modelo final. | |
| 4.5 | Sí (Desarrollador) | Se preespecificaron diez predictores candidatos, que luego se redujeron mediante selección regresiva dentro de un modelo logístico multivariable utilizando el criterio de información de Akaike (Métodos, Desarrollo del modelo). Esto no es un análisis univariado. | |
| 4.6 | Probablemente si | La agrupación por estudio se realizó con un modelo IPD de una etapa y una intersección independiente por estudio, con una verificación de efectos aleatorios de dos etapas para la heterogeneidad de los predictores (Métodos, Desarrollo del modelo). La validación utilizó una intersección combinada de un metaanálisis de efectos aleatorios de las cinco intersecciones de los estudios (Métodos, Validación externa). El resultado binario de 7 días evita problemas de censura si el seguimiento fue completo. | Decisión de juicio |
| 4.7 | Sí: | El artículo presenta el AUC, la pendiente de calibración, la calibración global, la relación esperada/observada, un gráfico de calibración y el R2 de Nagelkerke (Métodos, Medidas de rendimiento predictivo; Tabla 3; Figura 2), además del beneficio neto (Figura 3). El AUC de validación fue de 0.89 (IC del 95%: 0.84 a 0.94), la relación esperada/observada fue de 0.80 antes de la recalibración y la pendiente de calibración fue de 1.24. | |
| 4.8 | Dev sí, Val probablemente sí | La validación interna mediante bootstrap utilizó 100 muestras que replicaban todos los pasos del desarrollo del modelo (Métodos, Validación interna), lo que arrojó un factor de contracción uniforme de 0.94. Posteriormente, se reestimaron las intersecciones específicas de cada estudio (Resultados, Desarrollo del modelo y validación interna). En la validación, solo se actualizó la intersección (Tabla 3, columna B), y también se informa el rendimiento antes de la recalibración (columna A). | |
| 4.9 | Sí (Desarrollador) | La ecuación en Resultados, modelo de predicción de riesgo QUIDS, utiliza 1.915 para la raíz cuadrada de qfFN más 0.370, 0.834, menos 0.687 y menos 0.139 para los factores clínicos, con una intersección de menos 5.002. Estos valores coinciden con la columna ajustada por optimismo de la Tabla 2 y la intersección recalibrada en la Tabla 3. |
Calificación del dominio 4. La parte de desarrollo presenta un bajo riesgo de sesgo . La parte de validación presenta un alto riesgo de sesgo según una interpretación estricta , debido a un solo ítem, la fila 4.1. Todas las demás preguntas del dominio 4 se responden afirmativamente o probablemente afirmativamente.
Calificaciones generales y gráfico de calibración

La figura debe interpretarse como una guía para orientar la investigación, no como un veredicto sobre el estudio. La fase de desarrollo presenta una puntuación baja en todos los dominios. La fase de validación muestra una celda roja, resultado de un recuento de 85 eventos frente a un umbral de aproximadamente 100, una discrepancia que los propios autores reconocen. Un revisor podría argumentar a favor de una calificación poco clara, pero el protocolo de revisión debería registrar el motivo en cualquier caso, ya que la calificación influye en la ponderación del modelo en cualquier síntesis.
El gráfico de calibración muestra por qué el recuento de eventos es importante en la práctica. Casi todas las observaciones agrupadas se sitúan por debajo de un riesgo previsto de 0.03, donde los eventos son poco frecuentes, y un grupo cercano a un riesgo previsto de 0.17 muestra un riesgo observado de aproximadamente 0.22 con un intervalo amplio. Los autores informan de cierta subestimación en riesgos más altos y una pendiente de calibración de 1.24 tras la recalibración de la intersección (Resultados, Validación externa). Con tan pocos eventos en los grupos superiores, un solo grupo altera el panorama, que es precisamente la inestabilidad que el punto 4.1 pretende señalar.

La fila 4.7 solicita calibración y discriminación, y esta figura muestra la evidencia de calibración. El análisis del beneficio neto del artículo (Fig. 3) se centra en una cuestión diferente: si el modelo facilita la toma de decisiones. Si desea realizar un análisis del beneficio neto con su propio modelo, nuestra calculadora gratuita de análisis de curvas de decisión lo hace a partir de sus riesgos previstos.
Decisiones de criterio y discrepancias entre los tasadores
Siete puntos de esta evaluación se basan en el criterio. Nombrarlos es más útil que pretender que la herramienta es mecánica, y es esta práctica la que propicia el consenso entre dos evaluadores.
- 1.2 Depende de si excluir cuatro conjuntos de datos ELISA iniciales constituye un problema de selección. Depende del método empleado, por lo que lo calificamos como probablemente sí.
- 2.1 Depende de los detalles de armonización que figuran en el suplemento.
- 3.1 y 3.5 La preocupación radica en cómo se clasificó el resultado y si el tratamiento podría haberlo modificado.
- 4.1 Es la fila decisiva para la validación y una decisión crucial para el desarrollo. Un revisor que acepte 85 eventos porque los intervalos son estrechos aún tendría que indicarlo en el protocolo.
- 4.3 y 4.6 Probablemente se trate de respuestas afirmativas en las que un segundo revisor podría solicitar más detalles sobre la pérdida de seguimiento.
Una metaanálisis de 2023 relacionó el uso de PROBAST con una baja concordancia entre evaluadores [8], por lo que un breve ejercicio de calibración con dos o tres artículos antes de la evaluación completa resulta rentable. Acuerden el umbral de eventos, cómo tratar la falta de información y qué se considera una adjudicación independiente del resultado.
Errores comunes con la herramienta PROBAST
- Utilizarlo como lista de verificación para la elaboración de informes. Un estudio que presenta informes deficientes no proporciona respuestas informativas, lo cual es diferente a un método deficiente. Combine la herramienta PROBAST con TRIPOD para la elaboración de informes.
- Aplicabilidad de la calificación sin una pregunta de revisión escrita. La aplicabilidad es relativa, por lo que primero debe plantearse la pregunta.
- Sumar las preguntas de señalización para obtener una puntuación. La herramienta está diseñada para un juicio estructurado, y el recuento de respuestas afirmativas oculta qué dominio falló.
- Integración de desarrollo y validación. Califica cada parte. QUIDS muestra cómo un mismo documento puede tener una calificación baja y una alta.
- Confundir la selección hacia atrás con el cribado univariado. La pregunta 4.5 se centra en examinar los predictores uno a uno antes de modelar. La selección hacia atrás dentro de un modelo multivariable es un tema aparte que la pregunta 4.8 verifica mediante la corrección del optimismo [4].
- Equiparar un alto riesgo de sesgo con un mal modelo. La calificación indica que la estimación del rendimiento puede no ser fiable, no que el modelo sea erróneo.
- Tomar las afirmaciones del autor como prueba. Una frase que diga que el estudio siguió el modelo TRIPOD no responde a ninguna pregunta de señalización. Señale la tabla o el párrafo que lo demuestre.
Presentación de los resultados de PROBAST en una revisión sistemática
Informe la pregunta de revisión, la versión de la herramienta (original 2019 o PROBAST+AI), el número de revisores y la regla para resolver desacuerdos. Muestre un diagrama de semáforo como la Figura 1 para cada modelo incluido, con las calificaciones del dominio y el motivo de cada calificación alta en una tabla de apoyo. Luego, utilice las calificaciones en la síntesis, por ejemplo, mediante un análisis de sensibilidad que elimine los modelos con alto riesgo de sesgo en el dominio de análisis. El flujo de registros hacia su revisión debe representarse en un diagrama PRISMA, y la herramienta gratuita Flowchart Pro que se muestra a continuación crea uno en su navegador.
Si su revisión también incluye ensayos o estudios de cohortes de tratamientos, combine la herramienta PROBAST con los instrumentos correspondientes en las guías RoB 2, ROBINS-I y QUADAS-2 mencionadas anteriormente, de modo que cada diseño incluido se evalúe con la herramienta diseñada para ello.
Herramientas gratuitas para la investigación de modelos de predicción
Herramientas de investigación gratuitas de Editverse
- GraphProCrea gráficos listos para publicar, de 25 tipos diferentes, con pruebas t, ANOVA, correlación y valores p de chi-cuadrado integrados. Gratis, sin necesidad de registrarse.
- EstatProCalculadoras estadísticas gratuitas y una herramienta de selección de pruebas que abarca comparaciones de grupos, resultados categóricos, análisis de tiempo hasta el evento y precisión diagnóstica.
- Diagrama de flujo Pro: genera diagramas de flujo PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE y ARRIVE directamente en tu navegador.
Apoyo profesional para la evaluación del riesgo de sesgo.
Evaluar 20 o 200 estudios con dos revisores independientes es un trabajo lento, y las calificaciones solo son útiles si son consistentes y están documentadas. Editverse facilita las etapas de evaluación y extracción de revisiones sistemáticas con entregables predefinidos. Envíe los estudios incluidos y sus diseños, y pregunte qué instrumento de evaluación se puede utilizar para cada diseño antes de realizar el pedido.
Evaluación del riesgo de sesgo
$350
¿Es necesario que cada estudio incluido se evalúe en un formato que un revisor pueda aceptar?
Usted envía los estudios incluidos y sus diseños.
Recibirás formularios de evaluación completos, tablas de riesgo de sesgo, visualizaciones mediante un sistema de semáforo y una descripción de la sección de métodos.
El plazo de entrega estándar es de 4 a 6 días hábiles.
Extracción de datos de la revisión sistemática
$500
¿La hoja de extracción de datos constituye el cuello de botella antes de que pueda comenzar la evaluación?
Usted envía los estudios incluidos y su pregunta de revisión.
Se obtiene un formulario de extracción personalizado, extracción dual con conciliación y datos de evaluación de calidad recopilados junto con las características del estudio.
El plazo de entrega estándar es de 5 a 7 días hábiles, dependiendo del número de estudios.
Para una revisión completa, desde el protocolo hasta el manuscrito, consulte nuestro servicio de redacción de revisiones sistemáticas , que abarca las etapas en las que se basan los dos servicios anteriores. Nuestro trabajo sigue las recomendaciones de COPE, ICMJE y GPP 2022, y se cumplen los requisitos éticos institucionales y específicos de cada país.
Conclusión
La herramienta PROBAST transforma la vaga pregunta de si un modelo de predicción es bueno en 20 preguntas con evidencia adjunta. Aplicada a QUIDS, ofrece un bajo riesgo de sesgo para el desarrollo del modelo, un alto riesgo de sesgo en una lectura estricta para la validación externa debido a 85 eventos, y una baja preocupación sobre la aplicabilidad para la pregunta de revisión aquí planteada. El trabajo reside en el método, no en los colores. Redacte primero la pregunta de revisión, califique el desarrollo y la validación por separado, indique la sección que respalda cada respuesta y nombre las decisiones de juicio. Si su protocolo apunta a PROBAST+AI 2025, los hábitos se mantienen sin cambios.
Referencias
- Wolff RF, Moons KGM, Riley RD, Whiting PF, Westwood M, Collins GS, et al. PROBAST: una herramienta para evaluar el riesgo de sesgo y la aplicabilidad de los estudios de modelos de predicción. Ann Intern Med. 2019;170(1):51-8. doi:10.7326/M18-1376PMID 30596875.
- Moons KGM, Wolff RF, Riley RD, Whiting PF, Westwood M, Collins GS, et al. PROBAST: una herramienta para evaluar el riesgo de sesgo y la aplicabilidad de los estudios de modelos de predicción, explicación y desarrollo. Ann Intern Med. 2019;170(1):W1-33. doi:10.7326/M18-1377PMID 30596876.
- Stock SJ, Horne M, Bruijn M, White H, Boyd KA, Heggie R, et al. Desarrollo y validación de un modelo de predicción de riesgo de parto prematuro para mujeres con síntomas de trabajo de parto prematuro (estudio QUIDS): un estudio de cohorte prospectivo y metaanálisis de datos de participantes individuales. PLoS Med. 2021;18(7):e1003686. doi:10.1371/journal.pmed.1003686PMID 34228732. PMCID PMC8259998. CC BY 4.0.
- de Jong Y, Ramspek CL, Zoccali C, Jager KJ, Dekker FW, van Diepen M. Evaluación de la investigación predictiva: una guía y una metarevisión sobre la evaluación del sesgo y la aplicabilidad mediante la herramienta de evaluación del riesgo de sesgo del modelo de predicción (PROBAST). Nefrología (Carlton). 2021;26(12):939-47. doi:10.1111/nep.13913PMID 34138495.
- Moons KGM, de Groot JAH, Bouwmeester W, Vergouwe Y, Mallett S, Altman DG, et al. Evaluación crítica y extracción de datos para revisiones sistemáticas de estudios de modelado predictivo: la lista de verificación CHARMS. PLoS Med. 2014;11(10):e1001744. doi:10.1371/journal.pmed.1001744PMID 25314315.
- Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, Reitsma JB, et al. Cálculo del tamaño de muestra necesario para desarrollar un modelo de predicción clínica. BMJ. 2020;368:m441. doi:10.1136/bmj.m441PMID 32188600.
- Moons KGM, Damen JAA, Kaul T, Hooft L, Andaur Navarro C, Dhiman P, et al. PROBAST+AI: una herramienta actualizada para evaluar la calidad, el riesgo de sesgo y la aplicabilidad de los modelos de predicción que utilizan métodos de regresión o inteligencia artificial. BMJ. 2025;388:e082505. doi:10.1136/bmj-2024-082505PMID 40127903.
- Langenhuijsen LFS, Janse RJ, Venema E, Kent DM, van Diepen M, Dekker FW, et al. La metarevisión sistemática de los estudios de predicción demuestra tendencias estables en el sesgo y un bajo acuerdo entre evaluadores de PROBAST. J Clin Epidemiol. 2023;159:159-73. doi:10.1016/j.jclinepi.2023.04.012PMID 37142166.
