Yayınlanan
PROBAST aracı (Tahmin Modeli Risk Of Bias Değerlendirme Aracı), yayınlanmış bir tahmin modelinin güvenilir olup olmadığını ve ilgilendiğiniz hastalara uygun olup olmadığını değerlendirmek için kullanılan standart bir araçtır. Wolff ve meslektaşları bunu 2019 yılında Annals of Internal Medicine'de yayınladılar [1] ve eşlik eden bir açıklama ve detaylandırma makalesi her sorunun ardındaki mantığı ortaya koymaktadır [2]. Bu yazı, PROBAST aracının nasıl yapılandırıldığını açıklıyor ve ardından 20 sinyal sorusunun tamamını, her seferinde bir satır olmak üzere, PLOS Medicine'de yayınlanan gerçek bir açık erişimli model olan QUIDS erken doğum modeline uyguluyor [3]. Her satır, onu destekleyen makale bölümüne işaret ediyor ve yargıya dayanan her satır etiketleniyor.
Basit Sözlerle
Bir tahmin modeli, bir hasta hakkındaki birkaç gerçeği bir riske dönüştürür. PROBAST aracı, modelin nasıl oluşturulduğu ve test edildiği hakkında dört alana (katılımcılar, tahminciler, sonuç ve analiz) gruplandırılmış 20 hedefli soru sorarak, bildirilen doğruluğun şişirilmiş olup olmadığına karar verir. Ardından, modelin kendi hastalarınıza uygun olup olmadığına dair ayrı bir soru sorar. Bir model dikkatlice oluşturulmuş olsa bile, kliniğiniz için yanlış model olabilir.
PROBAST aracının değerlendirdiği şey nedir?
PROBAST aracı, tahmin modellerinin sistematik incelemeleri için yazılmıştır ve tek bir makaleyi değerlendiren bir klinisyen veya editör için de aynı derecede iyi çalışır. Tanısal modelleri (durum şu anda mevcut mu) ve prognostik modelleri (bir olay daha sonra meydana gelecek mi) kapsar ve bir model geliştiren, doğrulayan veya güncelleyen çalışmalara uygulanır [1,2]. İki ayrı karar üretir. Birincisi, modelin ne kadar iyi tahmin ettiğine dair tahminleri bozan tasarım, uygulama veya analizdeki eksiklikler olarak tanımlanan yanlılık riskidir. İkincisi, uygulanabilirlik endişesidir; bu da çalışmanın popülasyonunun, tahmin edicilerinin ve sonucunun sorunuzla eşleşip eşleşmediğini sorar.
İyimserlik nedeniyle önyargı burada önem kazanmaktadır. Geliştirme verilerine çok yakından uyacak kadar esnek bir model, bu verilerde mükemmel görünürken yeni hastalarda daha kötü performans gösterir. De Jong ve meslektaşları bunu, geliştirme aşamasında iddia edilen performans ile doğrulama aşamasında elde edilen performans arasındaki sistematik bir boşluk olarak tanımlamaktadır [4]. PROBAST aracını kullanan 50 sistematik incelemenin meta-incelemesi 1,510 çalışmayı ve 2,104 modeli kapsamakta olup, tüm alanlarda belirsiz veya yüksek bir önyargı riski görülmektedir [4]. Bu nedenle değerlendirme, istisna değil, rutin bir adımdır.
Her bir sinyal sorusu, evet, muhtemelen evet, muhtemelen hayır, hayır veya bilgi yok olmak üzere beş cevaptan birini alır. Sorular, düşük, yüksek veya belirsiz bir alan derecelendirmesine yol açar. PROBAST kılavuzunda, her soruya evet veya muhtemelen evet cevabı verildiğinde alan düşük, en az bir soruya hayır veya muhtemelen hayır cevabı verildiğinde potansiyel olarak yüksek ve bilgi eksik olduğunda ve hiçbirine hayır cevabı verilmediğinde belirsizdir [1,2]. Derecelendirmeler bir puana toplanmaz ve nihai karar değerlendiriciye aittir.
PROBAST aracının ilgili araçlar arasındaki konumu
PROBAST aracı, raporlamayı değil, yöntemleri değerlendirir. Raporlama eksiksizliği, TRIPOD'a aittir ve TRIPOD+AI ile tahmin modeli raporlamasına ilişkin kılavuzumuz bu konuyu ele almaktadır. Tahmin modellerinin incelemeleri için veri çıkarma, CHARMS kontrol listesini [5] takip eder ve model geliştirme için örneklem boyutu, eski sabit değişken başına olay kuralının yerini alan Riley ve meslektaşlarının [6] kriterlerini takip eder. Diğer çalışma tasarımları için eşleştirme araçları, denemeler için RoB 2 ( RoB 2 kılavuzumuza bakın ), rastgele olmayan müdahaleler için ROBINS-I ( ROBINS-I kılavuzuna bakın ) ve tanısal doğruluk çalışmaları için QUADAS-2'dir ( QUADAS-2 uygulamada bölümüne bakın ). Önyargı riski değerlendirme kılavuzumuz, deneme aracını ayrıntılı olarak ele almaktadır.
PROBAST+AI, 2025 güncellemesi
2025 yılında Moons ve meslektaşları BMJ'de PROBAST+AI'yi yayınladılar [ 7]. İki bölümden oluşmaktadır. Model geliştirme bölümü, kalite ve uygulanabilirliği değerlendirmek için 16 sinyal sorusu kullanırken, model değerlendirme bölümü ise önyargı riskini ve uygulanabilirliği değerlendirmek için 18 sinyal sorusu kullanmaktadır. Her iki bölüm de artık katılımcılar ve veri kaynakları, tahmin ediciler, sonuç ve analiz olarak adlandırılan dört alanı korur ve uygulanabilirlik hala ilk üçü için değerlendirilir. Yazarlar, PROBAST+AI'nin orijinal aracın yerini alabileceğini belirtmektedir [7]. Bu yazı, 20 sorusu sabit olduğu ve mevcut inceleme literatüründe kullanılan sorular olduğu için orijinal 2019 aracını uygulamaktadır [4]. Protokolünüz, danışmanınız veya hedef derginiz PROBAST+AI'yi adlandırıyorsa, 2025 soru setini kullanın ve aşağıda gösterilen aynı kanıt-işaretçi alışkanlığını koruyun.
PROBAST aracına genel bakış: 4 alan ve 20 sinyal sorusu.
Tablo, 20 soruyu sade bir dille özetliyor ve kanıtların bir makalede genellikle nerede yer aldığını belirtiyor. Örneğin 4.5 ve 4.9 gibi bazı analiz soruları yalnızca model geliştirme ile ilgiliyken, diğer birkaç soru ise değerlendirdiğiniz bölüme uyarlanmıştır.
| Soru | Basitçe ifade etmek gerekirse, ne soruyor? | Nereye bakmalı |
|---|---|---|
| 1.1 | Veri kaynağı, mutlak riski çarpıtan bir tasarım yerine, kohort veya klinik çalışma gibi uygun bir kaynak mı? | Özet, çalışma tasarımı paragrafı |
| 1.2 | Dahil etme ve hariç tutma kriterleri hedeflenen popülasyon için uygun mu? | Uygunluk metni, katılımcı akış diyagramı |
| 2.1 | Öngörücü değişkenler her katılımcı için aynı şekilde mi tanımlanıyor ve ölçülüyor? | Öngörücü tanımları, ölçüm protokolleri |
| 2.2 | Tahmin edici değişkenler, sonuç bilinmeden mi ölçüldü? | Çalışma tasarımı, körleme ifadeleri |
| 2.3 | Modelin kullanılacağı zaman tüm tahmin değişkenleri mevcut olacak mı? | Tahmin edici liste, amaçlanan kullanıma göre değerlendirilir. |
| 3.1 | Sonuç uygun bir yöntemle mi belirlendi? | Sonuç tanımı ve veri kaynağı |
| 3.2 | Önceden belirlenmiş veya standart bir sonuç tanımı kullanıldı mı? | Protokol, kayıt, yöntemler |
| 3.3 | Sonuç, herhangi bir öngörücü kullanılmadan mı tanımlanıyor? | Sonuç tanımı, tahmin edici listesine göre |
| 3.4 | Sonuç tüm katılımcılar için aynı şekilde tanımlanıp belirlendi mi? | Çok merkezli prosedürler, ek |
| 3.5 | Sonuç, tahmin edici değerler bilinmeden mi belirlendi? | Körleştirme, değerlendirici açıklaması |
| 3.6 | Öngörücü değişkenin ölçümü ile sonucun ölçümü arasındaki süre uygun mu? | Takip penceresi, amaçlanan kullanım |
| 4.1 | Görev için yeterli sayıda sonuç olayı var mı? | Olaylar ve aday tahmin ediciler, örneklem boyutu bölümü |
| 4.2 | Sürekli ve kategorik tahmin değişkenleri uygun şekilde ele alındı mı? | İstatistiksel yöntemler, dönüşümler |
| 4.3 | Çalışmaya katılan tüm katılımcılar analize dahil edildi mi? | Akış diyagramı, analiz popülasyonu |
| 4.4 | Eksik veriler uygun şekilde ele alındı mı? | Eksik veri paragrafı, Tablo 1 |
| 4.5 | Öngörücü seçimi tek değişkenli taramadan bağımsız mıydı? (sadece geliştirme aşaması) | Model yapımı paragrafı |
| 4.6 | Gerektiğinde sansürleme, rekabetçi riskler ve kontrol gruplarının örneklenmesi ele alındı mı? | Model tipi, takip açıklaması |
| 4.7 | Kalibrasyon ve ayrımcılık da dahil olmak üzere uygun performans ölçütleri rapor edildi mi? | Performans bölümü, kalibrasyon grafiği |
| 4.8 | Aşırı uyum, yetersiz uyum ve iyimserlik konuları ele alındı mı? | İç doğrulama, küçülme |
| 4.9 | Son tahmin ediciler ve ağırlıklar, bildirilen çok değişkenli analizle eşleşiyor mu? (yalnızca geliştirme amaçlı) | Model tablosu, denklem |
Uygulanabilirlik, soru sormak yerine üç ek değerlendirme kullanır. Katılımcılar ve ortam, öngörücüler ve sonuç, inceleme sorunuza göre düşük, yüksek veya belirsiz endişe düzeyine göre derecelendirilir. Uygulanabilirlik, aynı makalenin bir inceleme için uygun, diğeri için ise uygunsuz olmasının nedenidir.
PROBAST aletinin değerlendirmesini beş adımda nasıl yapabilirsiniz?
- Değerlendirme sorusunu yazın. Herhangi bir makaleyi açmadan önce, modelin hedef kitlesini, öngörücülerini, sonucunu, zamanlamasını, ortamını ve kullanım amacını belirtin. Bunlar olmadan uygulanabilirliği değerlendirilemez.
- Makaleyi sınıflandırın. Her bir makaleyi geliştirme, doğrulama veya her ikisi olarak işaretleyin ve bölümleri ayrı ayrı değerlendirin. Hem geliştirme hem de doğrulama yapan bir makale, her bölüm için farklı puanlar alabilir.
- İşaretleme sorularını kanıt niteliğinde bir ipucuyla yanıtlayın. Her cevabı destekleyen bölümü, tabloyu veya şekli kaydedin ve alıntıları olabildiğince az kullanın.
- Her bir alan adını değerlendirin. Herhangi bir "hayır" veya "muhtemelen hayır" ifadesinin bir etki alanını potansiyel olarak yüksek hale getirdiği kuralını uygulayın, ardından bu nedenin gerçek bir çarpıtma kaynağı olup olmadığına karar verin.
- Genel değerlendirmenizi yapın. Makalenin önyargı riski düşük olması ancak dört alanın tamamında düşük risk söz konusu olduğunda geçerlidir ve aynı mantık uygulanabilirlik için de geçerlidir.
Bağımsız çalışan iki değerlendirici kullanın ve ardından uzlaştırın. PROBAST kullanımına ilişkin 2023 tarihli bir meta-inceleme, zaman içinde önyargıda istikrarlı eğilimler ve düşük değerlendiriciler arası uyum bildirdi [8], bu da tarama başlamadan önce inceleme sorusu, olay eşiği ve bilgi yok yanıtlarının ele alınması konusunda anlaşmanın pratik nedenidir.
Değerlendirdiğimiz açık erişimli makale
Makale, Stock ve meslektaşlarının erken doğum belirtileri gösteren kadınlar için erken doğum riskini tahmin eden bir modelin geliştirilmesi ve doğrulanması (QUIDS çalışması) başlıklı çalışması olup, 2021 yılında PLOS Medicine'de yayınlanmıştır [3]. Üç nedenden dolayı güçlü bir öğretim örneğidir. Hem geliştirme hem de dış doğrulama bölümlerini içerir, ana metindeki çoğu sinyal sorusunu yanıtlayacak kadar ayrıntılı bir şekilde yöntemlerini rapor eder ve yazarları kendi tasarımlarının zayıf noktalarını belirterek, verilen kararları görünür kılar. Lisans, Crossref sürüm kaydı lisans alanı, Europe PMC lisans alanı ve tam metindeki JATS izin beyanından onaylanan CC BY 4.0'dır. Makale, PubMed'de PMID 34228732 (PMCID PMC8259998) olarak indekslenmiştir.
Bu model, erken doğum belirtileri ve semptomları gösteren kadınlarda 7 gün içinde kendiliğinden erken doğum riskini tahmin etmektedir. Beş prospektif kohort çalışmasının (1,783 kadın, 139 olay) bireysel katılımcı verilerinin meta-analiziyle geliştirilmiş ve 26 Birleşik Krallık biriminde yeni bir prospektif kohortta (2,924 kadın, 85 olay) doğrulanmıştır. Son model, kantitatif fetal fibronektin (qfFN) ile sigara içme, etnik köken, hiç doğum yapmamış olma ve çoğul gebelik faktörlerini birleştirmektedir.
| İnceleme sorusu öğesi | Bu değerlendirmede kullanılan ifadeler |
|---|---|
| Nüfus ve çevre | Erken doğum belirti ve semptomları gösteren ve zarları sağlam olan, gebeliğin 22+0 ile 34+6. haftaları arasında bulunan ve kantitatif fFN analiz cihazına sahip hastane kadın doğum ünitelerinde değerlendirilen hamile kadınlar. |
| prediktörleri | Kantitatif fFN ve ilk değerlendirmede mevcut olan rutin klinik faktörler |
| Sonuç ve zamanlama | Testten sonraki 7 gün içinde kendiliğinden erken doğum |
| Kullanım amacı | Semptom gösteren kadınlarda hastaneye yatış ve tedaviye ilişkin kararları desteklemek. |
Bunlar, makaleden alınmış ifadeler değil, alıştırma için yaptığımız seçimlerdir. Örneğin, analiz cihazının bulunmadığı durumlarda kullanılacak modellerin incelenmesi gibi farklı bir sorusu olan bir değerlendirici, uygulanabilirliği farklı şekilde değerlendirecektir. Değerlendirme, tabloları ve şekilleri de dahil olmak üzere yalnızca ana makaleyi okur. Ek S1 Metin tabloları incelenmemiştir, bu nedenle bunlara bağlı olan satırlar bunu belirtir.
PROBAST aracının QUIDS'e, 1 ila 3. alanlara uygulanması
Alan 1, katılımcılar
| Q | Cevap | Kanıt ve işaret | etiket |
|---|---|---|---|
| 1.1 | Evet | Geliştirme aşamasında “5 Avrupa prospektif kohort çalışmasının bireysel katılımcı verileri (IPD) meta-analizi” kullanılmıştır (Stock vd., Özet). Doğrulama aşamasında ise Birleşik Krallık'taki 26 uzman hekim liderliğindeki birimde prospektif bir kohort kullanılmıştır (Yöntemler, Dış doğrulama). Prospektif kohortlar mutlak riski korur. | |
| 1.2 | Muhtemelen evet | Uygunluk, gebelik haftası, semptomlar, zarların sağlam olması ve fFN testine karşı herhangi bir kontrendikasyonun bulunmamasıyla tanımlanmıştır (Yöntemler, Model sonucu, hedef popülasyon ve aday tahminciler). Dört erken veri seti "fFN konsantrasyonunu belirlemek için ELISA kullandı ve dışlandı" (Yöntemler, Model geliştirme) ve 2,968 kadından 27'si spekulum muayenesinde uygunsuz bulundu (Sonuçlar, Dış doğrulama; Şekil 1). Semptomlar her araştırmacı tarafından tanımlanmıştır. | Karar verme |
Alan 1 derecelendirmesi, düşük yanlılık riski. Uygulanabilirlik, düşük endişe düzeyi , çünkü belirtilen popülasyon inceleme sorusuyla örtüşüyor.
Alan 2, tahminciler
| Q | Cevap | Kanıt ve işaret | etiket |
|---|---|---|---|
| 2.1 | Muhtemelen evet | Geliştirme çalışmalarında “10Q hızlı fFN analiz sistemi ile belirlenen kantitatif fFN sonuçları” kullanılmıştır (Yöntemler, Model geliştirme). Doğrulama, her bir bölgede kalite kontrolü ile uyarlanmış bir analiz cihazı kullanılarak yapılmıştır (Yöntemler, Dış doğrulama; kalite kontrol detayları Ek Metin S1'de yer almaktadır, incelenmemiştir). Sigara içme ve etnik kökenin beş kohort arasında nasıl uyumlu hale getirildiği ana metinde açıklanmamıştır. | Karar verme |
| 2.2 | Evet | Çalışma grupları prospektif olduğundan, ölçüm sırasında sonuç bilinmiyordu. Doğrulama aşamasında, "Kantitatif fFN sonucu klinisyenlerden gizlendi ve 3 harfli bir kod olarak saklandı." (Yöntemler, Dış doğrulama). | |
| 2.3 | Evet | “Dahil edilen tüm aday tahmin ediciler, erken doğum belirti ve semptomlarının ilk değerlendirmesi sırasında mevcuttur.” (Yöntemler, Model sonucu, hedef popülasyon ve aday tahmin ediciler). |
Alan 2 derecelendirmesi, düşük yanlılık riski. Uygulanabilirlik, analiz cihazı bulunan birimler için düşük endişe düzeyi. Giriş bölümünde, kantitatif fFN'nin ABD FDA onayına sahip olmadığı ve NICE'ın bunu önermek için kanıtların yetersiz olduğunu tespit ettiği belirtiliyor; bu nedenle, analiz cihazı bulunmayan ortamlara yönelik bir inceleme, bu durumu yüksek endişe düzeyine çıkarmalıdır.
Alan 3, sonuç
| Q | Cevap | Kanıt ve işaret | etiket |
|---|---|---|---|
| 3.1 | Muhtemelen evet | Doğum tarihi ve doğumun kendiliğinden olup olmadığı kayıtlardan alınmıştır. “Diğer tüm veriler katılımcı kayıtlarından toplanmış ve çalışma veri tabanına kaydedilmiştir.” (Yöntemler, Dış doğrulama). Doğum zamanlaması objektiftir, ancak ana metinde kendiliğinden doğum ile tıbbi olarak gerekli doğumun bağımsız olarak değerlendirilmesi açıklanmamıştır. | Karar verme |
| 3.2 | Evet | “Birincil sonuç, kantitatif fFN testinden sonraki 7 gün içinde kendiliğinden gerçekleşen erken doğumdu” (Yöntemler, Model sonucu, hedef popülasyon ve aday tahminciler), yayınlanmış protokollerde belirlenmiştir (Yöntemler, Çalışma denetimi). Tüm erken doğumları içeren analizler, önceden belirlenmemiş olarak işaretlenmiştir (Yöntemler, Ek modeller ve alt grup analizleri). | |
| 3.3 | Evet | Sonuç, belirli bir zaman aralığı içinde gerçekleşen bir doğum olayıdır. Beş nihai tahmin edicinin hiçbiri bu tanımın bir parçası değildir (Sonuçlar, Model geliştirme ve iç doğrulama). | |
| 3.4 | Muhtemelen evet | Tüm kohortlara tek bir tanım uygulandı ve doğrulama merkezleri farklı yenidoğan bakım seviyeleriyle tanımlandı (Yöntemler, Dış doğrulama). Sonuç, yerel yenidoğan uygulamalarına bağlı değildir. | |
| 3.5 | Muhtemelen evet | qfFN değeri gizlendiği için sonuç belirleme sürecini yönlendiremedi. Klinisyenler nitel fFN sonucunu gördüler ve tokoliz doğumu geciktirebilirdi. Yazarlar, "Tokoliz, doğumu geciktirmede olası herhangi bir tedavi etkisini araştırmak için duyarlılık analizine dahil edildi" diyorlar (Yöntemler, Model sonucu, hedef popülasyon ve aday tahmin ediciler). | Karar verme |
| 3.6 | Evet | “Bu sonucun seçimi, kadınlar ve klinisyenlerle yaptığımız önceki nitel çalışmamızla belirlenmiştir” (Yöntemler, aynı alt bölüm). Giriş bölümü, doğum öncesi kortikosteroidlerin faydasını doğumdan sonraki 7 gün içinde uygulanmasına bağlamaktadır. |
Alan 3 derecelendirmesi, düşük yanlılık riski. Uygulanabilirlik, düşük endişe , çünkü 7 günlük sonuç inceleme sorusuyla örtüşüyor.
PROBAST aracının QUIDS'e uygulanması, alan 4 analizi
Alan 4, tahmin makalelerinin çoğunun puan kaybettiği alandır ve QUIDS'in geliştirme ve doğrulama bölümlerinin birbirinden ayrıldığı tek alandır. İki bölüm Geliştirme ve Doğrulama olarak işaretlenmiştir. Makalenin kendi rakamlarından elde edilen iki küçük hesaplama, 4.1 ve 4.9. satırların arkasında yer almaktadır.
- Aday tahminleyici başına olay sayısı. Gelişimde 139 olay ve 10 aday tahminleyici vardı, bu nedenle 139'u 10'a böldüğümüzde 13.9 elde ederiz; yazarlar bunu yaklaşık 14'e yuvarlarlar (Yöntemler, Örneklem büyüklüğü hesaplamaları). Bu, eski 10 ila 20 aralığının [4] içinde yer alır, ancak PROBAST aracını kullanırken sıklıkla uygulanan aday tahminleyici başına 20 olay sayısının altındadır. Yazarlar verilerin modern minimum örneklem büyüklüğü kriterlerini karşıladığını belirttiği için muhtemelen evet cevabını kabul ediyoruz; bu nedenle daha katı bir değerlendirici muhtemelen hayır cevabını verebilir ve gelişim analizi alanını belirsiz veya yüksek olarak değerlendirebilir.
- Doğrulama olayları. 2,924 kadında 85 olay meydana geldi (yüzde 2.9), bu da yazarların doğrulama için minimum olarak belirttiği yaklaşık 100 olayın altında kaldı (Sonuçlar, Dış doğrulama; Yöntemler, Örneklem boyutu hesaplamaları).
- 4.9 için çekme kontrolü. Tablo 2'deki iyimserlik düzeltilmiş her bir katsayıyı orijinal değerine bölmek, beş tahmin edici değişkenin tamamında 0.943 ile 0.946 arasında bir değer vermektedir; bu da makalede belirtilen 0.94'lük tekdüze küçülme faktörüyle tutarlıdır.
| Q | Cevap | Kanıt ve işaret | etiket |
|---|---|---|---|
| 4.1 | Dev muhtemelen evet, Val muhtemelen hayır. | Yukarıda belirtildiği gibi, aday tahmin edici başına 13.9 olaylık bir sapma oranı söz konusudur. Değerlendirme bölümünde "Potansiyel bir sınırlama, dış doğrulamamızdaki olay sayısıdır (85)." denmektedir (Tartışma). Yazarlar ayrıca "risk tahmin modeli doğrulaması için en az 100 olay ve 100 olay dışı durum gerekiyordu" diye belirtmektedir (Yöntemler, Örneklem boyutu hesaplamaları). | Karar verme (Her iki parça) |
| 4.2 | Evet | “Sürekli tahminciler, sürekli ölçeklerinde analiz edildi.” Doğrusal olmayanlık, kesirli polinomlarla ele alındı ve qfFN için karekök formu elde edildi (Yöntemler, Model geliştirme; Sonuçlar). Etnik köken, seyrek gruplar nedeniyle Beyaz ve Beyaz olmayan olarak gruplandırıldı (Tartışma). | |
| 4.3 | Muhtemelen evet | Doğrulama aşamasında 27 kadın spekulum muayenesinde uygunsuz bulundu ve 17 test geçersizdi, bu nedenle 2,968 kadından 2,924'ü analiz edildi; bu da 44 kadın veya %1.5'lik bir kayıp anlamına geliyor (Sonuçlar, Dış doğrulama; Şekil 1). Hariç tutmalar, sonuçtan değil, test uygunluğundan kaynaklanmaktadır. | Karar verme |
| 4.4 | Evet | “Her bir orijinal çalışmada, zincirleme denklemler kullanılarak eksik değerlerin çoklu ataması ayrı ayrı gerçekleştirildi”; geliştirme aşamasında 60, doğrulama aşamasında ise 8 atama yapıldı (Yöntemler, Model geliştirme; Dış doğrulama). Tam vaka duyarlılık analizi benzer bir performans gösterdi (Sonuçlar, Dış doğrulama). Geliştirme aşamasında BMI %29.7 oranında eksikti (Tablo 1), ancak nihai modelde bu durum söz konusu değil. | |
| 4.5 | Evet (Geliştirici) | On aday tahminleyici önceden belirlendi, ardından Akaike bilgi kriteri kullanılarak çok değişkenli lojistik model içinde geriye doğru seçim yöntemiyle azaltıldı (Yöntemler, Model geliştirme). Bu, tek değişkenli tarama değildir. | |
| 4.6 | Muhtemelen evet | Çalışmaya göre kümeleme, tek aşamalı bir IPD modeli ve her çalışma için ayrı bir kesişim noktası ile ele alındı; tahmin edici heterojenliğinin iki aşamalı rastgele etkilerle kontrolü yapıldı (Yöntemler, Model geliştirme). Doğrulama, beş çalışmanın kesişim noktalarının rastgele etkiler meta-analizinden elde edilen birleştirilmiş bir kesişim noktası kullanılarak gerçekleştirildi (Yöntemler, Dış doğrulama). 7 günlük ikili sonuç, takip tamamlanmışsa sansürleme sorunlarını önler. | Karar verme |
| 4.7 | Evet | Makalede AUC, kalibrasyon eğimi, genel kalibrasyon, beklenen-gözlenen oranı, kalibrasyon grafiği ve Nagelkerke R2 (Yöntemler, Tahmin performansı ölçütleri; Tablo 3; Şekil 2) ile net fayda (Şekil 3) rapor edilmiştir. Doğrulama AUC'si 0.89 ( %95 CI 0.84 ila 0.94), yeniden kalibrasyondan önce beklenen-gözlenen oranı 0.80 ve kalibrasyon eğimi 1.24 idi. | |
| 4.8 | Dev evet, Val muhtemelen evet | Bootstrap iç doğrulama, “model geliştirme adımlarımızın tümünü tekrarlayan” 100 örnek kullanılarak gerçekleştirildi (Yöntemler, İç doğrulama), bu da 0.94'lük tekdüze bir küçülme faktörü sağladı ve ardından çalışmaya özgü kesişim noktaları yeniden tahmin edildi (Sonuçlar, Model geliştirme ve iç doğrulama). Doğrulamada yalnızca kesişim noktası güncellendi (Tablo 3, B sütunu) ve yeniden kalibrasyondan önceki performans da rapor edildi (A sütunu). | |
| 4.9 | Evet (Geliştirici) | Sonuçlar bölümündeki QUIDS risk tahmin modeli denkleminde, qfFN'nin karekökü için 1.915, klinik faktörler için ise sırasıyla 0.370, 0.834, eksi 0.687 ve eksi 0.139 değerleri kullanılmış ve kesişim noktası eksi 5.002 olarak belirlenmiştir. Bu değerler, Tablo 2'deki iyimserlik ayarlı sütun ve Tablo 3'teki yeniden kalibre edilmiş kesişim noktasıyla eşleşmektedir. |
Alan 4 değerlendirmesi. Geliştirme kısmı düşük riskli önyargı içeriyor . Doğrulama kısmı , 4.1. satırdaki tek bir maddeye dayanarak, katı bir yorumla yüksek riskli önyargı içeriyor . Alan 4'teki diğer her şeye evet veya muhtemelen evet yanıtı verilmiştir.
Genel değerlendirmeler ve kalibrasyon grafiği
Şekli, çalışmanın bir değerlendirmesi olarak değil, bir sonraki adımda nereye bakılacağını gösteren bir harita olarak okuyun. Geliştirme kısmı tüm alanlarda düşük. Doğrulama kısmında tek bir kırmızı hücre var ve bu da yaklaşık 100 eşiğine karşılık 85 olay sayısından kaynaklanıyor; yazarların kendileri de bu farkı açıklıyor. Bir hakem bunun yerine belirsiz bir değerlendirme de savunabilir, ancak değerlendirme protokolü her iki durumda da nedeni kaydetmelidir, çünkü değerlendirme, modelin herhangi bir sentezde nasıl ağırlıklandırıldığını değiştirir.
Kalibrasyon grafiği, olay sayısının pratikte neden önemli olduğunu gösteriyor. Gruplandırılmış gözlemlerin neredeyse tamamı, olayların nadir olduğu 0.03'lük tahmini riskin altında yer alırken, 0.17'lik tahmini riske yakın bir grup, geniş bir aralıkla yaklaşık 0.22'lik gözlemlenen bir risk gösteriyor. Yazarlar, daha yüksek risklerde bazı düşük tahminler ve kesişim yeniden kalibrasyonundan sonra 1.24'lük bir kalibrasyon eğimi bildirmektedir (Sonuçlar, Dış doğrulama). Üst gruplarda çok az olay olduğu için, tek bir grup resmi değiştiriyor; bu da tam olarak 4.1 maddesinin işaretlemeyi amaçladığı istikrarsızlıktır.
4.7. satır kalibrasyon ve ayrımcılık istiyor ve bu şekil kalibrasyon kanıtıdır. Makalenin net fayda analizi (Şekil 3) farklı bir soruya, modelin kararlara yardımcı olup olmadığına aittir. Kendi modelinizde net fayda analizi yapmak isterseniz, ücretsiz karar eğrisi analiz hesaplayıcımız bunu tahmin edilen risklerinizden yapar.
Değerlendirme kararları ve değerleme uzmanlarının görüş ayrılığı
Bu değerlendirmedeki yedi madde, yargıya dayanmaktadır. Bunları adlandırmak, aracın mekanik olduğunu varsaymaktan daha faydalıdır ve iki değerlendirici arasında fikir birliğini artıran da bu uygulamadır.
- 1.2 Dört erken ELISA veri setinin dışlanmasının bir seçim problemi olup olmadığına bağlıdır. Yöntem odaklı olduğundan, muhtemelen evet olarak değerlendirdik.
- 2.1 Ek belgede yer alan uyumlaştırma detaylarına bağlıdır.
- 3.1 hem de 3.5 Sonucun nasıl sınıflandırıldığı ve tedavinin sonucu değiştirip değiştiremeyeceği konusunda endişeler bulunmaktadır.
- 4.1 Bu, doğrulama için belirleyici satır ve geliştirme için bir değerlendirme kararıdır. Aralıkların dar olması nedeniyle 85 olayı kabul eden bir değerlendirici, bunu protokolde yine de belirtmelidir.
- 4.3 hem de 4.6 Muhtemelen "evet" yanıtları olacaktır; ikinci bir değerlendirici ise takip kaybıyla ilgili daha fazla ayrıntı isteyebilir.
2023'te yapılan bir meta-inceleme, PROBAST kullanımını düşük değerlendiriciler arası uyumla ilişkilendirmiştir [8], bu nedenle tam değerlendirmeden önce iki veya üç makale üzerinde kısa bir kalibrasyon çalışması kendi kendini finanse eder. Olay eşiği üzerinde anlaşın, bilgi eksikliğinin nasıl ele alınacağı konusunda anlaşın ve bağımsız sonuç değerlendirmesi olarak neyin sayılacağı konusunda anlaşın.
PROBAST aracıyla ilgili sık yapılan hatalar
- Bunu bir raporlama kontrol listesi olarak kullanmak. Kötü raporlama yapan bir çalışma, bilgilendirici yanıtlar vermez; bu, kötü bir yöntemden farklıdır. Raporlama için PROBAST aracını TRIPOD ile birlikte kullanın.
- Yazılı değerlendirme sorusu olmaksızın değerlendirmenin uygulanabilirliği. Uygulanabilirlik görecelidir, bu nedenle öncelikle bu sorunun var olması gerekir.
- İşaretleme sorularını toplayarak bir puan oluşturmak. Bu araç, yapılandırılmış değerlendirme için tasarlanmıştır ve evet yanıtlarının sayısı, hangi alanın başarısız olduğunu gizler.
- Geliştirme ve doğrulama süreçlerinin birleştirilmesi. Her bölümü değerlendirin. QUIDS, tek bir makalenin nasıl düşük ve yüksek puan alabileceğini gösteriyor.
- Geriye doğru seçim yöntemini tek değişkenli tarama yöntemiyle karıştırmak. Soru 4.5, modelleme öncesinde tahmin edicileri tek tek taramayı hedeflemektedir. Çok değişkenli bir model içindeki geriye doğru seçim, soru 4.8'in iyimserlik düzeltmesi [4] aracılığıyla kontrol ettiği ayrı bir konudur.
- Yüksek oranda önyargılı olma riskini kötü bir modelle eşdeğer tutmak. Değerlendirmede, modelin yanlış olduğu değil, performans tahmininin güvenilir olmayabileceği belirtiliyor.
- Yazarın iddialarını kanıt olarak kabul etmek. "Çalışmanın TRIPOD yöntemini izlediğini söyleyen bir cümle, herhangi bir yönlendirme sorusuna cevap niteliğinde değildir. Bunu gösteren tabloya veya paragrafa işaret edin."
PROBAST sonuçlarının sistematik bir incelemede raporlanması
İnceleme sorusunu, aracın sürümünü (orijinal 2019 veya PROBAST+AI), inceleyen sayısını ve anlaşmazlıkları çözme kuralını raporlayın. Her bir dahil edilen model için Şekil 1'deki gibi bir trafik ışığı grafiği gösterin; alan derecelendirmelerini ve her yüksek derecelendirmenin nedenini destekleyici bir tabloda belirtin. Ardından, örneğin analiz alanında yüksek önyargı riski taşıyan modelleri kaldıran bir duyarlılık analizi yoluyla, derecelendirmeleri sentezde kullanın. İncelemenize giren kayıt akışı bir PRISMA diyagramında yer almalıdır ve aşağıdaki ücretsiz Flowchart Pro, tarayıcınızda bir tane oluşturur.
İncelemeniz tedavilere ilişkin klinik denemeleri veya kohort çalışmalarını da içeriyorsa, PROBAST aracını yukarıdaki RoB 2, ROBINS-I ve QUADAS-2 kılavuzlarındaki eşleşen araçlarla birlikte kullanın; böylece dahil edilen her tasarım, kendisi için geliştirilmiş araçla değerlendirilmiş olur.
Tahmin modeli araştırması için ücretsiz araçlar
Editverse'den Ücretsiz Araştırma Araçları
- GraphProYayınlanmaya hazır 25 farklı grafik oluşturun; dahili t-testi, ANOVA, korelasyon ve ki-kare p-değerleri içerir. Ücretsiz, kayıt gerekmez.
- StatProGrup karşılaştırmaları, kategorik sonuçlar, olay zamanı analizi ve tanısal doğruluk konularını kapsayan ücretsiz istatistiksel hesap makineleri ve test seçme aracı.
- Akış Şeması ProPRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE ve ARRIVE akış diyagramlarını doğrudan tarayıcınızda oluşturun.
Önyargı riskinin değerlendirilmesi için profesyonel destek
20 veya 200 çalışmayı iki bağımsız hakemle değerlendirmek yavaş bir iştir ve değerlendirmeler ancak tutarlı ve belgelenmiş olduklarında bir incelemeye yardımcı olur. Editverse, sabit teslimatlarla sistematik incelemelerin değerlendirme ve veri çıkarma aşamalarını destekler. Dahil ettiğiniz çalışmaları ve tasarımlarını gönderin ve sipariş vermeden önce her tasarım için hangi değerlendirme aracının kullanılabileceğini sorun.
Önyargı değerlendirmesi riski
$350
Dahil edilen her çalışmanın, bir değerlendiricinin kabul edeceği bir biçimde değerlendirilmesi gerekiyor mu?
Eklediğiniz çalışmaları ve tasarımlarını gönderiyorsunuz.
Tamamlanmış değerlendirme formları, önyargı riski tabloları, trafik ışığı görselleştirmeleri ve yöntemler bölümünün anlatımını alacaksınız.
Standart işlem süresi 4 ila 6 iş günüdür.
Sistematik inceleme veri çıkarma
$500
Değerlendirme başlamadan önce darboğaz, veri çıkarma belgesi mi?
Eklediğiniz çalışmaları ve inceleme sorunuzu gönderiyorsunuz.
Size özel bir veri çıkarma formu, uzlaştırmalı çift veri çıkarma ve çalışma özellikleriyle birlikte kaydedilen kalite değerlendirme verileri elde edersiniz.
Çalışma sayısına bağlı olarak, standart teslim süresi 5 ila 7 iş günüdür.
Protokolden makaleye kadar tam bir inceleme için, yukarıdaki iki hizmetin katkıda bulunduğu aşamaları kapsayan sistematik inceleme yazma hizmetimize bakın . Çalışmalarımız COPE, ICMJE ve GPP 2022 önerilerine uymakta ve kurumsal ve ülkeye özgü etik gerekliliklerine riayet edilmektedir.
Sonuç
PROBAST aracı, bir tahmin modelinin işe yarayıp yaramadığı sorusunu, kanıtlarla desteklenmiş 20 soruya dönüştürüyor. QUIDS'e uygulandığında, model geliştirme için düşük bir önyargı riski, 85 olay nedeniyle dış doğrulama için katı bir okumada yüksek bir önyargı riski ve burada belirtilen inceleme sorusu için uygulanabilirlik konusunda düşük bir endişe veriyor. İşin sırrı yöntemde, renklerde değil. Önce inceleme sorusunu yazın, geliştirme ve doğrulamayı ayrı ayrı değerlendirin, her cevabın arkasındaki bölüme işaret edin ve değerlendirme kararlarını adlandırın. Protokolünüz 2025 PROBAST+AI'ye işaret ediyorsa, alışkanlıklar değişmeden devam eder.
Referanslar
- Wolff RF, Moons KGM, Riley RD, Whiting PF, Westwood M, Collins GS, ve diğerleri. PROBAST: tahmin modeli çalışmalarının önyargı riskini ve uygulanabilirliğini değerlendirmek için bir araç. Ann Intern Med. 2019;170(1):51-8. doi:10.7326/M18-1376. PMID 30596875.
- Moons KGM, Wolff RF, Riley RD, Whiting PF, Westwood M, Collins GS, ve diğerleri. PROBAST: Tahmin modeli çalışmalarının, açıklamalarının ve detaylandırmalarının önyargı riskini ve uygulanabilirliğini değerlendirmek için bir araç. Ann Intern Med. 2019;170(1):W1-33. doi:10.7326/M18-1377. PMID 30596876.
- Stock SJ, Horne M, Bruijn M, White H, Boyd KA, Heggie R, ve diğerleri. Erken doğum belirtileri gösteren kadınlar için erken doğum riskini tahmin eden bir modelin geliştirilmesi ve doğrulanması (QUIDS çalışması): prospektif kohort çalışması ve bireysel katılımcı verilerinin meta-analizi. PLoS Med. 2021;18(7):e1003686. doi:10.1371/journal.pmed.1003686PMID 34228732. PMCID PMC8259998. CC BY 4.0.
- de Jong Y, Ramspek CL, Zoccali C, Jager KJ, Dekker FW, van Diepen M. Tahmin araştırmalarının değerlendirilmesi, Tahmin Modeli Risk Of Bias Değerlendirme Aracı (PROBAST) kullanılarak önyargı ve uygulanabilirlik değerlendirmesi üzerine bir kılavuz ve meta-inceleme. Nefroloji (Carlton). 2021;26(12):939-47. doi:10.1111/nep.13913. PMID 34138495.
- Moons KGM, de Groot JAH, Bouwmeester W, Vergouwe Y, Mallett S, Altman DG, ve diğerleri. Tahmin modelleme çalışmalarının sistematik incelemeleri için eleştirel değerlendirme ve veri çıkarma, CHARMS kontrol listesi. PLoS Med. 2014;11(10):e1001744. doi:10.1371/journal.pmed.1001744. PMID 25314315.
- Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, Reitsma JB ve diğerleri. Klinik tahmin modeli geliştirmek için gereken örneklem büyüklüğünün hesaplanması. BMJ. 2020;368:m441. doi:10.1136/bmj.m441. PMID 32188600.
- Moons KGM, Damen JAA, Kaul T, Hooft L, Andaur Navarro C, Dhiman P ve diğerleri. PROBAST+AI: regresyon veya yapay zeka yöntemlerini kullanan tahmin modelleri için güncellenmiş bir kalite, yanlılık riski ve uygulanabilirlik değerlendirme aracı. BMJ. 2025;388:e082505. doi:10.1136/bmj-2024-082505. PMID 40127903.
- Langenhuijsen LFS, Janse RJ, Venema E, Kent DM, van Diepen M, Dekker FW, ve diğerleri. Tahmin çalışmalarının sistematik meta incelemesi, önyargıda istikrarlı eğilimler ve düşük PROBAST değerlendiriciler arası anlaşmayı göstermektedir. J Clin Epidemiol. 2023;159:159-73. doi:10.1016/j.jclinepi.2023.04.012. PMID 37142166.