Nai-publish
Ang checklist ng CONSORT-AI ay ang pamantayan sa pag-uulat na hinahanap ng mga journal kapag sinusuri ng isang randomized trial ang isang interbensyon na may bahaging artificial intelligence. Inilathala noong 2020 bilang extension sa CONSORT 2010, nagdaragdag ito ng 14 na aytem na humihiling sa mga may-akda na ilarawan ang bersyon ng algorithm, ang input data, ang output, at ang paraan ng pagkilos ng mga clinician dito. Ipinapaliwanag ng gabay na ito ang bawat aytem sa simpleng wika, ipinapakita kung saan nag-iiwan pa rin ng mga puwang ang mga nailathalang pagsubok ng AI, at inilalapat ang checklist sunud-sunod sa isang tunay na open-access trial upang makita mo kung ano ang hitsura ng isang kumpletong sagot. Sinasaklaw ng isang seksyon ang SPIRIT-AI, ang kasama para sa mga protocol ng pagsubok.
Sa Simpleng Salita
Ang CONSORT-AI ay isang karagdagang checklist para sa pag-uulat ng mga randomized trial ng mga AI tool. Sinusundan mo pa rin ang pangunahing CONSORT checklist (ang CONSORT-AI ay isinulat laban sa 25 aytem ng CONSORT 2010, na pinalitan na ng CONSORT 2025 ng 30 aytem), pagkatapos ay sasagutin mo ang 14 na karagdagang tanong tungkol sa mismong AI, tulad ng kung aling bersyon ang ginamit mo, anong data ang pumasok, ano ang lumabas, at paano kumilos ang mga clinician dito. Kung hindi mo masagot ang isang aytem, sabihin ito at sabihin kung bakit.
Ano ang Checklist ng CONSORT-AI at Paano Ito Itinayo
Ang CONSORT-AI ay nangangahulugang Consolidated Standards of Reporting Trials, Artificial Intelligence extension. Inilathala ito nina Liu at mga kasamahan noong Setyembre 2020 sa BMJ, Nature Medicine at The Lancet Digital Health, kasama ang kasamang protocol nito na SPIRIT-AI [1] [2] . Nagbibigay na ang CONSORT 2010 ng 25-item checklist para sa bawat randomized trial. Mula noon ay pinalitan na ito ng CONSORT 2025 ng isang 30-item checklist. Ang mga item ng CONSORT-AI ay isinulat laban sa CONSORT 2010, kaya ang kanilang pagnunumero ay sumusunod sa bersyong iyon. Pinapanatili ng CONSORT-AI checklist ang lahat ng 25 at nagdaragdag ng 14 na item para sa kung ano ang bago tungkol sa isang interbensyon ng AI. Inuri ng mga may-akda ang 11 sa 14 bilang mga extension at tatlo bilang mga elaborasyon ng mga umiiral na item ng CONSORT [1].
Sinundan ng grupo ang balangkas ng EQUATOR Network. Ang isang pagsusuri ng literatura at konsultasyon ng eksperto ay nakabuo ng 29 na kandidatong aytem, kung saan 26 ang inilapat sa parehong alituntunin at tatlo ang inilapat lamang sa mga ulat ng pagsubok. Ang isang two-stage na survey sa Delphi ay nakakuha ng 103 tugon sa unang round at 91 sa ikalawang round, isang dalawang-araw na pagpupulong ng pinagkasunduan noong Enero 2020 ang nagtipon ng 31 stakeholder, at isang pilot na may 34 na kalahok ang nagpino ng mga salita. Ang isang aytem ay nangangailangan ng 80% na kasunduan upang maisama sa checklist. Ang Aytem 5(iii), sa mababang kalidad ng input data, ay nakakuha ng 77% sa unang wording nito at pumasa sa 97% pagkatapos ng pagbabago ng mga salita [1] . Para sa isang may-akda, ang kasaysayang iyon ay may dalang mensahe. Itinuring ng panel ang masamang input data bilang sapat na mahalaga upang baguhin ang mga ito sa halip na alisin.
Mahalaga ang saklaw bago mo buksan ang checklist. Ang checklist ng CONSORT-AI ay para sa mga ulat ng pagsubok. Hindi ito para sa mga pag-aaral na bumubuo o nagpapatunay ng isang modelo ng prediksyon o diagnostic, at itinuro ng mga may-akda ng gabay ang mga pag-aaral na iyon sa TRIPOD-ML at STARD-AI, na parehong nasa ilalim pa rin ng pag-unlad noong isinulat nila ang [1] . Ang aming gabay sa STARD laban sa TRIPOD ay nakakatulong sa pagpiling iyon. Hindi rin isinasama sa extension ang mga sistema ng patuloy na pagkatuto, na hinusgahan ng pinagkaisahang grupo na masyadong maaga sa kanilang paggamit sa pangangalagang pangkalusugan upang masakop [1].
Kapag Nalalapat ang Checklist ng CONSORT-AI sa Iyong Pag-aaral
Maglapat ng isang simpleng tuntunin sa paggana. Kung ang output ng AI ay magpabago sa ginagawa ng isang clinician o pasyente, ang AI ay bahagi ng interbensyon, at ang ulat ng pagsubok ay nangangailangan ng checklist ng CONSORT-AI. Ang talahanayan sa ibaba ay iniuugnay ang mga karaniwang uri ng pag-aaral sa gabay na naaangkop.
| Ang iyong pag-aaral | Patnubay na dapat sundin | nota |
|---|---|---|
| Randomized trial kung saan ang isang bahagi ng AI ay bahagi ng interbensyon | CONSORT (2025, o 2010 kung saan hinihingi pa rin ito ng journal) kasama ang checklist ng CONSORT-AI | Sagutin ang bawat pangunahing aytem at ang 14 na aytem ng AI |
| Protocol para sa ganitong uri ng pagsubok | SPIRIT 2013 kasama ang SPIRIT-AI | Tinatalakay sa seksyon ng protokol sa ibaba |
| Pagbuo o pagpapatunay ng isang modelo ng prediksyon | Ang pamilyang TRIPOD | Tingnan ang aming mga gabay sa pag-uulat ng modelo ng prediksyon |
| Pag-aaral ng katumpakan ng diagnostic ng isang pagsubok sa AI | STARD | Tingnan ang aming mga Paghahambing ng STARD laban sa TRIPOD |
| Randomisadong pagsubok na walang bahagi ng AI | CONSORT 2025 lamang | Magsimula sa aming Gabay sa mga alituntunin ng CONSORT |
Huwag itong ipagkamali sa mga tuntunin ng pagsisiwalat ng AI. Hinihiling din ng mga journal sa mga may-akda na sabihin kung kailan nila ginamit ang generative AI upang magsulat o mag-edit ng isang manuskrito, na isang hiwalay na tanong sa patakaran na tinalakay sa aming post tungkol sa watermark at mga patakaran sa pagsisiwalat ng AI . Ang checklist ng CONSORT-AI ay tungkol sa AI na sinusuri bilang isang klinikal na interbensyon.
Ipinaliwanag ang 14 na Aytem ng CONSORT-AI Checklist
Isinasalarawan ng talahanayan ang bawat aytem mula sa gabay [1] . Ang mga numero ng aytem ay sumusunod sa CONSORT 2010, na may mga Roman numeral na nagmamarka sa mga karagdagan ng AI. Gamitin ang kanang kolum bilang mabilisang pag-scan para sa pinakakaraniwang paraan kung paano nagkakamali ang bawat aytem.
| Item na CONSORT-AI | seksyon | Ano ang iuulat | Karaniwang bitag |
|---|---|---|---|
| 1a,b (i) Elaborasyon | Pamagat at abstract | Sabihin nating ang interbensyon ay kinabibilangan ng AI o machine learning, at pangalanan ang uri ng modelo. Panatilihing malawak ang pamagat at ilagay ang eksaktong termino sa abstrak. | Isang pamagat na nagsasabing "digital tool" na walang terminong AI, na nagpapahina sa indexing. |
| 1a,b (ii) Elaborasyon | Pamagat at abstract | Sabihin ang nilalayong gamit ng AI at ang konteksto ng sakit. | Nagbabago ang nilalayong gamit sa paglipas ng panahon, kaya dapat itong ayusin ng abstrak sa panahon ng pagsubok. |
| 2a (i) Karugtong | pagpapakilala | Ipaliwanag kung saan nakapuwesto ang AI sa clinical pathway, ang layunin nito, at ang mga nilalayong gagamit nito. | Hindi kailanman sinasabi kung ang AI ay pumapalit, nagdaragdag o nagpapasya sa isang desisyon ng clinician. |
| 4a (i) Elaborasyon | Mga pamamaraan, mga kalahok | Magbigay ng mga pamantayan sa pagsasama at pagbubukod sa antas ng kalahok. | Paghahalo ng pamantayan ng kalahok at pamantayan ng datos. |
| 4a (ii) Karugtong | Mga pamamaraan, mga kalahok | Magbigay ng pamantayan sa pagsasama at pagbubukod sa antas ng input data, tulad ng minimum na kalidad ng imahe, kasama ang kung kailan at kanino ito hinusgahan. | Hindi isinama ang nangyari sa mga kalahok na ang input data ay hindi magamit. |
| 4b Karugtong | Mga pamamaraan, pagtatakda | Ilarawan kung paano isinama ang AI sa site, kabilang ang hardware, software, mga pangangailangan sa cloud at anumang lokal na pagpipino. | Inilalarawan ang algorithm ngunit hindi ang IT environment kung saan ito tumakbo. |
| 5(i) Karugtong | Mga pamamaraan, interbensyon | Sabihin ang bersyon ng algorithm, kung tumutugma ito sa mga naunang pag-aaral, at kung nagbago ito noong panahon ng pagsubok. | Binabanggit ang orihinal na modelo ng papel na walang tagatukoy ng bersyon. |
| 5(ii) Karugtong | Mga pamamaraan, interbensyon | Ilarawan kung paano nakuha, napili, at paunang naproseso ang mga input na datos. | Iniiwan ang paunang pagproseso sa isang sanggunian. |
| 5 (iii) Karugtong | Mga pamamaraan, interbensyon | Ilarawan kung paano tinasa at pinangasiwaan ang mahinang kalidad o hindi magagamit na input data, iulat ang nawawalang dami, at gawin din ito para sa comparator. | Walang bilang para sa mga hindi magagamit na input. |
| 5 (iv) Karugtong | Mga pamamaraan, interbensyon | Sabihin kung nakipag-ugnayan ang mga tao sa input data, anong kadalubhasaan ang kailangan, at anong pagsasanay ang ibinigay. | Hindi sinasabi kung ang error ay nagmula sa user o sa AI. |
| 5(v) Karugtong | Mga pamamaraan, interbensyon | Tukuyin ang output, halimbawa isang probabilidad, isang klase, isang alarma, isang inirerekomendang aksyon o isang closed-loop na aksyon. | Inilalarawan ang modelo ngunit hindi ang aktwal na nakita ng clinician. |
| 5 (vi) Karugtong | Mga pamamaraan, interbensyon | Ipaliwanag kung paano naimpluwensyahan ng output ang mga desisyon, kabilang ang mga limitasyon, mga landas, at anumang paglihis mula sa protokol. | Walang limitasyon para sa pagkilos batay sa isang risk score. |
| 19 Karugtong | Mga resulta | Iulat ang anumang pagsusuri ng mga pagkakamali sa pagganap at kung paano natukoy ang mga pagkakamali. Kung walang naplano o nagawa, ipaliwanag kung bakit hindi. | Katahimikan, kung saan sapat na ang isang linyang paliwanag. |
| 25 Karugtong | Iba pang impormasyon | Sabihin kung at paano maaaring ma-access ang AI at ang code nito, kabilang ang lisensya at mga paghihigpit. | Isang pahayag ng pagkakaroon ng datos na sumasaklaw lamang sa mga dataset. |
Ang mga aytem 5(i) hanggang 5(vi) ay naglalaman ng deskripsyon ng interbensyon
Anim sa 14 na aytem ang nasa ilalim ng CONSORT aytem 5, na naglalarawan sa interbensyon. Ipinaliwanag ng mga may-akda ng gabay kung bakit. Ang mga resulta ng kalusugan ay nakasalalay sa kung paano ginagamit ng mga tao ang output, kaya dapat ilarawan ng ulat ang mga downstream na aksyon pati na rin ang modelo [1] . Ang kanilang halimbawa ay isang sistema ng kanser sa balat na nagbabalik ng porsyento. Dapat isasaad ng ulat ang parehong pathway, tulad ng excision kapag positibo ang diagnosis, at ang threshold para sa pagpasok nito, tulad ng probabilidad na higit sa 80%. Ang parehong paglalarawan ay dapat ibigay para sa comparator arm kung saan nauugnay [1].
Ang mga pagbubukod ng input data pagkatapos ng randomization ay mga pagbubukod sa pagsusuri
Ang Item 4a(ii) ay may praktikal na kahihinatnan para sa iyong flow diagram. Kung saan ang input data ay kinukuha pagkatapos ng randomization, tinatrato ng guideline ang anumang exclusion bilang isang exclusion mula sa analysis sa halip na mula sa enrollment [1] . Nakakaapekto ito sa kung paano mo iginuguhit ang participant flow at kung aling populasyon ang iyong susuriin, kaya pagdesisyunan ito kasama ng iyong intention-to-treat at per-protocol plan.
Ang Aytem 19 ay nagbibigay ng gantimpala sa katapatan
Ang aytem 19 ang pinakamadaling nilalaktawan ng mga may-akda. Hinihingi ng gabay ang pagsusuri ng error sa pagganap at, kung wala nito ay plinano, isang dahilan. Iniuugnay ito ng mga may-akda sa kaligtasan, na binabanggit na ang mga sistema ng AI ay maaaring mabigo sa mga paraang hindi mahuhulaan ng mga tao, at hinihikayat nila ang pagsusuri ng mga rate ng error sa mga subgroup ng populasyon [1] . Ang isang pangungusap na paliwanag kung bakit walang pagsusuri ng error na ginawa ay mas mainam kaysa sa pananahimik.
Ano Pa Rin ang mga Nailathalang Pagsubok sa AI na Hindi Nakapasok sa Checklist ng CONSORT-AI
Tatlong meta-research studies ang nagpapakita kung saan bumababa ang pagkakumpleto. Sinuri nina Martindale at mga kasamahan ang 65 randomized trials ng mga interbensyon ng AI na inilathala pagkatapos lumabas ang guideline. Ang median concordance sa CONSORT-AI ay 90% (interquartile range 77% hanggang 94%), ngunit 10 lamang sa mga trial ang nagsabing ginamit nila ang guideline. Ang bersyon ng algorithm, ang accessibility ng AI o ng code nito, at ang pagtukoy sa isang protocol ay palaging hindi gaanong naiuulat, at 3 lamang sa 52 journal ang tahasang nag-endorso o nag-utos ng CONSORT-AI [4].
Sinuri nina Zhong at mga kasamahan ang 19 na nailathalang pagsubok at 21 na protocol sa pangunahing pangangalaga. Ang mga aytem na may sapat na ulat ay umabot sa 65% (172 sa 266) para sa mga pagsubok at 68% (214 sa 315) para sa mga protocol, na may mga puwang sa input data, pagsusuri ng error sa pagganap at pag-access sa AI o sa code nito [5] . Sinuri nina Chen at mga kasamahan ang 57 na pagsubok sa oncology at natagpuan ang median concordance na 82% sa pinagsamang CONSORT 2010 at CONSORT-AI. Ang pagsasama at pagbubukod ng input data, bersyon ng algorithm, mababang kalidad ng paghawak ng data, pagtatasa ng error sa pagganap at pag-access sa data ay pawang hindi gaanong naiulat. Ang mga pagsubok na may malubhang panganib ng bias (57%) ay hindi gaanong concordant kaysa sa mga pagsubok na may katamtaman (71%) o mababang (84%) na panganib [6].
Ang padron ay pare-pareho sa lahat ng tatlo. Ang mga aytem na pinakamadaling makita ng isang awtor ay ang mga katulad ng ordinaryong pag-uulat ng pagsubok. Ang mga aytem na nawawala ay ang mga partikular sa AI sa talahanayan sa itaas. Kung susuriin mo lamang ang mga aytem na iyon bago isumite, natatakpan mo ang mga kakulangang patuloy na nakikita ng mga tagasuri. Ang mga tagasuri na nagbibigay ng marka sa mga pagsubok gamit ang isang tool tulad ng RoB 2 ay babasahin din nang mabuti ang paglalarawan ng interbensyon, kaya ang malinaw na pag-uulat ay nakakatulong din sa panganib ng mga paghuhusga na may kinikilingan.
Halimbawa ng Paggawa ng Checklist ng CONSORT-AI sa isang Open-Access AI Trial
Upang maipakita kung ano ang hitsura ng mga aytem sa pagsasagawa, inilalapat ng talahanayan sa ibaba ang CONSORT-AI checklist sa isang nailathalang pagsubok. Nagsagawa sina Tsai at mga kasamahan ng isang pragmatikong randomized trial sa isang akademikong medical center sa Taiwan, kung saan sinubukan nila ang isang electrocardiogram-based AI alert para sa mababang ejection fraction sa 13,631 na inpatient na nasa ilalim ng pangangalagang hindi cardiologist. Nakasaad sa artikulo na ang pagsubok ay nakarehistro ( NCT05117970 ) at "sinundan ang mga alituntunin sa CONSORT-AI Extension checklist" [3] . Ito ay inilathala sa BMC Medicine sa ilalim ng lisensyang CC BY 4.0, na kinumpirma mula sa Crossref version-of-record licence field, Europe PMC licence field at ang artikulong XML.
Ang pangunahing resulta ay mas mataas na antas ng bagong nasuring mababang ejection fraction sa loob ng 30 araw sa alert arm, 1.5% kumpara sa 1.1% (hazard ratio 1.50, 95% CI 1.11 hanggang 2.03), na walang pangkalahatang pagbabago sa paggamit ng echocardiogram [3] . Hindi hinuhusgahan ng post na ito ang klinikal na resulta. Binabasa lamang nito ang artikulo laban sa 14 na aytem na nag-uulat, gamit ang pangunahing teksto.
| Item na CONSORT-AI | Kung saan titingnan | Ang iniulat ng artikulo | kuru-kuro |
|---|---|---|---|
| 1a,b (i) | Pamagat; Abstrak | Tinatawag ng pamagat ang AI assistance at electrocardiograms. Tinatawag ng abstrak ang tool na ito bilang isang “electrocardiogram (ECG)-based artificial intelligence (AI)-assisted clinical decision support tool” ngunit hindi pinangalanan ang uri ng modelo. Lumilitaw ang deep learning sa Background at Methods. | Tawag ng paghatol Kung sapat na ba ang "AI-assisted" para sa uri ng modelo ay usapin pa rin ng pagbasa. |
| 1a,b (ii) | Abstract, Background | Ang layunin ay upang mapabuti ang maagang pagsusuri ng mababang ejection fraction sa mga inpatient na nasa ilalim ng pangangalagang hindi cardiologist. Nagbibigay ito ng layunin at konteksto ng sakit. | Naiulat |
| 2a (i) | Panimula, huling dalawang talata | Nagtatakda ng limitadong kasanayan sa interpretasyon ng ECG sa mga pangkalahatang practitioner at inilalagay ang algorithm bilang tulong para sa mga generalist at mga departamentong hindi kardiolohiya. Ang mga nilalayong gagamit ay mga manggagamot na hindi kardiolohiya. | Naiulat |
| 4a (i) | Mga Paraan, Disenyo ng Pagsubok; Pigura 1 | Ang mga pasyenteng nasa loob ng ospital na may kahit isang ECG sa pagitan ng Nobyembre 2022 at Mayo 2023 sa ilalim ng pangangalagang hindi sakop ng cardiologist. Ang mga pasyenteng wala pang 18 taong gulang o may LVEF na 50% o mas mababa sa nakaraang 180 araw ay hindi isinama, kasama ang mga bilang bawat braso sa Figure 1. | Naiulat |
| 4a (ii) | Mga Paraan, Disenyo ng Pagsubok | Ang Mga Paraan ay naglilista ng anim na karaniwang indikasyon ng ECG at sinasabing ang mga ito ay hindi naitala bilang mga punto ng datos. Ang teksto ay hindi nagbibigay ng anumang minimum na kinakailangan sa kalidad ng signal para sa input ng ECG. | Hindi matatagpuan sa artikulo |
| 4b | Mga Paraan, modelo ng AI-ECG | Ang sistema ng impormasyon ng ospital ay nakabuo ng alerto sa screen nang real time. Hindi inilarawan ang mga pangangailangan sa hardware, software, at lokal na adaptasyon. Ang pagsubok ay isinagawa sa isang sentro, kaya hindi lumitaw ang integrasyon sa maraming lugar. | Tawag ng paghatol |
| 5(i) | Mga Paraan, modelo ng AI-ECG | Gumamit ang pagsubok ng "isang dating binuong modelo ng deep learning" at binabanggit ang isang naunang publikasyon para sa arkitektura, pagsasanay, at pagpapatunay. Walang lumalabas na pagkakakilanlan ng bersyon sa teksto. | Tawag ng paghatol Ang pagtukoy sa naunang papel ay maaaring ang layunin ay kumatawan sa bersyon. |
| 5(ii) | Mga Paraan; Proseso ng Pangangalap ng Datos | Mga karaniwang 12-lead ECG mula sa regular na pangangalaga sa pasyente, na may ipinaliwanag na mga panuntunan sa index time para sa mga pasyenteng may mataas na panganib at mababang panganib. Hindi inilarawan sa artikulong ito ang pre-processing bago ang modelo. | Tawag ng paghatol |
| 5 (iii) | Mga Paraan; Mga Resulta | Walang pahayag sa teksto kung paano pinangasiwaan ang maingay, nawawala, o hindi magamit na mga ECG sa magkabilang braso. | Hindi matatagpuan sa artikulo |
| 5 (iv) | Mga Paraan, modelo ng AI-ECG | Awtomatikong minamarkahan ng sistema ang mga resulta at walang hakbang na inilalarawan kung saan pipili o mag-eedit ang isang tao ng input ng ECG. Nababasa ko ito bilang walang interaksyon ng tao-AI sa yugto ng input, ngunit hindi sinasabi ito sa teksto. | Tawag ng paghatol |
| 5(v) | Mga Paraan, modelo ng AI-ECG | Ang modelo ay nagbibigay ng patuloy na probabilidad na ang EF ay 50% o mas mababa. Ang isang threshold na pinili ng pagsusuri ng ROC ay naghahati sa mga pasyente sa mataas at mababang panganib, na may internal validation sensitivity na 72.4% at specificity na 89.1% sa threshold na iyon. | Naiulat |
| 5 (vi) | Mga Paraan; Pigura 1; Mga Resulta, Post-hoc na Pagsusuri | “Pagkatapos ay maaaring magdesisyon ang mga clinician kung magsasagawa ng mga karagdagang pagsusuri sa diagnostic (tulad ng echocardiogram) batay sa parehong klasipikasyon ng AI at sa kanilang klinikal na paghatol.” Walang natanggap na alerto ang control arm. Ipinapakita ng Figure 1 ang high-risk alarm bilang isang maikling mensahe at ang low-risk report na makukuha sa rekord, habang tinatawag itong on-screen alert sa teksto. Parehong maaaring totoo ang dalawa. | Naiulat |
| 19 | Mga Resulta; Talakayan | Iniuulat ng artikulo ang positibong predictive value para sa mababang EF sa mga pasyenteng sumailalim sa echocardiogram (34.2% laban sa 20.2%) at binabanggit ang mga internal validation figure. Walang pagsusuri ang teksto sa mga kaso ng false positive o false negative at walang pahayag kung bakit walang ginawa. | Tawag ng paghatol |
| 25 | Pahayag | Ang pahayag ng pagkakaroon ng datos ay mababasa na “Walang mga dataset na nabuo o sinuri sa kasalukuyang pag-aaral.” Saklaw lamang nito ang mga dataset. Walang pahayag ang teksto tungkol sa pag-access sa modelo o sa code nito. | Hindi matatagpuan sa artikulo |
Limang hanay ang iniulat, anim ang mga hatol at tatlo ang hindi matagpuan sa pangunahing teksto. Ang mga hanay na may markang "Wala sa artikulo" ay nangangahulugan na ang impormasyon ay hindi natagpuan sa katawan ng artikulo, at ang karagdagang file ay hindi nasuri. Ang mga hanay na may markang "Hatol" ay ang mga hanay kung saan maaaring bigyan ng marka ng isang makatwirang mambabasa ang aytem sa alinmang paraan.
Ang ipinapakita ng ginamit na halimbawa
Ginagawa ng pagsubok ang hindi ginagawa ng marami. Nakasaad dito na sinunod nito ang checklist ng CONSORT-AI, na 10 lamang sa 65 na pagsubok ang ginawa sa pagsusuri ng Martindale [4] . Gayunpaman, ang mga hilera na hindi nasagot ay ang mga tinukoy ng meta-research, katulad ng bersyon, kalidad ng input data, mga error sa pagganap at access sa AI. Iyan ang praktikal na aral. Ang isang may-akda na nakakaalam ng apat na kahinaang iyon ay maaaring tapusin ang mga ito sa loob ng isang oras ng pagbalangkas, kadalasan ay may tig-iisang pangungusap bawat isa.
Maikli ang malinaw na sagot para sa bawat nawawalang hilera. Para sa aytem 5(i), pangalanan ang modelong binuo at sabihin kung ito ang binuong napatunayan nang mas maaga. Para sa 5(iii), iulat kung ilang ECG ang hindi nagamit at ano ang nangyari sa mga pasyenteng iyon sa bawat braso. Para sa 19, iulat ang anumang maling positibong pagsusuri, o sabihin na walang naplano at bakit. Para sa 25, sabihin kung ang modelo ay pagmamay-ari, magagamit kapag hiniling o bukas, at sa ilalim ng anong lisensya.
Higit pa sa 14 na aytem, ang mga pangunahing aytem ng CONSORT ay nalalapat pa rin.
Hindi pinapalitan ng checklist ng CONSORT-AI ang CONSORT 2010. Ipinapakita rin ng parehong artikulo ang dalawang pangunahing aytem na ginagamit. Inililista ng abstrak ang positibong predictive value at mga rate ng konsultasyon sa cardiology sa mga pangalawang resulta, habang inililista naman ng Mga Paraan ang paggamit ng echocardiogram at 30-araw na all-cause mortality, at sinasabing "itinalaga namin ang mga pagsusuring ito bilang post-hoc" para sa pagsusuri ng konsultasyon. Ito ay isang Judgement call, dahil minamarkahan ng mga may-akda ang post-hoc status, ngunit gugustuhin ng isang mambabasa na tumugma ang listahan ng kinalabasan sa pagitan ng abstrak at Mga Paraan. Isiniwalat din ng mga may-akda na "na-update nila ang aming trial registry noong Oktubre 2024" pagkatapos baguhin ang pangunahing kinalabasan at target na laki ng sample, na siyang uri ng pagbabagong hinihiling ng CONSORT 2010 na iulat ng mga may-akda nang may mga dahilan.
Checklist ng SPIRIT-AI bilang Kasamang Protokol
Sinasaklaw ng SPIRIT-AI ang yugto ng protocol ng parehong mga pagsubok. Ito ay binuo kasabay ng CONSORT-AI, at ang extension ng SPIRIT-AI ay nagdaragdag ng 15 bagong aytem sa pangunahing checklist ng SPIRIT 2013 [2] . Karamihan sa mga aytem ay sumasalamin sa CONSORT-AI sa panahunang hinaharap. Nakasaad sa protocol kung aling bersyon ng algorithm ang gagamitin, paano makukuha ang input data, ano ang magiging output, paano maghahatid ng mga desisyon ang mga output, paano susuriin ang mga error sa pagganap, at paano maa-access ang AI at ang code nito [2] . Ang isang aytem ng protocol ay walang direktang kasosyo sa listahan ng ulat ng pagsubok. Hinihiling ng SPIRIT-AI 6a(ii) sa mga may-akda na ilarawan ang mga dati nang ebidensya para sa interbensyon ng AI [2] . Para sa mas kumpletong walk-through ng kasamang protocol, tingnan ang aming gabay sa SPIRIT-AI.
| Stage | Pares ng gabay | Mga item na partikular sa AI | Praktikal na punto |
|---|---|---|---|
| Protokol | SPIRIT 2013 kasama ang SPIRIT-AI | 15 bagong item | Ayusin ang bersyon ng algorithm at ang mga limitasyon ng aksyon bago ang pagpapatala |
| Ulat ng pagsubok | CONSORT 2010 kasama ang CONSORT-AI | 14 bagong item | Iulat ang anumang pagbabago mula sa protokol at ang dahilan |
Ang dalawang listahan ay pinakamahusay na gumagana bilang isang pares. Ang pagsulat ng mga sagot sa item 5(i) at 5(vi) sa protocol ay ginagawang isang pagsasanay ang huling ulat sa pagkumpirma ng nangyari. Ipinapakita rin nito ang mga paglihis, na hinihiling sa iyo ng gabay na iulat para sa paggawa ng desisyon na naiiba sa plano [1] . Kung ikaw pa rin ang nagdidisenyo ng pag-aaral, ang aming clinical trial design consultancy ay sumasaklaw sa mga endpoint, laki ng sample at suporta sa pagsulat ng protocol.
Paano Kumpletuhin ang Checklist ng CONSORT-AI Bago ang Pagsusumite
- I-download ang kasalukuyang checklist ng CONSORT (CONSORT 2025, o CONSORT 2010 kung hinihingi pa rin ito ng iyong journal) at idagdag ang 14 na hanay ng CONSORT-AI sa ilalim ng mga tumutugmang pangunahing aytem.
- Isulat ang sagot sa bawat hilera bilang isang pahina o linya sa iyong sariling manuskrito, para ma-verify ito ng isang editor sa loob ng ilang segundo.
- Para sa anumang hilera na hindi naaangkop, magsulat ng maikling dahilan sa hilera sa halip na iwan itong blangko.
- Iguhit ang daloy ng kalahok gamit ang mga pagbubukod ng input data na ipinapakita nang hiwalay sa mga pagbubukod ng kalahok, gamit ang isang generator tulad ng Flowchart Pro sa ibaba.
- Sabihin sa Mga Paraan na sinunod mo ang checklist ng CONSORT-AI. 10 lamang sa 65 na pagsubok ang sumunod sa pagsusuri ng Martindale. [4].
- Basahin ang mga tagubilin para sa may-akda ng journal. Tatlo lamang sa 52 journal sa parehong pagsusuri ang nag-endorso o nag-utos ng CONSORT-AI, kaya maaaring tanggapin ito ng isang journal nang hindi ito pinapangalanan. [4].
Mga Karaniwang Pagkakamali Kapag Nag-uulat ng Pagsubok sa AI
- Inilalarawan ang modelo ngunit hindi ang daloy ng trabaho. Ang mga aytem 5(v) at 5(vi) ay nagtatanong kung ano ang nakita ng clinician at kung ano ang ginawa nila dito.
- Pagbanggit sa modelong papel kapalit ng isang bersyon. Nais ng Item 5(i) ang build na ginamit sa pagsubok na ito at kung nagbago ito.
- Pagtrato sa CONSORT-AI checklist bilang kapalit. Ang mga pangunahing aytem ng CONSORT ay nalalapat pa rin nang buo.
- Paglaktaw sa aytem 19. Ang maikling dahilan para sa pagsusuri ng walang pagkakamali ay katanggap-tanggap. Ang katahimikan ay hindi.
- Paggamit ng maling gabay. Ang isang papel sa pagbuo ng modelo ay nangangailangan ng TRIPOD, at ang isang pag-aaral ng katumpakan ng diagnostic ay nangangailangan ng STARD.
Mga Madalas Itanong Tungkol sa Checklist ng CONSORT-AI
Ilang aytem ang idinaragdag ng checklist ng CONSORT-AI?
Nagdaragdag ito ng 14 na aytem sa pangunahing checklist ng CONSORT (nakasulat laban sa 25 aytem ng CONSORT 2010), na binubuo ng 11 ekstensyon at tatlong elaborasyon [1].
Pareho ba ang checklist ng CONSORT-AI at SPIRIT-AI?
Hindi. Ang checklist ng CONSORT-AI ay para sa nakumpletong ulat ng pagsubok. Ang SPIRIT-AI ay para sa protokol ng pagsubok at nagdaragdag ng 15 bagong aytem sa SPIRIT 2013 [2].
Nalalapat ba ang CONSORT-AI kung AI lang ang ginamit ko para makatulong sa pagsulat ng manuskrito?
Hindi. Ang checklist ng CONSORT-AI ay nalalapat kapag ang isang bahagi ng AI ay bahagi ng interbensyon sa pagsubok. Ang paggamit ng AI sa pagbalangkas ng teksto ay nasa ilalim ng mga patakaran sa pagsisiwalat sa journal.
Maaari ko bang gamitin ang checklist ng CONSORT-AI para sa isang pag-aaral ng pagpapatunay ng modelo?
Hindi bilang pangunahing gabay. Itinuro ng mga may-akda ang mga pag-aaral sa pagbuo at pagpapatunay sa TRIPOD-ML at STARD-AI, na kasalukuyang binubuo nang lumitaw ang extension [1].
Mga Libreng Kagamitan sa Pananaliksik mula sa Editverse
- GraphPro: bumuo ng mga tsart na handa nang ilathala, 25 uri, na may built-in na t-test, ANOVA, correlation, at chi-square p-values. Libre, walang pag-signup.
- StatPro: mga libreng statistical calculator at isang tool para sa pagpili ng pagsubok na sumasaklaw sa mga paghahambing ng grupo, mga resultang pangkategorya, pagsusuri batay sa oras ng pangyayari, at katumpakan ng pagsusuri.
- Flowchart Pro: bumuo ng mga flow diagram ng PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE, at ARRIVE nang direkta sa iyong browser.
Propesyonal na Suporta para sa Iyong Manuskrito ng Pagsubok sa AI
Ang mga aytem na partikular sa AI ay kadalasang nasa Mga Paraan at abstrak, kung saan unang tumitingin ang mga tagasuri. Sinusuportahan ng Editverse ang mga may-akda sa magkabilang panig. Sinusundan ng aming trabaho ang gabay ng COPE, ICMJE at GPP 2022, at sinusuri ng mga eksperto sa paksa ang iyong pag-uulat laban sa checklist.
Bago ka magsumite
$150
Pagsusuri ng kapwa-mag-aaral bago ang pagsusumite na ginagaya ang isang referee ng journal, na may detalyadong ulat ng tagasuri at konsultasyon kasunod ng resulta. 7 hanggang 10 araw ng negosyo.
Seksyon ng mga pamamaraan
$225
Isang kumpleto at maaaring kopyahing seksyon ng Mga Paraan na isinulat mula sa iyong mga protokol at tala, na may mga nawawalang detalyeng nakalista para punan mo.
Hindi sigurado kung alin ang akma sa iyong trial report? Ipadala sa amin ang iyong manuskrito at ang journal na iyong tinatarget at magrerekomenda kami ng panimulang punto.
Konklusyon
Ang checklist ng CONSORT-AI ay nagtatanong ng 14 na tanong na hindi kailanman itinaas ng mga ordinaryong pag-uulat ng pagsubok, at ipinapakita ng meta-research ang parehong apat na aspeto na paulit-ulit na hindi nasasagot. Ang mga aspetong iyon ay ang bersyon ng algorithm, kalidad ng input data, mga error sa pagganap at access sa AI. Sagutin ang mga ito gamit ang isang malinaw na pangungusap bawat isa, panatilihing buo ang mga pangunahing aytem ng CONSORT, sabihin na sinunod mo ang extension, at ipares ang ulat ng pagsubok sa isang SPIRIT-AI protocol kung saan mo magagawa. Ang manuskrito na ginawa sa ganitong paraan ay mas madaling suriin ng mga editor at mas madaling pagkatiwalaan ng mga mambabasa.
Mga sanggunian
- Liu X, Cruz Rivera S, Moher D, Calvert MJ, Denniston AK; SPIRIT-AI at CONSORT-AI Working Group. Mga alituntunin sa pag-uulat para sa mga ulat ng klinikal na pagsubok para sa mga interbensyon na kinasasangkutan ng artipisyal na katalinuhan: ang extension ng CONSORT-AI. BMJ. 2020;370:m3164. doi:10.1136/bmj.m3164. PMID 32909959. Inilathala rin sa Nat Med 2020;26(9):1364-1374 at Lancet Digit Health 2020;2(10):e537-e548.
- Cruz Rivera S, Liu X, Chan AW, Denniston AK, Calvert MJ; SPIRIT-AI at CONSORT-AI Working Group. Mga alituntunin para sa mga protokol ng klinikal na pagsubok para sa mga interbensyon na kinasasangkutan ng artipisyal na katalinuhan: ang ekstensyon ng SPIRIT-AI. BMJ. 2020;370:m3210. doi:10.1136/bmj.m3210. PMID 32907797.
- Tsai DJ, Lin C, Liu WT, Lee CC, Chang CH, Lin WY, et al. Diagnosis at prognostication na tinutulungan ng artificial intelligence sa mababang ejection fraction gamit ang mga electrocardiogram sa inpatient department: isang pragmatic randomized controlled trial. BMC Med. 2025; 23: 342. doi: 10.1186 / s12916-025-04190-z. PMID 40484925. PMCID PMC12147261. Nakarehistro sa ClinicalTrials.gov NCT05117970.
- Martindale APL, Llewellyn CD, de Visser RO, Ng B, Ngai V, Kale AU, et al. Konkordans ng mga randomized controlled trial para sa mga interbensyon ng artificial intelligence sa mga alituntunin sa pag-uulat ng CONSORT-AI. Nat Commun. 2024; 15: 1619. doi:10.1038/s41467-024-45355-3. PMID 38388497.
- Zhong J, Zhu T, Huang Y. Pag-uulat ng kalidad ng interbensyon ng AI sa mga randomized controlled trial sa pangunahing pangangalaga: sistematikong pagsusuri at meta-epidemiological na pag-aaral. J Med Internet Res. 2025; 27: e56774. doi: 10.2196 / 56774. PMID 39998876.
- Chen D, Arnold K, Sukhdeo R, Farag Alla J, Raman S. Konkordansya sa mga alituntunin ng CONSORT-AI sa pag-uulat ng mga randomized controlled trial na nagsisiyasat sa artificial intelligence sa oncology: isang sistematikong pagsusuri. BMJ Oncol. 2025; 4 (1): e000733. doi:10.1136/bmjonc-2025-000733. PMID 40923022.