เครื่องคิดเลขฟรีของ Editverse

เส้นโค้ง ROC และเครื่องคำนวณ AUC

วัดประสิทธิภาพของแบบทดสอบหรือคะแนนในการแยกกลุ่มสองกลุ่ม โดยใช้เส้นโค้ง ROC พื้นที่ใต้เส้นโค้ง (AUC) และคำสั่ง R ที่สามารถทำซ้ำได้ อ่านคู่มือการตีความฉบับเต็มด้านล่าง ตรวจสอบความถูกต้องแล้วกับ R เวอร์ชัน 4.3.3

ในคำง่ายๆ

เส้นโค้ง ROCแสดงให้เห็นว่าการทดสอบแบบต่อเนื่องหรือคะแนนความเสี่ยงมีประสิทธิภาพอย่างไรเมื่อคุณเลื่อนเกณฑ์การตัดสินใจจากเข้มงวดไปผ่อนปรน ที่แต่ละเกณฑ์ เส้นโค้งจะแสดงอัตราการตรวจพบที่ถูกต้อง (ความไว) เทียบกับอัตราการตรวจพบที่ผิดพลาด (1 − ความจำเพาะ) พื้นที่ใต้เส้นโค้ง (AUC) จะสรุปภาพรวมทั้งหมดไว้ในตัวเลขเดียวระหว่าง 0.5 ถึง 1

ค่า AUC นั้นตีความได้ชัดเจน คือ เป็นความน่าจะเป็นที่การทดสอบจะให้คะแนนสูงกว่าแก่กรณีบวกที่สุ่มเลือกมา มากกว่ากรณีลบที่สุ่มเลือกมา ค่า AUC 0.5 หมายความว่าการทดสอบนั้นไม่ดีไปกว่าการโยนเหรียญ ค่า 1.0 หมายถึงการแยกแยะได้อย่างสมบูรณ์แบบ โดยประมาณแล้ว ค่า 0.7–0.8 ถือว่ายอมรับได้ ค่า 0.8–0.9 ถือว่าดี และค่ามากกว่า 0.9 ถือว่ายอดเยี่ยม

ควรใช้กราฟ ROC เมื่อใด

ใช้การวิเคราะห์ ROC เพื่อประเมินความสามารถในการจำแนกของตัวทำนายแบบต่อเนื่องเทียบกับความจริงแบบไบนารี เช่น ตัวบ่งชี้ทางชีวภาพ คะแนนทางคลินิก หรือความน่าจะเป็นที่คาดการณ์ได้จาก แบบจำลอง การถดถอยโลจิสติกส์นี่เป็นวิธีการมาตรฐานในการเปรียบเทียบการทดสอบวินิจฉัยและเลือกเกณฑ์การทำงานที่สมดุลระหว่างความไวและความจำเพาะสำหรับบริบททางคลินิกที่กำหนด

รายงานค่า AUC พร้อมช่วงความเชื่อ มั่น 95% และระบุค่าเกณฑ์ที่คุณเลือก พร้อมทั้งค่าความไวและความจำเพาะ เมื่อเปรียบเทียบสองแบบจำลองในผู้ป่วยกลุ่มเดียวกัน ให้ใช้การทดสอบแบบจับคู่ (ของ DeLong) แทนที่จะถือว่าค่า AUC เป็นอิสระต่อกัน หากคุณมีค่าตัดคงที่เพียงค่าเดียวแทนที่จะเป็นคะแนนต่อเนื่อง ให้รายงานค่าความไวและความจำเพาะโดยตรง ไม่แน่ใจว่า ROC เป็นเครื่องมือที่เหมาะสมหรือไม่? ตัวเลือกการทดสอบแบบโต้ตอบ ของเรา สามารถช่วยได้

เส้นโค้ง ROC และ AUC การแสดงภาพความแม่นยำในการวินิจฉัย · ตรวจสอบความถูกต้องเทียบกับ R 4.3.3
คู่มือผู้ใช้

ควรใช้เมื่อใดประเมินความสามารถในการจำแนกความแตกต่างของแบบทดสอบหรือคะแนนต่อเนื่อง

ข้อสมมติฐานผลลัพธ์ที่แท้จริงเป็นแบบไบนารี (0/1) ตัวแปรทำนายหรือคะแนนเป็นแบบต่อเนื่อง

ข้อผิดพลาดที่พบบ่อย:ค่า AUC ใกล้เคียง 0.5 หมายถึงไม่มีการจำแนกความแตกต่าง อย่าตีความค่าเกณฑ์เดียวมากเกินไป

ตัวอย่างการทำงาน

คลิกที่ " โหลดข้อมูลตัวอย่าง"ด้านบน จากนั้นคลิก "เรียกใช้การวิเคราะห์"เพื่อดูผลลัพธ์ที่สมบูรณ์พร้อมรูปภาพ สูตร และคำอธิบายสำหรับการทดสอบนี้

อ้างอิง
  1. Hanley JA, McNeil BJ. ความหมายและการใช้พื้นที่ใต้เส้นโค้ง ROC. Radiology. 1982;143:29-36.
Powered by editverse.com · R 4.3.3 ผ่านการตรวจสอบแล้ว · v3.6 ต้องการการวิเคราะห์จากผู้เชี่ยวชาญหรือไม่? →

ตัวอย่างผลงาน

ตัวอย่างที่ 1: คะแนนไบโอมาร์กเกอร์

กลุ่มตัวอย่าง 10 กลุ่มที่มีคะแนนและป้ายกำกับที่ถูกต้อง (1 = เป็นโรค, 0 = สุขภาพดี) จะสร้างเส้นโค้งที่โค้งไปทางมุมบนซ้าย ค่า AUC สรุปว่าคะแนนที่สูงขึ้นมีความสัมพันธ์กับโรคได้อย่างน่าเชื่อถือเพียงใด รายงานค่า AUC พร้อมช่วงความเชื่อมั่น ความไว และความจำเพาะที่จุดตัดที่คุณเลือก

ตัวอย่างที่ 2: การเลือกค่าเกณฑ์

ดัชนี Youden (ความไว + ความจำเพาะ − 1) ระบุจุดที่ทำให้ผลรวมของทั้งสองค่าสูงสุด แต่เกณฑ์การทำงานที่ดีที่สุดนั้นขึ้นอยู่กับต้นทุนของผลบวกเท็จเทียบกับผลลบเท็จในบริบทของคุณ — การทดสอบคัดกรองอาจเน้นความไว ในขณะที่การทดสอบยืนยันอาจเน้นความจำเพาะ

ข้อสมมติฐานที่ต้องตรวจสอบ

ความจริงแบบไบนารีที่มีการติดป้ายกำกับอย่างถูกต้องแต่ละกรณีจะต้องถูกจำแนกเป็นบวกหรือลบโดยใช้มาตรฐานอ้างอิงที่เชื่อถือได้ การติดป้ายกำกับที่ผิดพลาดจะทำให้เส้นโค้งบิดเบือนไป

ตัวทำนายแบบต่อเนื่องหรือแบบเรียงลำดับการวิเคราะห์ ROC ต้องการคะแนนที่มีช่วงค่า การทดสอบแบบใช่/ไม่ใช่เพียงครั้งเดียวจะมีเพียงจุดเดียว ไม่ใช่เส้นโค้ง

การสังเกตที่เป็นอิสระผู้เข้าร่วมแต่ละคนให้ข้อมูลคู่คะแนน-ป้ายกำกับหนึ่งคู่ การวัดซ้ำในผู้เข้าร่วมคนเดียวกันจำเป็นต้องใช้วิธีการที่คำนึงถึงการรวมกลุ่มด้วย

ข้อผิดพลาดทั่วไป

ถือว่าค่า AUC คือความแม่นยำ

ค่า AUC เป็นตัววัดความสามารถในการจัดอันดับในทุกเกณฑ์ ไม่ใช่ความแม่นยำที่เกณฑ์ใดเกณฑ์หนึ่งโดยเฉพาะ ค่า AUC สูงไม่ได้หมายความว่าจะรับประกันประสิทธิภาพที่ดีที่เกณฑ์ที่คุณใช้จริงเสมอไป

การเปรียบเทียบค่า AUC จากตัวอย่างที่แตกต่างกัน

ในการเปรียบเทียบโมเดลสองแบบ ให้ทดสอบกับผู้ป่วยกลุ่มเดียวกันโดยใช้วิธีการจับคู่ (การทดสอบของเดอลอง) การเปรียบเทียบค่า AUC ที่คำนวณจากชุดข้อมูลที่แตกต่างกันนั้นไม่ถูกต้อง

ไม่สนใจความไม่สมดุลของชนชั้น

ในกรณีที่พบผลบวกน้อยมาก ค่า AUC สูงก็อาจหมายถึงความแม่นยำต่ำได้เช่นกัน เส้นโค้งความแม่นยำ-การเรียกคืนมักให้ข้อมูลที่เป็นประโยชน์มากกว่าสำหรับข้อมูลที่ไม่สมดุล

การเลือกเกณฑ์หลังจากเห็นผลลัพธ์แล้ว

การเลือกค่าตัดที่ดูดีที่สุดบนข้อมูลชุดเดียวกันจะทำให้ประสิทธิภาพสูงเกินจริง ควรตรวจสอบความถูกต้องของค่าตัดที่เลือกไว้บนข้อมูลอิสระ

คำถามที่พบบ่อย (FAQs)

ค่า AUC หมายถึงอะไรกันแน่?

เป็นความน่าจะเป็นที่การทดสอบจะให้คะแนนสูงกว่าแก่กรณีที่เป็นผลบวกที่สุ่มเลือกมา มากกว่ากรณีที่เป็นผลลบที่สุ่มเลือกมา 0.5 คือโอกาสโดยบังเอิญ 1.0 คือความน่าจะเป็นสูงสุด

อะไรคือเกณฑ์ที่ถือว่าค่า AUC ดี?

โดยคร่าวๆ ค่า 0.7–0.8 ถือว่ายอมรับได้ 0.8–0.9 ถือว่าดี และมากกว่า 0.9 ถือว่ายอดเยี่ยม — แต่ค่าที่มีประโยชน์ทางคลินิกนั้นขึ้นอยู่กับการใช้งาน

ฉันจะเลือกค่าตัดที่ดีที่สุดได้อย่างไร?

ดัชนี Youden ให้ค่าเริ่มต้นทั่วไป แต่ควรพิจารณาต้นทุนสัมพัทธ์ของผลบวกเท็จและผลลบเท็จสำหรับการใช้งานเฉพาะของคุณด้วย

ผลลัพธ์ตรงกับ SPSS, R และ Stata หรือไม่?

ใช่แล้ว เครื่องคำนวณนี้ใช้การคำนวณ AUC แบบสี่เหลี่ยมคางหมูแบบเดียวกับแพ็กเกจ pROC และแสดงคำสั่ง R ที่ถูกต้องเพื่อให้คุณสามารถทำซ้ำได้

เครื่องคำนวณที่เกี่ยวข้อง

ความไวและความจำเพาะอัตราส่วนความน่าจะเป็นและ RRการทดสอบ Chi-Squareช่วงความเชื่อมั่นขนาดตัวอย่างและกำลังฉันควรใช้การทดสอบใด?

อ้างอิง

  1. แฮนลีย์ เจเอ, แม็คนีล บีเจ. ความหมายและการใช้งานของพื้นที่ใต้เส้นโค้งลักษณะการทำงานของผู้รับ (ROC) รังสีวิทยา. 1982;143(1):29–36. PMID 7063747.
  2. มันเดรการ์ เจเอ็น. เส้นโค้งลักษณะการทำงานของผู้รับ (Receiver operating characteristic curve) ในการประเมินการทดสอบวินิจฉัยโรค เจ. โธรัค ออนคอล. 2010;5(9):1315–1316. PMID 20736804.
  3. DeLong ER, DeLong DM, Clarke-Pearson DL. การเปรียบเทียบพื้นที่ใต้เส้นโค้ง ROC สองเส้นขึ้นไปที่มีความสัมพันธ์กัน: วิธีการแบบไม่ใช้พารามิเตอร์ Biometrics. 1988;44(3):837–845.

ต้องการให้วิเคราะห์ข้อมูลนี้สำหรับต้นฉบับของคุณหรือไม่?

นักสถิติชีวภาพระดับปริญญาเอกของเราจะสร้างกราฟ ROC คำนวณค่า AUC พร้อมช่วงความเชื่อมั่น และส่งมอบภาพประกอบที่พร้อมสำหรับการตีพิมพ์ พร้อมผลลัพธ์ R ที่สามารถทำซ้ำได้

รับความช่วยเหลือด้านสถิติจากผู้เชี่ยวชาญ