Editverse無料計算機
ROC曲線およびAUC計算ツール
ROC曲線、曲線下面積(AUC)、および再現可能なRコマンドを使用して、テストまたはスコアが2つのグループをどの程度うまく分離できるかを測定します。詳細な解釈ガイドは以下をご覧ください。R 4.3.3で検証済み。
簡単な言葉で言うと
ROC曲線は、判定閾値を厳格から寛容へと変化させたときの、連続的な検査結果またはリスクスコアの性能を示します。各閾値において、真陽性率(感度)と偽陽性率(1-特異度)の関係がプロットされます。曲線下面積(AUC)は、全体像を0.5から1の間の1つの数値に集約したものです。
AUCは明確な解釈が可能です。これは、検査がランダムに選択された陽性症例に対して、ランダムに選択された陰性症例よりも高いスコアを与える確率を表します。AUCが0.5であれば、検査はコイン投げと変わらないことを意味し、1.0であれば完全に分離できることを意味します。おおよその目安として、0.7~0.8は許容範囲、0.8~0.9は良好、0.9以上は優れていると言えます。
ROC曲線を使用するタイミング
ROC分析は、連続的な予測因子と二値的な真実(バイオマーカー、臨床スコア、またはロジスティック回帰モデルによる予測確率など)との識別能力を評価するために用いられます。これは、診断検査を比較し、特定の臨床状況において感度と特異度のバランスが取れた動作閾値を選択するための標準的な方法です。
AUCとその95%信頼区間を報告し、選択した閾値と、その閾値における感度および特異度を明記してください。同じ患者で2つのモデルを比較する場合は、AUCを独立したものとして扱うのではなく、ペア検定(DeLong検定)を使用してください。連続スコアではなく、単一の固定カットオフ値しかない場合は、感度と特異度を直接報告してください。ROCが適切なツールかどうか不明な場合は、インタラクティブなテストセレクターをご利用ください。
想定される形式:スコア、ラベル:1行に1つずつ(1=肯定的、0=否定的)
ここにCSVファイルをドロップするか、クリックして選択してください。ブラウザで解析されるため、何もアップロードされません。
想定される形式:スコア、ラベル:1行に1つずつ(1=肯定的、0=否定的)
library(pROC) scores <- c({roc_scores}) labels <- c({roc_labels}) roc(labels, scores, direction = "{roc_dir}") # {roc_dir_note}ユーザーガイド
使用時期:連続テストまたはスコアの識別能力を評価する。
前提条件。真の結果は二値(0/1)であり、予測変数またはスコアは連続値である。
よくある間違い。AUCが0.5に近いということは、識別能力がないことを意味します。単一の閾値を過度に解釈しないでください。
実例
上記の「サンプルデータを読み込む」をクリックし、「分析を実行」をクリックすると、このテストの図、数式、解釈を含む完全な結果が表示されます。
参考情報
- Hanley JA、McNeil BJ。ROC曲線下面積の意味と使用法。Radiology. 1982;143:29-36。
実施例
例1:バイオマーカースコア
スコアと真のラベル(1=疾患、0=健康)を持つ10人の被験者から得られた曲線は、左上隅に向かって湾曲しています。AUCは、高いスコアが疾患とどの程度確実に一致するかを要約したものです。AUCとその信頼区間、および選択したカットオフ値における感度と特異度を報告してください。
例2:しきい値の選択
ユーデン指数(感度+特異度-1)は、感度と特異度の合計を最大化する点を特定します。しかし、最適な動作閾値は、その環境における偽陽性と偽陰性のコストによって異なります。スクリーニング検査では感度が、確認検査では特異度が優先される場合があります。
確認すべき前提条件
二値化された、正しくラベル付けされた真実。各事例は、信頼できる基準に基づいて肯定または否定に分類されなければならない。ラベルの誤分類は曲線を歪める。
連続変数または順序変数。ROC分析には、値の範囲を持つスコアが必要です。単一のイエス/ノーテストでは、曲線ではなく1つの点しか得られません。
独立した観測。各被験者は1組のスコアとラベルのペアを提供する。同一被験者に対する繰り返し測定には、クラスタリングを考慮した手法が必要となる。
よくある間違い
AUCを精度として扱う
AUCは、あらゆる閾値におけるランキング能力を測定する指標であり、特定の閾値における精度を測定するものではありません。AUC値が高いからといって、実際に使用する閾値において良好なパフォーマンスが得られるとは限りません。
異なるサンプルからのAUCの比較
2つのモデルを比較するには、同じ患者を対象にペア法(デロング検定)を用いてテストを行う。異なるデータセットで計算されたAUCを比較することは妥当ではない。
階級格差を無視する
陽性例が非常に少ない場合、AUC値が高くても精度が低いことを意味する可能性があります。不均衡なデータの場合、精度-再現率曲線の方がより有益な情報を提供することが多いです。
結果を見てから閾値を選択する
同じデータ上で最も見栄えの良い閾値を選択すると、パフォーマンスが過大評価される可能性があります。選択した閾値は、独立したデータで検証してください。
よくある質問
AUCとは実際には何を意味するのでしょうか?
これは、検査で無作為に選ばれた陽性症例に、無作為に選ばれた陰性症例よりも高いスコアが割り当てられる確率です。0.5は偶然、1.0は完全な確率です。
良いAUCとはどのようなものか?
大まかな目安としては、0.7~0.8は許容範囲、0.8~0.9は良好、0.9以上は優良とされていますが、臨床的に有用な値は用途によって異なります。
最適なカットオフ値はどのように選べば良いですか?
ユーデン指数は一般的なデフォルト値として用いられますが、ご自身の用途に合わせて、偽陽性と偽陰性の相対的なコストを比較検討してください。
結果はSPSS、R、Stataの結果と一致しますか?
はい。この計算ツールはpROCパッケージと同じ台形AUC計算方法を使用しており、正確なRコマンドを表示するので、再現することができます。
参考情報
- ハンリー JA、マクニール BJ。 受信者操作特性(ROC)曲線下の面積の意味と使用法。 放射線学. 1982;143(1):29–36. PMID 7063747.
- マンドレカー JN。 診断検査評価における受信者操作特性曲線。 胸部腫瘍学会誌. 2010;5(9):1315–1316. PMID 20736804.
- DeLong ER、DeLong DM、Clarke-Pearson DL。2つ以上の相関するROC曲線の下の面積を比較する:ノンパラメトリックアプローチ。 バイオメトリクス. 1988;44(3):837–845.
原稿のためにこの分析が必要ですか?
当社の博士号を持つ生物統計学者が、ROC曲線を作成し、信頼区間付きのAUCを計算し、再現可能なR出力を含む、論文掲載に適した図表を提供します。
