ROC曲線

検査やモデルの判別能を評価する方法

ROC曲線（Receiver Operating Characteristic curve、受信者動作特性曲線）は、検査値やモデルの予測確率が、2値の状態（疾患あり/なし、解約あり/なしなど）をどの程度正しく判別できるかを評価する方法です。陽性と判定するカットオフ値（分割点）を少しずつ変えながら、縦軸に感度、横軸に1−特異度をとって描きます。曲線の下側の面積であるAUC（Area Under the Curve、曲線下面積）を用いると、判別能を1つの数値で要約できます。

医療分野では診断検査やバイオマーカーの性能評価に、ビジネス分野では与信スコアや離反予測モデルの評価に広く使われます。ロジスティック回帰分析などで作成した予測モデルの性能を確認する方法としても標準的です。

感度と特異度

あるカットオフ値で陽性・陰性を判定すると、実際の状態との組み合わせで4つの結果が生じます。実際に陽性のケースを陽性と判定したものを真陽性（TP）、陰性と判定したものを偽陰性（FN）、実際に陰性のケースを陰性と判定したものを真陰性（TN）、陽性と判定したものを偽陽性（FP）と呼びます。この4つの度数をまとめた表を混同行列（分類表）といいます。

感度と特異度はトレードオフの関係にあります。カットオフ値を下げて陽性と判定しやすくすると感度は上がりますが、陰性のケースも陽性と判定されやすくなるため特異度は下がります。ROC曲線は、すべてのカットオフ値でのこの関係を1つの図にまとめたものです。

ROC曲線の見方

ROC曲線は、考えられるすべてのカットオフ値について（1−特異度, 感度）の組を求め、点を結んだ曲線です。左下の点（0, 0）はすべてを陰性と判定した場合、右上の点（1, 1）はすべてを陽性と判定した場合にあたります。

曲線が左上に近いほど、偽陽性を抑えながら高い感度が得られることを意味し、判別能が高いと判断します。左上の角（0, 1）は、感度と特異度がともに1の完全な判別にあたります。対角線に沿った曲線は、検査値が判定に役立たず、偶然と同じ程度の判別にとどまる状態を示します。

AUC（曲線下面積）

AUCはROC曲線の下側の面積で、0から1の値をとります。対角線の場合は0.5、完全な判別では1になります。AUCは、陽性群と陰性群から1ケースずつ無作為に選んだときに、陽性群のケースの方が陽性らしい検査値を示す確率と解釈できます（Hanley & McNeil, 1982）。カットオフ値を決める前の段階で、検査やモデルそのものの判別能を比較できる点が利点です。

AUCの大きさの評価には、次の目安がよく引用されます（Hosmer et al., 2013）。

1. AUC＝0.5：判別能なし
2. 0.5＜AUC＜0.7：判別能が低い
3. 0.7≦AUC＜0.8：許容できる判別能
4. 0.8≦AUC＜0.9：優れた判別能
5. AUC≧0.9：非常に優れた判別能

この区分は一般的な目安で、求められる水準は分野や用途によって変わります。見落としが重大な結果につながる診断ではより高い水準が求められ、既存のモデルとの比較で改善の幅を評価する場面もあります。

ロジスティック回帰モデルの評価では、AUCはc統計量（concordance statistic）とも呼ばれます。信用スコアリングなどで用いられるGini係数は、AUCから 2×AUC−1 で求められます。AUCは0.5から1の範囲を取るため、Gini係数は0から1までの範囲を取ります。どちらも値が大きいほど分類性能が良いことを表す指標です。

カットオフ値とYouden指数

検査を実際に運用するには、陽性と判定するカットオフ値を決める必要があります。代表的な基準がYouden指数（Youden's J）です（Youden, 1950）。

J ＝ 感度＋特異度−1

Youden指数は、ROC曲線上の点と対角線との縦方向の距離にあたります。この値が最大となるカットオフ値を、最適なカットオフ値の候補とします。Youden指数は感度と特異度を同じ重みで扱う基準なので、偽陰性と偽陽性の損失が大きく異なる場合は、目的に合わせて判断します。例えば、見落としを避けたいスクリーニング検査では感度を優先し、不要な精密検査や介入を避けたい場面では特異度を優先したカットオフ値を選ぶことがあります。

ロジスティック回帰との組み合わせ

ROC曲線の検定変数には、1つの検査値だけでなく、複数の変数から算出した予測確率も使えます。ロジスティック回帰分析で年齢や検査値などから予測確率を求め、その予測確率でROC曲線を描くと、モデル全体の判別能をAUCで評価できます。傾向スコアを推定したモデルの確認にも同じ方法が用いられます。

SPSSでは、SPSSによる二項ロジスティック回帰分析の手順で予測確率を保存し、その予測確率を検定変数にしてROC曲線とAUCを求めることができます。

分析時の注意点

1. AUCは陽性と陰性を順位づける力（判別能）の指標です。予測確率の大きさが実際の発生割合と合っているか（キャリブレーション）は、Hosmer-Lemeshow検定などの適合度で別に確認します。
2. モデルを作成したデータと同じデータでAUCを求めると、判別能は楽観的に見積もられやすくなります。予測モデルとして使う場合は、別のデータや交差検証での確認を検討します。
3. 陽性のケースが極端に少ない不均衡データでは、ROC曲線に加えて適合率-再現率曲線（PR曲線）の確認が役立ちます。
4. 値が小さいほど陽性を示す検査では、検定の方向を正しく指定します。方向を誤るとAUCが0.5を下回ります。
5. 2つの検査のAUCを比較する場合は、同じ対象者で測定したか（対応あり）、別の対象者か（独立した群）によって検定方法が異なります。

SPSS Statistics でのROC曲線

SPSS Statisticsでは、基本製品のBaseに含まれるROC分析（「分析」＞「分類」＞「ROC分析」）でROC曲線を作成できます。ROC曲線、AUCとその信頼区間、カットオフ値ごとの感度と1−特異度を出力でき、v29.0.1以降ではYouden指数（ヨーデン指標）も表示できます。独立した2群や対応のある2つの検査のROC曲線の比較、適合率-再現率曲線にも対応しています。

ソフトウェア

SPSSでは、BaseのROC分析でROC曲線とAUCを求め、予測確率はRegressionオプションの二項ロジスティック回帰で保存できます。Rでは、pROCパッケージのroc()関数でROC曲線とAUCを求め、coords()関数で最適なカットオフ値を確認できます。Pythonでは、scikit-learnのroc_curve関数とroc_auc_score関数がよく使われます。

IBM SPSS Statistics 製品情報
IBM SPSS Statistics Base