如果把業(yè)務(wù)上的二分類問題（例如信用評分中的“好”與“壞”、“拒絕”與“接受”）從統(tǒng)計(jì)角度理解，都在于尋找一個分類器（classifier），這個分類器可能是logistic模型，也可以是多元判別模型（EdwardAltman1968年發(fā)展的基于財(cái)務(wù)指標(biāo)建立的企業(yè)破產(chǎn)識別z得分模型），還可以使其它復(fù)雜形式的模型。

　　【摘要】如何評價一個評分模型的判別能力，一般在統(tǒng)計(jì)上用ROC、CAP（能力曲線）、K-S統(tǒng)計(jì)量、GINI系數(shù)統(tǒng)計(jì)量等圖形工具或統(tǒng)計(jì)指標(biāo)。其中ROC曲線是較受歡迎的，而K-S統(tǒng)計(jì)量、GINI系數(shù)等和ROC曲線之間有一定的聯(lián)系。

　　【關(guān)鍵詞】評分模型,評價指標(biāo)

　　一、ROC曲線

　　ROC，英文全稱ReceiverOperatingCurve，翻譯成中文，簡稱受試者工作特征曲線。其在統(tǒng)計(jì)實(shí)務(wù)中應(yīng)用甚廣，尤其應(yīng)用于處理醫(yī)學(xué)研究中的“正常組”和“異常組”區(qū)分建模問題，用于評價分類模型的表現(xiàn)能力。

　�。ㄒ唬㏑OC曲線原理。

　　要說清楚ROC曲線的原理，我們從一個簡單的分類實(shí)例問題說起。假如我們有了基于商業(yè)銀行企業(yè)貸款數(shù)據(jù)建立違約-非違約的業(yè)務(wù)分類模型，比如說我們是預(yù)測的所有樣本的違約概率或者信用評級得分，比如信用評級得分，我們獲得了關(guān)于兩類樣本的分布圖形：

　　圖3.1兩類樣本的違約率經(jīng)驗(yàn)分布

　　1.基本假設(shè)

　　上面的圖例可以看成一個基于銀行債務(wù)人違約率分類的分類器。左邊的分布表示歷史樣本數(shù)據(jù)中違約者預(yù)測得到的違約率的分布；右邊的分布相應(yīng)表示非違約者的分布，其中C點(diǎn)表示決策者做出決斷的切分點(diǎn)（cutoff），對于該點(diǎn)有這樣的經(jīng)濟(jì)意義：一旦我們確定了C點(diǎn)，不考慮其他業(yè)務(wù)處理，的樣本被預(yù)測為違約者，反之被預(yù)測為非謂語這。對于一個固定的Cutoff點(diǎn)，我們可得到一些有實(shí)際意義的量化指標(biāo)：

　　HR（C）=，表示在C點(diǎn)左邊，對Defaulters的信用得分分布中，基于C點(diǎn)做決策時候，被正確命中的比率，這里H（C）表示被正確預(yù)測的違約者的樣本個數(shù)，ND表示違約樣本的總數(shù)。

　　HR（C）=，表示在C點(diǎn)左邊，對non-Defaulters的信用得分分布中，基于C點(diǎn)做決策時候，被錯誤預(yù)測的比率，這里F（C）表示被錯誤預(yù)測的違約者的樣本個數(shù)，NND表示非違約樣本的總數(shù)。

　　2.ROC繪制方法

　　很顯然，當(dāng)我們移動C點(diǎn)的時候，我們得到了一個二維坐標(biāo)點(diǎn)的集合，F(xiàn)AR（C），HR（RC）|C？綴信用得分區(qū)間}這里的FAR（C），HR（C）是風(fēng)險管理領(lǐng)域的專用表示方法。將其用統(tǒng)計(jì)中的一些概念進(jìn)行一般化處理，得到：FD（C）==，表示在C點(diǎn)左邊違約樣本個數(shù)，F(xiàn)D（C）表示在C點(diǎn)違約者信用得分的累積概率；FND（C）=FAR（C）則相應(yīng)表示非違約者信用得分的累積概率；同樣我們可得到二維坐標(biāo)集合{FND（C），（C）|C？綴信用得分區(qū)間}。

　　我們將{FND（C），（C）|C？綴}在xy坐標(biāo)平面上繪制，就得到了ROC曲線。

　　（二）ROC曲線與其他評價指標(biāo)間關(guān)系。

　　1.K-S統(tǒng)計(jì)量

　　圖3.2ROC曲線切線—K-S統(tǒng)計(jì)量

　　K-S檢驗(yàn)，用于檢驗(yàn)樣本是否來自一個指定的分布或者檢驗(yàn)兩類樣本是否同分布（獨(dú)立）。對上述例子，兩樣本分布獨(dú)立性的檢驗(yàn)常用K-S統(tǒng)計(jì)量：

　　D=MAX|FD（S）-FD（S）|，這里為了符合常識，我們用表示變量得分。

　　2.GINI系數(shù)/AR（accuracyrate）準(zhǔn)確率

　　GINI系數(shù)和AR（accuracyrate）準(zhǔn)確率實(shí)際上是同一個東西，GINI系數(shù)這一稱呼不知道來源于哪，倒是AR（accuracyrate）準(zhǔn)確率這一術(shù)語常常在金融風(fēng)險管理中出現(xiàn)。它的計(jì)算方法是：ROC曲線和對角線之間的面積與perfectmodel（y=1直線）和對角線（y=x）圍成的面積之比，用于度量模型精確性的一個相對指標(biāo)。

　　AR=■，這里表示ROC曲線與對角線圍成的面積，αpD表示y=1直線與對角線圍成的面積。很容易計(jì)算：AR=2AUC-1。

　　3.LR（似然比）

　　考慮ROC曲線上的導(dǎo)數(shù)，很顯然由這個關(guān)系式，我們得到在ROC曲線上某點(diǎn)的似然比（可以直接理解成得分的好壞比）為該點(diǎn)的導(dǎo)數(shù)，這一指標(biāo)可以刻畫模型局部的區(qū)分能力。

　　二、CAP曲線

　　CAP曲線，亦稱能力曲線，被各大銀行和評級機(jī)構(gòu)用于對違約率（PD）類模型的檢驗(yàn)，它檢驗(yàn)?zāi)Ｐ偷念A(yù)測結(jié)果排序能力。

　　我們依然以上面信用評分模型為例子，能力曲線的繪制通過以下步驟得到：

　　1.對已經(jīng)評分的銀行客戶按其預(yù)測的違約概率從高到低排序；

　　2.橫坐標(biāo)表示客戶按違約率概率從高到低排序后得到樣本總數(shù)的累計(jì)百分比，縱坐標(biāo)表示違約客戶總數(shù)的累計(jì)百分比；

　　3.曲線上任何一點(diǎn)的坐標(biāo)具有如下意義：表示給定所有排序后客戶樣本的一個比例；表示在給定的條件下，違約客戶概率大于等于比例的客戶中最小概率樣本個數(shù)占總的違約客戶樣本總數(shù)的比率。

　　很顯然，對于任何水平方向的數(shù)值，曲線越高，表明模型的預(yù)測能力越強(qiáng)。

　　參考文獻(xiàn)：

　　[1]郭英見，吳沖.基于信息融合的商業(yè)銀行信用風(fēng)險評估模型研究[J].金融研究，2009，01.

---

轉(zhuǎn)載請注明來自：http://www.jinnzone.com/jingjixuelw/38180.html