2010年7月30日

辛普森悖論(Simpson's Paradox)

校長,不好了,有很多男生在校門口抗議,他們說今年研究所女生錄取率42%是男生21%的兩倍,我們學校遴選學生有性別歧視,校長滿臉疑惑的問秘書,我不是特別交代,今年要儘量提升男生錄取率以免落人口實嗎?

秘書趕緊回答說,確實有交代下去,我剛剛也查過的確是有注意到,今年法學院錄取率是男性75%,女性只有49%。而商學院錄取率是男性10%,女性為5%,二個學院都是男生錄取率比較高,校長這是我作的調查報告



學院女生錄取率男生錄取率合計錄取率
商學院 錄取4949% <1575%6453.3%
申請10020120
法學院錄取15%  <1010%119.2%
申請20100120
總計錄取5042% >2521%7531.25%
申請120120240


秘書,你知道為什麼個別錄取率男皆大於女,但是總體錄取率男卻遠小於女嗎?

此例這就是統計上著名的辛普森悖論(Simpson's Paradox)

辛普森悖論(Simpson's Paradox)

當人們嘗試探究兩種變數是否具有相關性,譬如新生錄取率與性別,報酬與性別等關係時會分別對個別進行分組研究。辛普森悖論是在這類研究中產生的一種現象,在分組比較中都佔優勢的一方,?在總評中反而是失勢的一方,這種現象早在20世紀初就有人討論過,但一直到1951年E.H.辛普森在他發表的論文中,該現象才算正式被描述解釋。

上面例子說明,簡單的將分組資料相加匯總,是不一定能反映真實情況的。就上述例子錄取率與性別來說,導致辛普森悖論有兩個前提。

(1) 兩個分組的錄取率相差很大,就是說法學院錄取率9.2%很低,而商學院53.3%卻很高,另一方面,兩種性別的申請者分佈比重卻相反,女生偏愛申請商學院,故商學院女生申請比率占83.3%,相反男生偏愛申請法學院,因此法學院女生申請比率只占0.833%。結果在數量上來說,錄取率低的法學院,因為女生申請為數少,所以不錄取的女生相對很少。而錄取率很高的商學院雖然錄取了很多男生,但是申請者卻不多。使得最後匯總的時候,女生在數量上反而佔優勢。

(2) 性別並非是錄取率高低的唯一因素,甚至可能是毫無影響的,至於在法商學院中出現的比率差可能是屬於隨機事件,又或者是其他因素作用,譬如學生入學成績卻剛好出現這種錄取比例,使人牽強地誤認為這是由性別差異而造成的。

辛普森悖論(Simpson's Paradox)回避

為了避免辛普森悖論出現,就需要斟酌個別分組的權重,以一定的係數去消除以分組資料基數差異所造成的影響,同時必需瞭解該情境是否存在其他潛在要因而綜合考慮。

辛普森悖論(Simpson's Paradox)於管理

辛普森悖論就像是欲比賽100籃球以總勝率評價好壞,於是有人專找高手挑戰20場而勝1場,另外80場找平手挑戰而勝40場,結果勝率41%,另一人則專挑高手挑戰80場而勝8場,而剩下20場平手打個全勝,結果勝率為28%,比41%小很多,但仔細觀察挑戰對象,後者明顯較有實力。

量與質是不等價的,無奈的是量比質來得容易量測,所以人們總是習慣用量來評定好壞,而此資料卻不是重要的。除了質與量的迷思之外,辛普森悖論的另外一個啟示是:如果我們在人生的抉擇上選擇了一條比較難走的路,就得要有可能不被賞識的領悟,所以這算是懷才不遇這個成語在統計上的詮釋囉!

沒有留言: