人工智能通识-科普-AUC和ROC

作者 : 开心源码 本文共2104个字,预计阅读时间需要6分钟 发布时间: 2022-05-12 共115人阅读

欢迎关注我的专栏( つ??ω??)つ【人工智能通识】


机器学习生成的结果能否足够好,AUC和ROC是重要指标。

T、F、P、N、R

首先我们先理解这四个概念:

  • T,True,真的。
  • F,False,假的。
  • P,Positive,阳性。
  • N,Negative,阴性。
  • R,Rate,比例,和上面四个没直接关系。

比方说看病这个事情:

  • 一个人得病了,但医生检查结果说他没病,那么他就是FN,假没病,也叫假阴性。
  • 一个人得病了,医生检查结果也说他有病,那么他就是TP,真有病,也叫真阳性。
  • 一个人没得病,医生检查结果却说他有病,那么他就是FP,假有病,也叫假阳性。
  • 一个人没得病,医生检查结果也说他没病,那么他就是TN,真没病,也叫真阴性。

FN、TP、FP、TN,可以了解第二个字母是医生说的,第一个字母是对医生说法的一定(真没病真阴TN,真有病真阳TP)或者否定(假有病假阳FP,假没病假阴FN)。

查出率TPR和查错率FPR

R是Rate比率,那么:

  • TPR,真阳率等于真阳数量除以真阳加假阴,就是真的有病并且医生判断也有病的病人数量除以一律真有病的人(真有病医生也说有病的真阳+真有病医生却说没病的假阴):

TPR=\frac{TP}{TP+FN}

  • FPR,假阳率等于假阳数量除以假阳加真阴,就是没病但医生说有病的病人数量除以一律实际没病的人(没病但医生说有病的+没病医生也说没病的):

FPR=\frac{FP}{FP+TN}

所以说,FPR真阳率是对有病的人的查出率,有病的人里面查出来多少个;而FPR则是对没病人员的误检率,没病的人里面误检了多少个。

  • ACC,Accuracy,精准度,有病被检查出来的TP是检测对了,没病也检测健康的TN也是检测对了,所有检测对的数量除以一律数量就是精准度:

ACC=\frac{TP+TN}{P+N}

案例计算

如果说我们编写了一个算法M,它能够根据一系列的属性(比方身高、爱好、衣着、饮食习惯等)来预测一个人的性别是男还是女。

而后我们有10个人属性组数据让算法M来预测,这10个人的真实性别和预测结果如下:

预测值中0代表女性,1代表男性,数字越大越接近男性特征,数字越小越接近女性特征。假如我们设定区分男女的阈值是0.5,那么预测值大于0.5的都是P正向男性,小于0.5都是N负向女性。

那么,真实6个男人中有[1,3,5,8,9]这5个都查出来了,算法M的查出率TPR=\frac{5}{6}=0.833;真实4个女性中6号被查错,所以误检率FPR=\frac{1}{4}=0.25;精度是ACC=\frac{5+3}{10}=0.8

但是注意,假如我们修改阈值等于4,那么就会变为6个男人全被检出,TPR=1,而女性则被误检2个FPR=0.5,精度依然是0.8。

随机算法

假设我们有一个庸医,根本不懂医术,当病人来检查能否有病的时候,他就随机乱写有病或者者没病,结果呢,对于所有真实有病的,庸医也能正确检查出一半,就是TPR=0.5,同样对于没病的也是一半被误检,就是FPR=0.5

这个庸医的“随机诊法”原理上总能得到相等的查出率和误检率,假如我们把FPR当做坐标横轴,TPR当做数轴,那么“随机诊法”对应了[0,0]到[1,1]的那条直线。

如图所示,越靠近左上角的情况查出率越高,查错率越低,[0,1]点是最完美的状态。而越靠近右下角,算法质量越低。

注用意中右下角C点,这里查错率高,查出率低,属于很糟糕的情况;但是假如我们把C点沿红色斜线对称上去成为C’点,那就很好了。——所以,假如你的算法预测结果总是差的要死,那么可以试试看把它颠倒一下,负负得正,也许就很好了。

ROC曲线

ROC(Receiver Operating Characteristic curve)接受者操作特征曲线。

上面我们都只是把从一组预测样本得到的[FPR,TPR]作为一个点形容,并且我们知道阈值的改变会严重影响FPR和TPR,那么,假如我们把所有可能的阈值都尝试一遍,再把样本集预测结果计算得到的所有[FPR,TPR]点都画在坐标上,就会得到一个曲线:

一般阈值范围是在0~1之间,1表示一个分类(男,或者者有病),0表示另外一个分类(女,或者者无病)。

在这个图中,注意:

  • 横竖都不是阈值坐标轴,这里没有显示阈值。
  • 蓝色线更加靠近左上角,比红色线更好。

ROC曲线上左侧的点好解释,误查率FPR越低,查出率TRP越高,自然是好的;但右上角的怎样解释?误查率和查出率都很高。——想象一下,有个庸医把阈值调的很高比方0.99,那么导致算法推测出来的都是男生,没有女生,这样的情况当然查出率很高(所有男生都查出来了),误查率也很高(所有女生都被当成男生了)。

AUC

ROC曲线的形状不太好量化比较,于是就有了AUC。

AUC,Area under the Curve of ROC (AUC ROC),就是ROC曲线下面的面积。如上图,蓝色曲线下面的面积更大,也就是它的AUC更大。

如图,左侧的红色折线覆盖了下面整个方形面积,AUC=1;中间的曲线向左上方凸起,AUC=0.8;右边的是完全随机的结果,占一半面积,AUC=0.5。

AUC面积越大,算法约好。

当我们写好算法之后,可以用一个样本集来让这个算法进行分类预测,而后我们绘制ROC曲线,观察AUC面积,计算ACC精度,用这些来对算法的好坏进行简单评估。


欢迎关注我的专栏( つ??ω??)つ【人工智能通识】


每个人的智能新时代

假如您发现文章错误,请不吝留言指正;
假如您觉得有用,请点喜欢;
假如您觉得很有用,欢迎转载~


END

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 人工智能通识-科普-AUC和ROC

发表回复