机器学习模型评估指标
机器学习模型指标
在机器学习建模过程中，针对不同的问题，需采用不同的模型评估指标。
主要分为两大类：分类、回归。
1分类问题评估指标
• 混淆矩阵
真阳(true positive，tp)：被模型预测为正的正样本。
假阳(false positive，fp)：被模型预测为正的负样本。
假阴(false negative，fn)：被模型预测为负的正样本。
真阴(true negative，tn)：被模型预测为负的负样本。
真阳率(true positive rate，tpr)或灵敏度(sensitivity)
tpr
=tp/(tp+fn)
===> 正样本预测结果数/正样本实际数
真阴率(true negative rate，tnr)或特指度/特异度(specificity)
tnr
= tn/(tn+fp)
===> 负样本预测结果数/负样本实际数
假阳率(false positive rate，fpr)
fpr
= fp/(fp+tn)
===> 被预测为正的负样本结果数/负样本实际数
假阴率(false negative rate，fnr)
fnr
= fn/(tp+fn)
===> 被预测为负的正样本结果数/正样本实际数
• 准确率 – accuracy
o 准确率，是最常用的分类性能指标。
accuracy
= (tp+tn)/(tp+fn+fp+tn)
即正确预测的正反例数/总数
• 精确率(查准率)- precision
o 只针对预测正确的正样本，表现为预测为正的里面有多少真正是正的。可理解为查准率。
precision
= tp/(tp+fp)
即正确预测的正例数/实际正例总数
• 召回率(查全率)- recall
o 召回率表现出在实际正样本中，分类器能预测出多少。与真正率相等，可理解为查全率。
recall
= tp/(tp+fn)
即正确预测的正例数/实际正例总数
• roc曲线
o roc(receiver operating characteristic)曲线，又称接受者操作特征曲线。roc曲线的横轴为false positive rate，也叫伪阳率(fpr)，即预测错误且实际分类为负的数量与所有负样本数量的比例，纵轴为true positive rate，也叫真阳率(tpr)，即预测正确且实际分类为正的数量与所有正样本的数量的比例。
• auc
o auc的全称是(area under roc curve)，也就是roc曲线下方的面积，auc的范围是0到1，auc越大，代表模型的性能越好。
2分类问题评估指标
• mae(mean absolute error)平均绝对误差
o 平均绝对误差(mean absolute error，mae)，也称为l1损失，是最简单的损失函数之一，也是一种易于理解的评估指标。它是通过取预测值和实际值之间的绝对差值并在整个数据集中取平均值来计算的。从数学上讲，它是绝对误差的算术平均值。mae仅测量误差的大小，不关心它们的方向。mae越低，模型的准确性就越高。
• mse(mean squared error)均方误差
o 均方误差也称为l2损失，mse通过将预测值和实际值之间的差平方并在整个数据集中对其进行平均来计算误差。mse也称为二次损失，因为惩罚与误差不成正比，而是与误差的平方成正比。平方误差为异常值赋予更高的权重，从而为小误差产生平滑的梯度。mse永远不会是负数，因为误差是平方的。误差值范围从零到无穷大。mse随着误差的增加呈指数增长。一个好的模型的mse值接近于零。
• rmse(root mean squared error)均方根误差
o rmse是通过取mse的平方根来计算的。rmse也称为均方根偏差。它测量误差的平均幅度，并关注与实际值的偏差。rmse值为零表示模型具有完美拟合。rmse越低，模型及其预测就越好。
• nrmse(normalized root mean squared error)归一化均方根误差
o 归一化rmse通常通过除以一个标量值来计算，它可以有不同的方式。有时选择四分位数范围可能是最好的选择，因为其他方法容易出现异常值。当您想要比较不同因变量的模型或修改因变量时，nrmse是一个很好的度量。它克服了尺度依赖性，简化了不同尺度模型甚至数据集之间的比较。
Socionext为本土客户开发高性能处理器芯片
MAX2392符合TD-SCDMA UE相位噪声要求
新思科技携手AMD发布第三代处理器AMD EPYC 7003
如何利用自动化技术来提高你的网络安全
没错，这款耳机游泳时也能听歌，xFyro Aria推世界上唯一款具有IPx67防水等级无线耳机
机器学习模型评估指标
笔记本界的“变形金刚”：盘点三款值得购买的二合一笔记本电脑
南通移动提供物联网技术支撑的“智能垃圾桶”正式投放使用
字节跳动或50亿收购VR设备商Pico，进军元宇宙的又一步棋？
氮气流量计的故障分析处理方法
Kube-scheduler调度器内部流转过程
魅族Pro7什么时候上市？魅族Pro7最新消息：魅族Pro7设计功能提升，魅族Pro7Plus加持值得期待
硬阈值和软阈值区别分析及选取技巧
CPU技术及产业链供应关系
220V AC电源LED指示灯电路图
一加7T系列将于9月26日发布
期货永续智能合约交易所平台开发
新唐科技ML51TB9AE控制器简介
华为禁令有望解封美企申请供货加速 英大选后决定是否引进华为5G
新机小米6/荣耀9/一加5该如何选择?小米6/荣耀9/一加5优劣势评测分析
在机器学习建模过程中，针对不同的问题，需采用不同的模型评估指标。
主要分为两大类：分类、回归。
1分类问题评估指标
• 混淆矩阵
真阳(true positive，tp)：被模型预测为正的正样本。
假阳(false positive，fp)：被模型预测为正的负样本。
假阴(false negative，fn)：被模型预测为负的正样本。
真阴(true negative，tn)：被模型预测为负的负样本。
真阳率(true positive rate，tpr)或灵敏度(sensitivity)
tpr
=tp/(tp+fn)
===> 正样本预测结果数/正样本实际数
真阴率(true negative rate，tnr)或特指度/特异度(specificity)
tnr
= tn/(tn+fp)
===> 负样本预测结果数/负样本实际数
假阳率(false positive rate，fpr)
fpr
= fp/(fp+tn)
===> 被预测为正的负样本结果数/负样本实际数
假阴率(false negative rate，fnr)
fnr
= fn/(tp+fn)
===> 被预测为负的正样本结果数/正样本实际数
• 准确率 – accuracy
o 准确率，是最常用的分类性能指标。
accuracy
= (tp+tn)/(tp+fn+fp+tn)
即正确预测的正反例数/总数
• 精确率(查准率)- precision
o 只针对预测正确的正样本，表现为预测为正的里面有多少真正是正的。可理解为查准率。
precision
= tp/(tp+fp)
即正确预测的正例数/实际正例总数
• 召回率(查全率)- recall
o 召回率表现出在实际正样本中，分类器能预测出多少。与真正率相等，可理解为查全率。
recall
= tp/(tp+fn)
即正确预测的正例数/实际正例总数
• roc曲线
o roc(receiver operating characteristic)曲线，又称接受者操作特征曲线。roc曲线的横轴为false positive rate，也叫伪阳率(fpr)，即预测错误且实际分类为负的数量与所有负样本数量的比例，纵轴为true positive rate，也叫真阳率(tpr)，即预测正确且实际分类为正的数量与所有正样本的数量的比例。
• auc
o auc的全称是(area under roc curve)，也就是roc曲线下方的面积，auc的范围是0到1，auc越大，代表模型的性能越好。
2分类问题评估指标
• mae(mean absolute error)平均绝对误差
o 平均绝对误差(mean absolute error，mae)，也称为l1损失，是最简单的损失函数之一，也是一种易于理解的评估指标。它是通过取预测值和实际值之间的绝对差值并在整个数据集中取平均值来计算的。从数学上讲，它是绝对误差的算术平均值。mae仅测量误差的大小，不关心它们的方向。mae越低，模型的准确性就越高。
• mse(mean squared error)均方误差
o 均方误差也称为l2损失，mse通过将预测值和实际值之间的差平方并在整个数据集中对其进行平均来计算误差。mse也称为二次损失，因为惩罚与误差不成正比，而是与误差的平方成正比。平方误差为异常值赋予更高的权重，从而为小误差产生平滑的梯度。mse永远不会是负数，因为误差是平方的。误差值范围从零到无穷大。mse随着误差的增加呈指数增长。一个好的模型的mse值接近于零。
• rmse(root mean squared error)均方根误差
o rmse是通过取mse的平方根来计算的。rmse也称为均方根偏差。它测量误差的平均幅度，并关注与实际值的偏差。rmse值为零表示模型具有完美拟合。rmse越低，模型及其预测就越好。
• nrmse(normalized root mean squared error)归一化均方根误差
o 归一化rmse通常通过除以一个标量值来计算，它可以有不同的方式。有时选择四分位数范围可能是最好的选择，因为其他方法容易出现异常值。当您想要比较不同因变量的模型或修改因变量时，nrmse是一个很好的度量。它克服了尺度依赖性，简化了不同尺度模型甚至数据集之间的比较。
Socionext为本土客户开发高性能处理器芯片
MAX2392符合TD-SCDMA UE相位噪声要求
新思科技携手AMD发布第三代处理器AMD EPYC 7003
如何利用自动化技术来提高你的网络安全
没错，这款耳机游泳时也能听歌，xFyro Aria推世界上唯一款具有IPx67防水等级无线耳机
机器学习模型评估指标
笔记本界的“变形金刚”：盘点三款值得购买的二合一笔记本电脑
南通移动提供物联网技术支撑的“智能垃圾桶”正式投放使用
字节跳动或50亿收购VR设备商Pico，进军元宇宙的又一步棋？
氮气流量计的故障分析处理方法
Kube-scheduler调度器内部流转过程
魅族Pro7什么时候上市？魅族Pro7最新消息：魅族Pro7设计功能提升，魅族Pro7Plus加持值得期待
硬阈值和软阈值区别分析及选取技巧
CPU技术及产业链供应关系
220V AC电源LED指示灯电路图
一加7T系列将于9月26日发布
期货永续智能合约交易所平台开发
新唐科技ML51TB9AE控制器简介
华为禁令有望解封美企申请供货加速 英大选后决定是否引进华为5G
新机小米6/荣耀9/一加5该如何选择?小米6/荣耀9/一加5优劣势评测分析