来自 防护 2021-11-07 15:00 的文章

海外高防ip_cc防护值_无限

海外高防ip_cc防护值_无限

"谎言有三种:谎言、该死的谎言和统计数字"——英国首相本杰明·迪斯雷利(1874-1880)在评估新分数或新数据的预测值时,模型性能指标被赋予了显著的权重。这些指标的例子——量化了预测模型在区分预测结果方面的有效性——包括基尼系数、KS(Kolmogorov-Smirnoff统计量)和ROC面积。这些措施之所以有吸引力,是因为它们允许一种直接的方法来比较两种或更多模型的相对有效性,把它们看作是得分——得分最高的分数或数据看起来是最适合购买或使用的。分数和数据供应商通常以一种能为他们的产品产生更具说服力的案例的方式来构建他们的验证。有时他们的努力陷入了游戏的灰色地带——通过调整测试的运行方式产生误导性的结果。这篇文章将是一个由三部分组成的系列文章的第一篇,该系列文章重点介绍了分数验证的设置可以极大地影响模型性能结果的一些方式,有时还会夸大模型的性能结果。我的目标是帮助分数和数据的潜在用户评估他们的选择,并了解他们什么时候可能会看到扭曲的结果。两个吉尼斯的故事我见过一些研究声称,信用风险评分可以提供高达20%的改善信用风险评估比以前的模式,衡量的相对改善基尼。这是一个伟大的结果-但你能相信吗?为了理解这一点,我们必须深入研究这些研究是如何进行的。在一项引用了20%以上的预测改善的研究中,这些措施是在狭义的信用等级上进行评估的,这些信用等级是在评估中使用的基准分数的基础上确定的。怎么了?在基准分数的基础上定义验证段会截断该分数上的总体数据,并使其相对于所评估的"挑战者"分数处于不利地位。这反过来会导致使用挑战者分数来描述显著夸大的收益。为了说明这一点,我们计算了研究中使用的相同度量-%增量基尼提升-只是我们将最新的FICO®评分(FICO®评分9)与之前的版本FICO®评分8进行了比较。如图1所示,在整个人群中的起源使用案例中,我们观察到FICO评分9的基尼值为.708,FICO评分为8分,为0.694。这意味着基尼系数相对提高了2%。为什么这么少?FICO评分9是我们的第7代FICO评分,在我们建立FICO评分的28年多的时间里,我们不断完善我们的算法,尽可能多地从传统的信用报告中提取信号。结果,ddos防御隐藏源站ip,随着时间的推移,神盾的高防cdn,防御ddos自动防御的吗,重建分数所带来的边际收益已经缩水。图2说明了当我们开始使用FICO®评分8定义狭窄的信贷细分时,这些相对提升措施会发生什么。FICO评分为8的人群的FICO评分为8,在670-739之间,这是一个不足的0.213。为什么掉下来了?基尼衡量的是一个模型在"把未来的好的和坏的表现分开"方面的有效性。在70分的FICO评分范围内的人会比整个风险范围内的人表现得更相似,高防低价cdn,因此分数所能做的"推卸"更少。该人群的FICO评分为9,FICO®评分为8=670-739,也相当低,但现在的相对差异要大得多,提高了48%,令人瞠目结舌。有两个原因导致了基尼改善率上升:基准基尼指数较低,相对而言,这推动了较高百分比的改善数字在FICO评分8中得分为670-739的个体并不都属于FICO评分9的这一范围——有些人得分较高,有些人得分较低(使用新分数的关键在于人们的得分会有所不同)。因此,"推开"效应看起来更大,这仅仅是因为队列在FICO评分8的范围内被限制在70分范围内,而不是在FICO评分9分的范围内。玩测试游戏如果这对你来说像是统计上的把戏,那你是对的。分析人士知道这一点,这就是为什么他们会问非常详细的问题,ddos云防御产生的时间,关于基尼指数(或KS或ROC)的改善百分比是如何得出的。这里有更多的证据来证明它是如何工作的:图3总结了通过在基准分数的基础上狭义地定义信贷细分,在不同的评分范围内可以实现的改善百分比。图表中最右边的条形图表示总人口得分提高了2%,这与客户对第七代车型的期望一致。但是,如果我们想扭曲验证结果,我们可以选择FICO评分为8的任何一部分客户,运行基尼测试,结果显示改进高达48%。如果一个贷款机构对"优质"人群的结果做出结论,认为他们的决策在优质细分市场中的利润率将通过改用FICO®评分9来提高近50%,他们会失望的。请放心—当我们展示新版FICO分数的绩效改进结果时,我们不会针对评估中使用的基准分数定义的人群中的狭窄部分这样做。我们希望贷款人有信心,当他们决定投资于一个新的分数(包括遵守OCC 11-12示范治理规则所需的大量投资)时,他们会看到他们的决定如预期的那样得到回报。在评估新分数的价值时,一定要仔细研究验证方法。代替改进百分比统计,考虑不那么敏感的验证材料,如交换集分析,它计算由于从一个分数的使用转换到另一个分数阈值将被交换到高于/低于关键分数阈值的人口的百分比。再加上每个良好账户的利润和损失的可靠预测每一个坏的,你会发现自己处于一个更好的位置,现实地评估一个新的分数或数据源的潜在投资回报率。不幸的是,这并不是唯一一种你可以在游戏中得分验证结果的方法。请继续关注未来的博客文章,我们将揭示模型验证的其他肮脏的小秘密!