如何在非常不平衡的数据集上使用vowpal wabbit进行逻辑回归

在vw邮件列表上发布了类似的问题.为了未来用户的利益,我将尝试总结所有回复中的要点.

不平衡的培训设定了最佳实践:

您的训练集非常不平衡(200,000到100).这意味着只有0.0005(0.05%)的例子具有标签1.通过始终预测-1,分类器实现了99.95%的显着精度.换句话说,如果假阳性的成本等于假阴性的成本,那么这实际上是一个很好的分类器.如果您正在寻找等权重结果,您需要做两件事:

重新衡量你的例子,以便较小的群体与较大的群体具有相同的权重

对示例进行重新排序/随机播放,以便将正面和负面混合在一起.

第二点在学习率随时间衰减的在线学习中尤为重要.因此,理想的顺序,假设你被允许自由重新排序(例如,例子之间没有时间依赖性),在线学习是一个完全统一的混乱(1, -1, 1, -1, ...)

另请注意,示例权重的语法(假设2000:1流行率)需要如下所示:

    1   2000  optional-tag| features ...
    -1  1     optional-tag| features ...

并且如上所述,将单个2000加权示例分解为仅具有1重复2000次的权重并将其与2000个常见示例(具有-1标签的那些)交错:

   1  | ...
   -1 | ...
   1  | ...  # repeated, very rare, example
   -1 | ...
   1  | ...  # repeated, very rare, example

在更平稳的收敛和更低的训练损失方面应该会产生更好的结果.*警告:作为一般规则,重复任何例子太多,例如在1:2000比率的情况下,很可能导致过度拟合重复的类.您可能希望通过较慢的学习(使用--learning_rate ...)和/或随机重采样来对抗:(使用--bootstrap ...)

考虑对流行类进行下采样

为了避免过度拟合:而不是将稀有类增加2000倍,考虑采用相反的方式,并通过抛弃大多数示例来"减轻"更常见的类.虽然这可能听起来令人惊讶(如何抛弃完美的好数据是有益的？)它将避免如上所述的重复类的过度拟合,并且实际上可能导致更好的泛化.根据情况和错误分类的成本,最佳下采样因子可能会有所不同(在这种情况下不一定是1/2000,但可能在1到1/2000之间).另一种需要编程的方法是使用主动学习:训练一小部分数据,然后继续预测课程而不学习(-t或零重量); 如果该类是普遍的类并且在线分类器非常确定结果(预测值是极端的,或者-1在使用时非常接近--link glf1),则抛弃冗余的示例.IOW:仅将训练集中在边界情况上.

使用--binary(取决于您的需要)

--binary输出预测的符号(并相应地计算累进损失).如果需要概率,请不要使用--binary和管道vw预测输出utl/logistic(在源树中). utl/logistic将原始预测映射到范围内的签名概率[-1, +1].

一种影响--binary是误导(乐观)损失.将预测钳位到{-1,+ 1}可以显着提高表观准确度,因为每个正确的预测都有0.0的损失.这可能会产生误导,因为只是添加--binary经常会使模型看起来更准确(有时非常准确)而不是没有--binary.

更新(2014年9月):最近添加了一个新选项vw:在内部预测时--link logistic实现[0,1]映射vw.同样,--link glf1实现更常用的[-1, 1]映射.助记符:glf1代表"带[-1, 1]范围的广义逻辑函数"

去容易对--l1和--l2

使用高值--l1和/或--l2值是一个常见的错误.这些值直接用于每个示例,而不是相对于1.0.更确切地说:在vw:l1并且l2直接应用于每个示例中的梯度之和(或"范数").尝试使用更低的值,例如--l1 1e-8. utl/vw-hypersearch可以帮助您找到各种超参数的最佳值.

多次通过要小心

使用这是一个常见的错误,--passes 20以尽量减少训练错误.请记住,目标是最小化泛化错误而不是训练错误.即使有一个很酷的添加holdout(感谢Zhen Qin),vw当错误停止在自动保持数据上时自动提前终止(默认情况下每个第10个示例都被保持),多次通过最终会开始过度拟合持有的数据("无免费午餐"原则).

总结arielf的详细答案.

重要的是要知道什么是预期的最终成本(损失)功能:物流损失,0/1损失(即准确度),F1得分,RO曲线下面积,还有其他什么？

这是arielf答案的一部分的Bash代码.请注意,我们应该首先从train.txt中删除重要性加权的奇怪尝试(我的意思是问题中的":1.00038 "和":2601.25").

A. Prepare the training data
grep '^-1' train.txt | shuf > neg.txt
grep '^1' train.txt | shuf > p.txt
for i in `seq 2000`; do cat p.txt; done > pos.txt
paste -d '\n' neg.txt pos.txt > newtrain.txt

B. Train model.vw
# Note that passes=1 is the default.
# With one pass, holdout_off is the default.
`vw -d newtrain.txt --loss_function=logistic -f model.vw`
#average loss = 0.0953586

C. Compute test loss using vw
`vw -d test.txt -t -i model.vw --loss_function=logistic -r   
raw_predictions.txt`
#average loss = 0.0649306

D. Compute AUROC using http://osmot.cs.cornell.edu/kddcup/software.html
cut -d ' ' -f 1 test.txt | sed -e 's/^-1/0/' > gold.txt
$VW_HOME/utl/logistic -0 raw_predictions.txt > probabilities.txt
perf -ROC -files gold.txt probabilities.txt 
#ROC    0.83484
perf -ROC -plot roc -files gold.txt probabilities.txt | head -n -2 > graph
echo 'plot "graph"' | gnuplot -persist