Расчет AUC при использовании Vowpal Wabbit

есть ли в любом случае, чтобы вычислить AUC в Vowpal Wabbit?

одной из причин, по которой я использую Vowpal Wabbit, является большой размер файла данных. Я могу вычислить AUC вне среды Vowpal Wabbit, используя вывод Vowpal Wabbit, но это может быть проблематично, если файл данных большой.

8
classification machine-learning vowpalwabbit

1 ответов

В настоящее время VW не может сообщить AUC. Что еще хуже, он не может оптимизировать непосредственно для AUC. Оптимизация для AUC несовместима с онлайн-обучением, но есть некоторые приближения AUC, подходящие для оптимизации.

Что касается вашего вопроса, вам не нужно хранить промежуточный файл с необработанными прогнозами на диске. Вы можете передать его непосредственно в инструмент внешней оценки (perf в этом case):

vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin

изменить: Джон Лэнгфорд!--12-->подтвердил что AUC можно вообще оптимизировать путем изменение коэффициента ложноположительной и ложноотрицательной потери. В VW это означает установку другого значение веса для положительных и отрицательных примеров. Вам нужно настроить оптимальный вес, используя набор удержания (или перекрестную проверку, или прогрессивную потерю проверки для однопроходного обучения).

15