Ошибка метрики Scikit F-score

Я пытаюсь предсказать набор меток, используя логистическая регрессия от SciKit. мои данные действительно несбалансированы (есть много больше "0", чем " 1 " метки), поэтому я должен использовать F1 оценка метрика во время шага перекрестной проверки, чтобы "сбалансировать" результат.

[Input]
X_training, y_training, X_test, y_test = generate_datasets(df_X, df_y, 0.6)
logistic = LogisticRegressionCV(
    Cs=50,
    cv=4,
    penalty='l2', 
    fit_intercept=True,
    scoring='f1'
)
logistic.fit(X_training, y_training)
print('Predicted: %s' % str(logistic.predict(X_test)))
print('F1-score: %f'% f1_score(y_test, logistic.predict(X_test)))
print('Accuracy score: %f'% logistic.score(X_test, y_test))

[Output]
>> Predicted: [0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0]
>> Actual:    [0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 1 1]
>> F1-score: 0.285714
>> Accuracy score: 0.782609
>> C:Anaconda3libsite-packagessklearnmetricsclassification.py:958:  
   UndefinedMetricWarning:
   F-score is ill-defined and being set to 0.0 due to no predicted samples.

Я, конечно, знаю, что проблема связана с моим набором данных: он слишком мал (это только образец реального). Однако может ли кто-нибудь объяснить смысл "Undefinedmetric WARNING" предупреждение, что я вижу? Что на самом деле происходит за кулисами?

6
cross-validation logistic-regression machine-learning python scikit-learn

2 ответов

кажется, это известная ошибка здесь который был исправлен, я думаю, вы должны попробовать обновить sklearn.

4

однако, может ли кто-нибудь объяснить значение предупреждения "UndefinedMetricWarning", которое я вижу? Что на самом деле происходит за кулисами?

это хорошо описано в https://stackoverflow.com/a/34758800/1587329:

https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/metrics/classification.py

F1 = 2 * (точность * отзыв) / (точность + напомним)

precision = TP / (TP+FP), как вы только что сказали, если предиктор не прогнозирует положительную класс точности равно 0.

recall = TP / (TP+FN), в случае, если предиктор не предсказывает положительный класс-TP равен 0-отзыв равен 0.

Итак, теперь вы деления 0/0.

чтобы исправить проблему взвешивания (классификатору легко (почти) всегда предсказывать более распространенный класс), вы можете использовать class_weight="balanced":

logistic = LogisticRegressionCV(
    Cs=50,
    cv=4,
    penalty='l2', 
    fit_intercept=True,
    scoring='f1',
    class_weight="balanced"
)

LogisticRegressionCV говорит:

"сбалансированный" режим использует значения y для автоматической регулировки Весов, обратно пропорциональных частотам классов во входных данных как n_samples / (n_classes * np.bincount(y)).

1