Scikit-узнайте: как получить истинный позитив, истинный негатив, ложноположительный и ложноотрицательный

для случая с несколькими классами все, что вам нужно, можно найти в матрице путаницы. Например, если ваша матрица путаницы выглядит так:

тогда то, что вы ищете, для каждого класса, можно найти следующим образом:

используя pandas / numpy, вы можете сделать это для всех классов сразу:

FP = confusion_matrix.sum(axis=0) - np.diag(confusion_matrix)  
FN = confusion_matrix.sum(axis=1) - np.diag(confusion_matrix)
TP = np.diag(confusion_matrix)
TN = confusion_matrix.values.sum() - (FP + FN + TP)

# Sensitivity, hit rate, recall, or true positive rate
TPR = TP/(TP+FN)
# Specificity or true negative rate
TNR = TN/(TN+FP) 
# Precision or positive predictive value
PPV = TP/(TP+FP)
# Negative predictive value
NPV = TN/(TN+FN)
# Fall out or false positive rate
FPR = FP/(FP+TN)
# False negative rate
FNR = FN/(TP+FN)
# False discovery rate
FDR = FP/(TP+FP)

# Overall accuracy
ACC = (TP+TN)/(TP+FP+FN+TN)

Вы можете получить все параметры из Матрицы смешения. Структура матрицы путаницы (которая является матрицей 2X2) выглядит следующим образом

TP|FP
FN|TN

Так

TP = cm[0][0]
FP = cm[0][1]
FN = cm[1][0]
TN = cm[1][1]

больше деталей на https://en.wikipedia.org/wiki/Confusion_matrix

согласно документации scikit-learn,

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html#sklearn.metrics.confusion_matrix

по определению матрица путаницы C такова, что C[i, j] равна числу наблюдений, известных в группе i, но предсказанных в группе j.

таким образом, в двоичной классификации количество истинных негативов равно C[0,0], ложных негативов-C[1,0], true положительные - C[1,1], а ложные-C[0,1].

CM = confusion_matrix(y_true, y_pred)

TN = CM[0][0]
FN = CM[1][0]
TP = CM[1][1]
FP = CM[0][1]

в библиотеке scikit-learn "metrics" есть метод confusion_matrix, который дает вам желаемый результат.

вы можете использовать любой классификатор, который вы хотите. Здесь я использовал KNeighbors как пример.

from sklearn import metrics, neighbors

clf = neighbors.KNeighborsClassifier()

X_test = ...
y_test = ...

expected = y_test
predicted = clf.predict(X_test)

conf_matrix = metrics.confusion_matrix(expected, predicted)

>>> print conf_matrix
>>>  [[1403   87]
     [  56 3159]]

документы: http://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html#sklearn.metrics.confusion_matrix

вы можете попробовать sklearn.metrics.classification_report как показано ниже:

import sklearn
y_true = [1, 1, 0, 0, 0, 1, 0, 1, 0, 0, 0]
y_pred = [1, 1, 1, 0, 0, 0, 1, 1, 0, 1, 0]

print sklearn.metrics.classification_report(y_true, y_pred)

выход:

         precision    recall  f1-score   support

      0       0.80      0.57      0.67         7
      1       0.50      0.75      0.60         4

      avg / total       0.69      0.64      0.64        11

Я думаю, что оба ответа не полностью верны. Например, предположим, что у нас есть следующие массивы;
y_actual = [1, 1, 0, 0, 0, 1, 0, 1, 0, 0, 0]

y_predic = [1, 1, 1, 0, 0, 0, 1, 1, 0, 1, 0]

Если мы вычисляем значения FP, FN, TP и TN вручную, они должны быть следующими:

FP: 3 FN: 1 TP: 3 TN: 4

однако, если мы используем первый ответ, результаты даются следующим образом:

FP: 1 FN: 3 TP: 3 ТЕННЕССИ: 4

они неверны, потому что в первом ответе ложноположительный должен быть там, где фактический равен 0, но предсказанный равен 1, а не наоборот. Это также для ложноотрицательный.

и, если мы используем второй ответ, результаты вычисляются следующим образом:

FP: 3 FN: 1 TP: 4 TN: 3

истинные положительные и истинные отрицательные числа неверны, они должны быть противоположными.

Я прав с моими вычислениями? Пожалуйста, дайте мне знать, если я чего-то не хватает.

Если у вас есть более одного класса в вашем классификаторе, вы можете использовать pandas-ml в этой части. Матрица путаницы pandas-ml дает более подробную информацию. проверяем, что

Я написал версию, которая работает, используя только numpy. Надеюсь, это вам поможет.

import numpy as np

def perf_metrics_2X2(yobs, yhat):
    """
    Returns the specificity, sensitivity, positive predictive value, and 
    negative predictive value 
    of a 2X2 table.

    where:
    0 = negative case
    1 = positive case

    Parameters
    ----------
    yobs :  array of positive and negative ``observed`` cases
    yhat : array of positive and negative ``predicted`` cases

    Returns
    -------
    sensitivity  = TP / (TP+FN)
    specificity  = TN / (TN+FP)
    pos_pred_val = TP/ (TP+FP)
    neg_pred_val = TN/ (TN+FN)

    Author: Julio Cardenas-Rodriguez
    """
    TP = np.sum(  yobs[yobs==1] == yhat[yobs==1] )
    TN = np.sum(  yobs[yobs==0] == yhat[yobs==0] )
    FP = np.sum(  yobs[yobs==1] == yhat[yobs==0] )
    FN = np.sum(  yobs[yobs==0] == yhat[yobs==1] )

    sensitivity  = TP / (TP+FN)
    specificity  = TN / (TN+FP)
    pos_pred_val = TP/ (TP+FP)
    neg_pred_val = TN/ (TN+FN)

    return sensitivity, specificity, pos_pred_val, neg_pred_val

вот исправление для вызова багги-кода (который в настоящее время отображается как принятый ответ):

def performance_measure(y_actual, y_hat):
    TP = 0
    FP = 0
    TN = 0
    FN = 0

    for i in range(len(y_hat)): 
        if y_actual[i] == y_hat[i]==1:
            TP += 1
        if y_hat[i] == 1 and y_actual[i] == 0:
            FP += 1
        if y_hat[i] == y_actual[i] == 0:
            TN +=1
        if y_hat[i] == 0 and y_actual[i] == 1:
            FN +=1

    return(TP, FP, TN, FN)