Обнаружение "необычного поведения" с помощью машинного обучения с CouchDB и Python?

вы правы, предполагая, что это проблема, идеально подходящая для машинного обучения, и scikit-learn.org является моей предпочтительной библиотекой для этих типов проблем. Не беспокойтесь о специфике - (couchdb cloudant) на данный момент, позволяет получить вашу проблему в состояние, где она может быть решена.

если мы можем предположить, что изменения в деталях входа в систему (время, местоположение, user-agent и т. д.) для данного пользователя низкие, то любое большое отклонение от этого вызовет ваше предупреждение. Этот где в игру вступает обнаружение "выброса", которое предложил @Robert McGibbon.

например, сожмите каждую деталь входа в систему в одно измерение, и создайте вектор детали входа для каждого пользователя (есть значительная возможность для улучшения этого дайджеста информации входа в систему);

• время входа в систему (по модулю 24 часа)
• местоположение (возможно, массив целочисленных местоположений, каждое целое число, представляющее другую страну)
• user-agent (похожий массив целочисленных пользовательских агентов)

и так далее. Каждый раз, когда пользователь входит в систему, создайте этот массив сведений и сохраните его. После того, как вы накопили большой набор тестовых данных, вы можете попробовать запустить некоторые процедуры ML.

Итак, у нас есть пользователь и набор данных входа в систему, соответствующий успешному входу в систему (набор обучения). Теперь мы можем обучать Опорных Векторов чтобы распознать этот шаблон входа пользователей:

from sklearn import svm

# training data [[11.0, 2, 2], [11.3, 2, 2] ... etc]
train_data = my_training_data()

# create and fit the model
clf = svm.OneClassSVM()
clf.fit(train_data)

и затем, каждый раз, когда новый вход в систему даже происходит, создайте один массив подробностей входа в систему и передайте это мимо SVM

if clf.predict(log_in_data) < 0:
    fire_alert_event()
else:
    # log-in is not dissimilar to previous attempts
    print('log in ok')

если SVM находит, что новая точка данных значительно отличается от ее тренировочного набора, то он запустит сигнал тревоги.

Мои Два Пенса. Как только вы овладеете хорошим набором тренировок, есть еще много методов ML, которые могут быть лучше подходят для вашей задачи (они могут быть быстрее, точнее и т. д.), Но создание ваших учебных наборов, а затем обучение подпрограммам будет самым серьезная проблема.

есть много интересных вещей, чтобы попробовать! Если вы знаете, что у вас есть неудачные попытки входа в систему, вы можете добавить их в учебные наборы, используя более сложный SVM, который вы тренируете с хорошими и плохими входами. Вместо того, чтобы использовать массив разрозненных значений "местоположения", вы можете найти евклидовы разные логины и использовать их! Это звучит как большое удовольствие, удачи!