Как вычислить вероятность значения, заданного списком образцов из дистрибутива в Python?

поскольку у вас, похоже, нет конкретного распределения, но у вас может быть много образцов данных, я предлагаю использовать непараметрический метод оценки плотности. Один из типов данных, которые вы описываете (время в МС), явно непрерывен, а одним из методов непараметрической оценки функции плотности вероятности (PDF) для непрерывных случайных величин является гистограмма, о которой вы уже упоминали. Однако, как вы увидите ниже, оценка плотности ядра (KDE) может быть лучше. Второй тип данных, который вы описываете (количество символов в последовательности), является дискретным. Здесь оценка плотности ядра также может быть полезна и может рассматриваться как метод сглаживания для ситуаций, когда у вас нет достаточного количества выборок для всех значений дискретной переменной.

Оценка Плотности

в приведенном ниже примере показано, как сначала генерировать образцы данных из смеси 2 гауссовых распределений, а затем применять плотность ядра оценка для нахождения функции плотности вероятности:

import numpy as np
import matplotlib.pyplot as plt
import matplotlib.mlab as mlab
from sklearn.neighbors import KernelDensity

# Generate random samples from a mixture of 2 Gaussians
# with modes at 5 and 10
data = np.concatenate((5 + np.random.randn(10, 1),
                       10 + np.random.randn(30, 1)))

# Plot the true distribution
x = np.linspace(0, 16, 1000)[:, np.newaxis]
norm_vals = mlab.normpdf(x, 5, 1) * 0.25 + mlab.normpdf(x, 10, 1) * 0.75
plt.plot(x, norm_vals)

# Plot the data using a normalized histogram
plt.hist(data, 50, normed=True)

# Do kernel density estimation
kd = KernelDensity(kernel='gaussian', bandwidth=0.75).fit(data)

# Plot the estimated densty
kd_vals = np.exp(kd.score_samples(x))
plt.plot(x, kd_vals)

# Show the plots
plt.show()

это приведет к следующему графику, где истинное распределение показано синим цветом, гистограмма показана зеленым цветом, а PDF, оцененный с помощью KDE, показан красным цветом:

как вы можете видеть, в этой ситуации PDF, аппроксимированный гистограммой, не очень полезен, в то время как KDE дает гораздо лучшую оценку. Однако при большем числе выборок данных и правильный выбор размера Бина, гистограммы также может дать хорошую оценку.

параметры, которые вы можете настроить в случае KDE являются ядро и ширина полосы. Вы можете думать о ядре как о строительном блоке для оцененного PDF, и несколько функций ядра доступны в Scikit Learn: гауссова, тофата, епанечникова, экспоненциальная, линейная, косинусная. Изменение полосы пропускания позволяет настроить компромисс смещения-дисперсии. Большая пропускная способность приведет к увеличению смещения, что хорошо, если у вас меньше выборок данных. Меньшая пропускная способность увеличит дисперсию (в оценку будет включено меньше выборок), но даст лучшую оценку, когда будет доступно больше выборок.

Расчет Вероятности

для PDF вероятность получается путем вычисления интеграла по диапазону значений. Как вы заметили, это приведет к вероятности 0 для определенного значения.

Scikit Learn не кажется иметь встроенную функцию для вычисления вероятности. Тем не менее, легко оценить Интеграл PDF в диапазоне. Мы можем сделать это, оценив PDF несколько раз в пределах диапазона и суммируя полученные значения, умноженные на размер шага между каждой точкой оценки. В приведенном ниже примере N образцы получены с шагом step.

# Get probability for range of values
start = 5  # Start of the range
end = 6    # End of the range
N = 100    # Number of evaluation points 
step = (end - start) / (N - 1)  # Step size
x = np.linspace(start, end, N)[:, np.newaxis]  # Generate values in the range
kd_vals = np.exp(kd.score_samples(x))  # Get PDF values for each x
probability = np.sum(kd_vals * step)  # Approximate the integral of the PDF
print(probability)

обратите внимание:kd.score_samples генерирует лог-вероятность выборки данных. Следовательно,np.exp нужен для получения вероятность.

то же вычисление может быть выполнено с использованием встроенных методов интеграции SciPy, что даст немного более точный результат:

from scipy.integrate import quad
probability = quad(lambda x: np.exp(kd.score_samples(x)), start, end)[0]

например, для одного запуска первый метод рассчитал вероятность как 0.0859024655305, в то время как второй метод производил 0.0850974209996139.