Экспоненциальная кривая распада, соответствующая numpy и scipy
у меня возникли проблемы с подгонкой кривой к некоторым данным, но я не могу понять, где я ошибаюсь.
в прошлом я делал это с и NumPy.linalg.lstsq для экспоненциальных функций и scipy.оптимизировать.curve_fit для сигмоидными функциями. На этот раз я хотел создать скрипт, который позволил бы мне задавать различные функции, определять параметры и проверять их соответствие данным. При этом я заметил, что составляющей leastsq
и И NumPy lstsq
похоже, предоставляют разные ответы для одного и того же набора данных и одной и той же функции. Функция просто y = e^(l*x)
и ограничен, такие, что y=1
at x=0
.
линия тренда Excel согласуется с Numpy lstsq
результат, но как Scipy leastsq
может принимать любую функцию, было бы хорошо выяснить, в чем проблема.
import scipy.optimize as optimize
import numpy as np
import matplotlib.pyplot as plt
## Sampled data
x = np.array([0, 14, 37, 975, 2013, 2095, 2147])
y = np.array([1.0, 0.764317544, 0.647136491, 0.070803763, 0.003630962, 0.001485394, 0.000495131])
# function
fp = lambda p, x: np.exp(p*x)
# error function
e = lambda p, x, y: (fp(p, x) - y)
# using scipy least squares
l1, s = optimize.leastsq(e, -0.004, args=(x,y))
print l1
# [-0.0132281]
# using numpy least squares
l2 = np.linalg.lstsq(np.vstack([x, np.zeros(len(x))]).T,np.log(y))[0][0]
print l2
# -0.00313461628963 (same answer as Excel trend line)
# smooth x for plotting
x_ = np.arange(0, x[-1], 0.2)
plt.figure()
plt.plot(x, y, 'rx', x_, fp(l1, x_), 'b-', x_, fp(l2, x_), 'g-')
plt.show()
Edit-дополнительная информация
MWE выше включает небольшую выборку набора данных. При примерке фактические данные scipy.оптимизировать.curve_fit кривая представляет собой R^2 0,82, в то время как и NumPy.linalg.lstsq кривая, которая такая же, как и рассчитанная Excel, имеет R^2 0,41.
2 ответов
вы минимизируете различные функции ошибок.
при использовании numpy.linalg.lstsq
функция ошибки минимизируется составляет
np.sum((np.log(y) - p * x)**2)
пока scipy.optimize.leastsq
минимизирует функцию
np.sum((y - np.exp(p * x))**2)
первый случай требует линейной зависимости между зависимой и независимой переменными, но решение известно аналитически, в то время как второй может обрабатывать любую зависимость, но полагается на итерационный метод.
на отдельной записке, я не могу проверить это прямо сейчас, но при использовании numpy.linalg.lstsq
мне не нужно vstack
строка нулей, следующие работы, а также:
l2 = np.linalg.lstsq(x[:, None], np.log(y))[0][0]
чтобы немного разъяснить точку Хайме, любое нелинейное преобразование данных приведет к другой функции ошибки и, следовательно, к различным решениям. Это приведет к различным доверительным интервалам для параметров подгонки. Таким образом, у вас есть три возможных критерия для принятия решения: какую ошибку вы хотите минимизировать, какие параметры вы хотите больше доверять, и, наконец, если вы используете фитинг для прогнозирования некоторого значения, какой метод дает меньше ошибок в интересном прогнозируемое значение. Игра вокруг немного аналитически и в Excel предполагает, что различные виды шума в данных (например, если функция шума масштабирует амплитуду, влияет на постоянную времени или является аддитивной) приводит к различным вариантам решения.
Я также добавлю, что, хотя этот трюк "работает" для экспоненциального распада до 0, он не может быть использован в более общем (и общем) случае затухающих экспонент (восходящих или падающих) до значений, которые нельзя считать 0.