Как интерпретировать верхнюю / нижнюю границу точки данных с доверительными интервалами?
учитывая список значений:
>>> from scipy import stats
>>> import numpy as np
>>> x = list(range(100))
используя t-тест Стьюдента, я могу найти доверительный интервал распределения в среднем с Альфой 0,1 (т. е. с уверенностью 90%) с:
def confidence_interval(alist, v, itv):
return stats.t.interval(itv, df=len(alist)-1, loc=v, scale=stats.sem(alist))
x = list(range(100))
confidence_interval(x, np.mean(x), 0.1)
[выход]:
(49.134501289005009, 49.865498710994991)
но если бы я должен был найти доверительный интервал в каждой точке данных, например, для значения 10
:
>>> confidence_interval(x, 10, 0.1)
(9.6345012890050086, 10.365498710994991)
как следует интерпретировать интервал значений? это статистически-математический звука интерпретировать это вообще?
он идет что-то вроде:
С уверенностью 90% мы знаем, что точка данных
10
попадает в интервал(9.6345012890050086, 10.365498710994991)
,
ака.
С уверенностью 90% можно сказать, что точка данных падает на 10 +- 0.365...
Итак, можем ли мы интерпретировать интервал как своего рода график коробки точки данных?
2 ответов
короче
ваш вызов дает интервал достоверности для среднего параметра нормального закона неизвестных параметров, из которых вы наблюдали 100 наблюдений со средним значением 10 и stdv 29. Кроме того, неразумно интерпретировать его, поскольку ваше распределение явно ненормально, и потому что 10 не является наблюдаемым средним.
TL; DR
есть много заблуждений, плавающих вокруг доверительных интервалов, большинство из которых, по-видимому, связано с непонимание того, в чем мы уверены. Поскольку в вашем понимании доверительного интервала есть некоторая путаница, возможно, более широкое объяснение даст более глубокое понимание концепций, с которыми вы работаете, и, надеюсь, определенно исключит любой источник ошибки.
очистка от заблуждений
очень кратко, чтобы настроить вещи. Мы находимся в ситуации, когда мы хотим оценить параметр, или, скорее, мы хотим проверить гипотезу для значения параметра параметризация распределения случайной величины. e.g: предположим, у меня есть нормально распределенная переменная X со средним m и Сигмой стандартного отклонения, и я хочу проверить гипотезу m=0.
что такое параметрический тест
это процесс проверки гипотезы о параметре для случайной величины. Поскольку мы имеем доступ только к наблюдениям, которые являются конкретными реализациями случайной величины, она обычно обрабатывается вычислением a статистика of это осознание. Статистика является примерно функцией реализаций случайной величины. Назовем эту функцию S, мы можем вычислить S на x_1,...,x_n по числу реализаций Х.
поэтому вы понимаете, что S (X) является случайной величиной, а также с распределением, параметрами и так далее! Идея заключается в том, что для стандартных тестов S(X) следует очень известному распределению, для которого значения табулируются. например: http://www.sjsu.edu/faculty/gerstman/StatPrimer/t-table.pdf
что такое доверительный интервал?
учитывая то, что мы только что сказали, определение доверительного интервала было бы: диапазон значений для тестируемого параметра, такой, что если бы наблюдения были сгенерированы из распределения, параметризованного значением в этом диапазоне, это не было бы вероятностно маловероятным. Другими словами, доверительный интервал дает ответ на вопрос: учитывая следующие наблюдения x_1,..., x_n n реализации X, можно с уверенностью сказать, что распределение X параметризовано таким значением. 90%, 95%, etc... утверждает уровень доверия. Обычно этот уровень фиксируют внешние ограничения(промышленные нормы для оценки качества, научные нормы е. г: Для открытия новых частиц).
Я думаю, что теперь интуитивно вам это:
чем выше уровень доверия, тем больше доверительный интервал. например, для уверенности 100% доверительный интервал будет варьироваться во всех возможных значениях, как только будет некоторая неопределенность
для большинства тестов, в условиях, которые я не буду описывать, чем больше наблюдений у нас есть, тем больше мы можем ограничить доверительный интервал.
С уверенностью 90% мы знаем, что точка данных 10 падает в интервале (9.6345012890050086, 10.365498710994991)
это неправильно говорить, и это самый распространенный источник ошибок. Доверительный интервал 90%никогда означает, что оценочный параметр имеет 90% - процентную вероятность попадания в этот интервал. Когда интервал вычисляется, он охватывает параметр или нет, это уже не вопрос вероятности. 90% оценка надежности процедуры оценки.
что такое студент тест?
теперь давайте перейдем к вашему примеру и посмотрим на него в свете того, что мы только что сказали. Вы должны применить тест студента к вашему списку наблюдений. Во-первых: тест студента направлен на проверку гипотезы равенства между средним m нормально распределенной случайной величины с неизвестный стандартное отклонение, и определенное значение m_0.
статистика связана с этот тест t = (np.mean(x) - m_0)/(s/sqrt(n))
где x-ваш вектор наблюдений, n число наблюдения и s эмпирическая стандартное отклонение. Неудивительно, что это следует за распределением студентов.
следовательно, то, что вы хотите сделать, это:
вычислите эту статистику для своей выборки, вычислите доверительный интервал, связанный с распределением студента с таким количеством степеней свободы, это теоретической значит, и уровень доверия
посмотрите, если ваш вычисляемый
t
попадает в это интервал, который говорит вам, можете ли вы исключить гипотезу равенства с таким уровнем уверенности.
Я хотел дать вам упражнение, но я думаю, что я был достаточно долго.
в заключение об использовании scipy.stats.t.interval
. Вы можете использовать его одним из двух способов. Либо вычислите статистику t с помощью формулы, показанной выше, и проверьте, соответствует ли t интервалу, возвращаемому interval(alpha, df)
где df-длина вашей выборки. Или вы можете напрямую позвонить interval(alpha, df, loc=m, scale=s)
где m-эмпирическую значит, и с эмпирической стандарт deviatation (деленное на кв. корень(N)). В таком случае, возвращенный интервал будет доверительным интервалом для среднего значения.
таким образом, в вашем случае ваш вызов дает интервал уверенности для среднего параметра нормального закона неизвестных параметров, из которых вы наблюдали 100 наблюдений со средним значением 10 и stdv 29. Кроме того, это не звучит, чтобы интерпретировать его, помимо ошибки интерпретации, которую я уже указано, поскольку ваше распределение явно не является нормальным,и потому что 10 не является наблюдаемым средним.
ресурсы
вы можете проверить следующие ресурсы, чтобы идти дальше.
wikipedia ссылки, чтобы иметь быстрые ссылки и elborated обзор
https://en.wikipedia.org/wiki/Confidence_interval
https://en.wikipedia.org/wiki/Student%27s_t-test
https://en.wikipedia.org/wiki/Student%27s_t-distribution
пойти дальше
http://osp.mans.edu.eg/tmahdy/papers_of_month/0706_statistical.pdf
Я не читал его, но ниже, кажется, совсем хороший. https://web.williams.edu/Mathematics/sjmiller/public_html/BrownClasses/162/Handouts/StatsTests04.pdf
вы также должны проверить p-значения, вы найдете много сходств и, надеюсь, вы поймете их лучше после прочтения этого сообщения.
https://en.wikipedia.org/wiki/P-value#Definition_and_interpretation
доверительные интервалы безнадежно противоречат интуиции. Особенно для программистов, осмелюсь сказать, как программист.
Wikipedida использует 90% уверенность, чтобы проиллюстрировать возможную интерпретацию:
Если бы эта процедура была повторена на многочисленных выборках, доля вычисленных доверительных интервалов (которые будут отличаться для каждой выборки), которые охватывают истинный параметр популяции, имела бы тенденцию к 90%.
In другие слова
- доверительный интервал предоставляет информацию о статистическом параметре (например, среднем) выборки.
- интерпретация, например, 90% доверительного интервала будет: если вы повторите эксперимент бесконечное количество раз, 90% результирующих доверительных интервалов будут содержать истинный параметр.
предполагая, что код для вычисления интервала правильный (который я не проверял), вы можете использовать его для вычисления доверительный интервал среднего значения (из-за t-распределение, который моделирует выборочное среднее нормально распределенной популяции с неизвестным стандартным отклонением).
для практических целей имеет смысл пройти в образец. Иначе вы говорите:"если бы я сделал вид, что мои данные имеют среднее выборочное значение, например 10, доверительный интервал среднего будет [9.6, 10.3]".
конкретные данные, переданные в доверительный интервал также не имеет смысла. Увеличения числа в диапазоне от 0 до 99 очень вряд ли будет извлечено из нормального распределения.