Поймите идею достоверного и доверительного интервала за 5 минут

Согласно теореме Байеса, ни одна теория не идеальна. Скорее, это незавершенная работа, всегда подлежащая дальнейшей доработке и тестированию. — Нейт Сильвер

В эпоху искусственного интеллекта байесовская статистика, безусловно, стала горячей темой. Простое, но хорошее объяснение — это способность байесовской структуры уменьшать неопределенность в отношении моделей машинного обучения, что приводит к надежным прогнозам. Сегодня моя цель — раскрыть одно ключевое понятие байесовской статистики: достоверный интервал. Хотя понятие достоверного интервала является простым, его часто путают с его хорошо известным родственником: доверительным интервалом.

Байесовская и частотная структура

Прежде чем углубиться в основную тему этой статьи, позвольте мне напомнить ключевую идею, стоящую за байесовской и частотной структурой. Важно иметь общее представление об этих двух структурах, чтобы лучше определять достоверные и доверительные интервалы.

В структуре частоты вероятность события равна долгосрочной частоте события, возникающего при многократном повторении одного и того же процесса. Например, вероятность наличия определенного заболевания согласно частотной философии интерпретируется как долгосрочная частота возникновенияg этого конкретного заболевания. Для многих вероятностей событий это имеет смысл, но становится труднее понять, когда события не имеют долгосрочной частоты возникновения.

Что нужно иметь в виду: частотные методы рассматривают значение генеральной совокупности как фиксированную, неизменную (но неизвестную) величину без вероятностного распределения.

Напротив, в Байесовской модели вероятность просто выражает степень уверенности (уверенности) в событии и может быть описана через распределение. Распределение вероятностей для доли населения выражает наше предварительное мнение об этом до того, как мы добавим знания, полученные из данных. Например, вы изначально считаете, что «эта статья бесполезна», но, прочитав первый абзац (вы видите какие-то данные), решите продолжить чтение. Дайте мне знать, что ваша идея в конце!

Такой образ мышления исходит из диахронической интерпретации теоремы Байеса. «Диахронический» означает, что что-то происходит с течением времени; в этом случае вероятность гипотез (нашего убеждения) меняется со временем по мере того, как мы видим новые данные.

Что нужно иметь в виду: Байесовские методы основаны на идее, что неизвестные величины, такие как средние и пропорции населения, имеют вероятностные распределения.

Подводя итог, если мы должны обобщить частотную и байесовскую модели, мы могли бы сказать, что:

  • Если у нас есть статистическая проблема и мы рассматриваем ее с помощью частотного анализа, в результате мы получим оценки с фиксированной точкой.
  • В случае, если у нас есть статистическая задача и мы рассматриваем ее с помощью Байесовскогофреймворка, в результате мы получим распределения.

Доверительный интервал

Доверительный интервал частотного анализа имеет следующую долгосрочную идею частоты: случайные выборки из одной и той же целевой совокупности и с одинаковым размером выборки будут давать CI, которые содержат истинную (неизвестную) оценку частоты (в процентах). устанавливается уровнем достоверности. На практике довольно сложно получить несколько случайных выборок из одной и той же совокупности; скорее, мы собираем данные из одной выборки из интересующей нас совокупности и рассчитываем CI для этой выборки. Интерпретация этого конкретного доверительного интервала будет: мы можем быть уверены на XX% (90%, 95%, 99%) в том, что истинная (неизвестная) оценка будет лежать в пределах нижнего и верхнего пределов CI, основанный на предполагаемых повторениях эксперимента.

При этом уровень достоверности XX% не означает, что для данного реализованного интервала существует вероятность XX% того, что параметр совокупности находится в пределах интервала!

Достоверный интервал

Как и доверительные интервалы, достоверные интервалы описывают и обобщают неопределенность, связанную с неизвестными параметрами, которые вы пытаетесь оценить, но с использованием распределения вероятностей. Хотя цель доверительных и достоверных интервалов аналогична, их статистическое определение и значение сильно различаются. Действительно, в то время как последний рассчитывается с использованием разработанной методики, основанной на предположениях и приближениях, достоверные интервалы довольно просто вычислить и интерпретировать.

Поскольку байесовский вывод возвращает распределение возможных значений эффекта (апостериорное), доверительный интервал — это просто диапазон, содержащий определенный процент вероятных значений. Например, 95% достоверный интервал — это просто центральная часть апостериорного распределения, которая содержит 95% значений.

По сравнению с частотным интервалом, байесовский интервал, возможно, проще усвоить. Действительно, байесовская модель позволяет нам сказать «учитывая наблюдаемые данные, эффект имеет XX%-ную вероятность попасть в этот диапазон», по сравнению с более сложной, частотной альтернативой: «там — вероятность XX% того, что при вычислении доверительного интервала на основе данных такого рода эффект попадает в этот диапазон».

Выводы

Частотный XX% доверительный интервал означает, что при большом количестве повторных выборок XX% таких рассчитанных доверительных интервалов будут включать истинное значение параметра. С точки зрения частотности, параметр фиксирован (нельзя считать, что он имеет распределение возможных значений), а доверительный интервал является случайным (поскольку он зависит от случайной выборки). С другой стороны, байесовские достоверные интервалы основаны на идее, что оцениваемые параметры являются случайными величинами с распределением. Таким образом, достоверный интервал — это просто интервал в области апостериорного распределения, в пределах которого ненаблюдаемое значение параметра попадает с определенной вероятностью.

В общем, легко запутаться, но, на мой взгляд, понятие доверительного интервала гораздо более интуитивно понятно, чем понятие доверительного интервала. В первом случае базового понимания вероятности и распределения может быть достаточно, чтобы понять идею, стоящую за достоверными интервалами.

В этой статье я хотел дать вам краткое введение в эти два важных понятия в статистике, не будучи слишком техническим или математическим. Я надеюсь, что после этого прочтения у вас появится дополнительное оружие для различения достоверного и доверительного интервалов.