Метод максимального правдоподобия excel
Метод максимального правдоподобия (мат.стат)
Здравствуйте. Помогите, пожалуйста, разобраться.
Есть первая модель Парето. Надо найти оценку максимального правдоподобия.
\frac > >, x > \theta \\ 0, x \leqslant \theta \end \right.$" />
0, \theta >0$" />
Составила функцию правдоподобия:
\frac > <(x_1 \cdot x_2 \cdot . \cdot x_n)^<\alpha + 1>>, x_ > \theta \\ 0, .. \end \right.$" />
Преподавательница сказала, что L надо найти такое, что функция при фиксированных имела бы максимальное значение. И в роли L выступит степенная функция с показателем в степени большим единицы. Чтобы если возрастает , то будет возрастать и функция.
Тогда т.к. первая порядковая статистика $" />
- фиксирована, можем увеличить до столкновения с $" />
, тогда сама $" />
- и будет оценкой максимального правдоподобия.
Какую же мне взять тогда L? Вроде бы надо использовать функцию Хевисайда, но я не очень понимаю каким образом.
Просьба громко не смеяться, если написана чушь. Просто написала, как поняла.
Последний раз редактировалось GAA 20.12.2008, 09:46, всего редактировалось 2 раз(а).
Я так понимаю: надо найти методом максимального правдоподобия оцеку парметра , при известном параметре . Функция правдоподобия это функция неизвестных параметров распределения .
\frac > <(x_1 \cdot x_2 \cdot . \cdot x_n)^<\alpha + 1>>,\theta \le x_, \\ 0, \quad \theta > x_; \end \right$" />
где 0$" />
. (до точки с запятой указаны «аргументы» функции, после точеи с запятой — фиксированные «параметры» функции правдоподобия . Максимизация выполняется по «аргументам»). Данная функция достигает максимума [как произведение положительной постоянной на степень $" />
с положительным основанием и показателем () больше 0] при $" />
.
Все. Больше ничего не надо.
Добавлено спустя 16 минут 13 секунд:
Т.е. я не вижу никакого смысла в использовании фукнкции Хевисайда, и никогда не видел её использования в подобных задачах.
В сборнике задач Ивченко её часто используют.
Добавлено спустя 1 час 16 минут 43 секунды:
Данная функция достигает максимума [как произведение положительной постоянной на степень $" />
с положительным основанием и показателем () больше 0] при $" />
.
Вот эта фраза не понятна.. как произведение положительной постоянной на степень.
Добавлено спустя 50 минут 23 секунды:
И еще вопрос.. будет ли эта оценка несмещенной. У меня выходит, что она смещенная и асимптотически несмещенная..
1. Если «сборник задач Ивченко» — это Ивченко Г.И., Медведев Ю.И., Чистяков А.В. «Сборник задач по математической статистике», 1989, то подскажите, пожалуйста, в каких задачах, подобных приведенной Вами, её [фукнкцию Хевисайда] используют.
3. Очевидно, оценка смещенная. Приведите, пожадуйста, своё докозательтство асимтотической несмещенности (тем более, что оно несложное).
1. Если «сборник задач Ивченко» — это Ивченко Г.И., Медведев Ю.И., Чистяков А.В. «Сборник задач по математической статистике», 1989, то подскажите, пожалуйста, в каких задачах, подобных приведенной Вами, её [фукнкцию Хевисайда] используют.
В задачах 2.77, 2.78, 2.80 например, записывают функцию правдоподобия с использованием функции Хевисайда. Хотелось бы все равно понять, как она записывается..
3. Очевидно, оценка смещенная. Приведите, пожадуйста, своё докозательтство асимтотической несмещенности (тем более, что оно несложное).
Мат ожидание =\frac \neq \theta$" />
. Значит, оценка смещенная.
И =\frac \to \theta$" />
при . Значит оценка асимптотически не смещенная.
Можем улучшить оценку до несмещенности, взяв её: X_$" />
1. Задачи 2.78, 2.79, 2.80 посвящены достаточным статистикам , а не о.м.м.п. Даже, если абстрагироваться от этого и рассматривать эти задачи как таковые, то вынужден заметить, что факторизационная теорема излагается в [1] довольно небрежно (на то и книга для технических вузов).
Напомню, что в данной задаче нет никакого смысла в использовании функции Хевисайда.
2. Обозначим функцию единичного скачка (Heaviside step function) через :
0, \quad x < 0, \\ 1, \quad x \ge 0. \end\right$" />
Из этого определения следует -\theta) = \left\<\begin 0, \quad \theta > x_, \\ 1, \quad \theta \le x_. \end \right$" />
Ответ: -\theta) \frac > <(x_1 \cdot x_2 \cdot . \cdot x_n)^<\alpha + 1>>$" />
.
Добавлено на следующий день. Автор темы уведомлен о добавлении ЛС
3. Математическое ожидание оценки совпадает с Вашим.
А в чем разница?
Для функции плотности
\frac \cdot (\frac )^, x>\theta,\\ 0, x \leqslant \theta, \end \right. $" />
функция правдоподобия будет
(\frac )^n \cdot \frac <\theta^
Если сократить в функции правдоподобия получится то, что мы и рассматривали.
Для вычисления выборочного значения этой оценки можно использовать статистическую функцию Excel ДИСП, обращение к которой имеет вид:
=ДИСП(арг1; арг2; …; арг30),
где арг1; арг2; …; арг30 – числа или адреса ячеек, содержащих числовые величины.
? Пример 3.6. По выборке примера 2.3 вычислить оценку (3.28).
Решение. Первоначально, начиная с ячейки А3, введем в столбец А 55 элементов выборки (рис. 3.3). Затем, используя функции КВАДРОТКЛ, ДИСП (как показано на рис. 3.3), вычислим оценку (3.28). Видно ожидаемое совпадение двух вычисленных значений. ☻
Рис. 3.3. Фрагмент вычисления исправленной дисперсии
Вычисление оценок максимального правдоподобия. В п. 3.5 были рассмотрены оценки, вычисляемые из условия максимума функционала правдоподобия. В приведенных примерах из условий максимума были получены алгебраические уравнения, решения которых определялись достаточно просто.
В общем случае не удается получить таких простых соотношений и оценки вычисляются непосредственным определением точек максимума функционала правдоподобия, т.е. необходимо решить оптимизационную задачу.
Для решения такой задачи в Excel есть команда Поиск решения пункта меню Сервис. Эта команда позволяет решать не только задачи безусловной оптимизации, но и задачи условной оптимизации, т.е. когда ищется максимум функционала с учетом дополнительных ограничений на значения искомых оценок. Например, значение дисперсии не может быть отрицательным.
Применение команды Поиск решения для вычисления оценок максимального правдоподобия покажем на следующем примере.
? Пример 3.7. По выборке примера 2.3 вычислить оценки максимального правдоподобия для математического ожидания и дисперсии из условия максимума функционала правдоподобия вида:
предполагая при этом, что выборка порождена случайной величиной, подчиняющейся нормальному распределению.
Решение. Первоначально, начиная с ячейки А3, введем в столбец А 55 элементов выборки (диапазон А3:А57). Затем в ячейку С8 занесем произвольное значение (например, 10), в ячейку D8 – значение (например, значение 4 > 0), в ячейке Е8 вычислим . В ячейках В3:В57 запрограммируем вычисление разностей (рис. 3.4). В ячейке С5 запрограммируем вычисление величины функционала (3.29). В верхней части документа на рис. 3.4 показана запрограммированная формула.
в поле ввода Установить целевую ячейку: ввести адрес ячейки, в которой вычисляется значение минимизируемого функционала (в нашем примере С5);
включить опцию Равной: максимальному значению (ищутся значения, при которых функционал достигает максимального значения);
в поле Изменяя ячейки: ввести адреса ячеек, в которых находятся значения искомых оценок (в нашем примере это ячейки С8:D8);
щелкнув мышью на кнопке Добавить, сформировать ограничения на значения искомых оценок (в нашем примере это требование , чтобы не был равен –).
Рис. 3.4. Задание параметров команды Поиск решения
После выполнения этих операций щелкнуть на кнопке Выполнить. Начинается поиск решения введенной оптимизационной задачи. Спустя некоторое время на экране появится новое диалоговое окно Результаты поиска решения (рис. 3.5). Для сохранения найденных значений оценок в соответствующих ячейках необходимо включить опцию Сохранить найденное решение и щелкнуть на кнопке ОК.
Рис. 3.5. Результаты выполнения команды Поиск решения
Из рис. 3.5 видно, что вычисленные значения оценок находятся в ячейках С8, D8 и равны а = 17.907, = 2.933. Ячейка С5 содержит значение максимизируемого функционала, равное –137.22. Сравнивая вычисленные значения оценок и с выборочными оценками примера 2.11 (см. рис. 2.7), видим их полное совпадение. ☻
Задание 3.1. Предполагая, что выборка примера 2.1 порождена случайной величиной, имеющей показательное распределение (3.21), вычислить оценку максимального правдоподобия для параметра , используя команду Поиск решения.
Рекомендация. Оценку максимального правдоподобия осуществлять из условия максимума функционала
при ограничении. При вызове команды Поиск решения использовать пример 3.7. ?
Функции Excel для вычисления других точечных оценок.
Для вычисления среднеквадратичных отклонений можно использовать следующие функции Excel.
Функция СТАНДОТКЛОН вычисляет
Обращение к ней имеет вид:
=СТАНДОТКЛОН(арг1; арг2; …; арг30),
где арг1; арг2; …; арг30 – числовые константы или адреса ячеек, содержащих числовые данные.
Функция СТАНДОТКЛОНП вычисляет
Обращение к ней имеет вид:
=СТАНДОТКЛОНП(арг1; арг2; …; арг30),
где арг1; арг2; …; арг30 – числовые константы или адреса ячеек, содержащих числовые данные.
Функция ЭКСЦЕСС вычисляет оценку
для характеристики эксцесс , которая определяет островершинность или плосковершинность плотности распределения.
Обращение к функции имеет вид:
=ЭКСЦЕСС(арг1; арг2; …; арг30),
где арг1; арг2; …; арг30 – числовые константы или адреса ячеек, содержащих числовые данные.
Функция МОДА вычисляет наиболее часто встречающееся значение в заданных аргументах функции, т.е. значение, встречающееся в выборке с максимальной частотой.
Обращение к функции имеет вид:
=МОДА(арг1; арг2; …; арг30),
где арг1; арг2; …; арг30 – числовые константы или адреса ячеек, содержащих числовые данные.
Обращение к функции имеет вид:
=МЕДИАНА(арг1; арг2; …; арг30),
где арг1; арг2; …; арг30 – числовые константы или адреса ячеек, содержащих числовые данные.
Функция СКОС вычисляет оценку
для характеристики асимметрии , которая для симметричной плотности распределения равна 0.
Обращение к функции имеет вид:
=СКОС(арг1; арг2; …; арг30),
характеристики положения описывают положение данных на числовой оси (среднее, минимальное и максимальное значения, медиана и др.);
характеристики разброса описывают степень разброса данных относительно своего центра (дисперсия, размах выборки, эксцесс, среднеквадратическое отклонение и др.);
характеристики асимметрии определяют симметрию распределения данных относительно своего центра (коэффициент асимметрии, положение медианы относительно среднего и др.);
характеристики, описывающие закон распределения (частоты, относительные частоты, гистограммы и др.).
Для вызова режима Описательная статистика необходимо обратиться к пункту Сервис, команде Пакет анализа, выбрать в списке режимов Описательная статистика и щелкнуть на кнопке ОК. В появившемся диалоговом окне Описательная статистика задать следующие параметры (рис. 3.6):
Группирование: – задает способ расположения (по столбцам или по строкам) элементов выборки.
Метки в первой строке – включается, если первая строка (столбец) во входном интервале содержит заголовки.
Рис. 3.6. Параметры режима Описательная статистика
Выходной интервал: / Новый рабочий лист: / Новая рабочая книга – определяет место вывода результатов вычислений. При включении Выходной интервал: в поле вводится адрес ячейки, начиная с которой будут выводиться результаты.
Итоговая статистика: – включается, если необходимо вывести по одному полю для каждой из вычисленных характеристик.
Уровень надежности: – включается, если необходимо вычислить доверительный интервал для математического ожидания с задаваемым () уровнем надежности .
К-й наименьший: – включается, если необходимо вычислить к-й наименьший (начиная с ) элемент выборки. При к = 1 вычисляется наименьшее значение.
К-й наибольший: – включается, если необходимо вычислить к-й наибольший (начиная с ) элемент выборки. При к = 1 вычисляется наибольшее значение.
Интервал – определяет размах выборки ;
Сумма – определяет сумму всех элементов выборки;
Счет – определяет число обработанных элементов выборки;
Уровень надежности – определяет величину , от которой зависит доверительный интервал для математического ожидания, имеющий вид
где – выборочное среднее (подробнее см. п. 4.3).
? Пример 3.8. По выборке примера 2.3 вычислить описательные статистики, используя режим Описательная статистика.
Решение. Первоначально, начиная с ячейки А3, введем в столбец А 55 элементов выборки. После этого обратимся к пункту Сервис, команде Пакет анализа. В списке режимов выберем Описательная статистика. В появившемся диалоговом окне включим параметры, показанные на рис. 3.6, и щелкнем ОК. Вычисленные характеристики приведены на рис. 3.7. ☻
Рис. 3.7. Результаты работы Описательная статистика
Задание 3.2. Сравните значения характеристик (см. рис. 3.7) со значениями аналогичных характеристик, вычисленных в предыдущих примерах. ?
Для оценивания неизвестных параметров статистических распределений наравне с методом моментов используют метод максимального (наибольшего) правдоподобия.
Суть метода: составить по специальной формуле функцию правдоподобия $L$, и найти оценку параметра $theta$ из условия максимизации функции правдоподобия (ФП) на определенной выборке $ $. Иногда ФП заменяют на логарифмическую функцию правдоподобия $l=ln L$ (ЛФП), что облегчает расчеты (вычисление производных).
Оценки, полученные данным методом, будут состоятельными, асимптотически эффективными и асимптотически нормальными. Несмещенность оценок надо проверять (это метод не гарантирует).
Примеры нахождения оценок по методу наибольшего правдоподобия вы найдете ниже. Удачи!
Примеры решений
Пример 1. Найти методом наибольшего правдоподобия оценку параметра p биномиального распределения, если в $n_1$ независимых испытаниях событие A появилось $m_1$ раз и в $n_2$ независимых испытаниях событие A появилось $m_2$ раз.
Пример 2. Используя метод наибольшего правдоподобия, оценить параметры $a$ и $sigma^2$ нормального распределения, если в результате $n$ независимых испытаний случайная величина $xi$ приняла значения $xi_1, xi_2,…,xi_n$.
Пример 3. Случайная величина $X$ (число появлений события $A$ в $m$ независимых испытаниях) подчинена закону распределения Пуассона с неизвестным параметром $lambda$. Найти методом наибольшего правдоподобия по выборке $x_1, x_2,…,x_n$ точечную оценку неизвестного параметра $lambda$ распределения Пуассона.
Пример 4. Случайная величина – время безотказной работы изделия имеет показательное распределение. В таблице приведены данные по времени работы в часах для 1000 изделий. Найти методом максимального правдоподобия точечную оценку неизвестного параметра $lambda$.
Пример 5. Найти методом наибольшего правдоподобия по выборке $x_1, x_2,…,x_n$ точечную оценку параметра $p$ геометрического распределения: $$P(X=x_i)=(1-p)^ cdot p,$$ где $x_i$ — число испытаний, произведенных до появления события, $p$ — вероятность появления события в одном испытании.
Пример 6. Методом максимального правдоподобия найти точечную оценку параметра $lambda$ по данной выборке
Х 1-3 3-5 5-7 7-9 9-11 11-13 13-15 15-17 17-19
n 5 6 7 15 22 27 30 34 35
при условии, что соответствующая непрерывная случайная величина имеет плотность распределения $f(x)=lambda exp(lambda(x-20)), x le 20$.
Пример 7. Методом максимального правдоподобия найдите оценку параметра $theta$, если плотность имеет вид $$ f(x)=frac > exp (-(x^4-theta)^2/2) $$ и по наблюдениям 1.4 1.5 3.2 1.4 2.5 3.4 3.1 2.4 3.8 2.6
Теория по ММП
Хотите немного больше знать о теоретических основах метода наибольшего правдоподобия для чайников? Тогда используйте ссылки ниже для изучения.
- Метод максимального правдоподобия
Вводятся свойства оценок параметров распределения (несмещенность, состоятельность, эффективность), доказывются теоремы. Далее рассматривается сам ММП, приводится сводная таблица оценок для разных типов распределений. - Методы нахождения оценок: метод максимального правдоподобия
Лекция по ММП с теоретическими основами и примерами решений. - Видеоролик МФТИ о ММП
Короткий (буквально 4 минуты) ролик о сути метода. - Список учебников по математической статистике со ссылками
- Решенные контрольные по математической статистике
Метод максимального правдоподобия в excel
Метод максимального правдоподобия еще один разумный способ построения оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение , максимизирующее вероятность получить при опытах данную выборку . Это значение параметра зависит от выборки и является искомой оценкой.
Решим сначала, что такое «вероятность получить данную выборку», т.е. что именно нужно максимизировать. Вспомним, что для абсолютно непрерывных распределений их плотность «почти» (с точностью до ) вероятность попадания в точку . А для дискретных распределений вероятность попасть в точку равна . И то, и другое мы будем называть плотностью распределения . Итак,
мы будем называть плотностью распределения .
Если для дискретного распределения величины со значениями , , ввести считающую меру на борелевской -алгебре как
Если же имеет абсолютно непрерывное распределение, то есть привычная плотность относительно меры Лебега :
Функция (случайная величина при фиксированном )
называется функцией правдоподобия . Функция (тоже случайная)
называется логарифмической функцией правдоподобия.
В дискретном случае функция правдоподобия есть вероятность выборке , , в данной серии экспериментов равняться , , . Эта вероятность меняется в зависимости от :
Оценкой максимального правдоподобия неизвестного параметра называют значение , при котором функция достигает максимума (как функция от при фиксированных ):
Поскольку функция монотонна, то точки максимума и совпадают. Поэтому оценкой максимального правдоподобия (ОМП) можно называть точку максимума (по ) функции :
Напомним, что точки экстремума функции это либо точки, в которых производная обращается в нуль, либо точки разрыва функции/производной, либо крайние точки области определения функции.
Пусть , , выборка объема из распределения Пуассона , где . Найдем ОМП неизвестного параметра .
Поскольку эта функция при всех непрерывно дифференцируема по , можно искать точки экстремума, приравняв к нулю частную производную по . Но удобнее это делать для логарифмической функции правдоподобия:
и точка экстремума решение уравнения: , то есть .
1) Убедиться, что точка максимума, а не минимума.
2) Убедиться, что совпадает с одной из оценок метода моментов. по какому моменту?
Пусть , , выборка объема из нормального распределения , где , ; и оба параметра , неизвестны.
Выпишем плотность, функцию правдоподобия и логарифмическую функцию правдоподобия. Плотность:
логарифмическая функция правдоподобия:
В точке экстремума (по ) гладкой функции обращаются в нуль обе частные производные:
Оценка максимального правдоподобия для решение системы уравнений
Решая, получим хорошо знакомые оценки:
1) Убедиться, что , точка максимума, а не минимума.
2) Убедиться, что эти оценки совпадают с некоторыми оценками метода моментов.
Пусть , , выборка объема из равномерного распределения , где . Тогда (см. [3, пример 4.4, с.24] или [1, пример 5, с.91]).
Пусть , , выборка объема из равномерного распределения , где (см. также [1, пример 4, с.91]).
Выпишем плотность распределения и функцию правдоподобия. Плотность:
Функция правдоподобия достигает своего максимального значения во всех точках . График этой функции изображен на рис. 4.
Рис. 4: Пример 10.
Любая точка может служить оценкой максимального правдоподобия. Получаем более чем счетное число оценок вида
при разных , в том числе и , концы отрезка.
1) Убедиться, что отрезок не пуст.
2) Найти оценку метода моментов (по первому моменту) и убедиться, что она иная по сравнению с ОМП. 3) Найти ОМП параметра равномерного распределения .
Метод максимального правдоподобия с примерами
Метод максимального правдоподобия – это рациональный способ построения оценки какого-либо неизвестного параметра, суть которого состоит в том, что за «наиболее правдоподобное» значение параметра принимается значение $Ө$, сводящее к максимуму вероятность получения при $n$ опытах следующую выборку $X = (x_1, …, x_n)$.
Методы нахождения оценок
В общем смысле точечная оценка неизвестного параметра $Ө$ – это любая статистика. В практической же деятельности чаще всего рассматриваются самые «качественные» оценки, при которых вероятность принятия ими значения максимально близкого к неизвестному значению $Ө$ при реализации случайной выборки будет наибольшей. Данные оценки делят на несмещенные, состоятельные и эффективные. При этом возникает вопрос о методах получения качественной оценки для произвольного параметра $Ө$ исследуемой случайной величины $X$. Наиболее распространены следующие методы нахождения оценок:
- Метод подстановки;
- Метод моментов;
- Метод наибольшего правдоподобия.
Попробуй обратиться за помощью к преподавателям
Метод подстановки – это наиболее простой метод отыскания точечных оценок. Он заключается в том, что оценкой неизвестного параметра $Ө$ является соответствующая выбранная числовая характеристика:
Рисунок 1. Формула. Автор24 — интернет-биржа студенческих работ
К примеру, по методу постановки оценка математического ожидания – это выборочное среднее, а оценка дисперсии – это выборочная дисперсия.
Все полученные по методу подстановки оценки являются состоятельными, но не гарантирована их эффективность и несмещенность. Пример смещенной оценки – выборочная дисперсия.
Рассмотрим далее метод моментов. Предположим, что $x_1, …, x_n$ – это выборка наблюдений некоторой случайной величины$X$, которая имеет распределение $Fx (x, Ө)$ содержащее вектор неизвестных параметров $Ө =( Ө_1, …, Ө_k)$. Допустим, что для данного распределения можно рассчитать начальные моменты
Задай вопрос специалистам и получи
ответ уже через 15 минут!
Рисунок 2. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 3. Формула. Автор24 — интернет-биржа студенческих работ
некоторых порядков $r$.
Такие моменты называются функциями соответствующих неизвестных параметров $Ө_1, …, Ө_k$. Однако, для выборки можно рассчитать выборочные начальные моменты
Рисунок 4. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 5. Формула. Автор24 — интернет-биржа студенческих работ
Метод моментов заключается в том, что необходимо найти такой вектор параметров $Ө$, при котором будут равны теоретические и выборочные моменты, т.е. в решении системы уравнений:
Рисунок 6. Формула. Автор24 — интернет-биржа студенческих работ
Число уравнений в данной системе будет равняться количеству неизвестных параметров $k$. Чтобы получить оценки с помощью метода моментов, может быть выбран любой момент произвольного порядка, но, как правило, в практике используются только моменты низших порядков.
Как и при методе подстановок, все оценки, найденные по методу моментов, характеризуются как состоятельные, но не гарантируется их эффективность и несмещенность.
Точечные оценки, найденные при помощи метода моментов, носят название ММ-оценки.
Метод наибольшего правдоподобия рассмотрим в следующем пункте.
Сущность метода максимального правдоподобия
Под методом максимального правдоподобия в математической статистике понимается метод оценки неизвестного параметра посредством максимизации функции правдоподобия. Основой данного метода является предположение о том, что все данные о статистической выборке содержатся в функции правдоподобия. Описываемый метод был проанализирован Р. Фишером в начале 20-го века, который в дальнейшем его рекомендовал и популяризировал.
Оценка наибольшего правдоподобия – это достаточно популярный статистический метод, используемый с целью построения статистической модели на основе информации и обеспечения оценки всех параметров модели.
Метод наибольшего правдоподобия соответствует многим популярным методам статистической оценки. К примеру, вы рассматриваете такой антропометрический параметр, как рост жителей данной страны. Допустим, что вы располагаете данными о росте определенного количества людей, но не всего населения. Помимо этого, допускается, что рост – это нормально распределенная величина со средним значением и неизвестной дисперсией. Дисперсия роста и среднее значение в выборке будут являться максимально правдоподобными к дисперсии и среднему значению всего населения.
Используя фиксированный набор данных и базовой модели вероятностей в расчетах с помощью метода правдоподобия, будут получены такие значения параметров, которые будут делать данные «наиболее приближенные» к реальным. Метод максимального правдоподобия является уникальным и простым способом определения решения при нормальном распределении.
Метод наибольшего правдоподобия используются во многих статистических моделях:
- В линейных и обобщенных линейных моделях;
- В факторном анализе;
- При моделировании структурных уравнений;
- Во многих ситуациях, предполагающих проверку гипотезу и доверительный интервал формирования;
- В дискретных моделях выбора и т.д.
Метод наибольшего правдоподобия заключается в том, что оценкой вектора неизвестных параметров
Рисунок 7. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 8. Формула. Автор24 — интернет-биржа студенческих работ
который доставляет максимум функции правдоподобия:
Рисунок 9. Формула. Автор24 — интернет-биржа студенческих работ
Иными словами, сущность метода наибольшего правдоподобия заключается в нахождении такого вектора параметров, при котором была бы наиболее вероятной реализация $x_1, … ,x_n$ случайной выборки $X_1,…, X_n$.
Точечные оценки, получаемые при методе наибольшего правдоподобия, носят название МП-оценки.
Пример использования метода максимального правдоподобия
Пусть необходимо найти при помощи метода максимально правдоподобия оценку заданного параметра p биноминального распределения
Рисунок 10. Формула. Автор24 — интернет-биржа студенческих работ
если в $n_1$ независимых испытания некоторое событие $A$ появлялось $m_1$ раз, а в $n_2 – m_2$ раз.
Для того, чтобы решить данную задачу, необходимо составить функцию правдоподобия:
Рисунок 11. Формула. Автор24 — интернет-биржа студенческих работ
Затем следует отыскать логарифмическую функцию:
Рисунок 12. Формула. Автор24 — интернет-биржа студенческих работ
На следующем этапе определяется первая производная p:
Рисунок 13. Формула. Автор24 — интернет-биржа студенческих работ
Найденную производную необходимо приравнять к нулю, тем самым записав уравнение правдоподобия.
Рисунок 14. Формула. Автор24 — интернет-биржа студенческих работ
После относительного решения полученного уравнения находим значение критической точки:
Рисунок 15. Формула. Автор24 — интернет-биржа студенческих работ
В данной точке вторая производная будет отрицательной, а, следовательно, данная точка является максимумом. Таким образом найденная точка принимается в качестве оценки по методу максимального правдоподобия неизвестной вероятности p биноминального распределения.
Вспомним некоторые определения математической статистики
Определение 1:
Случайной величиной , принимающей значения в множестве c -алгеброй подмножеств называется любая -измеримая функция , то есть выполняется условие .
Определение 2:
Выборочное пространство — это пространство всех возможных значений наблюдения или выборки вместе с -алгеброй измеримых подмножеств этого пространства.
Обозначение: .
Определённые на вероятностном пространстве случайные величины порождают на пространстве вероятностные меры На выборочном пространстве определяются не одна вероятностная мера, а конечное или бесконечное семейство вероятностных мер.
В задачах математической статистики известно семейство вероятностных мер , определённых на выборочном пространстве, и требуется по выборке определить, какой из вероятностных мер этого семейства соответствует выборка.
Определение 3:
Статистическая модель — совокупность, состоящая из выборочного пространства и семейства определённых на нём вероятностных мер.
Обозначение: , где .
Пусть и — выборочное пространство.
Выборку можно рассматривать, как совокупность действительных чисел. Припишем каждому элементу выборки вероятность, равную .
Определение 4:
Эмпирическим распределением, построенным по выборке X, называется вероятностная мера :
То есть — отношение числа элементов выборки, которые принадлежат , к общему числу элементов выборки: .
Определение 5:
Выборочным моментом порядка называется
— выборочное среднее.
Определение 6:
Выборочный центральный момент порядка определяется равенством
— выборочная дисперсия.
В машинном обучении многие задачи заключаются в том, чтобы по имеющимся данным научиться подбирать параметр , который наилучшим образом описывает эти данные. В математической статистике для решения подобной задачи часто используют метод максимального правдоподобия.
В реальной жизни часто распределение ошибок имеет нормальное распределение. Для некоторого обоснования приведём формулировку центральной предельной теоремы.
Теорема 1 (ЦПТ):
Если случайные величины — независимы, одинаково распределены, математическое ожидание , дисперсия , то
Ниже сформулируем метод максимального правдоподобия и рассмотрим его работу на примере семейства нормальных распределений.
Метод максимального правдоподобия
Пусть для статистической модели выполнены два условия:
- если , то ;
- существует такая мера на , относительно которой для любой меры , , существует плотность , то есть .
Оценкой максимального правдоподобия (о.м.п) параметра называется построенное по эмпирической мере , соответствующей выборке , значение , при котором достигается
Определение 8:
Функция , как функция от , называется функцией правдоподобия, а функция — логарифмическая функция правдоподобия.
Эти функции достигают максимума при одних и тех же значениях , так как — монотонная возрастающая функция.
Пример:
— семейство нормальных распределений с плотностями . По выборке
Получили оценки для математического ожидания и дисперсии.
Если внимательно посмотреть на формулу
можно сделать вывод, что функция принимает своё максимальное значение, когда минимальна. В задачах машинного обучения часто используют метод наименьших квадратов, в котором минимизируют сумму квадратов отклонений предсказанных значений от истинных.
Тестирование метода максимального правдоподобия
Последний раз редактировалось Александрович 14.02.2021, 06:41, всего редактировалось 1 раз.
Попытался при известных параметрах функции нормального распределения ММП найти их по выборке.
1. Задал значения вероятностей " />
2. Задал значение матожидания и ско для нормальной функции распределения
3. Нашёл значения плотности распределения для каждого и логарифмическую функцию правдоподобия ^ \ln(f_i)" />
.
Она максимальна при , то есть оценка оказалась смещенная.
У меня вопрос почему так происходит и как это учесть?
Т.е., вопрос, типа, такой: "Известен средний рост мальчиков. Взяли 10 девочек, и сосчитали их средний рост - а он не такой. Что бы это значило?". Мне кажется, ответ тут такой: Это - не мальчики. Или не совсем мальчики. Или неправильные мальчики.
Последний раз редактировалось Александрович 14.02.2021, 10:29, всего редактировалось 1 раз.
Т.е., вопрос, типа, такой: "Известен средний рост мальчиков. Взяли 10 девочек, и сосчитали их средний рост - а он не такой. Что бы это значило?"
Вопрос такой. Известен средний рост 10-ти вполне конкретных мальчиков. Взяли этих самых мальчиков, и сосчитали их средний рост - а он не такой. Что бы это значило?
-- Вс фев 14, 2021 14:29:46 --
Кажись понял. Сейчас проверю.
Что бы это значило?
Евгений Машеров , это перцентиль, в моём случае дециль. (p_i)$" />
. - функция нормального распределения, - плотность функции распределения.
Последний раз редактировалось Евгений Машеров 14.02.2021, 15:28, всего редактировалось 1 раз.
ММП-оценка имеет право не быть несмещёной. То, что иногда оказывается ею (как для матожидания и нормального закона) - чистая удача.
В частности, несмещённая оценка дисперсии будет ^2=\frac 1 \Sigma(x_i-\bar)^2$" />
, ММП-оценка ^2=\frac 1 n\Sigma(x_i-\bar)^2$" />
, при этом минимум среднеквадратичной ошибки даёт ^2=\frac 1 \Sigma(x_i-\bar)^2$" />
Собственно, как раз 10% погрешности и выходит.
Видимо неправильно выбран ряд с , см. пункт 2. в стартовом посте. Попробовал иной путь. Нагенерировал 10 выборок объёмом 9 с и
Для каждой нашёл и
В среднем получил
раз, теоретически должно бы быть 3.375, отличие от реально полученного в пределах ошибки имитационного эксперимента из-за малого числа реализаций.
Последний раз редактировалось Александрович 14.02.2021, 17:02, всего редактировалось 1 раз.
Дело в том что я вручную максимум ищу.
-- Вс фев 14, 2021 21:02:18 --
Первоначальный подход пытался обойтись одной выборкой, элементы которой были равны матожиданиям элементов вариационного ряда. Это. конечно. неверно,
Тогда и 10 это мазохизм. Такие вещи надо на компе делать. Хотя именно для ММП и случая нормального распределения смысл только педагогический, такие расчёты имеют смысл, когда распределения экзотические и/или оценки очень хитроумные, и аналитически свойства не получаются, только численный эксперимент.
Конечно на компе, только вручную, то есть не создавая специальных программ. Короче пользуясь только возможностями Эксель.
это перцентиль, в моём случае дециль. (p_i)$" />
. - функция нормального распределения, - плотность функции распределения.
Ой, я дико извиняюсь - почему то решил, что Вы Эти самые считали в точках - так текст можно было понять. Ну, а если как здесь - то вроде как и должно быть хорошо. Потому что что может быть лучше походить на равномерное распределение, нежели Ваши .
Впрочем, ММП дает только асимптотически несмещенную оценку - ну, уже писали точные формулы.
Ой, я дико извиняюсь - почему то решил, что Вы Эти самые считали в точках - так текст можно было понять.
Ну вот я тоже не понял, потому и переспросил.
Первоначальный подход пытался обойтись одной выборкой, элементы которой были равны матожиданиям элементов вариационного ряда. Это. конечно. неверно, но грубую оценку даёт.
Сделал следующий подход, уточнил формулу для , чтобы -тый квантиль поточнее бы равнялся матожиданию -вой порядковой статистики. $" />
В этом случае ММП дает и .
Читайте также: