Перегляд вихідного коду сторінки Оцінка апостеріорного максимуму

{{Баєсова статистика}}

'''Оці́нка ма́ксимуму апостеріо́рної імові́рності''' ('''МАІ''', {{lang-en|maximum a posteriori probability estimate, MAP}}) у [[Баєсова статистика|баєсовій статистиці]]&nbsp;— це [[Мода (статистика)|мода]] [[Апостеріорний розподіл|апостеріорного розподілу]]. МАІ може застосовуватися для отримання [[Точкова оцінка|точкової оцінки]] неспостережуваної величини на базі емпіричних даних. Вона є тісно пов'язаною з [[Метод максимальної правдоподібності|методом максимальної правдоподібності]] (МП, {{lang-en|maximum likelihood, ML}}) [[Рональд Фішер|Фішера]], але застосовує розширену [[Цільова функція|цільову функцію]]<!-- ??? -->, що включає [[апріорний розподіл]] оцінюваної величини. Таким чином, МАІ можна розглядати як [[Регуляризація (математика)|регуляризацію]] оцінки МП.

== Опис ==

Припустімо, що ми хочемо оцінити неспостережуваний параметр розподілу <math>\theta</math> на базі спостережень <math>x</math>. Нехай <math>f</math> буде [[Вибірковий розподіл|вибірковим розподілом]] <math>x</math>, так що <math>f(x|\theta)</math> є ймовірністю <math>x</math>, коли підлеглий параметр розподілу є <math>\theta</math>. Тоді функція

:<math>\theta \mapsto f(x | \theta) \!</math>

є відомою як [[функція правдоподібності]], а оцінка

:<math>\hat{\theta}_{\mathrm{ML}}(x) = \underset{\theta}{\operatorname{arg\,max}} \ f(x | \theta) \!</math>

є оцінкою максимальної правдоподібності <math>\theta</math>.

Тепер припустімо, що існує апріорний розподіл <math>\theta</math>, <math>g</math>. Це дозволяє нам розглядати <math>\theta</math> як [[Випадкова змінна|випадкову змінну]] в [[Баєсова статистика|баєсовій статистиці]]. Тоді [[апостеріорний розподіл]] <math>\theta</math> є наступним:

:<math>\theta \mapsto f(\theta | x) = \frac{f(x | \theta) \, g(\theta)}{\displaystyle\int_{\vartheta \in \Theta} f(x | \vartheta) \, g(\vartheta) \, d\vartheta} \!</math>

де <math>g</math> є функцією густини <math>\theta</math>, а <math>\Theta</math> є областю визначення <math>g</math>. Це є прямим застосуванням [[Теорема Баєса|теореми Баєса]].

Відтак метод оцінки апостеріорного максимуму оцінює <math>\theta</math> як [[Мода (статистика)|моду]] апостеріорного розподілу цієї випадкової змінної:

:<math>\hat{\theta}_{\mathrm{MAP}}(x)
= \underset{\theta}{\operatorname{arg\,max}} \ \frac{f(x | \theta) \, g(\theta)}
  {\displaystyle\int_{\vartheta} f(x | \vartheta) \, g(\vartheta) \, d\vartheta}
= \underset{\theta}{\operatorname{arg\,max}} \ f(x | \theta) \, g(\theta).
\!</math>

Знаменник цього апостеріорного розподілу (так звана {{Не перекладено|Статистична сума (математика)|статистична сума||Partition function (mathematics)}}) не залежить від <math>\theta</math>, і тому не відіграє ролі в оптимізації. Зверніть увагу, що коли апріорне <math>g</math> є рівномірним (тобто [[Стала функція|сталою функцією]]), то оцінка <math>\theta</math> МАІ збігається з оцінкою МП. І що коли [[функція втрат]] має вигляд

:<math>
L(\theta, a) = 
\begin{cases}
0 & \mbox{, if } |a-\theta|<c \\
1 & \mbox{, otherwise} \\
\end{cases}
\!</math>

та <math>c</math> прямує до 0, то послідовність [[Баєсова оцінка|баєсових оцінок]] наближається до оцінювача МАІ, за умови, що розподіл <math>\theta</math> є {{Не перекладено|Одномодовість|одномодовим||Unimodality}}. Але в цілому оцінювач МАІ не є [[Баєсів оцінювач|баєсовим оцінювачем]], хіба що якщо <math>\theta</math> є [[Дискретна випадкова величина|дискретною]].

== Обчислення ==

Оцінку МАІ може було обчислювано кількома шляхами:
# Аналітичним, коли моду (моди) апостеріорного розподілу може бути задано в {{Не перекладено|Замкнена форма розв'язку|замкненій формі||Closed-form solution}}. Це той випадок, коли застосовуються {{Не перекладено|Спряжений апріорний розподіл|спряжені апріорні||Conjugate prior}}.
# Шляхом [[Чисельні методи|чисельної]] [[Оптимізація (математика)|оптимізації]], такої як {{Не перекладено|метод спряжених градієнтів|||Conjugate gradient method}} або {{Не перекладено|Метод Ньютона (оптимізація)|метод Ньютона||Newton's method in optimization}}. Це зазвичай вимагає перших або других [[Похідна|похідних]], що має бути виражено чи то аналітично, чи то чисельно.
# Шляхом видозміни [[Алгоритм очікування-максимізації|алгоритму очікування-максимізації]]. Це не вимагає похідних апостеріорної густини.
# [[Метод Монте-Карло|Методом Монте-Карло]] із застосуванням [[Алгоритм імітації відпалу|імітації відпалу]].

== Критика ==

Хоча оцінка МАІ і є границею баєсових оцінок (при функції втрат 0-1), вона не є типовим представником баєсових методів у цілому. Причина в тому, що оцінки МАІ є точковими, тоді як баєсові методи характеризуються використанням розподілів для підсумовування даних та видачі висновків: так, баєсові методи тяжіють замість цього до повідомлення апостеріорного [[Середнє значення|середнього]] або [[Медіана (статистика)|медіани]] разом із [[Імовірний інтервал|імовірними інтервалами]]. В обох випадках причиною є те, що ці оцінки є оптимальними при втратах із квадратичною або лінійною помилкою відповідно,&nbsp;— а вони є характернішими представниками типових [[Функція втрат|функцій втрат]],&nbsp;— і те, що апостеріорний розподіл може не мати простої аналітичної форми: в такому випадку цей розподіл може бути симульовано за допомогою [[Методи Монте-Карло марковських ланцюгів|методик Монте-Карло марковських ланцюгів]], тоді як оптимізація для пошуку цієї моди (мод) може бути складною, або неможливою.{{citation needed|дата=серпень 2015}}

[[Файл:Bimodal density.svg|thumb|200px|Приклад густини {{Не перекладено|Бімодальний розподіл|бімодального розподілу||Bimodal distribution}}, в якому найвища мода є не характерною для більшості розподілу]]

У багатьох типах моделей, як наприклад {{Не перекладено|Сумішева модель|сумішевих||Mixture model}}, апостеріорне може бути {{Не перекладено|Бімодальний розподіл|бімодальним||Bimodal distribution}}. У такому разі звичною порадою є обирати найвищу моду: це не завжди є прийнятним ({{Не перекладено|глобальна оптимізація|||Global optimization}} є складною задачею), а в деяких випадках навіть і неможливим (як при виникненні проблем {{Не перекладено|Ідентифіковність|ідентифіковності||Identifiability}}). До того ж, найвища мода може бути не характерною для більшості апостеріорного.

Нарешті, на відміну від оцінок МП, оцінка МАІ не є {{Не перекладено|Параметризаційна інваріантність|інваріантною відносно параметризації||Parametrization#Parametrization invariance}}. Перемикання з однієї параметризації на іншу включає введення якобіану, що впливає на положення максимуму.<ref>{{cite book|last1=Murphy|first1=Kevin P.|title=Machine learning : a probabilistic perspective|date=2012|publisher=MIT Press|location=Cambridge, MA|isbn=0262018020|pages=151–152}} {{ref-en}}</ref>

Як приклад різниці між згаданими вище баєсовими оцінками (середнього та медіани) та використанням оцінки МАІ, розгляньмо випадок, коли необхідно класифікувати входи <math>x</math> як або позитивні, або негативні (наприклад, позички як ризиковані або безпечні). Припустімо, що існує лише три можливі гіпотези правильного методу класифікації, <math>h_1</math>, <math>h_2</math> and <math>h_3</math>, з апостеріорними 0.4, 0.3 та 0.3 відповідно. Припустімо, що заданий новий зразок <math>x</math> гіпотеза <math>h_1</math> класифікує як позитивний, тоді як дві інші&nbsp;— як негативний. При застосуванні оцінки МАІ для точного класифікатора <math>h_1</math>, <math>x</math> класифікується як позитивний, тоді як баєсові оцінки зробили би усереднення над усіма гіпотезами, та класифікували би <math>x</math> як негативний.

== Приклад ==

Припустімо, що нам дано послідовність <math>(x_1, \dots, x_n)</math> [[Незалежні однаково розподілені випадкові величини|незалежних однаково розподілених]] [[Випадкова змінна|випадкових змінних]] <math>N(\mu,\sigma_v^2 )</math> та апріорний розподіл <math>\mu</math>, заданий <math>N(\mu_0,\sigma_m^2 )</math>. Ми хочемо отримати оцінку МАІ <math>\mu</math>.

Функцію, що потрібно максимізувати, задано як

:<math>f(\mu) f(x | \mu)=\pi(\mu) L(\mu) =  \frac{1}{\sqrt{2 \pi} \sigma_m} \exp\left(-\frac{1}{2} \left(\frac{\mu-\mu_0}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi} \sigma_v} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right),</math>

що є еквівалентним мінімізації наступної функції <math>\mu</math>:

:<math> \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu-\mu_0}{\sigma_m}\right)^2.</math>

Отже, ми бачимо, що '''оцінка МАІ''' для μ задається як

:<math>\hat{\mu}_{MAP} =     \frac{n \sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \left(\frac{1}{n} \sum_{j=1}^n x_j \right) + \frac{\sigma_v^2}{n \sigma_m^2 + \sigma_v^2 } \mu_0,</math>

що виявляється лінійною інтерполяцією середнього апріорного та середнього вибірки, зважену за їхніми відповідними коваріаціями.

Випадок <math>\sigma_m \to \infty</math> називається неінформативним апріорним, і веде до недовизначеного апріорного розподілу ймовірності; в цьому випадку <math>\hat{\mu}_{MAP} \to \hat{\mu}_{ML}.</math>


{{refimprove|дата=серпень 2015}}

== Посилання ==
{{Reflist}}

== Джерела ==
* M. DeGroot, ''Optimal Statistical Decisions'', McGraw-Hill, (1970). {{ref-en}}
* Harold W. Sorenson, (1980) "Parameter Estimation: Principles and Problems", Marcel Dekker. {{ref-en}}


{{Статистика|виведення}}

[[Категорія:Баєсова оцінка]]
[[Категорія:Логіка та статистика]]