Метад максімальнай праўдападобнасці

Метад максімальнай праўдападобнасці (ММП) — метад ацэньвання параметраў меркаванага размеркавання імавернасцей на аснове выбаркі назіранняў. Ацэнка дасягаецца максімізацыяй функцыі праўдападобнасці такім чынам, каб згодна з меркаванай статыстычнай мадэллю назіранні былі найбольш праўдабадобнымі. Пункт у прасторы параметраў, які максімізуе функцыю праўдападобнасці, называецца ацэнкай максімальнай праўдападобнасці. Логіка метаду адначасова інтуіцыйная і гнуткая, таму ён стаў дамінуючым сродкам статыстычнага высноўвання.

Калі функцыя праўдападобнасці дыферэнцавальная, можна прымяніць метад вытворнай для знаходжання яе максімумаў. У некаторых выпадках максімум функцыі праўдападобнасці можна знайсці аналітычна; напрыклад, ацэнка звычайным метадам найменшых квадратаў для мадэлі лінейнай рэгрэсіі максімізуе праўдападобнасць, калі мяркуецца, што ўсе назіранні маюць нармальнае размеркаванне з роўнай дысперсіяй.

З пункту гледжання баесаўскага высноўвання, ацэнка максімальнай праўдападобнасці, як правіла, эквівалентная ацэнцы апастэрыёрнага максімуму з раўнамерным апрыёрным размеркаваннем (або нармальным апрыёрным размеркаваннем з бесканечным стандартным адхіленнем). У частотным высноўванні метад максімальнай праўдападобнасці — асаблівы выпадак экстрэмальнай ацэнкі з мэтавай функцыяй роўнай праўдападобнасці.

Прынцыпы

Набор назіранняў мадэлюецца як выпадковая выбарка з невядомага супольнага размеркавання, якое задаецца наборам параметраў. Мэта метаду максімальнай праўдападобнасці — знайсці параметры, для якіх назіранні маюць найбольшую супольную імавернасць. Параметры, якія задаюць супольнае размеркаванне, запісваюцца як вектар $\;\theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\mathsf {T}}\;$, таму кажуць, што гэтае размеркаванне адносяцца да параметрычнага сямейства $\;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;$, дзе $\,\Theta \,$ — прастора параметраў, канечнамернае падмноства Еўклідавай прасторы. Падстаўляючы назіранні $\;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;$ у функцыю шчыльнасці супольнага размеркавання, атрымліваем рэчаісназначную функцыю

${\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )\;,$

якая называецца функцыяй праўдападобнасці. Для незалежных і аднолькава размеркаваных выпадковых велічынь, $f_{n}(\mathbf {y} ;\theta )$ можна запісаць як здабытак аднамерных функцый шчыльнасці імавернасці:

$f_{n}(\mathbf {y} ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k};\theta )~.$

Мэта метаду максімальнай праўдападобнасці — знайсці такія значэнні параметраў мадэлі з прасторы параметраў, для якіх функцыя праўдападобнасці будзе максімальнай:

${\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.$

Інтуітыўна, знойдзенае такім чынам значэнне параметраў робіць назіранні найбольш імавернымі. Значэнне $~{\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta ~$, якое максімізуе функцыю праўдападобнасці $\,{\mathcal {L}}_{n}\,$, называецца значэннем ацэнкі максімальнай праўдападобнасці. Калі існуе вымерная функцыя $\;{\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta \;$, то такая функцыя называецца функцыяй ацэнкі максімальнай праўдападобнасці. Звычайна гэтая функцыя задаецца на прасторы элементарных падзей і яе аргументам выступае пэўная выбарка. Дастатковая, але не неабходная ўмова яе існавання — непарыўнасць функцыі праўдападобнасці на кампактнай прасторы параметраў. Для адкрытага мноства $\,\Theta \,$, функцыя праўдападобнасці можа павялічвацца не дасягаючы супрэмуму.

На практыцы часта бывае зручна працаваць з натуральным лагарыфмам функцыі праўдападобнасці, які называецца лагарыфмам праўдападобнасці:

$\ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.$

Праз тое што лагарыфм — манатонная функцыя, максімум $\;\ell (\theta \,;\mathbf {y} )\;$ дасягаецца пры тым самым значэнні $\theta$, што і максімум $\,{\mathcal {L}}_{n}~.$. Калі $\ell (\theta \,;\mathbf {y} )$ — дыферэнцавальная функцыя на $\,\Theta \,$, то неабходныя для максімуму (мінімуму) умовы

${\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0~$

называюцца раўнаннямі праўдападобнасці. Для некаторых мадэляў удаецца знайсці іх аналітычныя развязкі $\,{\widehat {\theta \,}}\,$, але агульнага аналітычнага развязка задачы максімізацыі не існуе, і ацэнка максімальнай праўдападобнасці можа быць знойдзена толькі з дапамогай лікавай аптымізацыі. Іншая праблема ў тым, што для канечных выбарак можа існаваць некалькі каранёў раўнанняў праўдападобнасці. Гесіян, матрыца частковых вытворных другога парадку, можа выкарыстоўвацца каб зразумець ці з’яўляецца знойдзены максімум $\,{\widehat {\theta \,}}\,$ лакальным:

$\mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~.$

Калі гесіян адмоўна паўвызначаны ў ${\widehat {\theta \,}}$, то функцыя лакальна ўвагнутая. Зручна тое, што найбольш вядомыя размеркаванні — у прыватнасці экспанентавае сямейства — лагарыфмічна ўвагнутыя.

Абмежаваная прастора параметраў

Хаця звычайна абсяг вызначэння функцыі праўдападобнасці (прастора параметраў) — канечнамернае падмноства Еўклідавай прасторы, часам на яго могуць накладацца дадатковыя абмежаванні. У такім выпадку прастору параметраў можна запісаць як

$\Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,$

дзе $\;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;$ — вектар-функцыя з $\,\mathbb {R} ^{k}\,$ у $\;\mathbb {R} ^{r}~$. Тады знайсці ацэнку максімальнай праўдападобнасці параметра $\theta$ з мноства $\Theta$ значыць знайсці $\theta$, для якога дасягаецца максімум функцыі праўдападобнасці пры выкананні ўмоў $~h(\theta )=0~$.

Тэарэтычна, самы натуральны падыход да гэтай задачы ўмоўнай аптымізацыі — метад падстаноўкі. Гэта значыць дапаўненне ўмоў $\;h_{1},h_{2},\ldots ,h_{r}\;$ да мноства $\;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;$ такім чынам, што $\;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;$ — ін’екцыя з $\mathbb {R} ^{k}$ у $\mathbb {R} ^{k}$, і рэпараметрызацыя функцыі праўдападобнасці ўвядзеннем $\;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.$. Праз эквіварыянтнасць функцыі ацэнкі максімальнай праўдападобнасці, уласцівасці распаўсюджваюцца і на абмежаваныя ацэнкі. Напрыклад, для многавымернага нармальнага размеркавання матрыца каварыяцыі $\,\Sigma \,$ мусіць быць дадатна вызначанай матрыцай; гэта абмежаванне можна выканаць падстаноўкай $\;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;$, дзе $\Gamma$ — рэчаісная верхнетрохвугольная матрыца, а $\Gamma ^{\mathsf {T}}$ — транспанаваная $\Gamma$ (гл. раскладанне Халецкага для доказу ін’ектыўнасці).

На практыцы ўмовы звычайна накладаюцца метадам множнікаў Лагранжа, які прыводзіць да раўнанняў абмежаванай праўдападобнасці:

${\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0$ і $h(\theta )=0\;,$

дзе $~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~$ — вектар-слупок множнікаў Лагранжа, а $\;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;$ — матрыца Якобі частковых вытворных памеру k × r . Натуральна, калі абмежаванні не ўплываюць на максімум, множнікі Лагранжа маюць быць роўнымі нулю. Гэта, у сваю чаргу, дазваляе правесці статыстычную праверку валіднасці абмежавання, вядомую як тэст множнікаў Лагранжа.

Уласцівасці

Ацэнка максімальнай праўдападобнасці — ацэнка экстрэмуму, якая максімізуе па θ мэтавую функцыю ${\widehat {\ell \,}}(\theta \,;x)$. Калі назіранні незалежныя і аднолькава размеркаваныя, маем

${\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),$

што ёсць выбаркавым аналагам матэматычнага спадзявання лагарыфму праўдападобнасці $\ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]$, узятага па сапраўднай шчыльнасці.

Ацэнка максімальнай праўдападобнасці не мае аптымальных уласцівасцей для канечных выбарак у тым сэнсе, што іншыя ацэнкі на канечных выбарках могуць мець большую канцэнтрацыю вакол сапраўднага значэння параметру. Аднак, як і іншыя метады ацэнкі, ацэнка максімальнай праўдападобнасці мае шэраг прывабных абмежавальных уласцівасцей: калі памер выбаркі павялічваецца да бясконцасці, паслядоўнасць ацэнак максімальнай праўдападобнасці мае наступныя ўласцівасці:

• Слушнасць: паслядоўнасць ацэнак максімальнай праўдападобнасці збягаецца паводле імавернасці да ацэньваемага значэння.
• Функцыянальная інварыянтнасць: Калі ${\hat {\theta }}$ — ацэнка максімальнай праўдападобнасці для $\theta$, а $g(\theta )$ — адвольнае пераўтварэнне над $\theta$, то ацэнка максімальнай праўдападобнасці для $\alpha =g(\theta )$ роўная ${\hat {\alpha }}=g({\hat {\theta }})$.
• Эфектыўнасць: ацэнка дасягае ніжняй мяжы Крамера-Раа, калі памер выбаркі імкнецца к бесканечнасці. Гэта значыць, што ніводная слушная ацэнка не мае меншай асімптатычнай сярэднеквадратычнай памылкі, чым ацэнка максімальнай праўдападобнасці (або іншыя ацэнкі, якія дасягаюць гэтай мяжы). Гэта таксама значыць, што для ацэнкі максімальнай праўдападобнасці ўласцівая асімптатычная нармальнасць.
• Эфектыўнасць другога парадку пасля карэкцыі ўхілу.

Слушнасць

Пры выкананні прыведзеных ніжэй умоў, ацэнка максімальнай праўдападобнасці слушная. Гэта значыць, што калі даныя былі ўтвораны функцыяй $f(\cdot \,;\theta _{0})$ і мы маем дастаткова вялікую колькасць назіранняў $n$, то магчыма знайсці значэнне $\theta _{0}$ з адвольнай дакладнасцю. У матэматычных тэрмінах гэта значыць, што калі $n$ імкнецца да бесканечнасці, ацэнка ${\widehat {\theta \,}}$ збягаецца паводле імавернасці да сапраўднага значэння:

${\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.$

Пры трохі стражэйшых умовах, ацэнка збягаецца амаль напэўна (або моцна):

${\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.$

На практыцы, даныя ніколі не ўтвараюцца $f(\cdot \,;\theta _{0})$. Наадварот, $f(\cdot \,;\theta _{0})$ — гэта мадэль, часта ў ідэалізаванай форме, працэсу, які ўтварае даныя. Паводле распаўсюджанага ў статыстыцы афарызму, усе мадэлі хібныя. Такім чынам, сапраўдная слушнасць ніколі не дасягаецца на практыцы. Тым не менш, слушнасць часта ўважаецца пажаданай уласцівасцю для ацэнак.

Для слушнасці дастаткова наступных умоў.

1. Ідэнтыфікавальнасць мадэлі: $$\theta \neq \theta _{0}\quad \Leftrightarrow \quad f(\cdot \mid \theta )\neq f(\cdot \mid \theta _{0}).$$Іншымі словамі, розным параметрам $\theta$ адпавядаюць розныя размеркаванні мадэлі. Калі гэтая ўмова не выконваецца, існуе пэўнае значэнне $\theta _{1}$, такое што $\theta _{0}$ і $\theta _{1}$ утвараюць роўныя размеркаванні даных. Тады немагчыма адрозніць гэтыя параметры нават з бясконцай колькасцю даных. Такія параметры называюцца назіральна эквівалентнымі.
   Ідэнтыфікавальнасць неабходная для слушнасці ацэнкі максімальнай праўдападобнасці. Калі гэтая ўмова выконваецца, абмежаваная функцыя лагарыфму праўдападобнасці $\ell (\theta \mid \cdot )$ мае адзіны глабальны максімум у $\theta _{0}$.
2. Кампактнасць: прастора параметраў $\Theta$ мадэлі кампактная.

   

   
   Умова ідэнтыфікавальнасці гарантуе, што ў лагарыфма праўдападобнасці існуе адзіны глабальны максімум. Кампактнасць азначае, што праўдападобнасць не можа імкнуцца к максімальнаму значэнню ў нейкім іншым месцы (напрыклад як паказана на рысунку справа).
   Кампактнасць — толькі дастатковая, але не неабходная ўмова. Яна можа быць заменена некаторымі іншымі ўмовамі, такімі як:
   • адначасовая ўвагнутасць функцыі лагарыфму праўдападобнасці і кампактнасць некаторага з яе непустых мностваў узроўню, або
   • існаванне кампактнага наваколля $N$ для $\theta _{0}$, такога што па-за наваколлем $N$ функцыя лагарыфму праўдападобнасці меншая за максімум прынамсі на некаторы $\varepsilon >0$.
3. Непарыўнасць: функцыя $\ln f(x\mid \theta )$ непарыўная ў $\theta$ для амаль усіх значэнняў $x$: $$\operatorname {\mathbb {P} } {\Bigl [}\;\ln f(x\mid \theta )\;\in \;C^{0}(\Theta )\;{\Bigr ]}=1.$$ Непарыўнасць можа быць замененая слабейшай умовай верхняй паўнепарыўнасці.
4. Дамінантнасць: існуе інтэгравальная па размеркаванні $f(x\mid \theta _{0})$ функцыя $D(x)$, такая што $${\Bigl |}\ln f(x\mid \theta ){\Bigr |}<D(x)\quad \forall \theta \in \Theta .$$ Паводле раўнамернага закона вялікіх лікаў, умова дамінантнасці разам з непарыўнасцю гарантуе раўнамерную збежнасць паводле імавернасці лагарыфма праўдападобнасці: $$\sup _{\theta \in \Theta }\left|{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\,\right|\ {\xrightarrow {\text{p}}}\ 0.$$ Умова дамінантнасці можа быць выкарыстана ў выпадку незалежных аднолькава размеркаваных велічынь. Інакш, раўнамерная збежнасць паводле імавернасці можа быць забяспечана тым, што ${\widehat {\ell \,}}(\theta \mid x)$ стахастычна роўнаступенна непарыўная.

Калі неабходна прадэманстраваць, што ацэнка максімальнай праўдападобнасці ${\widehat {\theta \,}}$ збягаецца да $\theta _{0}$ амаль напэўна, то мае выконвацца стражэйшая ўмова непарыўнай збежнасці амаль напэўна:

$\sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.$

Акрамя таго, у дапушчэнні што даныя былі ўтвораны функцыяй $f(\cdot \,;\theta _{0})$, пры пэўных умовах можна паказаць, што ацэнка максімальнай праўдападобнасці збягаецца паводле размеркавання к нармальнаму размеркаванню

${\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)$,

дзе $I$ — матрыца інфармацыі Фішэра.

Функцыянальная інварыянтнасць

Калі ${\widehat {\theta \,}}$ — ацэнка максімальнай праўдападобнасці для $\theta$, а $g(\theta )$ — трансфармацыя над $\theta$, то ацэнка максімальнай праўдападобнасці для $\alpha =g(\theta )$ роўная

${\widehat {\alpha }}=g({\widehat {\theta }}).\,$

Яна максімізуе так званую профільную праўдападобнасць:

${\bar {L}}(\alpha )=\sup _{\theta :\alpha =g(\theta )}L(\theta ).\,$

Акрамя таго, ацэнка максімальнай праўдападобнасці інварыянтная ў дачыненні некаторых трансфармацый даных. Калі $y=g(x)$, дзе $g$ — біекцыя, якая не залежыць ад ацэньваемых параметраў, то функцыя шчыльнасці адпавядае

$f_{Y}(y)={\frac {f_{X}(x)}{|g'(x)|}}$

і функцыі праўдападобнасці для $X$ і $Y$ адрозніваюцца толькі множнікам, які не залежыць ад параметраў мадэлі.

Напрыклад, ацэнка максімальнай праўдападобнасці параметраў лог-нармальнага размеркавання такая самая як і ў нармальнага размеркавання, атрыманая на лагарыфмаваных даных.

Літаратура

• Pfanzagl, Johann (1994). Parametric Statistical Theory(англ.). Walter de Gruyter. pp. 207–208. doi:10.1515/9783110889765. ISBN 978-3-11-013863-4. MR 1291393.