Непараметрична регресія

Непараметрична регресія — форма регресійного аналізу, де предиктор не набуває заздалегідь визначеної форми, але повністю побудований за допомогою інформації, отриманої з даних. Тобто, для взаємодії між предикторами й залежною змінною відсутнє параметричне рівняння. Для створення непараметричної моделі з таким самим рівнем невизначеності^[en], як і параметрична модель, потрібен більший обсяг вибірки, оскільки дані мають забезпечувати як структуру моделі, так і оцінки параметрів.

Визначення

Непараметрична регресія припускає таке співвідношення для заданих випадкових величин $X$ і $Y$ :

\mathbb {E} [Y\mid X=x]=m(x),

де $m(x)$ — деяка детермінована функція. Лінійна регресія — це обмежений випадок непараметричної регресії, де $m(x)$ — лінійна функція даних. Іноді використовується дещо сильніше припущення про адитивний шум:

Y=m(X)+U,

де випадкова величина $U$ — це «шумовий член» із середнім значенням 0. Без припущення, що $m$ належить до певної параметричної родини функцій, неможливо отримати неупереджену оцінку для $m$ , проте більшість оцінок є узгодженими за відповідних умов.

Поширені алгоритми непараметричної регресії

Це не вичерпний список непараметричних моделей для регресії:

Приклади

Регресія на основі гаусових процесів (кригінг)

У регресії на основі гаусових процесів, також відомій як кригінг, для кривої регресії передбачається гауссова апріорна ймовірність. Вважається, що похибки мають багатовимірний нормальний розподіл, а крива регресії оцінюється за її апостеріорною модою. Гауссова апріорна ймовірність може залежати від невідомих гіперпараметрів, які зазвичай оцінюються за допомогою емпіричного баєсівського методу^[en]. Гіперпараметри зазвичай визначають ядро апріорної коваріації. У випадку, якщо ядро також має бути виведене непараметрично з даних, можна використати критичний фільтр^[en].

Згладжувальні сплайни^[en] інтерпретуються як апостеріорна мода гауссової регресії процесу.

Ядрова регресія

Приклад кривої (червона лінія), що апроксимується невеликим набором даних (чорні точки) за допомогою непараметричної регресії з використанням гауссового ядрового згладжування. Рожева затінена ділянка ілюструє ядрову функцію, застосовану для отримання оцінки y для заданого значення x. Ядрова функція визначає вагу, надавану кожній точці даних при отриманні оцінки для цільової точки.

Ядрова регресія оцінює неперервну залежну змінну за обмеженим набором точок даних шляхом згортання розташування точок даних за допомогою ядрової функції^[en] — приблизно кажучи, функція ядра визначає, як «розмити» вплив точок даних, щоб їхні значення можна було використати для прогнозування значень для сусідніх місць.

Дерева регресії

Для прогнозування залежної змінної за даними можна застосувати алгоритми навчання з деревом рішень.^[2] Хоча оригінальне формулювання дерева класифікації та регресії застосовувалося лише до прогнозування одновимірних даних, цю платформу можна використовувати для прогнозування багатовимірних даних, включно з часовими рядами.^[3]

Див. також

Примітки

↑ Cherkassky, Vladimir; Mulier, Filip (1994). Cheeseman, P.; Oldford, R. W. (ред.). Statistical and neural network techniques for nonparametric regression. Selecting Models from Data. Lecture Notes in Statistics (англ.). New York, NY: Springer: 383—392. doi:10.1007/978-1-4612-2660-4_39. ISBN 978-1-4612-2660-4.
↑ Breiman, Leo; Friedman, J. H.; Olshen, R. A.; Stone, C. J. (1984). Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. ISBN 978-0-412-04841-8.
↑ Segal, M.R. (1992). Tree-structured methods for longitudinal data. Journal of the American Statistical Association. American Statistical Association, Taylor & Francis. 87 (418): 407—418. doi:10.2307/2290271. JSTOR 2290271.

Література

Bowman, A. W.; Azzalini, A. (1997). Applied Smoothing Techniques for Data Analysis. Oxford: Clarendon Press. ISBN 0-19-852396-3.
Fan, J.; Gijbels, I. (1996). Local Polynomial Modelling and its Applications. Boca Raton: Chapman and Hall. ISBN 0-412-98321-4.
Henderson, D. J.; Parmeter, C. F. (2015). Applied Nonparametric Econometrics. New York: Cambridge University Press. ISBN 978-1-107-01025-3.
Li, Q.; Racine, J. (2007). Nonparametric Econometrics: Theory and Practice. Princeton: Princeton University Press. ISBN 978-0-691-12161-1.
Pagan, A.; Ullah, A. (1999). Nonparametric Econometrics. New York: Cambridge University Press. ISBN 0-521-35564-8.

Посилання

HyperNiche, програмне забезпечення для непараметричної мультиплікативної регресії.
Масштабно-адаптивна непараметрична регресія (за допомогою програмного забезпечення Matlab).

[1] Cherkassky, Vladimir; Mulier, Filip (1994). Cheeseman, P.; Oldford, R. W. (ред.). Statistical and neural network techniques for nonparametric regression. Selecting Models from Data. Lecture Notes in Statistics (англ.). New York, NY: Springer: 383—392. doi:10.1007/978-1-4612-2660-4_39. ISBN 978-1-4612-2660-4.

[bfos-2] Breiman, Leo; Friedman, J. H.; Olshen, R. A.; Stone, C. J. (1984). Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. ISBN 978-0-412-04841-8.

[3] Segal, M.R. (1992). Tree-structured methods for longitudinal data. Journal of the American Statistical Association. American Statistical Association, Taylor & Francis. 87 (418): 407—418. doi:10.2307/2290271. JSTOR 2290271.

[1]

[2]

[3]