Решение регрессионной задачи машинного обучения на основе теории случайных функций

Юрий Николаевич Бахвалов

ПРЕПРИНТ

Эта статья является препринтом и не была отрецензирована.
О результатах, изложенных в препринтах, не следует сообщать в СМИ как о проверенной информации.

Решение регрессионной задачи машинного обучения на основе теории случайных функций

Ю. Н. Бахвалов

2025-10-19

https://doi.org/10.24108/preprints-3113020

В статье исследуется регрессионная задача машинного обучения как задача многомерной аппроксимации с использованием аппарата теории случайных функций. Предложен первопринципный вывод метода регрессии из постулатов индифферентности. Показано, что если вероятностная мера в бесконечномерном функциональном пространстве обладает естественными симметриями (инвариантность к сдвигу, повороту, масштабированию и гауссовость), то вся решающая схема — включая вид ядра, форму регуляризации и параметризацию шума — выводится аналитически из этих постулатов. Полученное ядро соответствует обобщённому полигармоническому сплайну, однако в отличие от существующих подходов, оно здесь не выбирается эмпирически, а является следствием принципа индифферентности. Результат даёт теоретическое обоснование широкому классу методов сглаживания и интерполяции, показывая их оптимальность в условиях отсутствия априорной информации.

Ссылка для цитирования:

Бахвалов Ю. Н. 2025. Решение регрессионной задачи машинного обучения на основе теории случайных функций. PREPRINTS.RU. https://doi.org/10.24108/preprints-3113020

Список литературы

1. Бахвалов Ю.Н. Метод многомерной интерполяции и аппроксимации и его приложения. – М.: Спутник+, 2007. - 108 с

2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 6)

3. Bogachev, V. I. (1998). Gaussian Measures. American Mathematical Society. Mathematical Surveys and Monographs, Vol. 62. Providence, RI. https://doi.org/10.1090/surv/062

4. Bookstein, F. L. (June 1989). "Principal warps: thin plate splines and the decomposition of deformations". IEEE Transactions on Pattern Analysis and Machine Intelligence. 11 (6): 567–585. doi:10.1109/34.24792

5. Buhmann, M.D. (2003). Radial Basis Functions: Theory and Implementations. Chapter 8: Polyharmonic Splines. Cambridge University Press

6. Chilès, J.P., Delfiner, P. (2012). Geostatistics: Modeling Spatial Uncertainty (2nd ed.). Wiley. Chapter 4: Intrinsic Random Functions of Order k. Wiley

7. Cramér, H. (1942). Mathematical Methods of Statistics. Princeton University Press. (See Chapter 10, Section 10.6: "The Spectral Representation of a Stationary Process" or similar sections in later editions).

8. Duchon, J. (1977). Splines minimizing rotation-invariant semi-norms in Sobolev spaces. In Constructive Theory of Functions of Several Variables (pp. 85-100). Springer, Berlin, Heidelberg. DOI: 10.1007/BFb0086566

9. Гихман И. И., Скороход А. В. Теория случайных процессов. М., 1971. Т. 1. 664 с

10. Harder R.L. and Desmarais R.N.: Interpolation using surface splines. Journal of Aircraft, 1972, Issue 2, pp. 189−191

11. Kallenberg, O. (2002/2021). Foundations of Modern Probability. Springer.

12. Matheron, G. (1973). The Intrinsic Random Functions and Their Applications. Advances in Applied Probability, 5(3), 439–468. [DOI: https://doi.org/10.2307/1425829]

13. Пугачев В.С., Теория случайных функций и её применение к задачам автоматического управления. Изд. 2-ое, перераб. и допол. — М.: Физматлит, 1960.

14. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

15. Saunders, C., Gammerman, A., & Vovk, V. (1998). Ridge Regression Learning Algorithm in Dual Variables. ICML.

16. Vakhania, N. N., Tarieladze, V. I., Chobanyan, S. A. (1987). Probability Distributions on Banach Spaces. Springer.

17. Wahba, G. (1990). Spline Models for Observational Data. SIAM.

18. Wendland, H. (2005). Scattered Data Approximation. Chapter 8: Least Squares on Splines, Cambridge University Press.

19. http://www.machinelearning.ru/wiki/index.php?title=Многомерная_интерполяция_и_аппроксимация_на_основе_теории_случайных_функций

ПРЕПРИНТ

ИНФОРМАЦИЯ

Использование куки-файлов