ОЦІНЮВАННЯ ЕФЕКТИВНОСТІ НЕЙРОННИХ МЕРЕЖ І ТРАДИЦІЙНИХ МЕТОДІВ ІНТЕРПОЛЯЦІЇ
DOI:
https://doi.org/10.28925/2663-4023.2026.35.1346Ключові слова:
нейронні мережі, традиційні методи інтерполяції, оцінювання ефективності, Гауссівські процесиАнотація
Досліджено специфіку оцінювання нейронних мереж та традиційних методів інтерполяції. Об’єктом дослідження є: нейроні мережі та традиційні методи інтерполяції. Дослідження охоплює широкий спектр застосувань у різних областях, включаючи обробку даних, апроксимацію функцій та розв'язання завдань інтерполяції в умовах реальних та синтетичних даних. Проблемою, що вирішувалася, був детальний аналіз специфіки математичних апаратів обох підходів.
В ході дослідження було розглянуто різні аспекти математичних апаратів. У результаті досліджень було проведено порівняльний аналіз оцінки нейронної мережі та 9 традиційних методів інтерполяції.
Виявлено відсутність єдиної та стандартизованої методології порівняння ефективності нейронних мереж із традиційними методами інтерполяції, яка б враховувала різноманітність умов і вимог використання.
Також було встановлено, що нейроні мережі та традиційні методи інтерполяції мають свої унікальні математичні характеристики та методи оцінки. Розглянуті математичні моделі служать для відтворення, або апроксимації функцій на основі апріорної інформації і відомих точок. В межах експериментального дослідження Гауссівські процеси та нейронні мережі показали найвищу точність, враховуючи гіперпараметри. Вибір конкретного методу залежить від конкретних вимог задачі та особливостей даних. Гауссівські процеси показали найвищу точність серед усіх методів, з результатом 0.94. Цей метод часто використовується для моделювання стохастичних процесів. Нейронна мережа показала дуже хорошу точність на тестових даних, досягнувши 0.92.
Отримані результати надають важливу інформацію для вибору оптимального застосування нейронних мереж, або методу інтерполяції.
Завантаження
Посилання
Montanari, Y., & Zhong, Y. (2022). The interpolation phase transition in neural networks: Memorization and generalization under lazy training. Annals of Statistics, 50(5), 2816-2847. https://doi.org/10.1214/22-AOS2211
Y. Zhang, P. Tiňo, A. Leonardis and K. Tang, A Survey on Neural Network Interpretability. IEEE Transactions on Emerging Topics in Computational Intelligence vol. 5, no. 5, pp. 726-742, Oct. 2021, https://doi.org/10.1109/TETCI.2021.3100641
B. Ghorbani, T. Misiakiewicz (2021). When do neural networks outperform kernel methods? J. Stat. Mech. Theory Exp. 12 Paper No. 124009, 110 pp. https://doi.org/10.1088/1742-5468/ac3a81
E, W., MA, C. and WU, L. (2020). A comparative analysis of optimization and generalization properties of two-layer neural network and random feature models under gradient descent dynamics. Sci. China Math. 63 1235-1258. https://doi.org/10.1007/s11425-019-1628-5
Hastie, T., Montanari, A., Rosset, S., & Tibshirani, R. J. (2022). Surprises in high-dimensional ridgeless least squares interpolation. Annals of Statistics, 50, 949-986. https://doi.org/10.1214/21-aos2133
Liang, T., & Rakhlin, A. (2020). Just interpolate: Kernel “Ridgeless” regression can generalize. Annals of Statistics, 48, 1329-1347. https://doi.org/10.1214/19-AOS1849
Mei, S., Misiakiewicz, T., & Montanari, A. (2022). Generalization error of random feature and kernel methods: Hypercontractivity and kernel matrix concentration. Applied and Computational Harmonic Analysis, 59, 3-84. https://doi.org/10.1016/j.acha.2021.12.003
Soltanolkotabi, M., Javanmard, A., & Lee, J. D. (2019). Theoretical insights into the optimization landscape of over-parameterized shallow neural networks. IEEE Transactions on Information Theory, 65, 742-769. https://doi.org/10.1109/TIT.2018.2854560
Vershynin, R. (2018). High-Dimensional Probability: An Introduction with Applications in Data Science. Cambridge Series in Statistical and Probabilistic Mathematics (No. 47). Cambridge University Press. https://doi.org/10.1017/9781108231596
Zou, D., Cao, Y., Zhou, D., & Gu, Q. (2020). Gradient descent optimizes over-parameterized deep ReLU networks. Machine Learning, 109, 467-492. https://doi.org/10.1007/s10994-019-05839-6
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Наталія Лащевська, Антон Шантир, Ольга Зінченко, Каміла Сторчак
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
