ВИЯВЛЕННЯ ДЕГРАДАЦІЇ МОДЕЛЕЙ МАШИННОГО НАВЧАННЯ НА ОСНОВІ СПІЛЬНОГО АНАЛІЗУ ДРЕЙФУ ДАНИХ І МЕТРИК ЯКОСТІ
DOI:
https://doi.org/10.28925/2663-4023.2026.35.1406Ключові слова:
аналіз даних, машинне навчання, дрейф даних, деградація моделі, індекс стабільності популяції, метрики прогнозної якості, ухвалення рішень, розподіл прогнозівАнотація
Моделі машинного навчання після розгортання працюють у середовищі, статистичні властивості якого можуть змінюватися, тому збереження параметрів моделі не гарантує сталої прогнозної якості. Водночас сам факт дрейфу вхідних даних не є доказом деградації, а безпосереднє оцінювання якості часто ускладнене через затримку або часткову доступність фактичних цільових значень. Метою дослідження є розроблення методу виявлення деградації моделей машинного навчання, який поєднує аналіз змін вхідних даних із контролем прогнозної якості та враховує доступність фактичних цільових значень під час формування рішення. Запропонований метод передбачає окреме оцінювання дрейфу вхідних ознак, зміни розподілу прогнозів і відхилення метрик якості від еталонних значень. Рівні дрейфу вхідних ознак і зміни розподілу прогнозів формуються за індексом стабільності популяції. За наявності достатньої кількості верифікованих спостережень стан моделі визначається за дрейфом вхідних ознак і зміною прогнозної якості, що дає змогу розмежувати стабільну роботу, дрейф без підтвердженої деградації, зниження якості без зафіксованого дрейфу та їх одночасний прояв і визначити відповідний рівень реагування. За відсутності фактичних цільових значень або затримки їх надходження формується лише оцінка ризику за змінами вхідних ознак і розподілу прогнозів, яка уточнюється після отримання фактичних значень. Метод реалізовано в інформаційній системі моніторингу якості моделей машинного навчання та перевірено на задачах класифікації і регресії у контрольованих сценаріях зміни даних. Експериментальні результати показали, що виражений дрейф вхідних ознак може не супроводжуватися погіршенням прогнозної якості, а критична деградація моделі може виникати без суттєвої зміни контрольованих вхідних розподілів. Також показано, що оцінка ризику, сформована до верифікації прогнозів, може бути уточнена після надходження фактичних значень. Запропонований підхід дає змогу розмежовувати статистичні зміни даних і фактичне погіршення прогнозної якості та уникати необґрунтованого висновку про стабільний стан моделі за відсутності інформації для оцінювання її якості.
Завантаження
Посилання
Bayram, F., Ahmed, B. S., & Kassler, A. (2022). From concept drift to model degradation: An overview on performance-aware drift detectors. Knowledge-Based Systems, 245, 108632. https://doi.org/10.1016/j.knosys.2022.108632
Sethi, T. S. & Kantardzic, M. (2017). On the reliable detection of concept drift from streaming unlabeled data. Expert Systems with Applications, 82, 77–99. https://doi.org/10.1016/j.eswa.2017.04.008
Dong, S., Wang, Q., Sahri, S., Palpanas, T., & Srivastava, D. (2024). Efficiently Mitigating the Impact of Data Drift on Machine Learning Pipelines. Proceedings of the VLDB Endowment, 17(11), 3072–3081. https://doi.org/10.14778/3681954.3681984
Sahiner, B., Chen, W., Samala, R. K., & Petrick, N. (2023). Data drift in medical machine learning: implications and potential remedies. The British Journal of Radiology, 96, 20220878. https://doi.org/10.1259/bjr.20220878
Vela, D., Sharp, A., Zhang, R., Nguyen, T., Hoang, A., & Pianykh, O. S. (2022). Temporal quality degradation in AI models. Scientific Reports, 12, 11654. https://doi.org/10.1038/s41598-022-15245-z
Potgieter, C. J., Van, Zyl C., Schutte, W. D., & Lombard, F. (2026) The population resemblance statistic: a chi-square measure of fit for banking. Annals of Operations Research. 361, 413–435. https://doi.org/10.1007/s10479-025-07024-6.
Chepurna, O. Ye., Cherevko, Yu. G., Loboda, Yu. H., & Kukharenko, S. V. (2025). Application of mathematical statistics for big data analysis in information processing algorithms. Scientific Notes of V. I. Vernadsky Taurida National University. Series: Technical Sciences, 36(75)(4), 313–320. https://doi.org/10.32782/2663-5941/2025.4.2/41
Massey, F. J. (1951). The Kolmogorov-Smirnov Test for Goodness of Fit. Journal of the American Statistical Association, 46(253), 68–78. https://doi.org/10.1080/01621459.1951.10500769
Khaki, S., Aditya, A. A., Karnin, Z., Ma, L., Pan, O., & Chandrashekar, S. M. (2023). Uncovering drift in textual data: An unsupervised method for detecting and mitigating drift in machine learning models. arXiv. https://doi.org/10.48550/arXiv.2309.03831.
Heinrichs, F. (2023). Monitoring machine learning models: Online detection of relevant deviations. arXiv. https://doi.org/10.48550/arXiv.2309.15187
Ackerman, S., Farchi, E., Raz, O., Zalmanovici, M., & Dube, P. (2020). Detection of data drift and outliers affecting machine learning model performance over time. arXiv. https://doi.org/10.48550/arXiv.2012.09258.
Bauer, J. C., Trattnig, S., Vieltorf, F., & Daub, R. (2026). Handling data drift in deep learning-based quality monitoring: evaluating calibration methods using the example of friction stir welding. Journal of Intelligent Manufacturing, 37, 759–774. https://doi.org/10.1007/s10845-025-02569-6.
Shen, G., Li, S., Zhang, Y., Zhou, H., & Li, M. (2025). Dynamic Monitoring Method of Polymer Injection Molding Product Quality Based on Operating Condition Drift Detection and Incremental Learning. Polymers, 17(22), 3025. https://doi.org/10.3390/polym17223025
Gomes, H. M., Grzenda, M., Mello, R., Read, J., Le Nguyen, M. H., & Bifet, A. (2023). A survey on semi-supervised learning for delayed partially labelled data streams. ACM Computing Surveys, 55(4), Article 75, 1–42. https://doi.org/10.1145/3523055
Castellani, A., Schmitt, S., & Hammer, B. (2022). Stream-based active learning with verification latency in non-stationary environments. In: Artificial Neural Networks and Machine Learning – ICANN 2022 (pp. 260–272). https://doi.org/10.1007/978-3-031-15937-4_22
Loboda, Yu. G., Trofymenko, O. G., & Lohinova, N. I. (2025). Integrated employee attrition analysis system based on the combination of classification models and survival analysis. Tavriiskyi Naukovyi Visnyk. Series: Technical Sciences, 3, 228–238. https://doi.org/10.32782/tnv-tech.2025.3.25
Miller, T., & Durlik, I. (2026). When models fail: Trustworthy anomaly detection under distributional drift via dual-layer monitoring of data and AI behaviour. Applied Sciences, 16(11), 5293. https://doi.org/10.3390/app16115293
Kidane, L., Townend, P., Metsch, T., & Elmroth, E. (2026). Efficient retraining of machine learning algorithms in cloud management systems. Future Generation Computer Systems, 182, 108478. https://doi.org/10.1016/j.future.2026.108478
Chi, S., Tian, Y., Wang, F., Zhou, T., Jin, S., & Li, J. (2022). A novel lifelong machine learning-based method to eliminate calibration drift in clinical prediction models. Artificial Intelligence in Medicine, 125, 102256. https://doi.org/10.1016/j.artmed.2022.102256
Guan, H., & Zhou, L. (2026). Detecting performance degradation under data shift in pathology vision-language model. arXiv. https://doi.org/10.48550/arXiv.2601.00716
Bautina, M. (2025). Monitoring machine learning model drift in production pipelines: Methods, metrics, and deployment aspects. Information Technology and Society, 16(1), 8–15. https://doi.org/10.32689/maup.it.2025.1.1
Fedesoriano. (2021). Heart failure prediction dataset [Data set]. Kaggle. https://www.kaggle.com/datasets/fedesoriano/heart-failure-prediction
Pavansubhash. (n.d.). IBM HR analytics employee attrition & performance [Data set]. Kaggle. https://www.kaggle.com/datasets/pavansubhasht/ibm-hr-analytics-attrition-dataset
Choi, M. (n.d.). Medical cost personal datasets [Data set]. Kaggle. https://www.kaggle.com/datasets/mirichoi0218/insurance
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Юлія Лобода , Олена Трофименко, Михайло Ворона , Оксана Гайдаєнко
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
