МОДЕЛЮВАННЯ СЦЕНАРІЇВ КІБЕРАТАК ЯК МАРКОВСЬКОГО ПРОЦЕСУ  ІЗ СЕМАНТИЧНО ОБМЕЖЕНИМ ПРОСТОРОМ ДІЙ

Андрій Притула; Леонід Куперштейн

doi:10.28925/2663-4023.2026.33.1232

Автор(и)

Андрій Притула Вінницький національний технічний університет https://orcid.org/0009-0006-9632-0712
Леонід Куперштейн Вінницький національний технічний університет https://orcid.org/0000-0001-6737-7134

DOI:

https://doi.org/10.28925/2663-4023.2026.33.1232

Ключові слова:

марковський процес; прийняття рішень; кібербезпека; загроза; атака; навчання з підкріпленням; нейронна мережа; моделювання; машинне навчання; штучний інтелект

Анотація

Запропоновано формальну модель подання сценаріїв кібератак у вигляді марковського процесу прийняття рішень, у якій, на відміну від статичних графів атак, явно задається динаміка зміни станів системи залежно від виконаних кроків атаки, а множина допустимих дій формується з урахуванням семантичних залежностей між кроками, зокрема залежностей типу І (AND) та АБО (OR). Запропонований підхід забезпечує часову інтерпретацію сценаріїв через метрику time-to-compromise (TTC) та дозволяє описувати як прості, так і складні багатокрокові траєкторії компрометації. Модель поєднує динамічне MDP-подання з інваріантним графовим представленням станів, що будується з використанням механізмів графових нейронних мереж. Експериментальне дослідження проведено на множині стохастично-згенерованих MAL-графів, узгоджених із відкритими моделями атак та веб-датасетами, і включає порівняння з базовими графовими методами та методами навчання з підкріпленням без семантичних обмежень. Отримані результати показують, що запропонований підхід забезпечує суттєве скорочення середнього часу до компрометації та зменшує дисперсію результатів, що свідчить про підвищення стабільності навчання. Доведено, що введення семантично обмеженої множини допустимих дій повністю усуває нерелевантні переходи та суттєво підвищує частку успішних сценаріїв компрометації. Найбільший виграш спостерігається на глибоких багатокрокових траєкторіях атак із домінуванням AND-залежностей, де семантична структура графа має визначальний вплив на простір доступних рішень. Практичне значення полягає в можливості застосування моделі для кількісного оцінювання сценаріїв кібератак, ранжування траєкторій компрометації та підтримки прийняття рішень, а також інтеграції у системи автоматизованого тестування на проникнення та навчальні кіберполігони.

Завантаження

Дані завантаження ще не доступні.

Посилання

Zenitani, K. (2023). Attack graph analysis: An explanatory guide. Computers & Security, 126, 103081. https://doi.org/10.1016/j.cose.2022.103081

Ibrahim, M., & Elhafiz, R. (2022). Integrated clinical environment security analysis using reinforcement learning. Bioengineering, 9(6), 253. https://doi.org/10.3390/bioengineering9060253

Kaya, M. O., Ozdem, M., & Das, R. (2025). A new hybrid approach combining GCN and LSTM for real-time anomaly detection from dynamic computer network data. Computer Networks, 268, 111372. https://doi.org/10.1016/j.comnet.2025.111372

Xie, R., & Liu, D. (2026). A novel hybrid graph neural network and transformer model for intrusion detection. Peer-to-Peer Networking and Applications,19(2). https://doi.org/10.1007/s12083-025-02171-w

Vitulyova, Y., Babenko, T., Kolesnikova, K., Kiktev, N., & Abramkina, O. (2025). A hybrid approach using graph neural networks and LSTM for attack vector reconstruction. Computers, 14(8), 301. https://doi.org/10.3390/computers14080301

Yousefi, M., Mtetwa, N., Zhang, Y., & Tianfield, H. (2018). A reinforcement learning approach for attack graph analysis. In 2018 17th IEEE International Conference on Trust, Security and Privacy in Computing and Communications / 12th IEEE International Conference on Big Data Science and Engineering (TrustCom/BigDataSE) (pp. 212-217). IEEE. https://doi.org/10.1109/TrustCom/BigDataSE.2018.00041

Yu, Z., Jia, Y., Han, W., Zhang, J., Yang, M., & Mei, Y. (2025). ShotFlex: A reinforcement learning-based cyber attack path generation method for cybersecurity evaluation. Security and Safety, 4, 2025006. https://doi.org/10.1051/sands/2025006

Kim, B.-S., Suk, H.-W., Choi, Y.-H., Moon, D.-S., & Kim, M.-S. (2024). Optimal cyber attack strategy using reinforcement learning based on Common Vulnerability Scoring System. Computer Modeling in Engineering & Sciences, 141(2), 1551-1574. https://doi.org/10.32604/cmes.2024.052375

Abdullayeva, F., & Suleymanzade, S. (2024). Cyber security attack recognition on cloud computing networks based on graph convolutional neural network and GraphSAGE models. Results in Control and Optimization, 15, 100423. https://doi.org/10.1016/j.rico.2024.100423

Ren, W., Zhang, H., & Lei, Y. (2025). Network attack knowledge inference with graph convolutional networks and convolutional 2D KG embeddings. Scientific Reports, 15(1). https://doi.org/10.1038/s41598-025-17941-y

Liu, G., Lu, K., & Pi, S. (2025). Graph neural networks embedded with domain knowledge for cyber threat intelligence entity and relationship mining. PeerJ Computer Science, 11, e2769. https://doi.org/10.7717/peerj-cs.2769

Li, Y., & Li, X. (2021). Research on multi-target network security assessment with attack graph expert system model. Scientific Programming, 2021, 1-11. https://doi.org/10.1155/2021/9921731

Levner, E., & Tsadikovich, D. (2024). Fast algorithm for cyber-attack estimation and attack path extraction using attack graphs with AND/OR nodes. Algorithms, 17(11), 504. https://doi.org/10.3390/a17110504

Ibrahim, A., Bozhinoski, S., & Pretschner, A. (2019). Attack graph generation for microservice architecture. In Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing (pp. 1235-1242). ACM. https://doi.org/10.1145/3297280.3297401

Prytula, A., & Kupershtein, L. (2025). Analysis of penetration testing approaches using reinforcement learning. Cybersecurity: Education, Science, Technique, 4(28), 259-271. https://doi.org/10.28925/2663-4023.2025.28.789

Johnson, P., Lagerström, R., & Ekstedt, M. (2018). A meta language for threat modeling and attack simulations. In Proceedings of the 13th International Conference on Availability, Reliability and Security (pp. 1-8). ACM. https://doi.org/10.1145/3230833.3232799

Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph attention networks. In International Conference on Learning Representations (ICLR 2018). https://doi.org/10.48550/arXiv.1710.10903

mal-lang. (n.d.). enterpriseLang: Enterprise language for the Meta Attack Language framework [Software]. GitHub. https://github.com/mal-lang/enterpriseLang

OWASP Foundation. (n.d.). WebGoat: A deliberately insecure web application [Software]. GitHub. https://github.com/WebGoat/WebGoat

Torrano-Gimenez, C., Perez-Villegas, A., & Alvarez, G. (2010). HTTP Dataset CSIC 2010 [Dataset]. Spanish National Research Council (CSIC). https://www.kaggle.com/datasets/ispangler/csic-2010-web-application-attacks

Kaggle. (n.d.). Malicious URL Detection Dataset [Dataset]. Kaggle. https://www.kaggle.com/datasets/moutasmtamimi/malicious-url-detection-dataset-enhanced-2026

Kupershtein, L. M., Prytula, A. V., & Malinovskyi, V. I. (2024). Analysis of web applications penetration testing technologies. Scientific Works of Vinnytsia National Technical University, 2, 45-53. https://doi.org/10.31649/2307-5376-2024-2-45-53