SIA-GUARD: КОНТЕКСТНО-ЗАЛЕЖНИЙ БЕЗПЕКОВИЙ КОНТРОЛЬ НА ЕТАПІ ВИКОНАННЯ ДІЙ АГЕНТІВ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ ДЛЯ ПРОТИДІЇ АТАКАМ ТИПУ PROMPT-INJECTION
DOI:
https://doi.org/10.28925/2663-4023.2026.35.1330Ключові слова:
великі мовні моделі, кібербезпека, LLM-агенти, prompt injection, Model Context Protocol, tool poisoning, intent-flow subversion, command injectionАнотація
У роботі наведений огляд результатів розробки та експериментального оцінювання системи SIA-GUARD - безпекового фільтру для LLM-агентів, який враховує контекст сесії та контролює виконання ними дій що застосовують зовнішні інструменти. Дослідження присвячено проблемі розширення впливу ризиків атак типу prompt injection з рівня небезпечного текстового промпту до рівня виконання дій над файлами, корпоративними записами та бізнес-процесами, як-то, наприклад - читання файлів, експорт клієнтських записів, зміна даних клієнтів, запис шкідливого звіту або виконання несанкціонованої фінансової операції. Запропонований фільтр SIA-GUARD розміщується між LLM-агентом та API моделі, MCP-подібними серверами інструментів. SIA-GUARD веде єдину хронологію сесій, маркує результати роботи ненадійних інструментів як потенційно шкідливі, застосовує детерміновані політики до високоризикових джерел даних, видаляє/маскує контрольні маркери витоку, може залучати допоміжну LLM для перевірки неоднозначних дій інструментів чи ідентифікації намірів. Для проведення експерименту було створено демонстраційне середовище з сервером документів, файловим сервером і сервером бізнес-даних, а також набір із 25 промптів: чотирьох легітимних для вимірювання хибних спрацювань і 21 атакуючих із прихованими шкідливими HTML/Markdown/PDF-інструкціями, обфускованими повідомленнями (obfuscated message), із шкідливими даними вбудованими у зовнішні інструменти/API (tool poisoning), прихованими викликами через схеми даних, персистентністю між сесіями та тиском на експорт або зміну даних. У рамках дослідження оцінено 1050 парних записів: 525 записів у незахищеному режимі (по 3 повтори на кожен із 25 промптів на кожну з семи локальних моделей) та 525 відповідних записів у захищеному режимі - з використанням фільтру SIA-GUARD. Крім того проаналізовані 525 парних записів у серії з вимкненням окремих компонент фільтру, де були по черзі ізольовані окремі механізми захисту для qwen/qwen3-coder-next. У багатомодельному зрізі захищений режим не допустив жодного витоку контрольних маркерів, тоді як незахищений базовий режим мав 63 витоки з 525 записів. У незахищеному режимі модель фактично виконувала небезпечну поведінку, в той час як захищений режим з SIA-GUARD блокував або відправив на перегляд ризикову дію у 88,3% випадків. Результати дослідження підтверджують високу ефективність контролю безпеки дій LLM-агентів на етапі виконання, як практичного доповнення до захистів на рівні тексту промпту. Такий підхід дозволяє суттєво зменшити кількість успішних атак на агентному рівні, одночасно зберігаючи корисний рівень автоматизації.
Завантаження
Посилання
Greshake, K., Abdelnabi, S., Mishra, S., Endres, C., Holz, T., & Fritz, M. (2023). Not what you've signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. arXiv. https://doi.org/10.48550/arXiv.2302.12173
Schulhoff, S., Pinto, J., Khan, A., Bouchard, L.-F., Si, C., Anati, S., Tagliabue, V., Kost, A. L., Carnahan, C., & Boyd-Graber, J. (2023). Ignore this title and HackAPrompt: Exposing systemic vulnerabilities of LLMs through a global scale prompt hacking competition. arXiv. https://arxiv.org/abs/2311.16119
Liu, Y., Jia, Y., Geng, R., Jia, J., & Gong, N. Z. (2024). Formalizing and benchmarking prompt injection attacks and defenses. In 33rd USENIX Security Symposium (USENIX Security 24) (pp. 1831-1847). USENIX Association. https://www.usenix.org/conference/usenixsecurity24/presentation/liu-yupei
Liu, Y., Deng, G., Li, Y., Wang, K., Wang, Z., Wang, X., Zhang, T., Liu, Y., Wang, H., Zheng, Y., Zhang, L. Y., & Liu, Y. (2023). Prompt injection attack against LLM-integrated applications. arXiv. https://doi.org/10.48550/arXiv.2306.05499
OWASP Foundation. (2025). OWASP Top 10 for LLM Applications 2025. OWASP GenAI Security Project. https://genai.owasp.org/llm-top-10/
OWASP Foundation. (2025). OWASP MCP Top 10. https://owasp.org/www-project-mcp-top-10/
Model Context Protocol. (2026). Tools - Model Context Protocol specification. https://modelcontextprotocol.io/specification/draft/server/tools
Tabassi, E. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1). National Institute of Standards and Technology. https://doi.org/10.6028/NIST.AI.100-1
National Institute of Standards and Technology. (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1). https://doi.org/10.6028/NIST.AI.600-1
MITRE. (2026). MITRE ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems. https://atlas.mitre.org/
Syros, G., Suri, A., Ginesin, J., Nita-Rotaru, C., & Oprea, A. (2025). SAGA: A security architecture for governing AI agentic systems. arXiv. https://arxiv.org/abs/2504.21034
Narajala, V. S., & Narayan, O. (2025). Securing agentic AI: A comprehensive threat model and mitigation framework for generative AI agents. arXiv. https://doi.org/10.48550/arXiv.2504.19956
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Володимир Санченко, Володимир Ахрамович
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
