МЕТОД ОЦІНЮВАННЯ ЗАХИЩЕНОСТІ АГЕНТНИХ ЗАСТОСУНКІВ ДЛЯ ЗАДАЧ КРИТИЧНОЇ ІНФРАСТРУКТУРИ

Анотація

Статтю присвячено проблемі оцінювання захищеності застосунків, які функціонують із залученням агентів штучного інтелекту. ШІ-агенти працюють на основі великих мовних моделей і виконують задачі в області аналізу журналів подій, обробки технічної документації об’єкта, аналізу даних в базах об’єкта критичної  інфраструктури. Також агенти можуть бути залучені до задач моніторингу та взаємодій з платформами SOC/SIEM. Cеред відмінностей, які роблять агентні застосунки потенційно небезпечними, є здатність автономно викликати зовнішні застосунки, виконувати інші інтелектуальні дії, які розширюють поверхню атак. Серед ризиків є виконання ескалація привілеїв, виток конфіденційних даних, та виконання дій, початково не передбачених політикою безпеки. Метою дослідження є розробка методу оцінювання захищеності агентних застосунків, який орієнтується на застосування в задачах критичної інфраструктури. Метод є придатним для порівняльного аналізу різних версій великих мовних моделей та конфігурацій агентних застосунків. До складу метода входить робота з моделлю загроз, каталогом тестових сценаріїв, запропонованою системою кількісних метрик. Функціональна частина методу складається з процедури автоматизованого тестування та формування рекомендацій щодо політики розмежування доступу агентів до даних та інструментів. Модель загроз стосується рівнів великої мовної моделі, зовнішніх інструментів, і враховує наступні категорії найбільш типових атак: 1) пряму ін’єкцію промпту, 2) непряму ін’єкцію промпту через зовнішні дані, 3) зловживання інструментами, 4) витік конфіденційних даних, 5) ескалацію привілеїв. В якості показника для кількісної оцінки використаний показний успішності атак (ASR), і додатково – показники зловживання інструментами, витоку даних та ескалації привілеїв. Працездатність запропонованого методу показана експериментально, в ізольованому програмному середовищі, реалізованому на Python з застосуванням LangChain та Ollama. Тестування агента відбувалось з використанням інструментів, які імітували читання, запис, виконання SQL-запитів, пошук даних та надсилання повідомлень. Експерименти здійснені для моделей Llama 3.1 8B, Ministral 3 8B та Qwen 3 8B із використанням 50 тестових сценаріїв і десятикратним повторенням кожного сценарію; загальний обсяг експерименту становив 2000 запусків. Встановлено, що вразливості моделей суттєво відрізняються, а найбільш небезпечним напрямком для всіх досліджених LLM є витік конфіденційних даних, значення відповідного показника становило від 20 % до 70 %. Використання режиму «thinking» в Qwen 3 зробило можливим зниження загального показника успішності атак з 22% до 6.2%. Однак, використання цього режиму не усуває повністю ризики витоку даних та несанкціонованого підвищення привілеїв. Результати дослідження дають підставу сформулювати рекомендації: застосовувати принцип найменших привілеїв, за можливості – використовувати режим read-only, обов’язково залучати оператора-людину для підтвердження виконання критичних операцій. Запропонований метод може використовуватись для порівняльної оцінки та попереднього тестування агентних застосунків, які використовуються інформаційно-аналітичних задач критичної інфраструктури.