РОЗРОБКА МЕТОДУ ГІБРИДНОГО КЛАСИФІКАТОРА ДЛЯ ВИЯВЛЕННЯ ШКІДЛИВИХ ЗАПИТІВ НА ОСНОВІ ПОЄДНАННЯ ДЕТЕРМІНОВАНИХ ЗАСОБІВ ІЗ ЗАСОБАМИ ГЕНЕРАТИВНОГО ШТУЧНОГО ІНТЕЛЕКТУ

Анотація

Стрімкий розвиток засобів генеративного штучного інтелекту призвів до активного його впровадження у різні сфери діяльності, а також суттєво розширив площину кіберзагроз для сьогодні, що дозволити виокремити новий важливий напрямок у кібербезпеці — GenAI Security. Завдання захисту генеративного ШІ намагаються вирішити за рахунок класичних методів і засобів захисту у кібербезпеці, а також таких, що ґрунтуються на самому генеративному ШІ. Однак сьогодення демонструє те, що жоден із них окремо не може повністю вирішити проблему, оскільки класичні методи і засоби можуть добре впоратися із уже відомими загрозами, але не можуть вирішити проблеми загроз семантичних, які характерні для LLM та систем, які ними оперують, зокрема засобів захисту на їхній основі, оскільки самі вразливі до цих атак. Однією із критичних загроз для безпеки таких систем є Prompt Injection, які згідно з OWASP GenAI LLM Top 10 2026 перебувають на першому місці і користуються рядом різних технік: від приховування шкідливих команд за допомогою кодування, до атак на основі рольових ігор, маніпуляцій тощо, а тому визначення типу запиту, який надходить на обробку, а також його намірів, є важливим етапом у захисті GenAI-орієнтованих систем. Ця стаття присвячена розробці методу класифікації запитів за допомогою поєднання традиційних засобів захисту на кшталт валідації та фільтрації із засобами генеративного ШІ, на основі локальної моделі Gemma4:e2b-it-qat. Розроблений метод пропонує тришарову структуру, де на вході і виході використано детерміністичні засоби захисту, а внутрішній шар семантичного аналізу використовує двох ШІ-агентів, які відіграють ролі Intention Evaluator та LLM-as-a-Judge. Проведені дослідження методу продемонстрували високий рівень виявлення шкідливих або підозрілих запитів при відсутності використання їхньої обфускації. Обробка обфускованих запитів дозволила виявити слабкі місця методу та припустити шляхи його покращення, а також рекомендації щодо впровадження. Очікується, що найефективніше він буде працювати у системах які мають чітко визначні завдання та не потребують креативної генерації.