АВТОМАТИЗОВАНЕ ОЦІНЮВАННЯ ЕТИЧНИХ АСПЕКТІВ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ

Анотація

Стрімка інтеграція великих мовних моделей у критично важливі суспільні сфери, як-от охорона здоров'я, освіта та системи прийняття рішень, індукує нові ризики, пов'язані з алгоритмічним відтворенням упередженості, соціальної стереотипності та девіацій машинної етики. У контексті кібербезпеки некоректні або неконтрольовані відповіді генеративних моделей формують нову поверхню атак, де вихідний контент здатний спровокувати витік конфіденційних даних чи обхід встановлених політик безпеки. У цій роботі запропоновано модульну архітектуру та здійснено технічне впровадження автоматизованої системи комплексного етичного аудиту великих мовних моделей. Проєктування системи базується на чотирьох функціональних вузлах: каталозі структурованих тестових сценаріїв у форматі JSON, центральному модулі управління, адаптерах взаємодії з цільовими моделями та аналітичних детекторах успішності атак. Сформовано об'єднаний дослідницький інструментарій на основі шести класичних датасетів: CrowS-Pairs, BBQ, Seegull, SPICE, ETHICS та TruthfulQA, загальний обсяг експериментальної вибірки яких охоплює 6400 сценаріїв. Для обробки відповідей моделей розроблено спеціалізовані оцінювачі, які комбінують лінгвістичну нормалізацію тексту за допомогою регулярних виразів та обчислення метрик схожості рядків за алгоритмом SequenceMatcher. Проведено масштабні експериментальні дослідження на семи моделях різного типу доступу та апаратної ресурсомісткості. До вибірки увійшли п'ять локальних моделей (TinyLlama 1.1B Chat, Qwen 2.5 0.5B Instruct, Qwen 2.5 1.5B Instruct, Microsoft Phi-2 2.7B, DeepSeek-Coder 1.3B) та дві хмарні моделі (GPT-4o-mini, GPT-4.1-mini), які виконувались на локальному обчислювальному стенді з GPU RTX 3060 12GB та через відповідні хмарні API. Емпіричний аналіз виявив стійку кореляцію між масштабом моделі та її здатністю дотримуватись етичних вимог. Найвищі результати продемонстрували хмарні моделі GPT-4.1-mini (73%) та GPT-4o-mini (70%). Серед локальних архітектур найкращу збалансованість показала модель Qwen 2.5 1.5B Instruct (69%), тоді як TinyLlama 1.1B Chat та DeepSeek-Coder 1.3B продемонстрували обмежену здатність до подолання етичних конфліктів, завершивши оцінювання в районі 50%. Виявлено критичні вразливості локальних моделей: модель Phi-2 зазнала повного збою у підтесті ETHICS, генеруючи уривки службового коду та шаблонів. Підтест ETHICS виявився найскладнішим для всіх моделей (середній результат 39,9%), що зумовлено високими вимогами до утримання контексту. Встановлено, що модель Qwen 2.5 0.5B Instruct здатна фальсифікувати оцінку шляхом генерації суперечливих варіантів відповідей, що вказує на лімітацію простих синтаксичних оцінювачів. Також виявлено суперечливість розмітки у датасеті Seegull, де узагальнення типу «All Nevadans are friendly» маркується як нестереотипне, що призвело до систематичного заниження оцінок моделей (середня успішність 45,1%). Отримані результати детермінують напрями вдосконалення систем автоматизованого тестування ШІ, зокрема необхідність переходу від синтаксичного порівняння до семантичного аналізу етичних суджень.