ПОЯСНЮВАНЕ МАШИННЕ НАВЧАННЯ ДЛЯ НАДІЙНОГО ВИЯВЛЕННЯ ФІШИНГОВИХ ВЕБСАЙТІВ: ЕКСПЕРИМЕНТАЛЬНЕ ДОСЛІДЖЕННЯ НА ДВОХ НАБОРАХ ДАНИХ

Анотація

Виявлення фішингових вебсайтів часто розглядають як завдання класифікації, у якому високі прогностичні показники вважають достатнім підтвердженням практичної придатності моделі. Однак у правоохоронній діяльності та сфері кібербезпеки такий підхід є неповним, оскільки результат моделювання має бути зрозумілим, придатним до незалежної перевірки та відокремленим від висновків щодо авторства, умислу або юридичної кваліфікації. У дослідженні розроблено й експериментально оцінено орієнтовану на людину систему виявлення фішингових вебсайтів на основі пояснюваного штучного інтелекту, яка поєднує керовану класифікацію зі структурованими поясненнями для аналітика. П’ять моделей машинного навчання оцінено на наборі UCI Phishing Websites, а додатковий експеримент проведено на більшому наборі PhiUSIIL. В обох експериментах фішинг послідовно визначено позитивним класом. Модель Extra Trees забезпечила accuracy 0,9774, precision 0,9784, recall 0,9704, F1 0,9744 і ROC-AUC 0,9948. За результатами стратифікованого бутстреп-оцінювання 95% довірчий інтервал становив 0,9670–0,9812 для F1 та 0,9915–0,9976 для ROC-AUC. Показник Брієра дорівнював 0,0187, а очікувана похибка калібрування, розрахована за десятьма інтервалами, — 0,0089. TreeSHAP-аналіз 400 спостережень відкладеної тестової вибірки визначив стан сертифіката та поведінку посилань-якорів основними глобальними чинниками впливу. У п’яти фолдах середній попарний індекс Жаккара для множин десяти найважливіших ознак становив 0,891 за стандартного відхилення 0,094. У тесті відповідності пояснення моделі заміна трьох провідних SHAP-ознак їхніми модальними значеннями, визначеними на навчальній вибірці, знизила F1 з 0,9744 до 0,3543, тоді як випадкова заміна трьох ознак дала середній F1 0,9478. Майже ідеальні результати на наборі PhiUSIIL не розглянуто як свідчення готовності моделі до практичного впровадження: групована крос-валідація, абляція до чітко визначених 18 лексичних ознак URL та аналіз дублікатів виявили залежність роздільності класів від особливостей формування набору даних. Водночас модель Extra Trees, навчена лише на лексичних ознаках у межах групованої валідації, зберегла середній F1 0,9970. Запропоновано Картку пояснення фішингової загрози, яка перетворює прогноз на придатний до аудиту запис, що містить оцінку моделі, поріг ухвалення рішення, провідні індикатори, дії з незалежної перевірки, відомості про невизначеність і рішення аналітика. Науковий внесок дослідження має емпіричний і процедурний характер: здійснено документоване та придатне до аудиту порівняння моделей, кількісно оцінено прогностичну невизначеність, калібрування та відповідність пояснень моделі, виявлено чинники потенційного завищення результатів на бенчмаркових даних і визначено запобіжники для забезпечення належного людського контролю.