МЕТОДИ ЗМЕНШЕННЯ ОБЧИСЛЮВАЛЬНОЇ СКЛАДНОСТІ ЛЕГКОВАГОВИХ НЕЙРОННИХ МЕРЕЖ ІЗ ВИКОРИСТАННЯМ БАЗ ДАНИХ ДЛЯ МОБІЛЬНИХ ТА EDGE-ПЛАТФОРМ

Анотація

Важливим напрямом оптимізації, окрім використання легковагових архітектур,  є застосування методів зменшення обчислювальної складності вже наявних моделей машинного навчання. Для цього у даній роботі запропоновано комбінацію методів квантування, прорідження, дистиляція знань, низькорангове розкладання, оптимізація графа обчислень та fusion операторів. Важливим напрямом оптимізації, окрім використання легковагових архітектур, є застосування методів зменшення обчислювальної складності з використанням баз даних для збереження та ефективної вибірки стиснутих параметрів моделей машинного навчання. Кожен із перелічених підходів має власні переваги, недоліки та особливості практичного використання. Зазначені методи оптимізації можуть реалізовуватися як автономно, так і в сукупності та взаємодії один з одним. Зокрема, у моделях машинного навчання нерідко поєднують квантування з проріджуванням або застосовують дистиляцію знань разом із подальшою оптимізацією графа виконання. Така комбінована стратегія забезпечує вищу ефективність порівняно із застосуванням поодиноких підходів. Показано, що використання цих методів дозволяє суттєво зменшити розмір моделі машинного навчання, скоротити витрати пам’яті та прискорити виконання інференсу. Разом із цим встановлено, що більшість таких підходів формує статичну конфігурацію моделі машинного навчання до початку її використання. Після завершення оптимізації структура та поведінка моделі машинного навчання практично не змінюються. Таким чином визначено, що ефективність оптимізації може змінюватися залежно від поточного стану пристрою та умов виконання.