РОЗПІЗНАВАННЯ 3D ЗОБРАЖЕНЬ ОБЛИЧЧЯ З ВИКОРИСТАННЯМ КВАТЕРНІОННИХ НЕЙРОННИХ МЕРЕЖ

Євген Чичкарьов; Іван Веремійчук

doi:10.28925/2663-4023.2026.35.1398

Автор(и)

Євген Чичкарьов Національний університет біоресурсів і природокористування України https://orcid.org/0000-0002-4362-5129
Іван Веремійчук Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» https://orcid.org/0009-0009-2279-7659

DOI:

https://doi.org/10.28925/2663-4023.2026.35.1398

Ключові слова:

розпізнавання 3D-обличчя, оцінювання пози голови, кватерніонні нейронні мережі (QCNN), добуток Гамільтона, гібридні архітектури, MobileNetV2, Huber Loss, L2-регуляризація, Edge AI

Анотація

Статтю присвячено розв’язанню актуальної науково-прикладної задачі комп’ютерного зору — підвищенню точності оцінювання 3D-орієнтації (пози) обличчя в просторі та зменшенню параметричної складності глибоких нейромережевих моделей за допомогою апарату кватерніонної алгебри. Досліджено обмеження дійснозначних згорткових нейронних мереж (CNN), які обробляють координати та колірні канали незалежно, втрачаючи внутрішню міжкомпонентну кореляцію та призводячи до деградації точності за наявності значних поворотів голови й оклюзій.

Запропоновано та математично обґрунтовано використання кастомних кватерніонних згорткових шарів (QuaternionConv2D), побудованих на основі некомутативного добутку Гамільтона, що дає змогу моделювати просторово-кутові взаємозв'язки сигналу й скорочувати кількість вільних вагових параметрів у 4 рази проти класичних згортків. Для стабільного навчання моделей розроблено зважену адаптивну функцію втрат Huber Loss у радіанному вимірі з ваговим акцентом на найбільш варіативний кут Yaw та застосовано L2-регуляризацію ваг.

Проведено систематичний порівняльний експериментальний аналіз трьох типів архітектур, суто кватерніонної мережі (Stable QCNN) та гібридної моделі (MobileNetV2 + QCNN Hybrid). На основі отриманих результатів доведено, що гібридна архітектура забезпечує найкращу точність розпізнавання, знижуючи валідаційну похибку MAE до 0.1535 rad (), що на 27.39% перевищує показники базової MobileNetV2 () при незначному зростанні обсягу параметрів лише на 2.48%. Водночас надлегка суто кватерніонна модель Stable QCNN демонструє екстремальну компактність ( параметрів, що у 60.5 разів менше за CNN MobileNetV2) і на 40.3% менший час навчання, виступаючи перспективним рішенням для ресурсообмежених Edge AI пристроїв.

Завантаження

Дані завантаження ще не доступні.

Посилання

Asperti, A., & Filippini, D. (2023). Deep learning for head pose estimation: A survey. SN Computer Science, 4(4), Article 349. https://doi.org/10.1007/s42979-023-01796-z

Singh, S., Kumar, S., & Tripathi, B. K. (2025). A comprehensive analysis of quaternion deep neural networks: Architectures, applications, challenges, and future scope. Archives of Computational Methods in Engineering, 32(4), 2607–2634. https://doi.org/10.1007/s11831-024-10216-1

Altamirano-Gomez, G., & Gershenson, C. (2024). Quaternion convolutional neural networks: Current advances and future directions. Advances in Applied Clifford Algebras, 34(4), Article 42. https://doi.org/10.1007/s00006-024-01350-x

Zhang, A., Tay, Y., Zhang, S., Chan, A., Luu, A. T., Hui, S. C., & Fu, J. (2021). Beyond fully-connected layers with quaternions: Parameterization of hypercomplex multiplications with 1/n parameters (arXiv:2102.08597). arXiv. https://doi.org/10.48550/ARXIV.2102.08597

El Alami, A., Mesbah, A., Berrahou, N., Lakhili, Z., Berrahou, A., & Qjidaa, H. (2023). Quaternion discrete orthogonal Hahn moments convolutional neural network for color image classification and face recognition. Multimedia Tools and Applications, 82(21), 32827–32853. https://doi.org/10.1007/s11042-023-14866-4

Li, M., Huang, B., & Tian, G. (2022). A comprehensive survey on 3D face recognition methods. Engineering Applications of Artificial Intelligence, 110, Article 104669. https://doi.org/10.1016/j.engappai.2022.104669

Algabri, R., Shin, H., Abdu, A., Bae, J.-H., & Lee, S. (2025). WQuatNet: Wide range quaternion-based head pose estimation. Journal of King Saud University - Computer and Information Sciences, 37(3), Article 24. https://doi.org/10.1007/s44443-025-00034-1

Hempel, T., Abdelrahman, A. A., & Al-Hamadi, A. (2024). Toward robust and unconstrained full range of rotation head pose estimation. IEEE Transactions on Image Processing, 33, 2377–2387. https://doi.org/10.1109/TIP.2024.3378180

Parcollet, T., Morchid, M., & Linarès, G. (2020). A survey of quaternion neural networks. Artificial Intelligence Review, 53(4), 2957–2982. https://doi.org/10.1007/s10462-019-09752-1

García-Retuerta, D., Casado-Vara, R., Martín-del Rey, Á., De La Prieta, F., Prieto, J., & Corchado, J. M. (2020). Quaternion neural networks: State-of-the-art and research challenges. In C. Analide, P. Novais, D. Camacho, & H. Yin (Eds.), Intelligent Data Engineering and Automated Learning – IDEAL 2020 (Vol. 12490, pp. 456–467). Springer International Publishing. https://doi.org/10.1007/978-3-030-62365-4_43

Bill, J., Champagne, L., Cox, B., & Bihl, T. (2021). Meta-heuristic optimization methods for quaternion-valued neural networks. Mathematics, 9(9), Article 938. https://doi.org/10.3390/math9090938

Shahadat, N., & Maida, A. S. (2023). Enhancing ResNet image classification performance by using parameterized hypercomplex multiplication (arXiv:2301.04623). arXiv. https://doi.org/10.48550/ARXIV.2301.04623

El Alami, A., Berrahou, N., Lakhili, Z., Mesbah, A., Berrahou, A., & Qjidaa, H. (2022). Efficient color face recognition based on quaternion discrete orthogonal moments neural networks. Multimedia Tools and Applications, 81(6), 7685–7710. https://doi.org/10.1007/s11042-021-11669-3

Wen, C., & Qiu, Y. (2022). Color occlusion face recognition method based on quaternion non-convex sparse constraint mechanism. Sensors, 22(14), Article 5284. https://doi.org/10.3390/s22145284

Zhou, Y., Jin, L., Liu, H., & Song, E. (2021). Color facial expression recognition by quaternion convolutional neural network with Gabor attention. IEEE Transactions on Cognitive and Developmental Systems, 13(4), 969–983. https://doi.org/10.1109/TCDS.2020.3041642

Liu, L., Chen, C. L. P., & Li, S. (2022). Hallucinating color face image by learning graph representation in quaternion space. IEEE Transactions on Cybernetics, 52(1), 265–277. https://doi.org/10.1109/TCYB.2020.2979320

Zhao, Y., Birdal, T., Lenssen, J. E., Menegatti, E., Guibas, L., & Tombari, F. (2020). Quaternion equivariant capsule networks for 3D point clouds. In A. Vedaldi, H. Bischof, T. Brox, & J.-M. Frahm (Eds.), Computer Vision – ECCV 2020 (Vol. 12346, pp. 1–19). Springer International Publishing. https://doi.org/10.1007/978-3-030-58452-8_1

You, X., & Zhao, X. (2025). A 3D face recognition algorithm directly applied to point clouds. Biomimetics, 10(2), Article 70. https://doi.org/10.3390/biomimetics10020070

Hsu, H.-W., Wu, T.-Y., Wan, S., Wong, W. H., & Lee, C.-Y. (2019). QuatNet: Quaternion-based head pose estimation with multiregression loss. IEEE Transactions on Multimedia, 21(4), 1035–1046. https://doi.org/10.1109/TMM.2018.2866770

Liu, W., Zhou, L., & Chen, J. (2021). Face recognition based on lightweight convolutional neural networks. Information, 12(5), Article 191. https://doi.org/10.3390/info12050191

Gaudet, C. J., & Maida, A. S. (2018). Deep quaternion networks. In 2018 International Joint Conference on Neural Networks (IJCNN) (pp. 1–8). IEEE. https://doi.org/10.1109/IJCNN.2018.8489651

Li, X., Zhang, D., Li, M., & Lee, D.-J. (2023). Accurate head pose estimation using image rectification and a lightweight convolutional neural network. IEEE Transactions on Multimedia, 25, 2239–2251. https://doi.org/10.1109/TMM.2022.3144893

Liu, H., Fang, S., Zhang, Z., Li, D., Lin, K., & Wang, J. (2022). MFDNet: Collaborative poses perception and matrix Fisher distribution for head pose estimation. IEEE Transactions on Multimedia, 24, 2449–2460. https://doi.org/10.1109/TMM.2021.3081873

Zhou, H., Zhang, X., Zhang, C., & Ma, Q. (2023). Quaternion convolutional neural networks for hyperspectral image classification. Engineering Applications of Artificial Intelligence, 123, Article 106234. https://doi.org/10.1016/j.engappai.2023.106234

Martínez-Díaz, Y., Luhbach, P., Benitez-Garcia, G., & Hernandez-Sosa, D. (2021). Benchmarking lightweight face architectures on specific face recognition scenarios. Artificial Intelligence Review, 54(8), 6201–6244. https://doi.org/10.1007/s10462-021-09974-2

Boutros, F., Damer, N., Fang, M., Kirchbuchner, F., & Kuijper, A. (2021). MixFaceNets: Extremely efficient face recognition networks. In 2021 IEEE International Joint Conference on Biometrics (IJCB) (pp. 1–8). IEEE. https://doi.org/10.1109/IJCB52358.2021.9484374

Grant, B., & Wang, P. (2025). Quaternion approximation networks for enhanced image classification and oriented object detection (arXiv:2509.05512). arXiv. https://doi.org/10.48550/ARXIV.2509.05512

Devadas, R. M., Hiremani, V., Preethi, S. T., S, R., & Gujjar, P. (2025). Hypercomplex neural networks: Exploring quaternion, octonion, and beyond in deep learning. MethodsX, 15, Article 103644. https://doi.org/10.1016/j.mex.2025.103644

Grassucci, E., Zhang, A., & Comminiello, D. (2024). PHNNs: Lightweight neural networks via parameterized hypercomplex convolutions. IEEE Transactions on Neural Networks and Learning Systems, 35(6), 8293–8305. https://doi.org/10.1109/TNNLS.2022.3226772