МЕТОДИ АНАЛІЗУ ПРИРОДНОЇ МОВИ ТА ЗАСТОСУВАННЯ НЕЙРОННИХ МЕРЕЖ В КІБЕРБЕЗПЕЦІ

Євген Іосіфов; Володимир Соколов

doi:10.28925/2663-4023.2024.24.398414

Автор(и)

Євген Іосіфов Київський столичний університет імені Бориса Грінченка https://orcid.org/0000-0001-6203-9945
Володимир Соколов Київський столичний університет імені Бориса Грінченка https://orcid.org/0000-0002-9349-7946

DOI:

https://doi.org/10.28925/2663-4023.2024.24.398414

Ключові слова:

обробка природної мови; глибинне навчання; трансформери; машинний переклад; аналіз емоцій; нейронні мережі; інтерпретованість; багатомовність; етичні аспекти; попередньо натреновані моделі; кібербезпека; інформаційна безпека.

Анотація

Робота підкреслює актуальність обробки природної мови (від англ. Natural Language Processing, NLP) у сучасному світі, зокрема через постійне зростання обсягів текстових даних у соціальних мережах, електронній комерції та онлайн-медіа. Автори зазначають, що ефективна обробка таких даних є критично важливою для бізнесу та державного управління, оскільки дозволяє генерувати нові знання, прогнозувати тренди та ухвалювати обґрунтовані рішення. NLP також робить вагомий внесок у підвищення ефективності роботи організацій за рахунок автоматизації обробки текстової інформації (наприклад, в системах підтримки клієнтів та аналізі відгуків). Крім цього, стаття наголошує на значних перспективах застосування NLP у сфері кібербезпеки. Зокрема, NLP використовується для автоматичного виявлення аномалій, моніторингу мережевого трафіку та виявлення фішингових атак. Для таких задач застосовуються глибинні моделі (наприклад, RNN, LSTM, CNN), а також новітні архітектури трансформерів, які здатні опрацьовувати великі обсяги інформації у реальному часі. Робота також порушує важливі питання, пов'язані з викликами сучасного NLP, серед яких — необхідність великих обчислювальних ресурсів, багатомовність, проблеми інтерпретації моделей та етичні аспекти, такі як упередженість та конфіденційність. На завершення, автори відзначають перспективи розвитку NLP, включно з дослідженням ефективніших алгоритмів для зменшення ресурсозатратності моделей, створенням більш інтерпретованих моделей, які зможуть пояснювати свої рішення, а також розробкою методів для підтримки низькоресурсних мов, що допоможе розширити використання NLP-технологій у глобальному масштабі. NLP є однією з найдинамічніших та найважливіших галузей штучного інтелекту, що дозволяє комп’ютерам розуміти, інтерпретувати та генерувати людську мову. У цій статті ми проводимо детальний огляд сучасних методів та технологій у сфері NLP, аналізуючи останні наукові статті та дослідження. Ми розглядаємо розвиток технологій, їх актуальність та новизну, а також глибоко аналізуємо проблематику та недоліки існуючих підходів. Окрім того, ми порівнюємо ефективність різних методів та надаємо рекомендації для майбутніх досліджень.

Завантаження

Дані завантаження ще не доступні.

Посилання

Iosifova, O., Iosifov, I., Rolik, O., & Sokolov, V. (2020). Techniques Comparison for Natural Language Processing. In Proceedings of the 2nd International Workshop on Modern Machine Learning Technologies and Data Science (No. I, vol. 2631, pp. 57–67).

Iosifova, O., Iosifov, I., Sokolov, V., Romanovskyi, O., & Sukaylo, I. (2021). Analysis of Automatic Speech Recognition Methods. In Proceedings of the Workshop on Cybersecurity Providing in Information and Telecommunication Systems (Vol. 2923, pp. 252–257).

Iosifov, I. Iosifova, O., Sokolov, V., Skladannyi, P., & Sukaylo, I. (2021). Natural Language Technology to Ensure the Safety of Speech Information. In Proceedings of the Workshop on Cybersecurity Providing in Information and Telecommunication Systems II (Vol. 3187, no. 1, pp. 216–226).

Lauriola, I., Lavelli, A., & Aiolli, F. (2021). An Introduction to Deep Learning in Natural Language Processing: Models, Techniques, and Tools. Neurocomputing (Vol. 470, pp. 443–456). https://doi.org/10.1016/j.neucom.2021.05.103.

Khurana, D., Koli, A., Khatter, K., & Singh, S. (2017). Natural Language Processing: State of the Art, Current Trends and Challenges. Multimedia Tools and Applications (Vol. 82, pp. 3713–3744). https://doi.org/10.1007/s11042-022-13428-4.

Otter, D., Medina, J., & Kalita, J. (2020). A Survey of the Usages of Deep Learning for Natural Language Processing. IEEE Transactions on Neural Networks and Learning Systems (Vol. 32, pp. 604–624). https://doi.org/10.1109/TNNLS.2020.2979670.

Qiu, X., Sun, T., Xu, Y., Shao, Y., Dai, N., & Huang, X. (2020). Pre-Trained Models for Natural Language Processing: A Survey. Science China Technological Sciences (Vol. 63, pp. 1872–1897). https://doi.org/10.1007/s11431-020-1647-3.

Zhang, J., & Zong, C. (2019). Deep Learning for Natural Language Processing. Cognitive Computation Trends. https://doi.org/10.1007/978-3-030-06073-2_5.

Torfi, A., Shirvani, R., Keneshloo, Y., Tavvaf, N., & Fox, E. (2020). Natural Language Processing Advancements by Deep Learning: A Survey. arXiv (pp. 1–23). https://doi.org/10.48550/arXiv.2003.01200.

Yang, H., Luo, L., Chueng, L., Ling, D., & Chin, F. (2019). Deep Learning and Its Applications to Natural Language Processing. Cognitive Computation Trends. https://doi.org/10.1007/978-3-030-06073-2_4.

Treviso, M., Ji, T., Lee, J., Aken, B., Cao, Q., Ciosici, M., Hassid, M., Heafield, K., Hooker, S., Martins, P., Martins, A., Milder, P., Raffel, C., Simpson, E., Slonim, N., Balasubramanian, N., Derczynski, L., & Schwartz, R. (2022). Efficient Methods for Natural Language Processing: A Survey. Transactions of the Association for Computational Linguistics (Vol. 11, pp. 826–860). https://doi.org/10.1162/tacl_a_00577.

Zhu, Q., Luo, X., Liu, F., Gao, C., & Che, W. (2022). A Survey on Natural Language Processing for Programming. arXiv (pp. 1–13). https://doi.org/10.48550/arXiv.2212.05773.

Dande, A., & Pund, D. (2023). A Review Study on Applications of Natural Language Processing. International Journal of Scientific Research in Science, Engineering and Technology. https://doi.org/10.32628/ijsrset2310214.

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the Conference of the North. Association for Computational Linguistics (pp. 1–16). https://doi.org/10.18653/v1/n19-1423.

Issaiy, M., Ghanaati, H., Kolahi, S., Shakiba, M., Jalali, A. H., Zarei, D., Kazemian, S., Avanaki, M. A., & Firouznia, K. (2024). Methodological insights into ChatGPT’s Screening Performance in Systematic Reviews. In BMC Medical Research Methodology (Vol. 24, no. 1). https://doi.org/10.1186/s12874-024-02203-8.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv (pp. 1–13). https://doi.org/10.48550/arXiv.1907.11692.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R., & Le, Q. V. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. In Proceedings of the 33rd International Conference on Neural Information Processing Systems (Article 517, pp. 5753–5763).

Iosifov, I., Iosifova, O., Romanovskyi, O., Sokolov, V., & Sukailo, I. (2022). Transferability Evaluation of Speech Emotion Recognition between Different Languages. In Lecture Notes on Data Engineering and Communications Technologies (pp. 413–426). https://doi.org/10.1007/978-3-031-04812-8_35.

K. Khorolska, et al., (2022) Application of a Convolutional Neural Network with a Module of Elementary Graphic Primitive Classifiers in the Problems of Recognition of Drawing Documentation and Transformation of 2D to 3D Models, J. Theor. Appl. Inf. Technol. 100(24) 7426–7437

Korshun, N., Myshko, I., & Tkachenko, O. (2023). Automation and Management in Operating Systems: The Role of Artificial Intelligence and Machine Learning. In 20th International Scientific Conference "Dynamical System Modeling and Stability Investigation" (DSMSI), (vol. 3687, pp. 59–68)

V. Buhas, et al., (2024) AI-Driven Sentiment Analysis in Social Media Content, in: Workshop on Digital Economy Concepts and Technologies Workshop, DECaT, vol. 3665 12–21

Sukaylo, I., & Korshun, N. (2022). THE Influence of NLU and Generative AI on the Development of Cyber Defense Systems. Electronic Professional Scientific Journal «Cybersecurity: Education, Science, Technique», 2(18), 187–196. https://doi.org/10.28925/2663-4023.2022.18.187196

D. Shevchuk, et al., (2023) Designing Secured Services for Authentication, Authori-zation, and Accounting of Users, in: Cybersecurity Providing in Information and Telecommunication Systems II Vol. 3550 217–225.