RAG-BASED DIALOG-STATE CONVERSATIONAL RECOMMENDER FOR UKRAINIAN BOOKS

Максим Шевченко; Олександр Марченко

doi:10.28925/2663-4023.2026.34.1352

Автор(и)

Максим Шевченко Київський національний університет імені Тараса Шевченка https://orcid.org/0000-0002-5408-5279
Олександр Марченко Київський національний університет імені Тараса Шевченка https://orcid.org/0009-0008-5104-9767

DOI:

https://doi.org/10.28925/2663-4023.2026.34.1352

Ключові слова:

діалогова рекомендаційна система, генерація з доповненням пошуком, стан діалогу, розуміння природної мови, гібридний пошук, векторний пошук, оцінювання рекомендацій

Анотація

Пошук книг у цифрових каталогах за допомогою запитів природною мовою потребує поєднання точних обмежень каталогу, менш формалізованих тематичних уподобань і контексту, накопиченого протягом кількох реплік діалогу. Метою цього дослідження є розроблення та експериментальне оцінювання діалогової рекомендаційної системи для україномовних запитів щодо книг на основі генерації, доповненої пошуком, та з явним станом діалогу. Запропонована система працює з нормалізованим дослідницьким каталогом приблизно з 5 500 українських книг і розділяє розуміння природної мови, детерміновану політику діалогу, структурований і векторний пошук, ранжування на основі профілю користувача та обґрунтовану даними генерацію відповідей. Структурований проміжний фрейм відокремлює сутності каталогу від семантичних уподобань і зберігає нерозв’язані згадки, а менеджер діалогу зберігає активні обмеження, фокус, очікувані дії, зворотний зв’язок та історію рекомендацій. Залежно від запиту система обирає структурований, семантичний, гібридний, авторський, профільний пошук або пошук схожих книг. Оцінювання проводилося на трьох рівнях: 90 детермінованих регресійних тестів, окремому оцінюванні розуміння природної мови на 1 000 україномовних вхідних висловлюваннях та 70 наскрізних сценаріях із 170 реплік. Усі регресійні тести було успішно пройдено. Парсер на основі великої мовної моделі досяг 98,3% точності визначення наміру, 88,7% F1-міри для обмежень і 88,0% точності повного фрейму за пом’якшеним критерієм. Під час наскрізного оцінювання дві протестовані конфігурації модуля розуміння природної мови досягли 90,59–92,94% точності фрейму за пом’якшеним критерієм, 92,94–96,47% точності підмножини полів менеджера діалогу та 97,44% точності перевірок рекомендацій. Ручна перевірка 185 вихідних відповідей, що містили рекомендації, не виявила жодної невідповідності на рівні книг у фактично повернутих списках. Жодна з конфігурацій не створювала дублікатів творів у межах одного списку рекомендацій і не повторювала той самий твір у різних репліках одного сценарію. Результати показують, що явний стан діалогу, детерміноване керування пошуком та обґрунтована даними генерація дають змогу формувати відтворювані контекстно-залежні рекомендації. Вибір книг і перевірка їх наявності в каталозі при цьому не покладаються на вільну генерацію. Архітектура та протокол оцінювання можуть бути повторно використані для інших задач діалогових рекомендацій, обґрунтованих даними каталогу.

Завантаження

Дані завантаження ще не доступні.

Посилання

Adomavicius, G., & Tuzhilin, A. (2005). Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions. IEEE Transactions on Knowledge and Data Engineering, 17(6), 734–749. https://doi.org/10.1109/TKDE.2005.99

Burke, R. (2002). Hybrid recommender systems: Survey and experiments. User Modeling and User-Adapted Interaction, 12(4), 331–370. https://doi.org/10.1023/A:1021240730564

Gao, C., Lei, W., He, X., de Rijke, M., & Chua, T.-S. (2021). Advances and challenges in conversational recommender systems: A survey. AI Open, 2, 100–126. https://doi.org/10.1016/j.aiopen.2021.06.002

Jannach, D., Manzoor, A., Cai, W., & Chen, L. (2021). A survey on conversational recommender systems. ACM Computing Surveys, 54(5), 1–36. https://doi.org/10.1145/3453154

Williams, J. D., Raux, A., Ramachandran, D., & Black, A. (2013). The dialog state tracking challenge. In Proceedings of the SIGDIAL 2013 Conference (pp. 404–413). https://aclanthology.org/W13-4065/

Radchenko, V., & Drushchak, N. (2025). Improving named entity recognition for low-resource languages using large language models: A Ukrainian case study. In Proceedings of the Fourth Ukrainian Natural Language Processing Workshop (UNLP 2025) (pp. 27–35). https://doi.org/10.18653/v1/2025.unlp-1.3

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-T., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33, 9459–9474. https://doi.org/10.48550/arXiv.2005.11401

Chroma. (n.d.). Configure collections. Chroma Docs. Retrieved August 4, 2026, from https://docs.trychroma.com/docs/collections/configure

Li, R., Ebrahimi Kahou, S., Schulz, H., Michalski, V., Charlin, L., & Pal, C. (2018). Towards deep conversational recommendations. Advances in Neural Information Processing Systems, 31, 9748–9758. https://doi.org/10.48550/arXiv.1812.07617

Iovine, A., Narducci, F., & Semeraro, G. (2020). Conversational recommender systems and natural language: A study through the ConveRSE framework. Decision Support Systems, 131, Article 113250. https://doi.org/10.1016/j.dss.2020.113250

Wang, X., Liu, J., & Duan, J. (2024). Improved conversational recommender system based on dialog context. Natural Language Engineering, 30(6), 1210–1228. https://doi.org/10.1017/S1351324923000451

Jannach, D. (2023). Evaluating conversational recommender systems: A landscape of research. Artificial Intelligence Review, 56, 2365–2400. https://doi.org/10.1007/s10462-022-10229-x

Herlocker, J. L., Konstan, J. A., Terveen, L. G., & Riedl, J. T. (2004). Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems, 22(1), 5–53. https://doi.org/10.1145/963770.963772

Kaminskas, M., & Bridge, D. (2017). Diversity, serendipity, novelty, and coverage: A survey and empirical analysis of beyond-accuracy objectives in recommender systems. ACM Transactions on Interactive Intelligent Systems, 7(1), 1–42. https://doi.org/10.1145/2926720

Vargas, S., & Castells, P. (2011). Rank and relevance in novelty and diversity metrics for recommender systems. In Proceedings of the Fifth ACM Conference on Recommender Systems (pp. 109–116). https://doi.org/10.1145/2043932.2043955

Gurdel. (2026). RAG-based dialog-state conversational recommender for Ukrainian books [Computer software]. GitHub. Retrieved August 17, 2026, from https://github.com/Gurdel/RAG-based-dialog-state-conversational-recommender-for-Ukrainian-books

Fkih, F. (2022). Similarity measures for collaborative filtering-based recommender systems: Review and experimental comparison. Journal of King Saud University – Computer and Information Sciences, 34(9), 7645–7669. https://doi.org/10.1016/j.jksuci.2021.09.014

OpenAI. (n.d.). Compare models. OpenAI API. Retrieved August 15, 2026, from https://developers.openai.com/api/docs/models/compare