PROSTO24: Эволюция корпоративного RAG: от простого поиска до гибридных архитектур
Разработка эффективных систем поиска информации в обширных массивах корпоративных документов представляет собой значительный вызов. Портал PROSTO24 сообщает о практическом кейсе создания и развития RAG-сервиса (Retrieval-Augmented Generation), предназначенного для работы с внутренними регламентными и нормативными документами. Этот проект демонстрирует путь от базового решения до сложной гибридной архитектуры, способной обрабатывать комплексные данные.
От стандартных пайплайнов до гибридных решений
Изначально проект использовал стандартный подход, включающий инструменты вроде n8n и Qdrant для индексации и поиска. Однако для нормативных документов простая нарезка текста оказалась неэффективной. Это привело к необходимости разработки более продвинутого решения. Внедрение гибридной архитектуры стало ключевым шагом, объединившем различные методы:
- BM25 и эмбеддинги: Использование алгоритма BM25 в сочетании с векторными представлениями (embeddings) для повышения релевантности поиска.
- RRF (Reciprocal Rank Fusion): Метод объединения результатов ранжирования из разных источников для улучшения качества выдачи.
- Реранкинг: Дополнительный этап переранжирования найденных документов для уточнения их соответствия запросу.
- Структурное сегментирование (chunking): Специализированная нарезка документов, учитывающая их структуру, что критично для нормативной документации.
- Обработка сложных документов: Разработка методов для работы с таблицами и другими сложными элементами в документах.
Для улучшения качества извлечения информации применялись библиотеки, такие как Natasha, а также специализированные словари корпоративных терминов. Мультимодальные модели также были задействованы для расширения возможностей системы.
Измерение качества и практические результаты
Одним из важнейших аспектов стало создание надёжной системы измерения качества. Для этого использовались инструменты Arize Phoenix и подход LLM-as-a-Judge, позволяющий оценивать ответы системы с помощью больших языковых моделей. Реальные A/B-тесты с реранкером по девяти метрикам показали, что в production-RAG-системах решающее значение имеет не столько «самая умная LLM», сколько качество подготовки исходных документов, эффективность механизмов извлечения (retrieval) и возможность воспроизводимой оценки вносимых изменений. Этот опыт подчеркивает, что развитие RAG-систем – это итеративный процесс, требующий глубокого понимания предметной области и постоянной адаптации.