YDB расширяет возможности поиска: запуск полнотекстового и гибридного функционала

YDB представляет новые возможности поиска: полнотекстовый и гибридный функционал

PROSTO24 сообщает, что YDB, система управления базами данных от «Яндекса», значительно расширила свои поисковые возможности. В релизе 26.3 к уже существующему векторному поиску были добавлены полнотекстовый поиск с ранжированием и гибридный поиск. Последний позволяет объединять оба типа поиска в рамках одного SQL-запроса, что значительно повышает эффективность извлечения информации. Кроме того, был усовершенствован фильтруемый векторный индекс.

Необходимость в одновременном использовании различных методов поиска становится очевидной при работе со сложными запросами. Например, юрист, ищущий информацию о «выплатах по полису 7702-345678 при переносе рейса», сталкивается с задачей, где номер полиса требует точного совпадения (что эффективно для полнотекстового поиска), а описание случая — понимания по смыслу (для чего подходит векторный поиск). Полнотекстовый поиск excel’s в первом случае, но не справляется со вторым, тогда как векторный поиск демонстрирует обратную эффективность. Гибридный подход в YDB призван решить эту проблему, предоставляя комплексное решение.

Ключевые аспекты гибридного поиска в YDB

• Взаимодополнение методов поиска: Рассмотрение того, почему одного типа поиска недостаточно и как полнотекстовый и векторный методы дополняют друг друга для достижения наилучших результатов.
• Интеграция поиска с СУБД: Анализ преимуществ глубокой интеграции поисковых индексов непосредственно в СУБД YDB, превращая их в распределённые таблицы.
• Архитектура инвертированного индекса: Подробное описание создания инвертированного индекса в виде распределённой таблицы и роль ранжирования по BM25 в повышении релевантности результатов.
• Обработка данных и фильтрация: Механизмы обновления индексов при записи данных и способы объединения индексации с фильтрацией для оптимизации запросов.
• Объединение результатов запросов: Процесс слияния результатов от двух различных поисковых механизмов в рамках единого плана выполнения SQL-запроса.
• Применение в рекомендательных системах: Влияние гибридного поиска на улучшение рекомендательных систем и методы измерения эффективности.

YDB продолжает развивать свои возможности, предлагая пользователям более мощные и гибкие инструменты для работы с данными. Специалисты могут узнать больше о новых функциях на предстоящем вебинаре «Быстро находите нужное с YDB», который состоится 15 октября, где будет продемонстрирован процесс создания поискового приложения и его интеграция с ИИ-ассистентом.