- Компания «Яндекс» объявила об открытии своей обученной с нуля модели Alice AI Search Pretrain, которая служит основой для функционала быстрых ответов в поисковой системе.
- Команда Alice AI Search адаптирует весь пайплайн быстрых ответов, чтобы пользователи получали лаконичные результаты за считаные секунды даже в часы пиковой нагрузки.
- Открытый доступ к модели Alice AI-T5-35B-A0.6B Base позволяет внешним разработчикам использовать её для инференса через Hugging Face Transformers.
«Яндекс» раскрывает детали работы генеративных ответов
Компания «Яндекс» объявила об открытии своей обученной с нуля модели Alice AI Search Pretrain, которая служит основой для функционала быстрых ответов в поисковой системе. Эта модель является ключевым компонентом самого массового генеративного продукта «Яндекса», обеспечивающего первое взаимодействие пользователей Поиска с Алисой.
Команда Alice AI Search адаптирует весь пайплайн быстрых ответов, чтобы пользователи получали лаконичные результаты за считаные секунды даже в часы пиковой нагрузки. В рамках недавнего июньского релиза были представлены значительные улучшения:
- Ускорение ответов: Достигнуто за счёт использования коротких инфоконтекстов.
- Архитектурные инновации: Совмещена архитектура Encoder-Decoder с разреженной MoE (Mixture of Experts) архитектурой для повышения эффективности.
- Обучение на пользовательских сигналах: Использование реальных поведенческих сигналов пользователей для онлайн-RL-обучения существенно улучшило качество и применимость продукта.
Открытый доступ к модели Alice AI-T5-35B-A0.6B Base позволяет внешним разработчикам использовать её для инференса через Hugging Face Transformers. Однако оптимизированный production-инференс пока остаётся эксклюзивным для внутренней инфраструктуры «Яндекса».
Очень интересно узнать про модель Alice AI Search Pretrain и её роль в быстрых ответах! Особенно впечатляет совмещение Encoder-Decoder с разреженной MoE архитектурой. Хотелось бы понять, как именно «Яндекс» решает проблему галлюцинаций в таких генеративных ответах, учитывая, что модель обучается на пользовательских сигналах. И как открытый доступ к базовой модели повлияет на её дальнейшее развитие сторонними разработчиками?