Инновации в сфере искусственного интеллекта
Лаборатория искусственного интеллекта PrismML представила новую языковую модель, отличающуюся достаточно компактными размерами. Эта разработка призвана изменить представление о том, как пользователи взаимодействуют с ИИ, делая его доступным для работы на обычных персональных компьютерах и мощных смартфонах.
Будущее языковых моделей
PrismML делает ставку на то, что для эффективного функционирования подобные системы не обязательно должны обладать колоссальными размерами. Эта стратегия противоречит текущей тенденции создания все более крупных моделей и открывает новые перспективы для децентрализованного использования ИИ.
- Компактность: Модель оптимизирована для работы на стандартных потребительских устройствах.
- Доступность: Позволяет интегрировать сложные ИИ-функции в повседневные гаджеты.
- Изменение парадигмы: Бросает вызов представлению о необходимости гигантских LLM.
Таким образом, PrismML позиционирует свою разработку как потенциального катализатора изменений в сфере применения искусственного интеллекта, делая его более универсальным и менее ресурсозатратным.
Сам активно жду такие компактные LLM, пробовал уже несколько моделей запускать локально на своем RTX 3070. Пока что производительность и качество сильно зависят от квантизации, но даже 4-битные версии для некоторых задач (вроде суммаризации текста) уже вполне юзабельны. Главная проблема — это адекватная поддержка русского языка у большинства таких моделей, часто теряют контекст. Мой совет — экспериментируйте с разными GGUF-версиями, иногда даже небольшое изменение в настройках творит чудеса.