Новая эра голосового ввода: офлайн, быстро и без облака

Разработчики представили инновационные решения для голосового ввода, позволяющие диктовать текст в любое окно Windows, а также использовать функцию на мобильных устройствах и через Telegram-бота. Ключевая особенность этих разработок — полная локальная обработка речи на центральном процессоре (CPU) без необходимости использования GPU или облачных сервисов. Это обеспечивает высокую конфиденциальность и скорость, исключая передачу аудиоданных на сторонние серверы.

WhisperType и PasteTalk: оптимизация и доступность

Одной из главных задач было значительное ускорение работы модели Whisper. Были реализованы методы, позволяющие распознавать речь почти в четыре раза быстрее на обычном CPU. Это достигается за счет оптимизации архитектуры WhisperType, сужения окна энкодера, потоковой обработки аудио и улучшений в faster-whisper. Разработчики также столкнулись с рядом сложностей, включая нюансы работы с WinAPI, которые были успешно преодолены.

Проект PasteTalk развивает идею локальной диктовки, предлагая комплексное решение:

  • Горячая клавиша для Windows: Мгновенный голосовой ввод в любое текстовое поле.
  • Собственный сервер: Обеспечивает автономность системы.
  • Приложение для телефона: Разработано с учетом максимального удобства, включая крупный шрифт и упрощенный интерфейс (например, одна большая кнопка для диктовки), что делает его доступным даже для пользователей с ослабленным зрением.
  • Telegram-бот: Расширяет возможности диктовки на популярную платформу.

Эти решения направлены на то, чтобы сделать голосовой ввод не только быстрым и конфиденциальным, но и максимально удобным для широкого круга пользователей, позволяя им фиксировать мысли значительно быстрее, чем при традиционном наборе текста.