- Apple внедрила внутреннюю систему под названием «Minions» для использования простаивающих GPU в Mac для выполнения задач инференса ИИ.
- Система значительно сокращает время ожидания GPU для команд Apple - с более чем десяти часов до нескольких минут.
- Minions создает динамическое распределенное облако виртуальных GPU, агрегируя ресурсы Apple Silicon для крупномасштабных рабочих нагрузок машинного обучения.
Apple Minions: трансформация простаивающих Mac в мощный ресурс ИИ
Apple представила внутреннюю систему под названием Minions, которая превращает простаивающие графические процессоры (GPU) устройств Mac в распределенное облако виртуальных GPU. Эта инициатива направлена на оптимизацию доступа к вычислительным ресурсам для выполнения задач инференса искусственного интеллекта (ИИ) внутри компании.
Исследователи Apple описывают Minions как «динамическое и распределенное облако виртуальных GPU, которое агрегирует простаивающие GPU Apple Silicon на устройствах macOS для выполнения крупномасштабных рабочих нагрузок машинного обучения». До внедрения этой системы, некоторые задачи инференса сталкивались с очередями ожидания, превышающими десять часов, из-за ограниченной доступности централизованных GPU. С Minions время выполнения задач сократилось до нескольких минут благодаря использованию простаивающих устройств macOS.
Архитектура и функциональность Minions
Система Minions спроектирована для создания отказоустойчивого пула работников инференса на общей распределенной платформе. Она состоит из четырех основных компонентов:
- Minion Server: Обеспечивает координацию, получая запросы пользователей и разбивая их на подзадачи.
- PostgreSQL Metadata Store: Хранит метаданные задач для Minion Server.
- Minion Executor: Выполняет задачи инференса на GPU Mac, загружает результаты в S3 и сообщает о статусе выполнения через Minion Server.
- Minion Watchdog: Мониторит процесс на предмет сбоев (например, отключение Mac от сети) и переназначает задачи при необходимости.
Minions использует пулл-модель выполнения, где Minion Executor на каждом Mac получает следующую подзадачу через REST API. Вводные данные считываются из Amazon S3, модель загружается при необходимости, а результаты возвращаются в S3. Система поддерживает два типа задач: встраивания с использованием моделей Hugging Face и генерацию текста с помощью больших языковых моделей через Ollama, установленную на каждом участвующем Mac.
Преимущества и влияние на рабочие процессы
Внедрение Minions привело к значительным улучшениям:
- Сокращение времени ожидания: Очереди GPU, ранее превышавшие 10 часов, теперь сократились до нескольких минут.
- Оптимизация ресурсов: Использование простаивающих GPU позволяет максимально эффективно задействовать существующее оборудование.
- Снижение затрат: Система не требует новых запросов на GPU и обнуляет затраты на инфраструктуру, перенося масштабирование с ручного на органическое.
Хотя система в первую очередь предназначена для перераспределения простаивающих ресурсов, а не для запуска моделей, слишком больших для одной машины, новые Mac mini и Mac Studio поддерживают кластеризацию с использованием RDMA через Thunderbolt 5, что потенциально позволяет объединять вычислительные ресурсы и память для одной рабочей нагрузки ИИ. Тем не менее, текущая реализация Minions запускает целую модель на одном Mac.
Вопросы конфиденциальности данных решаются путем развертывания системы для отдельных команд и организаций с собственными базами данных и пулами Mac. В будущем Apple планирует расширить Minions для распределенного обучения моделей и даже рассмотреть возможность создания глобального пула GPU из безопасно объединенных простаивающих Mac.
Для Apple Minions представляет собой стратегический шаг по эффективному управлению растущими потребностями в вычислительных ресурсах для ИИ, особенно в условиях ограниченного предложения и роста стоимости специализированного оборудования. Система позволяет оптимизировать внутренние процессы, значительно ускоряя разработку и тестирование моделей ИИ. Для сторонних разработчиков и пользователей это демонстрирует потенциал распределенных вычислений на базе существующих устройств, хотя в настоящее время Minions является внутренней инициативой Apple.
Интересно, что Apple наконец-то взялась за утилизацию простаивающих мощностей. Я сам часто использую свой Mac mini M1 для локальных LLM через Ollama, и он отлично справляется с небольшими моделями. Но для чего-то более серьезного постоянно не хватает ресурсов. Если бы они сделали это публичным, было бы здорово. Главная проблема – нестабильность сети и пробуждение Mac, когда он уходит в сон, что для распределенных систем критично. Мой совет: всегда проверяйте настройки энергосбережения!