- Amazon анонсировала TorchNeuron - открытый бэкенд, позволяющий запускать код на базе PyTorch на аппаратных ускорителях AWS Trainium буквально в одну строку изменений.
- Публичное бета-тестирование стартует 20 октября под лицензией Apache 2.0 с поддержкой кремниевых решений Trainium2 и Trainium3.
- Инициатива AWS и аналогичные шаги Google направлены на ослабление привязки разработчиков к экосистеме GPU от Nvidia.
Новый инструмент миграции с Nvidia: что предлагает TorchNeuron
Облачное подразделение AWS презентовало решение TorchNeuron, призванное существенно упростить перенос рабочих нагрузок машинного обучения с графических процессоров Nvidia на собственные ИИ-чипы Amazon. Инструмент представляет собой оптимизированный бэкенд с открытым исходным кодом, который позволяет адаптировать существующий стек PyTorch для работы на процессорах Trainium практически без изменения программной кодовой базы.
Фреймворк PyTorch сегодня является де-факто стандартом при создании большинства ИИ-приложений, и исторически его экосистема была тесно оптимизирована под архитектуру CUDA. Выпуская TorchNeuron, Amazon стремится преодолеть этот барьер и стимулировать разработчиков к переходу на альтернативные вычислительные платформы.
Сроки релиза, лицензирование и поддержка платформ
Развертывание нового бэкенда пройдет в формате открытого тестирования. Согласно данным AWS, проект публикуется под свободной лицензией Apache 2.0, а публичная бета-версия станет доступна 20 октября.
| Параметр | Детали реализации TorchNeuron |
|---|---|
| Тип лицензии | Apache 2.0 (Open Source) |
| Дата публичной беты | 20 октября |
| Поддерживаемые чипы | AWS Trainium2, AWS Trainium3 |
| Совместимость с PyTorch | Интеграция в одну строку (ряд функций пока не поддерживается) |
Несмотря на заявленный бесшовный запуск в «одну строку кода», в AWS отмечают, что текущая сборка поддерживает еще не все возможности и специфические функции PyTorch. Поэтому перед полной миграцией масштабных моделей командам потребуется аудит используемых библиотек и операторов.
Давление гиперскейлеров на позиции Nvidia
Amazon не одинока в стремлении уменьшить технологическую монополию лидера рынка. К процессу упрощения ухода с видеокарт Nvidia подключилась и Google, которая также представила разработчикам инструменты для легкой адаптации PyTorch под собственные специализированные процессоры. Таким образом, ведущие поставщики облачной инфраструктуры ведут скоординированное наступление на программное преимущество Nvidia, предлагая рынку прямые альтернативы в лице кастомных кремниевых чипов Trainium и TPU.
Для инженеров и ML-команд появление TorchNeuron означает существенное снижение порога входа при тестировании кластеров Trainium2 и Trainium3. Возможность запуска моделей без глубокого рефакторинга кода позволяет оценить финансовую и вычислительную эффективность чипов AWS против Nvidia GPU, однако на этапе публичной беты критически важно проверить покрытие всех используемых в проекте функций PyTorch.
Тестировали раннюю сборку на Trainium: стандартные трансформеры заводятся бодро и по деньгам выходит приятнее, чем на A100. Но с кастомными слоями и редкими операторами пока беда, компилятор намертво спотыкается. Советую перед полным прогоном всегда чекать граф через neuron-cc, чтобы не тратить часы впустую.