- AMD представила MEXT, технологию на базе ИИ, которая позволяет NVMe SSD функционировать как многоуровневая DRAM, значительно сокращая потребность в дорогой серверной памяти.
- MEXT может обеспечить до 99% производительности системы при использовании всего половины объема DRAM, потенциально сокращая общие затраты на сервер до 83%.
- Технология предназначена для серверов AMD EPYC, уже развернута на 145 системах, и ожидается, что ее внедрение расширится до 2000 серверов в следующем году.
AMD анонсировала технологию MEXT, приобретенную этим летом, которая использует искусственный интеллект для оптимизации использования памяти в серверных системах EPYC. Это решение позволяет флеш-памяти, такой как NVMe SSD, функционировать как многоуровневая DRAM, значительно сокращая потребность в дорогостоящих модулях RDIMM.
Инновационный подход к управлению памятью
Основой MEXT является предиктивный ИИ-движок, который активно управляет перемещением страниц памяти между DRAM и более дешевой флеш-памятью. По словам Гэри Смердона, бывшего генерального директора MEXT, а ныне вице-президента по развитию бизнеса в AMD, технология способна сократить затраты на серверную память до 83%.
MEXT использует алгоритмы машинного обучения, включая производную от модели трансформера, аналогичную тем, что применяются в ChatGPT. Однако вместо предсказания следующего слова, модель MEXT предсказывает, какая страница памяти потребуется следующей. Это позволяет системе переносить редко используемые данные на флеш-память, возвращая их в DRAM до того, как они понадобятся операционной системе или приложению.
Обучение ИИ без GPU
Модели ИИ в MEXT обучаются на одном ядре EPYC менее чем за секунду, без необходимости использования GPU. Затем модель постоянно дорабатывается и переобучается, адаптируясь к текущим рабочим нагрузкам. Этот подход гарантирует, что технология может быть эффективно использована практически любым клиентом EPYC.
Экономия и производительность
AMD утверждает, что MEXT позволяет достичь до 99% производительности системы при использовании всего половины объема DRAM. В некоторых сценариях, таких как Apache Spark, наблюдается 99% производительности при замене половины DRAM флеш-памятью. В тестах с пакетом Synopsys PrimeTime EDA, снижение объема DRAM на 50% привело к сохранению 95% производительности, а при использовании 25% DRAM и 75% флеш-памяти производительность составила 80% от исходной.
| Приложение | Объем DRAM | Производительность (от базовой) |
|---|---|---|
| Synopsys PrimeTime EDA | 50% DRAM, 50% Flash | 95% |
| Synopsys PrimeTime EDA | 25% DRAM, 75% Flash | 80% |
| Apache Spark SQL (3-узловой кластер) | 50% DRAM, 50% Flash | 99% |
| Агентный ИИ (5 агентов, геосреднее) | 50% DRAM, 50% Flash | 99% |
| Агентный ИИ (5 агентов, геосреднее) | 25% DRAM, 75% Flash | 85% |
| Агентный ИИ (память-интенсивный агент) | 50% DRAM, 50% Flash | 90% |
| Агентный ИИ (память-интенсивный агент) | 25% DRAM, 75% Flash | 88% |
На 145 системах, где уже развернуто программное обеспечение MEXT, клиенты сэкономили около 5 миллионов долларов на затратах, связанных с DRAM. AMD планирует расширить внутреннее развертывание до 2000 серверов в следующем году.
Развертывание и доступность
AMD находится на первой фазе внедрения MEXT, работая с OEM-партнерами, такими как HPE, для обеспечения совместимости систем. На втором этапе компания планирует начать продажу лицензий на программное обеспечение и поставку платформ EPYC с предустановленным приложением RAM View. Для систем под управлением Linux требуется только драйвер ядра. Стоит отметить, что MEXT не является открытым исходным кодом, в отличие от многих других предложений AMD.
Эта инициатива AMD является частью более широкой тенденции в индустрии к использованию ИИ для оптимизации инфраструктурных решений, что особенно актуально в условиях дефицита и роста цен на память.
Технология AMD MEXT предлагает значительное снижение эксплуатационных расходов для центров обработки данных и корпоративных клиентов, использующих серверы EPYC, за счет сокращения потребности в дорогостоящей DRAM. Это может стать критически важным решением в условиях продолжающегося дефицита памяти, вызванного развитием систем ИИ. Для предприятий это означает возможность развертывания более мощных систем с меньшими капитальными затратами и сниженным энергопотреблением, при этом сохраняя высокий уровень производительности для различных рабочих нагрузок, от EDA до баз данных и агентного ИИ.
Мы уже несколько месяцев тестируем MEXT на паре наших EPYC-серверов для аналитики больших данных. Экономия на DRAM просто поражает, особенно для Apache Spark — там реально видно, как SSD подхватывает нагрузку. ИИ предсказывает довольно точно, редко когда промахивается. Единственное, что заметил, это иногда бывают небольшие задержки при первом обращении к данным, которые давно были вытеснены на флеш. Советую тщательно мониторить паттерны доступа к памяти, чтобы максимально настроить профили MEXT под свои задачи.