AI-суперкомпьютер с 128 ГБ unified memory на узел. Крупные модели помещаются в память одного узла — без разбиения по картам. Сколько параметров влезает, зависит от точности весов. Конфигурации из 1, 2 и 4 узлов в дата-центрах М-Клауд: три площадки в Санкт-Петербурге и одна в Москве.
Веса модели на 70B в FP16 занимают около 140 ГБ: они не влезают ни в 32 ГБ потребительской карты, ни в 80 ГБ ускорителя. Приходится квантовать, теряя качество, или разносить модель по нескольким картам.
Почасовая аренда ускорителей выглядит дешевле, пока эксперимент короткий. На длинной дообучающей сессии счёт растёт непредсказуемо, а данные каждый раз едут в чужой контур.
Закупка узла — это срок поставки, место в стойке, питание, охлаждение и обслуживание. Между решением и первым запуском проходят месяцы.
Grace Blackwell GB10 объединяет процессор и ускоритель общей памятью. Модель не копируется между хостом и картой — она лежит в одном адресном пространстве.
Один узел — 128 ГБ unified memory. В FP8 помещается Llama 70B, в NVFP4 — модели примерно до 200B. Два узла поднимают Llama 405B в NVFP4.
96 ГБ GDDR7 с ECC на карту, архитектура Blackwell. Памяти больше, чем у H100, но она дискретная: для 70B в FP16 нужно около 140 ГБ, поэтому квантование всё равно требуется.
80 ГБ HBM3 на ускоритель, память дискретная. Для 70B в FP16 её не хватает — нужно квантование либо несколько карт.
32 ГБ GDDR7. Подходит для небольших моделей и обучения на малых наборах, крупные модели не запускаются.
DGX Spark построен вокруг FP4 — 1 PFLOP заявлен именно в этом формате. Поэтому конфигурация подбирается не только по числу параметров, но и по точности весов.
Под веса и KV-cache доступно примерно 110–120 ГБ из 128.
Память суммируется, узлы связаны interconnect 200 Гбит/с.
Конфигурация под крупные MoE-модели в FP8.
BF16 требует 2 байта на параметр, FP8 — 1, NVFP4 — 0,5. У MoE-моделей в памяти лежат все эксперты, а не только активные: у GLM-5.3-Flash это 320B, хотя на токен работают 18B.
Пропускная способность в токенах в секунду, формат FP8.
Пропускная способность при дообучении, токенов в секунду.
Это паспортные показатели платформы NVIDIA, а не результат наших замеров. На вашей модели и вашем наборе данных результат будет другим.
Оборудование размещается в дата-центрах М-Клауд. Цены указаны за месяц аренды.
128 ГБ unified memory, 6144 CUDA-ядра.
256 ГБ unified memory, 12 288 CUDA-ядер.
512 ГБ unified memory, 24 576 CUDA-ядер.
Да. Платформа полностью совместима с CUDA, переписывать код не требуется.
Главное отличие — объём и тип памяти. 128 ГБ unified против 80 ГБ дискретной означает, что модель на 70B работает без квантования.
Да, при условии что модель помещается в память узла. Для отказоустойчивости берут несколько узлов.
Узлы связываются сетевым interconnect на 200 Гбит/с, память суммируется: два узла дают 256 ГБ, четыре — 512 ГБ.
LoRA и QLoRA — до 70B на одном узле. Полное дообучение разумно для моделей меньшего размера.
В дата-центрах М-Клауд: три площадки в Санкт-Петербурге и одна в Москве. Питание от двух независимых шин, SLA с денежной компенсацией.
