AI-суперкомпьютер с 128 ГБ unified memory на узел. Большие модели помещаются в память целиком — без квантования и без разбиения по картам. Конфигурации из 1, 2 и 4 узлов в дата-центрах М-Клауд: три площадки в Санкт-Петербурге и одна в Москве.
Веса модели на 70B в FP16 не влезают в 32 ГБ потребительской карты и с трудом — в 80 ГБ ускорителя. Приходится квантовать, теряя качество, или разносить модель по нескольким картам.
Почасовая аренда ускорителей выглядит дешевле, пока эксперимент короткий. На длинной дообучающей сессии счёт растёт непредсказуемо, а данные каждый раз едут в чужой контур.
Закупка узла — это срок поставки, место в стойке, питание, охлаждение и обслуживание. Между решением и первым запуском проходят месяцы.
Grace Blackwell GB10 объединяет процессор и ускоритель общей памятью. Модель не копируется между хостом и картой — она лежит в одном адресном пространстве.
Один узел — 128 ГБ unified memory. Llama 70B работает в FP16 без квантования, кластер из двух узлов поднимает Llama 405B.
80 ГБ HBM3 на ускоритель, память дискретная. Для 70B в FP16 её не хватает — нужно квантование либо несколько карт.
32 ГБ GDDR7. Подходит для небольших моделей и обучения на малых наборах, крупные модели не запускаются.
Модели объёмом примерно до 200B параметров.
Всё из конфигурации на один узел, плюс модели следующего порядка.
Запас памяти под одновременную работу нескольких крупных моделей или под обучение с длинным контекстом.
Пропускная способность в токенах в секунду, формат FP8.
Пропускная способность при дообучении, токенов в секунду.
Это паспортные показатели платформы NVIDIA, а не результат наших замеров. На вашей модели и вашем наборе данных результат будет другим.
Оборудование размещается в дата-центрах М-Клауд. Цены указаны за месяц аренды.
128 ГБ unified memory, 6144 CUDA-ядра.
256 ГБ unified memory, 12 288 CUDA-ядер.
512 ГБ unified memory, 24 576 CUDA-ядер.
Да. Платформа полностью совместима с CUDA, переписывать код не требуется.
Главное отличие — объём и тип памяти. 128 ГБ unified против 80 ГБ дискретной означает, что модель на 70B работает без квантования.
Да, при условии что модель помещается в память узла. Для отказоустойчивости берут несколько узлов.
Узлы связываются в единую конфигурацию, память суммируется: два узла дают 256 ГБ, четыре — 512 ГБ.
LoRA и QLoRA — до 70B на одном узле. Полное дообучение разумно для моделей меньшего размера.
В дата-центрах М-Клауд: три площадки в Санкт-Петербурге и одна в Москве. Питание от двух независимых шин, SLA с денежной компенсацией.
