NVIDIA опубликовала NVFP4-checkpoint для Nemotron 3 Ultra 550B-A55B. Смешанная схема квантования уменьшает объём весов примерно с 1,1 ТБ в BF16 до 352 ГБ, сохраняя близкое качество на большинстве проверок.
352 ГБ — всё ещё не настольный класс. Но это уже практический объём для локального multi-GPU узла или небольшого закрытого кластера. Главное изменение — модели верхнего класса можно планировать как реальную инфраструктуру, а не только как облачный API.
Мы обновляем калькулятор конфигураций BunkerAI: отдельно считаем память под веса, KV-cache, параллелизм и резерв для длинного контекста. Номинального объёма VRAM недостаточно — важна вся схема инференса.