Статьи BunkerAI · Сравнение

Mac Studio или DGX Spark: что выбрать для локального ИИ

Сравниваем не логотипы, а архитектуры: объём и скорость памяти, CUDA и MLX, длинные документы, кластеризацию, энергопотребление и реальную задержку.

Mac Studio и NVIDIA DGX Spark выглядят как два варианта компактного настольного AI-компьютера. Но внутри это разные ответы на один вопрос. Apple предлагает большое быстрое единое адресное пространство памяти и тесно интегрированное программное окружение. NVIDIA предлагает компактную Grace Blackwell-систему, совместимую с CUDA-экосистемой и рассчитанную на разработку, прототипирование и объединение нескольких узлов.

Поэтому вопрос «кто быстрее» без названия модели, движка и задачи почти лишён смысла.

Главные различия

Mac Studio M5 Ultra

  • до 512 ГБ объединённой памяти в старшей конфигурации;
  • пропускная способность памяти 1,2 ТБ/с;
  • возможность держать крупную модель в памяти одного компьютера;
  • MLX и Metal, а также llama.cpp с поддержкой Apple Silicon;
  • тихая настольная эксплуатация и сильный медиадвижок.

NVIDIA DGX Spark

  • 128 ГБ LPDDR5x объединённой системной памяти;
  • пропускная способность памяти 273 ГБ/с;
  • Grace Blackwell и привычный для AI-разработки стек NVIDIA;
  • 10 GbE и ConnectX-7 для высокоскоростного обмена и кластеризации;
  • удобная среда для CUDA-зависимых приложений, экспериментов и адаптации моделей.

Два DGX Spark дают суммарно 256 ГБ памяти, но она не превращается в единый монолитный пул автоматически. Модель приходится распределять между узлами, а обмен данными начинает зависеть от сети и выбранного движка.

Что показало практическое сравнение

В октябрьском тесте Alex Ziskind сравнил Mac Studio M5 Ultra с двумя DGX Spark. В конкретной конфигурации Qwen генерировал около 45 токенов в секунду на Mac и около 38 на паре Spark. На DeepSeek переход с llama.cpp на MLX поднял скорость Mac примерно с 40 до 53 токенов в секунду — наглядный пример того, насколько результат зависит не только от железа, но и от движка.

При обработке входного текста картина была иной: два Spark быстрее выполняли prefill короткого и среднего промпта. На длинных документах это может быть важнее скорости печати ответа. Пользователь сначала ждёт, пока система прочитает сотню страниц, и только затем видит первый токен.

Это не универсальный рейтинг оборудования. Цифры относятся к конкретным версиям моделей, квантованию и программному стеку. Но вывод устойчив: нельзя выбирать платформу по одному показателю tokens/s.

Когда лучше Mac Studio

  • Нужна очень большая модель на одном устройстве. Конфигурация с 256 или 512 ГБ позволяет избежать распределения модели по сети.
  • Приоритет — тихая рабочая станция. Это важно для офиса, кабинета, мобильного объекта или дома.
  • Система работает с медиа. Аппаратные блоки обработки видео полезны для транскрибации, монтажа и локальных мультимедийных процессов.
  • Модели хорошо поддерживаются MLX. Правильный движок способен заметно изменить производительность.
  • Важна простота. Один узел легче обновлять, резервировать и диагностировать, чем распределённую систему.

Когда лучше DGX Spark

  • Рабочий стек зависит от CUDA. Многие библиотеки, исследовательские проекты и корпоративные пайплайны сначала оптимизируются для NVIDIA.
  • Нужны эксперименты с обучением и адаптацией. Spark создавался не только для чата, но и как рабочая система разработчика AI.
  • Планируется кластер. ConnectX-7 и сетевые возможности дают более понятный путь масштабирования, хотя кластер всё равно требует настройки.
  • Важна переносимость на серверную NVIDIA-инфраструктуру. Прототип с настольного узла проще перенести в более крупный CUDA-контур.
  • Нужен быстрый prefill. Для некоторых моделей и движков Blackwell лучше обрабатывает большой входной контекст.

Почему два Spark — не всегда замена одному большому Mac

При распределённом инференсе время тратится не только на вычисления, но и на синхронизацию. В другом эксперименте Ziskind отделил обработку промпта на DGX Spark от генерации на Mac. GPU обрабатывал вход до 14 раз быстрее локального узла, но при 2,5-гигабитном соединении передача KV-cache заняла почти всё итоговое время. Более быстрая сеть улучшила ситуацию, но добавила адаптеры, драйверы и новую точку отказа.

Кластер выгоден, когда задача действительно распараллеливается, сеть подобрана заранее, а программный стек умеет эффективно распределять нагрузку. Покупать второй узел только ради арифметического удвоения памяти — рискованная стратегия.

Выбор по типовым сценариям BunkerAI

  • Большая закрытая база знаний и одна тяжёлая модель: чаще выигрывает Mac Studio с большим единым пулом памяти.
  • Разработка CUDA-приложений и прототипирование: чаще рациональнее DGX Spark.
  • Несколько независимых моделей и сервисов: полезно сравнивать не устройства, а схему маршрутизации нагрузки.
  • Много пользователей: могут оказаться важнее серверные GPU, пакетная обработка и vLLM, чем обе настольные платформы.
  • Изолированный объект без штатного администратора: простота одного узла часто ценнее теоретического максимума кластера.

Итог: Mac Studio — сильный выбор для больших моделей, тишины и простого единого узла. DGX Spark — для CUDA, разработки и постепенного построения NVIDIA-контура. Финальное решение должно приниматься после теста ваших документов, моделей и ожидаемого количества пользователей.

Источники и дальнейшее чтение