К сожалению, с производства был снят Mac Studio с 512 ГБ памяти — одна из самых интересных платформ для локального инференса сверхкрупных моделей.
Тем не менее, для наших клиентов это не означает потерю возможностей. Мы по-прежнему можем поддерживать работу моделей класса до 1T параметров, но теперь для этого потребуется переход на кластерную конфигурацию.
Как это будет работать?
- Вариант 1: кластер из 2 Mac Studio M3 Ultra 256 GB.
- Вариант 2: кластер из 4 Mac Studio M3 Ultra 256 GB для более уверенной масштабируемости и распределения нагрузки.
Такой подход требует чуть более сложной сборки и настройки interconnect-архитектуры, но при этом позволяет сохранить ключевое преимущество платформы: запуск очень крупных моделей внутри локального, автономного и контролируемого контура.
Мы уже адаптируем наши аппаратные рекомендации и новые пресеты под эти конфигурации, чтобы заказчики BunkerAI могли и дальше работать с максимально крупными LLM без компромиссов по приватности.