Вопрос «сколько памяти нужно локальному ИИ» часто пытаются свести к одной цифре. Для модели 70B называют 40 ГБ, для 120B — 70 ГБ, после чего подбирают компьютер с таким же объёмом памяти. В демонстрации модель действительно может запуститься. Но рабочая система должна не только загрузить веса: ей нужны память под контекст, служебные буферы, операционную систему, поиск по документам и одновременные запросы пользователей.
Правильный вопрос звучит так: сколько памяти нужно не модели, а вашему рабочему сценарию?
Из чего складывается потребление памяти
1. Веса модели
Первое приближение простое: количество параметров умножается на число бит на параметр. Модель 70B в BF16 требует около 140 ГБ только для весов, в 8-битном формате — около 70 ГБ, а в 4-битном — около 35 ГБ. Фактический файл и расход памяти будут немного больше из-за метаданных, смешанных типов тензоров и особенностей формата.
У MoE-моделей во время генерации активна только часть параметров, поэтому они могут считать быстрее плотной модели аналогичного полного размера. Но все эксперты всё равно должны храниться в памяти или подгружаться, поэтому ориентироваться только на число активных параметров нельзя.
2. Контекст и KV-cache
Чем длиннее диалог или документ, тем больше памяти занимает KV-cache — сохранённое внутреннее состояние attention-слоёв. Расход зависит от архитектуры модели, длины контекста, формата кеша и количества одновременных сессий. Один пользователь с контекстом 8 000 токенов и десять пользователей с контекстом 64 000 токенов — это принципиально разные конфигурации, даже если модель одна и та же.
3. Движок и рабочее окружение
Ollama, llama.cpp, MLX и vLLM по-разному резервируют память. Дополнительно работают веб-интерфейс, модель эмбеддингов, reranker, векторный индекс, распознавание речи и другие модули. Оставлять системе нулевой запас — значит получать выгрузку слоёв в системную память, ошибки при длинных документах или падение сервиса при втором пользователе.
Практические классы конфигураций
- 16–32 ГБ: модели 4–14B, персональный помощник, классификация, короткие документы и базовый RAG. Это хороший начальный узел, но не универсальный корпоративный сервер.
- 32–64 ГБ: модели 20–35B с нормальным контекстом, локальный агент одного пользователя, программирование и обработка документов.
- 96–128 ГБ: качественные 70B-модели, некоторые MoE-профили, длинный контекст и несколько лёгких сервисов на одном узле.
- 192–256 ГБ: модели класса 120–200B в практичном квантовании, несколько пользователей, крупная база знаний, голосовые и агентные модули.
- 512 ГБ и больше: тяжёлые модели 300B+, крупные MoE, несколько моделей одновременно или повышенные требования к контексту и параллелизму.
Это не гарантированные пределы, а безопасные классы для планирования. Конкретный результат зависит от архитектуры и квантования. Модель 120B MoE может оказаться легче в вычислениях, но требовательнее к объёму памяти, чем плотная 70B.
Почему «запустилось» ещё не означает «пригодно для работы»
Alex Ziskind объединил два компьютера на Ryzen AI Halo и выделил примерно по 120 ГБ общей памяти на каждом, чтобы проверить модель класса 400B. Эксперимент показывает, что доступное железо действительно позволяет выйти в область очень больших моделей. Одновременно он показывает цену такого решения: настройку Linux, ручное распределение памяти, сетевое соединение и зависимость скорости от того, как модель разложена между узлами.
Похожая ситуация возникает с выгрузкой части модели в обычную RAM. Модель помещается, но пропускная способность памяти становится ограничителем. Для справочного запроса задержка может быть приемлемой; для интерактивного агента, который делает десятки вызовов модели, — уже нет.
Как считать память до покупки оборудования
- Определить задачи: чат, документы, программирование, голос, изображения или агентные процессы.
- Выбрать две модели: основную и резервную более компактную, а не один модный релиз.
- Зафиксировать контекст: средний и максимальный объём одного запроса в реальных документах.
- Посчитать параллелизм: сколько людей и фоновых агентов смогут обращаться к системе одновременно.
- Добавить запас: обычно не менее 20–30% сверх измеренного пика под обновления, кеш и дополнительные сервисы.
- Провести пилот: измерять не только токены в секунду, но и время до первого ответа, качество и стабильность на длинной сессии.
Как мы применяем это в BunkerAI
Мы подбираем конфигурацию от сценария, а не от рекламного названия модели. Для внутренней базы знаний важны длинный контекст и быстрый поиск; для кодового агента — качество tool calling и обработка большого репозитория; для «Протоколиста» — одновременная работа распознавания речи, диаризации и суммаризации. Поэтому два заказчика с одной и той же LLM могут получить разные объёмы памяти.
Короткий вывод: 32 ГБ подходят для знакомства с локальным ИИ, 64–128 ГБ закрывают значительную часть персональных и небольших корпоративных задач, а 256 ГБ становятся разумной точкой для серьёзного универсального узла. Всё, что выше, следует считать под конкретную модель, контекст и количество пользователей.