01
Сколько памяти действительно нужно локальному ИИ
Почему размер файла модели — только начало расчёта: разбираем веса, контекст, KV-cache, параллельных пользователей и разумные конфигурации от 16 до 512 ГБ.
ПрактикаПамятьVRAMКонфигурацииLocal AI
База знаний · 3 материала
Статьи о локальном ИИ
Практические руководства, сравнения оборудования и подробные объяснения технологий автономного ИИ.
→
02
Mac Studio или DGX Spark: что выбрать для локального ИИ
Сравниваем не логотипы, а архитектуры: объём и скорость памяти, CUDA и MLX, длинные документы, кластеризацию, энергопотребление и реальную задержку.
СравнениеMac StudioDGX SparkApple SiliconNVIDIA
03
Квантизация без магии: сколько качества мы отдаём за свободную память
Q8, Q6, Q5 и Q4 уменьшают модель, но средний балл бенчмарка не показывает все потери. Разбираем скрытые ошибки и безопасный выбор формата.
ПрактикаКвантизацияGGUFllama.cppКачество