OpenClaw: локальные LLM — полная приватность, нулевые затраты
OpenClaw из коробки поддерживает локальные модели через Ollama и llama.cpp. Никаких API ключей, никаких данных в облаке — модель работает на вашем железе. Разбираем всё: от установки до тонкой настройки производительности.
1. Ollama — самый простой способ
Установка
# macOS
brew install ollama
# Linux
curl -fsSL https://ollama.ai/install.sh | sh
# Windows
winget install ollama
# или скачайте .msi с ollama.ai
Запуск сервиса
ollama serve
# Запускает REST API на http://localhost:11434
Скачивание моделей
# Топовые модели для кодинга/общего использования
ollama pull llama3.1:8b # баланс скорости/качества, 4.7 GB
ollama pull nemotron3:8b # лучшая для кода (NVIDIA), 4.7 GB
ollama pull qwen2.5:7b # мультиязычная, китайский/английский, 4.4 GB
ollama pull codellama:7b # специализированная для кода, 3.8 GB
ollama pull phi3:mini # быстрая, лёгкая (3.8B), 2.3 GB
ollama pull mistral:7b # классика, хорошая база, 4.1 GB
ollama pull gemma2:9b # Google, сильная, 5.4 GB
# Для слабого железа (CPU only, 8-16 GB RAM)
ollama pull llama3.2:3b # 2.0 GB
ollama pull phi3:mini # 2.3 GB
ollama pull qwen2.5:3b # 1.9 GB
ollama pull tinyllama:1.1b # 637 MB — минимум
Проверка
ollama list # установленные модели
ollama run llama3.1:8b # тест в терминале
ollama ps # запущенные модели
2. Подключение к OpenClaw
Через мастер (первый запуск)
openclaw→ Configure → LLM Provider → Ollama- Base URL:
http://localhost:11434(дефолт) - Выберите модель из списка (ollama list)
- Готово!
Через config.toml
[llm]
provider = "ollama"
model = "llama3.1:8b"
base_url = "http://localhost:11434"
temperature = 0.3
max_tokens = 4096
# Для несколькими моделями — быстрые алиасы
[llm.aliases]
code = "nemotron3:8b"
chat = "llama3.1:8b"
fast = "phi3:mini"
multi = "qwen2.5:7b"
Переключение на лету: /model code, /model fast, /model qwen2.5:7b.
3. llama.cpp — максимальная производительность на CPU
Когда использовать llama.cpp вместо Ollama
- Нужна максимальная скорость на CPU (AVX2, AVX-512, AMX)
- Хотите полный контроль над квантованием/параметрами
- Нужны модели, которых нет в Ollama (специализированные fine-tunes)
- Интеграция в свои скрипты без REST API overhead
Установка llama.cpp
# Через пакетные менеджеры
brew install llama.cpp # macOS
apt install llama.cpp # Ubuntu/Debian
pacman -S llama.cpp # Arch
# Или сборка из исходников (макс. производительность)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUBLAS=1 # для NVIDIA GPU
# или
make LLAMA_METAL=1 # для Apple Silicon GPU
# или
make LLAMA_VULKAN=1 # для AMD/Intel GPU
Модели .gguf — где брать
- TheBloke на HuggingFace — тысячи квантованных моделей
- bartowski — новые модели (Qwen2.5, Nemotron, Phi-3.5)
- QuantFactory — большие модели с разными квантованиями
Квантование — что выбрать
| Квантование | Размер (7B) | Качество | Скорость | RAM |
|---|---|---|---|---|
| Q4_K_M | ~3.8 GB | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | 6 GB |
| Q5_K_M | ~4.6 GB | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | 8 GB |
| Q8_0 | ~7.2 GB | ⭐⭐⭐⭐⭐ | ⭐⭐ | 10 GB |
| Q3_K_M | ~3.1 GB | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | 5 GB |
| Q2_K | ~2.7 GB | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | 4 GB |
Рекомендация: Q4_K_M — золотой стандарт. Q5_K_M если есть RAM. Q3_K_M для слабых машин.
Подключение к OpenClaw
[llm]
provider = "llamacpp"
model_path = "~/models/nemotron3-8b-Q4_K_M.gguf"
n_gpu_layers = -1 # -1 = все слои на GPU (Metal/CUDA/Vulkan)
n_ctx = 8192 # контекст (8k, 16k, 32k, 128k)
n_threads = 8 # CPU threads (0 = auto)
temperature = 0.3
max_tokens = 4096
# Опционально: грамматики, логиты, сэмплинг
grammar = "json"
# или
json_schema = "{...}"
3. Производительность: CPU vs GPU vs Metal
| Платформа | Backend | Модели | Советы |
|---|---|---|---|
| Apple Silicon (M1/M2/M3) | Metal (LLAMA_METAL=1) | Все | Единая память — большие модели летают. n_gpu_layers = -1 |
| NVIDIA GPU (CUDA) | CUDA (LLAMA_CUBLAS=1) | Все | VRAM лимит. n_gpu_layers = -1 (все слои). Q4_K_M в 8GB VRAM |
| AMD/Intel GPU | Vulkan (LLAMA_VULKAN=1) | Все | ROCm для AMD. Vulkan для Intel Arc. |
| Только CPU | BLAS / AVX2 / AMX | До 13B Q4_K_M | n_threads = физические ядра. AMX на новых Intel — ускорение x2 |
4. Кэширование и оптимизация
- KV Cache — включается автоматически, сохраняет attention ключи/значения между токенами
- Context Shift — при превышении n_ctx старый контекст сдвигается (не пересчитывается)
- Flash Attention — включите
flash_attn = trueдля ускорения (требует поддержки GPU) - MMap —
mmap = true(дефолт) — ленивая загрузка модели с диска, экономит RAM
5. Переключение моделей на лету
В чате (если настроены алиасы)
/model code → nemotron3:8b (код)
/model chat → llama3.1:8b (чат)
/model fast → phi3:mini (быстро)
/model multi → qwen2.5:7b (мультиязык)
/model custom → путь к .gguf файлу
В конфиге (config.toml)
[llm.aliases]
code = "nemotron3:8b"
chat = "llama3.1:8b"
fast = "phi3:mini"
multi = "qwen2.5:7b"
reasoning = "o1-preview" # через OpenRouter/OpenAI
6. Топовые модели для разных задач (2024-2025)
| Задача | Модель (Ollama) | Модель (llama.cpp .gguf) | Размер |
|---|---|---|---|
| Кодинг (лучшее качество) | nemotron3:8b | nemotron3-8b-Q4_K_M.gguf | 4.7 GB |
| Кодинг (быстро) | codellama:7b / phi3:mini | codellama-7b-Q4_K_M.gguf | 3.8 / 2.3 GB |
| Общий чат / рефакторинг | llama3.1:8b | llama-3.1-8b-Q4_K_M.gguf | 4.7 GB |
| Мультиязычность (RU/CN/ES) | qwen2.5:7b | qwen2.5-7b-Q4_K_M.gguf | 4.4 GB |
| Слабое железо (CPU, 8GB RAM) | phi3:mini / llama3.2:3b | phi3-mini-Q4_K_M.gguf | 2.3 / 2.0 GB |
| Максимальное качество (16GB+ RAM) | llama3.1:70b / nemotron3:70b | nemotron3-70b-Q4_K_M.gguf | 39 GB |
7. FAQ и типичные проблемы
- Ollama: "connection refused" →
ollama serveне запущен. Добавьте в автозагрузку. - llama.cpp: "out of memory" → уменьшите n_ctx, используйте Q3_K_M, отключите mmap
- Медленная генерация → проверьте n_gpu_layers (должно быть -1 для GPU), включите flash_attn
- Модель не находится → проверьте точное имя:
ollama listили полный путь к .gguf - Контекст обрезается → увеличьте n_ctx (8192, 16384, 32768, 131072)
- Переключение моделей медленное → держите частые модели в RAM (mmap=true), используйте алиасы
8. Безопасность: local_only mode
[privacy]
local_only = true # блокирует ВСЕ внешние вызовы, кроме локального LLM
telemetry = false
В этом режиме OpenClaw вообще не ходит в интернет — даже за обновлениями моделей. Идеально для air-gapped сред.
Чек-лист настройки локальных LLM ✅
- [ ] Установить Ollama / llama.cpp
- [ ] Скачать 2-3 модели под задачи (code, chat, fast)
- [ ] Настроить OpenClaw на Ollama (base_url) или llama.cpp (model_path)
- [ ] Протестировать:
/model code "привет" - [ ] Настроить алиасы в config.toml для быстрого переключения
- [ ] Включить local_only = true для максимальной приватности
- [ ] Протестировать в мессенджере: "Омар, напиши функцию на Python"
Ссылки: Ollama Library | llama.cpp GitHub | TheBloke GGUF Models | bartowski Models | Discord #local-llm
