OpenClaw: локальные LLM — полная приватность, нулевые затраты

OpenClaw из коробки поддерживает локальные модели через Ollama и llama.cpp. Никаких API ключей, никаких данных в облаке — модель работает на вашем железе. Разбираем всё: от установки до тонкой настройки производительности.

1. Ollama — самый простой способ

Установка

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.ai/install.sh | sh

# Windows
winget install ollama
# или скачайте .msi с ollama.ai

Запуск сервиса

ollama serve
# Запускает REST API на http://localhost:11434

Скачивание моделей

# Топовые модели для кодинга/общего использования
ollama pull llama3.1:8b        # баланс скорости/качества, 4.7 GB
ollama pull nemotron3:8b       # лучшая для кода (NVIDIA), 4.7 GB
ollama pull qwen2.5:7b         # мультиязычная, китайский/английский, 4.4 GB
ollama pull codellama:7b       # специализированная для кода, 3.8 GB
ollama pull phi3:mini          # быстрая, лёгкая (3.8B), 2.3 GB
ollama pull mistral:7b         # классика, хорошая база, 4.1 GB
ollama pull gemma2:9b          # Google, сильная, 5.4 GB

# Для слабого железа (CPU only, 8-16 GB RAM)
ollama pull llama3.2:3b        # 2.0 GB
ollama pull phi3:mini          # 2.3 GB
ollama pull qwen2.5:3b         # 1.9 GB
ollama pull tinyllama:1.1b     # 637 MB — минимум

Проверка

ollama list                    # установленные модели
ollama run llama3.1:8b         # тест в терминале
ollama ps                      # запущенные модели

2. Подключение к OpenClaw

Через мастер (первый запуск)

  1. openclaw → Configure → LLM Provider → Ollama
  2. Base URL: http://localhost:11434 (дефолт)
  3. Выберите модель из списка (ollama list)
  4. Готово!

Через config.toml

[llm]
provider = "ollama"
model = "llama3.1:8b"
base_url = "http://localhost:11434"
temperature = 0.3
max_tokens = 4096

# Для несколькими моделями — быстрые алиасы
[llm.aliases]
code = "nemotron3:8b"
chat = "llama3.1:8b"
fast = "phi3:mini"
multi = "qwen2.5:7b"

Переключение на лету: /model code, /model fast, /model qwen2.5:7b.

3. llama.cpp — максимальная производительность на CPU

Когда использовать llama.cpp вместо Ollama

  • Нужна максимальная скорость на CPU (AVX2, AVX-512, AMX)
  • Хотите полный контроль над квантованием/параметрами
  • Нужны модели, которых нет в Ollama (специализированные fine-tunes)
  • Интеграция в свои скрипты без REST API overhead

Установка llama.cpp

# Через пакетные менеджеры
brew install llama.cpp          # macOS
apt install llama.cpp           # Ubuntu/Debian
pacman -S llama.cpp             # Arch

# Или сборка из исходников (макс. производительность)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUBLAS=1  # для NVIDIA GPU
# или
make LLAMA_METAL=1   # для Apple Silicon GPU
# или
make LLAMA_VULKAN=1  # для AMD/Intel GPU

Модели .gguf — где брать

  • TheBloke на HuggingFace — тысячи квантованных моделей
  • bartowski — новые модели (Qwen2.5, Nemotron, Phi-3.5)
  • QuantFactory — большие модели с разными квантованиями

Квантование — что выбрать

КвантованиеРазмер (7B)КачествоСкоростьRAM
Q4_K_M~3.8 GB⭐⭐⭐⭐⭐⭐⭐⭐⭐6 GB
Q5_K_M~4.6 GB⭐⭐⭐⭐⭐⭐⭐⭐8 GB
Q8_0~7.2 GB⭐⭐⭐⭐⭐⭐⭐10 GB
Q3_K_M~3.1 GB⭐⭐⭐⭐⭐⭐⭐⭐⭐5 GB
Q2_K~2.7 GB⭐⭐⭐⭐⭐⭐⭐⭐4 GB

Рекомендация: Q4_K_M — золотой стандарт. Q5_K_M если есть RAM. Q3_K_M для слабых машин.

Подключение к OpenClaw

[llm]
provider = "llamacpp"
model_path = "~/models/nemotron3-8b-Q4_K_M.gguf"
n_gpu_layers = -1        # -1 = все слои на GPU (Metal/CUDA/Vulkan)
n_ctx = 8192             # контекст (8k, 16k, 32k, 128k)
n_threads = 8            # CPU threads (0 = auto)
temperature = 0.3
max_tokens = 4096

# Опционально: грамматики, логиты, сэмплинг
grammar = "json"
# или
json_schema = "{...}"

3. Производительность: CPU vs GPU vs Metal

ПлатформаBackendМоделиСоветы
Apple Silicon (M1/M2/M3)Metal (LLAMA_METAL=1)ВсеЕдиная память — большие модели летают. n_gpu_layers = -1
NVIDIA GPU (CUDA)CUDA (LLAMA_CUBLAS=1)ВсеVRAM лимит. n_gpu_layers = -1 (все слои). Q4_K_M в 8GB VRAM
AMD/Intel GPUVulkan (LLAMA_VULKAN=1)ВсеROCm для AMD. Vulkan для Intel Arc.
Только CPUBLAS / AVX2 / AMXДо 13B Q4_K_Mn_threads = физические ядра. AMX на новых Intel — ускорение x2

4. Кэширование и оптимизация

  • KV Cache — включается автоматически, сохраняет attention ключи/значения между токенами
  • Context Shift — при превышении n_ctx старый контекст сдвигается (не пересчитывается)
  • Flash Attention — включите flash_attn = true для ускорения (требует поддержки GPU)
  • MMap — mmap = true (дефолт) — ленивая загрузка модели с диска, экономит RAM

5. Переключение моделей на лету

В чате (если настроены алиасы)

/model code      → nemotron3:8b (код)
/model chat      → llama3.1:8b (чат)
/model fast      → phi3:mini (быстро)
/model multi     → qwen2.5:7b (мультиязык)
/model custom    → путь к .gguf файлу

В конфиге (config.toml)

[llm.aliases]
code = "nemotron3:8b"
chat = "llama3.1:8b"
fast = "phi3:mini"
multi = "qwen2.5:7b"
reasoning = "o1-preview"  # через OpenRouter/OpenAI

6. Топовые модели для разных задач (2024-2025)

ЗадачаМодель (Ollama)Модель (llama.cpp .gguf)Размер
Кодинг (лучшее качество)nemotron3:8bnemotron3-8b-Q4_K_M.gguf4.7 GB
Кодинг (быстро)codellama:7b / phi3:minicodellama-7b-Q4_K_M.gguf3.8 / 2.3 GB
Общий чат / рефакторингllama3.1:8bllama-3.1-8b-Q4_K_M.gguf4.7 GB
Мультиязычность (RU/CN/ES)qwen2.5:7bqwen2.5-7b-Q4_K_M.gguf4.4 GB
Слабое железо (CPU, 8GB RAM)phi3:mini / llama3.2:3bphi3-mini-Q4_K_M.gguf2.3 / 2.0 GB
Максимальное качество (16GB+ RAM)llama3.1:70b / nemotron3:70bnemotron3-70b-Q4_K_M.gguf39 GB

7. FAQ и типичные проблемы

  • Ollama: "connection refused" → ollama serve не запущен. Добавьте в автозагрузку.
  • llama.cpp: "out of memory" → уменьшите n_ctx, используйте Q3_K_M, отключите mmap
  • Медленная генерация → проверьте n_gpu_layers (должно быть -1 для GPU), включите flash_attn
  • Модель не находится → проверьте точное имя: ollama list или полный путь к .gguf
  • Контекст обрезается → увеличьте n_ctx (8192, 16384, 32768, 131072)
  • Переключение моделей медленное → держите частые модели в RAM (mmap=true), используйте алиасы

8. Безопасность: local_only mode

[privacy]
local_only = true  # блокирует ВСЕ внешние вызовы, кроме локального LLM
telemetry = false

В этом режиме OpenClaw вообще не ходит в интернет — даже за обновлениями моделей. Идеально для air-gapped сред.

Чек-лист настройки локальных LLM ✅

  1. [ ] Установить Ollama / llama.cpp
  2. [ ] Скачать 2-3 модели под задачи (code, chat, fast)
  3. [ ] Настроить OpenClaw на Ollama (base_url) или llama.cpp (model_path)
  4. [ ] Протестировать: /model code "привет"
  5. [ ] Настроить алиасы в config.toml для быстрого переключения
  6. [ ] Включить local_only = true для максимальной приватности
  7. [ ] Протестировать в мессенджере: "Омар, напиши функцию на Python"

Ссылки: Ollama Library | llama.cpp GitHub | TheBloke GGUF Models | bartowski Models | Discord #local-llm