SiliconFlow — быстрый инференс с бесплатными кредитами

SiliconFlow — платформа для высокопроизводительного инференса LLM. Предлагает бесплатные кредиты для тестирования своих оптимизированных ядер.

Что входит

  • Бесплатные кредиты при регистрации
  • 100+ моделей: Llama 3.1, Qwen 2.5, DeepSeek V2.5, Gemma 2, Phi-3.5, и др.
  • OpenAI-совместимый API
  • Оптимизированные ядра — FlashAttention, PagedAttention, и др.
  • Высокая пропускная способность — до 10x быстрее стандартного инференса

Модели

  • Llama 3.1 (8B, 70B, 405B)
  • Qwen 2.5 (7B, 32B, 72B)
  • DeepSeek V2.5 / V3
  • Gemma 2 (9B, 27B)
  • Phi-3.5 (Mini, Medium)
  • CodeLlama, CodeQwen, DeepSeek Coder

Как начать

  1. Регистрация на siliconflow.cn
  2. Создание API ключа
  3. Base URL: https://api.siliconflow.cn/v1

Итог: Отличный вариант для быстрого и дешевого инференса открытых моделей.