SiliconFlow — быстрый инференс с бесплатными кредитами
SiliconFlow — платформа для высокопроизводительного инференса LLM. Предлагает бесплатные кредиты для тестирования своих оптимизированных ядер.
Что входит
- Бесплатные кредиты при регистрации
- 100+ моделей: Llama 3.1, Qwen 2.5, DeepSeek V2.5, Gemma 2, Phi-3.5, и др.
- OpenAI-совместимый API
- Оптимизированные ядра — FlashAttention, PagedAttention, и др.
- Высокая пропускная способность — до 10x быстрее стандартного инференса
Модели
- Llama 3.1 (8B, 70B, 405B)
- Qwen 2.5 (7B, 32B, 72B)
- DeepSeek V2.5 / V3
- Gemma 2 (9B, 27B)
- Phi-3.5 (Mini, Medium)
- CodeLlama, CodeQwen, DeepSeek Coder
Как начать
- Регистрация на siliconflow.cn
- Создание API ключа
- Base URL:
https://api.siliconflow.cn/v1
Итог: Отличный вариант для быстрого и дешевого инференса открытых моделей.