Firecrawl — скрапинг веба для LLM
firecrawl/firecrawl — API, превращающий любую веб-страницу в чистый Markdown, готовый для потребления LLM. Набрал +2,200 звезд за неделю, всего 202,354 ⭐.
Ключевые фичи
- JS Rendering — рендерит JavaScript (SPA, React, Vue)
- Clean Markdown — чистый Markdown без мусора
- Structured Data — извлечение JSON по схеме
- Bypass Protection — обход Cloudflare, капч, ботозащиты
- Crawl — рекурсивный обход всего сайта
- API + SDK — REST, Python, Node.js, Go
Применение
- RAG — индексация веба для LLM
- Мониторинг конкурентов
- Сбор данных для обучения
- Автоматизация исследований
Технологии
- Язык: TypeScript
- Лицензия: MIT
- SDK: Python, Node.js, Go, Rust
Как начать
- Репозиторий: github.com/firecrawl/firecrawl
- Облако: firecrawl.dev (есть бесплатный тир)
- Self-host: Docker образ
Рост: +2,200 ⭐/неделю | 314 в день | TypeScript | MIT
