Firecrawl — скрапинг веба для LLM

firecrawl/firecrawl — API, превращающий любую веб-страницу в чистый Markdown, готовый для потребления LLM. Набрал +2,200 звезд за неделю, всего 202,354 ⭐.

Ключевые фичи

  • JS Rendering — рендерит JavaScript (SPA, React, Vue)
  • Clean Markdown — чистый Markdown без мусора
  • Structured Data — извлечение JSON по схеме
  • Bypass Protection — обход Cloudflare, капч, ботозащиты
  • Crawl — рекурсивный обход всего сайта
  • API + SDK — REST, Python, Node.js, Go

Применение

  • RAG — индексация веба для LLM
  • Мониторинг конкурентов
  • Сбор данных для обучения
  • Автоматизация исследований

Технологии

  • Язык: TypeScript
  • Лицензия: MIT
  • SDK: Python, Node.js, Go, Rust

Как начать

  1. Репозиторий: github.com/firecrawl/firecrawl
  2. Облако: firecrawl.dev (есть бесплатный тир)
  3. Self-host: Docker образ

Рост: +2,200 ⭐/неделю | 314 в день | TypeScript | MIT