Firecrawl is een web scraping tool die webpagina's omzet in schone Markdown — zonder ads, scripts of navigatie-rommel. Speciaal ontworpen voor LLM-agents. 148k ⭐ op GitHub.
Hugo gebruikt de Cloud API (firecrawl.dev) — gratis plan: 1.000 pagina's/maand, 2 concurrent requests.
| Doel | Hoe |
|---|---|
| 1 pagina scrapen → Markdown | POST /v1/scrape |
| Hele site crawlen | POST /v1/crawl |
| Zoeken + scrapen | POST /v1/search |
| Anti-bot omzeilen | Ingebouwde proxy rotation |
API key staat in /opt/data/.env als FIRECRAWL_API_KEY. Hermes laadt deze bij startup.
Testen of het werkt:
# 1 pagina scrapen
curl -s -X POST https://api.firecrawl.dev/v1/scrape \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $FIRECRAWL_API_KEY" \
-d '{"url": "https://example.com"}'Firecrawl's anti-bot en proxy rotation kunnen headless blocking omzeilen waar Hermes' eigen browser tool faalt. Dit maakt het energie-vergelijken script robuuster.
Crawl een hele docs site in 1 keer als kennisbasis. Bijv. technische documentatie voor RWS-projecten of nieuwe tools.
curl -s -X POST https://api.firecrawl.dev/v1/crawl \
-H "Authorization: Bearer $KEY" \
-d '{"url": "https://docs.example.com", "limit": 50}'Firecrawl haalt schone, leesbare tekst uit elke URL. Geen parsing van rommelige HTML — direct Markdown klaar voor Hermes om te analyseren.
Hermes kan Firecrawl aanroepen voor web research zonder de zware browser tool te laden. Sneller, goedkoper (geen tokens voor browser).
Er is een skill firecrawl geïnstalleerd. Hermes laadt die automatisch bij scraping-taken.
Vanuit Telegram kun je zeggen:
| Metriek | Waarde |
|---|---|
| Pagina's/maand | 1.000 |
| Concurrent requests | 2 |
| Proxy | Basic (anti-detectie) |