← Modèles · Outils de développement
CR
Crawl4AI
CommunautéOpen-source, LLM-friendly web crawler and scraper — turns any page into clean markdown or structured data for RAG pipelines.
| S'exécute | unclecode/crawl4ai:0.9.5 |
|---|---|
| Pile technique | python |
| Provisionné pour l'application | Rien, l'application est autonome |
| Vérifié | Pas encore |
Pourquoi déployer sur Railyard
Railyard la fait tourner seule sur un serveur que vous payez déjà — aucun addon à provisionner, avec les déploiements sans interruption et la mise à l'échelle toujours inclus.
Déployer Crawl4AI n'est qu'un élément d'une pile applicative que vous pouvez continuer à faire grandir — ajoutez une base de données, un worker, un cache ou une autre application, toujours sur les mêmes serveurs que vous payez déjà.
Idéal pour
- Turning arbitrary web pages into clean markdown for a RAG ingestion pipeline
- Structured data extraction from sites without a public API
- Bulk crawling for dataset or search-index building
Bon à savoir
- The headless Chromium backend needs real shared memory — undersized /dev/shm causes browser-strategy crawls to crash
- Add your own LLM provider key from the UI if you use the LLM-based extraction strategy — the default fetch strategy doesn't need one