Website to Markdown Crawler
Dale a tu agente un sitio web entero como markdown limpio
Website to Markdown es una API de rastreo que devuelve cada página bajo una URL de inicio en markdown, por $0.002 por página. Envía la URL de un sitio de documentación, un centro de ayuda o un blog y recibe cada página debajo de ella como markdown limpio, un ítem por página. Para agentes y pipelines de RAG que necesitan un sitio entero, no una página.
US$0.002 por página entregada. Las páginas que fallan no se cobran.
{
"url": "https://example.com/docs/setup",
"depth": 1,
"title": "Setup",
"markdown": "# Setup\n\n...",
"truncated": false
}Valores acortados. depth es 0 para la URL de inicio, 1 para las páginas que enlaza, y así. truncated es true cuando la página pasó de 3 MB o el markdown pasó de 200.000 caracteres y se cortó.
Casos de uso
Darle a un agente la documentación de una librería
Una ejecución convierte un sitio de documentación en páginas que el agente puede leer y citar, en vez de adivinar con lo que aprendió en su entrenamiento.
Alimentar un pipeline de RAG
Solo el contenido principal: los menús, pies de página y banners de cookies quedan fuera; los títulos, listas, tablas y enlaces se mantienen.
Recorrer una sección, no el sitio entero
Solo se recorren las páginas debajo de la carpeta de la URL de inicio: https://example.com/docs/ recorre /docs/..., no /blog/.
Entrada y salida
{
"startUrl": "https://example.com/docs/",
"maxPages": 50
}startUrl es donde empieza el recorrido (http o https). maxPages es el máximo de páginas visitadas en una ejecución, de 1 a 500 (por defecto 50).
{
"url": "https://accounts.example.com/login",
"depth": 2,
"error": "This page redirected outside the crawled site. Nothing was charged for it."
}Demasiado lenta, inalcanzable, fuera del sitio recorrido o sin texto legible: el ítem dice el motivo.
Precio
US$0.002 por página
Pago por evento en Apify, sin suscripción: un evento page por página entregada como markdown. Las páginas que fallan, redirigen fuera del sitio recorrido o no tienen texto legible no se cobran, las páginas que siguen esperando cuando la ejecución se detiene no se descargan ni se cobran, los enlaces que robots.txt prohíbe se saltean sin cobro, y una ejecución nunca cobra más que el máximo que pones.
Límites
- De 1 a 500 páginas por ejecución (por defecto 50), desde una URL de inicio, en su sitio y debajo de su carpeta.
- Cada página tiene 10 segundos, como máximo 5 redirecciones y 3 MB; el markdown de más de 200.000 caracteres se corta y se marca
truncated. - Sin navegador y sin sitemaps: no se ejecuta JavaScript, así que las páginas que solo se muestran en un navegador pueden volver sin texto (y no se cobran), y las páginas se encuentran solo por enlaces.
- Descarga 5 páginas a la vez y respeta robots.txt para
Skimmer(yFrameskimCrawl, su nombre anterior).
Úsalo por API o desde Claude
curl -X POST "https://api.apify.com/v2/acts/emttn~website-markdown-crawler/run-sync-get-dataset-items" \
-H "Authorization: Bearer $APIFY_TOKEN" \
-H "Content-Type: application/json" \
-d '{"startUrl": "https://example.com/docs/", "maxPages": 50}'{ "mcpServers": { "apify": {
"url": "https://mcp.apify.com/?actors=emttn/website-markdown-crawler"
} } }Después pide: "Recorre https://fastapi.tiangolo.com/tutorial/ y explica cómo funcionan las dependencias."
Preguntas frecuentes
¿Qué se cobra y qué no?
Un evento page por página entregada como markdown. Una página que falla, redirige fuera del sitio recorrido o no tiene texto legible no se cobra, los enlaces que robots.txt prohíbe se saltean sin cobro, y las páginas que siguen esperando cuando la ejecución se detiene no se descargan ni se cobran. Lo entregado queda cobrado aunque la ejecución después se detenga o falle, y la ejecución nunca cobra más que el máximo que pones: se detiene antes de una página que no entraría.
¿Qué páginas recorre?
Empieza en tu URL y sigue los enlaces que encuentra en el mismo sitio, solo debajo de la carpeta de esa URL después de sus redirecciones: https://example.com/docs/ recorre /docs/..., no /blog/. Las páginas se encuentran solo por enlaces, no por sitemaps, hasta el maxPages que pones (como máximo 500). Cada ítem lleva su depth desde la URL de inicio.
¿Cómo se leen las páginas?
Las páginas se descargan por HTTP a través del proxy de datacenter de Apify con el user agent Skimmer, como máximo 5 a la vez y como máximo una tanda por segundo. No se ejecuta JavaScript, así que las páginas que solo se muestran en un navegador pueden volver sin texto, y no se cobran. robots.txt se lee una vez por host y ejecución, y una página se descarga solo si las reglas para Skimmer, FrameskimCrawl (su nombre anterior), FrameskimFetch y * la permiten, para la página y de nuevo en cada redirección.
¿Qué pasa con las páginas lentas, grandes o vacías?
Cada página tiene 10 segundos, como máximo 5 redirecciones y 3 MB, y un intento más después de un timeout, un error del servidor o una conexión cortada cuando queda tiempo. Una página de más de 3 MB, o con markdown de más de 200.000 caracteres, se corta, se marca truncated y se cobra igual. Una página sin texto legible vuelve con un error y no se cobra. El mensaje de estado de la ejecución dice cuántas páginas se entregaron, cuántos enlaces dejó fuera robots.txt y por qué terminó el recorrido.
¿Cómo puede un sitio dejar sus páginas fuera?
Prohíbe Skimmer en tu robots.txt; las reglas para FrameskimCrawl, su nombre anterior, se siguen respetando, y prohibir FrameskimFetch también sirve. Cada ejecución lee el robots.txt de un host una vez, así que una ejecución ya en curso puede no ver el cambio; las que empiezan después leen el archivo nuevo. Los titulares de derechos y las personas cuyos datos personales aparecen en una página también pueden escribir a [email protected]. Ni una regla de robots.txt ni un pedido quitan páginas de los datasets que los usuarios ya tienen.