Website to Markdown Crawler
Dê ao seu agente um site inteiro como markdown limpo
Website to Markdown é uma API de rastreamento que devolve cada página abaixo de uma URL inicial em markdown, por $0.002 por página. Envie a URL de um site de documentação, central de ajuda ou blog e receba cada página abaixo dela como markdown limpo, um item por página. Para agentes e pipelines de RAG que precisam de um site inteiro, não de uma página.
US$0.002 por página entregue. Páginas que falham não são cobradas.
{
"url": "https://example.com/docs/setup",
"depth": 1,
"title": "Setup",
"markdown": "# Setup\n\n...",
"truncated": false
}Valores encurtados. depth é 0 para a URL inicial, 1 para as páginas que ela linka, e assim por diante. truncated é true quando a página passou de 3 MB ou o markdown passou de 200.000 caracteres e foi cortado.
Casos de uso
Dar a um agente a documentação de uma biblioteca
Uma execução transforma um site de documentação em páginas que o agente pode ler e citar, em vez de adivinhar com o que aprendeu no treinamento.
Alimentar um pipeline de RAG
Só o conteúdo principal: menus, rodapés e banners de cookies ficam de fora; títulos, listas, tabelas e links permanecem.
Rastrear uma seção, não o site inteiro
Só as páginas abaixo da pasta da URL inicial são rastreadas: https://example.com/docs/ rastreia /docs/..., não /blog/.
Entrada e saída
{
"startUrl": "https://example.com/docs/",
"maxPages": 50
}startUrl é onde o rastreamento começa (http ou https). maxPages é o máximo de páginas visitadas em uma execução, de 1 a 500 (padrão 50).
{
"url": "https://accounts.example.com/login",
"depth": 2,
"error": "This page redirected outside the crawled site. Nothing was charged for it."
}Lenta demais, inacessível, fora do site rastreado ou sem texto legível: o item diz o motivo.
Preço
US$0.002 por página
Pagamento por evento na Apify, sem assinatura: um evento page por página entregue como markdown. Páginas que falham, redirecionam para fora do site rastreado ou não têm texto legível não são cobradas, páginas ainda esperando quando a execução para não são baixadas nem cobradas, links que o robots.txt proíbe são pulados sem cobrança, e uma execução nunca cobra mais que o máximo que você define.
Limites
- De 1 a 500 páginas por execução (padrão 50), a partir de uma URL inicial, no seu site e abaixo da sua pasta.
- Cada página tem 10 segundos, no máximo 5 redirecionamentos e 3 MB; o markdown com mais de 200.000 caracteres é cortado e marcado como
truncated. - Sem navegador e sem sitemaps: o JavaScript não é executado, então páginas que só renderizam em um navegador podem voltar sem texto (e não são cobradas), e as páginas são encontradas só por links.
- Baixa 5 páginas por vez e respeita o robots.txt para
Skimmer(eFrameskimCrawl, seu nome anterior).
Use por API ou pelo Claude
curl -X POST "https://api.apify.com/v2/acts/emttn~website-markdown-crawler/run-sync-get-dataset-items" \
-H "Authorization: Bearer $APIFY_TOKEN" \
-H "Content-Type: application/json" \
-d '{"startUrl": "https://example.com/docs/", "maxPages": 50}'{ "mcpServers": { "apify": {
"url": "https://mcp.apify.com/?actors=emttn/website-markdown-crawler"
} } }Depois peça: "Rastreie https://fastapi.tiangolo.com/tutorial/ e explique como funcionam as dependências."
Perguntas frequentes
O que é cobrado e o que não é?
Um evento page por página entregue como markdown. Uma página que falha, redireciona para fora do site rastreado ou não tem texto legível não é cobrada, links que o robots.txt proíbe são pulados sem cobrança, e páginas ainda esperando quando a execução para não são baixadas nem cobradas. O que foi entregue continua cobrado mesmo que a execução depois pare ou falhe, e a execução nunca cobra mais que o máximo que você define: ela para antes de uma página que não caberia.
Quais páginas ele rastreia?
Ele começa na sua URL e segue os links que encontra no mesmo site, só abaixo da pasta dessa URL depois dos seus redirecionamentos: https://example.com/docs/ rastreia /docs/..., não /blog/. As páginas são encontradas só por links, não por sitemaps, até o maxPages que você define (no máximo 500). Cada item traz seu depth a partir da URL inicial.
Como as páginas são lidas?
As páginas são baixadas por HTTP pelo proxy de datacenter da Apify com o user agent Skimmer, no máximo 5 por vez e no máximo um lote por segundo. O JavaScript não é executado, então páginas que só renderizam em um navegador podem voltar sem texto, e não são cobradas. O robots.txt é lido uma vez por host e execução, e uma página só é baixada se as regras para Skimmer, FrameskimCrawl (seu nome anterior), FrameskimFetch e * permitirem, para a página e de novo em cada redirecionamento.
E as páginas lentas, grandes ou vazias?
Cada página tem 10 segundos, no máximo 5 redirecionamentos e 3 MB, e mais uma tentativa depois de um timeout, um erro do servidor ou uma conexão caída quando ainda há tempo. Uma página com mais de 3 MB, ou com markdown de mais de 200.000 caracteres, é cortada, marcada como truncated e cobrada mesmo assim. Uma página sem texto legível volta com um erro e não é cobrada. A mensagem de status da execução diz quantas páginas foram entregues, quantos links o robots.txt deixou de fora e por que o rastreamento terminou.
Como um site pode deixar suas páginas de fora?
Proíba o Skimmer no seu robots.txt; as regras para FrameskimCrawl, seu nome anterior, continuam sendo respeitadas, e proibir o FrameskimFetch também funciona. Cada execução lê o robots.txt de um host uma vez, então uma execução já em andamento pode não ver a mudança; as que começam depois leem o arquivo novo. Titulares de direitos e pessoas cujos dados pessoais aparecem em uma página também podem escrever para [email protected]. Nem uma regra de robots.txt nem um pedido removem páginas dos datasets que os usuários já têm.