Web Search & Page Markdown
Dê ao seu agente as primeiras páginas da busca como markdown limpo
Web Search & Page Markdown é uma API de busca na web para LLMs que devolve as páginas dos primeiros resultados em markdown, por $0.005 por busca e $0.004 por página. Envie uma pergunta e receba as páginas dos primeiros resultados já convertidas em markdown, na ordem em que a busca as ranqueou, em uma só chamada. Ou envie suas próprias URLs e pule a busca.
US$0.004 por página entregue e US$0.005 por busca com resultados, mais a execução de busca da Apify, cobrada à parte. Páginas que falham não são cobradas.
{
"source": "search",
"query": "how does robots.txt work",
"rank": 1,
"url": "https://www.rfc-editor.org/rfc/rfc9309.html",
"title": "RFC 9309: Robots Exclusion Protocol",
"markdown": "# Robots Exclusion Protocol\n\n...",
"truncated": false
}Valores encurtados. rank é a posição nos resultados. Para uma página que você listou, source é url, e query e rank são null.
Casos de uso
Deixe um agente ler a web
Uma única chamada devolve as páginas, não só links, então o agente pode responder com o que elas dizem.
Alimentar um pipeline de RAG
Só o conteúdo principal: menus, rodapés e banners de cookies ficam de fora; títulos, listas, tabelas e links permanecem.
Transformar URLs conhecidas em markdown
Envie até 50 URLs em uma execução e receba cada página como markdown, sem nenhuma busca.
Entrada e saída
{
"query": "markdown table syntax",
"maxResults": 3
}Ou queries, até 20 consultas por execução, e urls, até 50 URLs por execução. maxResults é de 1 a 10 páginas por consulta (padrão 5).
{
"source": "url",
"query": null,
"rank": null,
"url": "https://example.com/slow",
"title": null,
"error": "This page took longer than 10 s. Nothing was charged for it."
}Bloqueada pelo robots.txt, lenta demais, sem texto legível: o item diz o motivo.
Preço
US$0.005 por busca,
US$0.004 por página
Pagamento por evento na Apify, sem assinatura: um evento de busca por consulta que devolveu resultados e um evento de página por página entregue como markdown. Páginas que falham, estão bloqueadas ou não têm texto legível não são cobradas, e uma execução nunca cobra mais que o máximo que você define. Agentes de IA podem pagar cada execução por conta própria, por requisição, via x402.
Cada busca também executa uma vez o apify/google-search-scraper da Apify na sua própria conta da Apify, cobrado à parte pela Apify aos preços desse actor, mesmo quando não encontra nada.
Limites
- Até 20 consultas e até 50 URLs por execução, de 1 a 10 páginas por consulta.
- Cada página tem 10 segundos, no máximo 5 redirecionamentos e 3 MB; o markdown mais longo é cortado e marcado como
truncated. - Sem crawling e sem JavaScript: páginas que só renderizam em um navegador podem voltar sem texto, e não são cobradas.
- Respeita o robots.txt para
FrameskimFetch.
Use por API ou pelo Claude
curl -X POST "https://api.apify.com/v2/acts/emttn~web-search-markdown/run-sync-get-dataset-items" \
-H "Authorization: Bearer $APIFY_TOKEN" \
-H "Content-Type: application/json" \
-d '{"query": "markdown table syntax", "maxResults": 3}'{ "mcpServers": { "apify": {
"url": "https://mcp.apify.com/?actors=emttn/web-search-markdown"
} } }Depois peça: "Pesquise na web como o robots.txt funciona e resuma as primeiras páginas."
Perguntas frequentes
O que é cobrado e o que não é?
Um evento search por consulta que devolveu resultados e um evento page por página entregue como markdown. Uma consulta que falha ou não encontra nada, e toda página que falha, está bloqueada pelo site ou não tem texto legível, não é cobrada. Uma consulta com pelo menos um resultado é cobrada mesmo que nenhuma de suas páginas possa ser entregue, e o que foi entregue continua cobrado se a execução depois parar ou falhar. A execução nunca cobra mais que o máximo que você define.
O que é a busca que a Apify cobra à parte?
Cada consulta executa uma vez o Google Search Results Scraper da Apify (apify/google-search-scraper), na sua própria conta da Apify, para uma página de resultados. A Apify cobra essa execução de você à parte, aos preços desse actor, também quando a consulta não encontra nada. A execução pede uma página com todos os complementos pagos desativados e limita seu tempo e sua cobrança. A Apify não a conta no máximo que você define para esta execução, então esta execução desconta desse máximo o que cada busca pode custar antes de começar a próxima consulta. A execução da busca, sua entrada e seus resultados ficam na sua conta como qualquer outra execução.
Como as páginas são lidas?
As páginas são baixadas por HTTP com o user agent FrameskimFetch. O JavaScript não é executado, então páginas que só renderizam em um navegador podem voltar sem texto, e não são cobradas. O robots.txt é respeitado para FrameskimFetch e para *. Cada página tem 10 segundos, no máximo 5 redirecionamentos e 3 MB.
Quais são os limites?
Uma página de resultados por consulta, então no máximo 10 resultados por consulta; os resultados vêm da edição do Google dos Estados Unidos. Não há crawling: só as páginas de resultados e as URLs que você lista. A interface de busca funciona em inglês; quais resultados voltam depende do buscador.
Como um site pode deixar suas páginas de fora?
Proíba o FrameskimFetch no seu robots.txt. Cada execução lê o robots.txt de um host uma vez, então uma execução já em andamento pode não ver a mudança; as que começam depois leem o arquivo novo. Titulares de direitos e pessoas cujos dados pessoais aparecem em uma página também podem escrever para [email protected]. Nem uma regra de robots.txt nem uma solicitação removem páginas de datasets que os usuários já têm.