Web Search & Page Markdown
Dale a tu agente las primeras páginas de la búsqueda como markdown limpio
Web Search & Page Markdown es una API de búsqueda web para LLMs que devuelve las páginas de los primeros resultados en markdown, por $0.005 por búsqueda y $0.004 por página. Envía una pregunta y recibe las páginas de los primeros resultados ya convertidas en markdown, en el orden en que la búsqueda las ordenó, en una sola llamada. O envía tus propias URLs y sáltate la búsqueda.
US$0.004 por página entregada y US$0.005 por búsqueda con resultados, más la ejecución de búsqueda de Apify, que se cobra aparte. Las páginas que fallan no se cobran.
{
"source": "search",
"query": "how does robots.txt work",
"rank": 1,
"url": "https://www.rfc-editor.org/rfc/rfc9309.html",
"title": "RFC 9309: Robots Exclusion Protocol",
"markdown": "# Robots Exclusion Protocol\n\n...",
"truncated": false
}Valores acortados. rank es la posición en los resultados. Para una página que listaste, source es url, y query y rank son null.
Casos de uso
Que un agente lea la web
Una sola llamada devuelve las páginas, no solo enlaces, así el agente puede responder con lo que dicen.
Alimentar un pipeline de RAG
Solo el contenido principal: los menús, pies de página y banners de cookies quedan fuera; los títulos, listas, tablas y enlaces se mantienen.
Convertir URLs conocidas en markdown
Envía hasta 50 URLs en una ejecución y recibe cada página como markdown, sin ninguna búsqueda.
Entrada y salida
{
"query": "markdown table syntax",
"maxResults": 3
}O queries, hasta 20 consultas por ejecución, y urls, hasta 50 URLs por ejecución. maxResults son de 1 a 10 páginas por consulta (por defecto 5).
{
"source": "url",
"query": null,
"rank": null,
"url": "https://example.com/slow",
"title": null,
"error": "This page took longer than 10 s. Nothing was charged for it."
}Bloqueada por robots.txt, demasiado lenta, sin texto legible: el ítem dice el motivo.
Precio
US$0.005 por búsqueda,
US$0.004 por página
Pago por evento en Apify, sin suscripción: un evento de búsqueda por consulta que devolvió resultados y un evento de página por página entregada como markdown. Las páginas que fallan, están bloqueadas o no tienen texto legible no se cobran, y una ejecución nunca cobra más que el máximo que pones. Los agentes de IA pueden pagar cada ejecución por su cuenta, por solicitud, vía x402.
Cada búsqueda también ejecuta una vez apify/google-search-scraper de Apify en tu propia cuenta de Apify, que Apify cobra aparte a los precios de ese actor, incluso cuando no encuentra nada.
Límites
- Hasta 20 consultas y hasta 50 URLs por ejecución, de 1 a 10 páginas por consulta.
- Cada página tiene 10 segundos, como máximo 5 redirecciones y 3 MB; el markdown más largo se corta y se marca
truncated. - Sin crawling y sin JavaScript: las páginas que solo se muestran en un navegador pueden volver sin texto, y no se cobran.
- Respeta robots.txt para
FrameskimFetch.
Úsalo por API o desde Claude
curl -X POST "https://api.apify.com/v2/acts/emttn~web-search-markdown/run-sync-get-dataset-items" \
-H "Authorization: Bearer $APIFY_TOKEN" \
-H "Content-Type: application/json" \
-d '{"query": "markdown table syntax", "maxResults": 3}'{ "mcpServers": { "apify": {
"url": "https://mcp.apify.com/?actors=emttn/web-search-markdown"
} } }Después pide: "Busca en la web cómo funciona robots.txt y resume las primeras páginas."
Preguntas frecuentes
¿Qué se cobra y qué no?
Un evento search por consulta que devolvió resultados y un evento page por página entregada como markdown. Una consulta que falla o no encuentra nada, y toda página que falla, está bloqueada por su sitio o no tiene texto legible, no se cobra. Una consulta con al menos un resultado se cobra aunque ninguna de sus páginas pueda entregarse, y lo entregado sigue cobrado si la ejecución después se detiene o falla. La ejecución nunca cobra más que el máximo que pones.
¿Qué es la búsqueda que Apify cobra aparte?
Cada consulta ejecuta una vez el Google Search Results Scraper de Apify (apify/google-search-scraper), en tu propia cuenta de Apify, para una página de resultados. Apify te cobra esa ejecución aparte, a los precios de ese actor, también cuando la consulta no encuentra nada. La ejecución pide una página con todos los complementos de pago desactivados y limita su tiempo y su cargo. Apify no la cuenta en el máximo que pones para esta ejecución, así que esta ejecución descuenta de ese máximo lo que puede costar cada búsqueda antes de empezar la siguiente consulta. La ejecución de la búsqueda, su entrada y sus resultados quedan en tu cuenta como cualquier otra ejecución.
¿Cómo se leen las páginas?
Las páginas se descargan por HTTP con el user agent FrameskimFetch. No se ejecuta JavaScript, así que las páginas que solo se muestran en un navegador pueden volver sin texto, y no se cobran. Se respeta robots.txt para FrameskimFetch y para *. Cada página tiene 10 segundos, como máximo 5 redirecciones y 3 MB.
¿Cuáles son los límites?
Una página de resultados por consulta, así que como máximo 10 resultados por consulta; los resultados vienen de la edición de Google de Estados Unidos. No hay crawling: solo las páginas de resultados y las URLs que listas. La interfaz de búsqueda funciona en inglés; qué resultados vuelven depende del buscador.
¿Cómo puede un sitio dejar sus páginas fuera?
Prohíbe FrameskimFetch en tu robots.txt. Cada ejecución lee el robots.txt de un host una vez, así que una ejecución ya en curso puede no ver el cambio; las que empiezan después leen el archivo nuevo. Los titulares de derechos y las personas cuyos datos personales aparecen en una página también pueden escribir a [email protected]. Ni una regla de robots.txt ni una solicitud quitan páginas de los datasets que los usuarios ya tienen.