Research Papers to Markdown (OpenAlex, open access)

Dale a tu agente papers de investigación en markdown limpio

Q: ¿Qué se cobra y qué no?

Un evento paper por cada paper entregado con sus metadatos, y un evento full-text más por cada paper entregado con su texto completo en markdown. Los IDs que no se encuentran, los papers que no se pueden leer y los textos completos que no se pueden leer no se cobran. Fija un cargo máximo por ejecución y se detiene antes de un paper que lo pasaría.

Q: ¿Cómo se leen los PDF?

Como el bot FrameskimFetch, a través del proxy de datacenter de Apify. Se respeta robots.txt en cada solicitud, y los sitios que piden a los rastreadores esperar entre solicitudes reciben un PDF por ejecución.

Q: ¿Cómo puede un sitio o un titular de derechos dejar sus papers afuera?

Bloquea FrameskimFetch con Disallow en tu robots.txt; eso también detiene a los otros actores de Frameskim que descargan páginas. Los titulares de derechos también pueden escribir a support@frameskim.dev. Ni una regla de robots.txt ni una solicitud quitan texto de los datasets que los usuarios ya tienen.

Research Papers to Markdown es una API que devuelve los metadatos de un paper y, cuando su licencia lo permite, su texto completo en markdown, por $0.002 por paper más $0.004 por el texto completo. Busca papers por tema, o consúltalos por DOI, ID de arXiv, ID de PubMed o ID de OpenAlex, y recibe un ítem por paper con su título, autores, año, medio, citas y enlaces y, cuando su licencia abierta lo permite, el resumen y el texto completo en markdown. Para revisiones de literatura, agentes de investigación y RAG sobre papers de acceso abierto.

Ejecútalo en Apify Ver ejemplo de API

US$0.002 por paper entregado, más US$0.004 por cada texto completo. Los papers que fallan no se cobran.

Un tema o una lista de IDs: cada paper, con su texto completo cuando la licencia lo permite.

Salida, un ítem por paper

{
  "id": "https://openalex.org/W4389519118",
  "doi": "https://doi.org/10.18653/v1/2023.emnlp-main.495",
  "title": "Active Retrieval Augmented Generation",
  "authors": ["Zhengbao Jiang", "Frank F. Xu", "Luyu Gao"],
  "year": 2023,
  "publicationDate": "2023-01-01",
  "venue": "Conference on Empirical Methods in Natural Language Processing (EMNLP)",
  "type": "conference-paper",
  "citedByCount": 497,
  "isOpenAccess": true,
  "oaStatus": "hybrid",
  "license": "cc-by",
  "landingPageUrl": "https://doi.org/10.18653/v1/2023.emnlp-main.495",
  "pdfUrl": "https://aclanthology.org/2023.emnlp-main.495.pdf",
  "ids": { "openalex": "https://openalex.org/W4389519118", "doi": "https://doi.org/10.18653/v1/2023.emnlp-main.495", "pmid": null, "pmcid": null, "arxiv": null },
  "abstract": "Despite the remarkable ability of large language models...",
  "fullText": "# Active Retrieval Augmented Generation\n\n...",
  "fullTextUrl": "https://aclanthology.org/2023.emnlp-main.495.pdf",
  "fullTextError": null,
  "truncated": false,
  "attribution": ""Active Retrieval Augmented Generation" by Zhengbao Jiang et al. (2023). License: CC BY. Metadata: OpenAlex (CC0)."
}

Valores acortados. Un campo que falta es null. license es la licencia de la copia abierta de la que sale el texto, como la informa OpenAlex. Sin una licencia abierta que permita la reutilización, abstract y fullText son null y fullTextError dice por qué; el paper igual se entrega con sus metadatos.

Casos de uso

Revisión de literatura desde Claude o Cursor

Haz una pregunta con tus palabras: el agente busca los papers, lee completos los de licencia abierta en sitios que lo permiten y cita cada uno con la atribución que pide su licencia.

RAG sobre papers de acceso abierto

Markdown limpio de papers con licencia abierta, con la licencia que informa OpenAlex y el enlace a la copia abierta en cada ítem, listo para dividir e indexar.

Metadatos y citas de una lista de DOI

Título, autores, año, medio, cantidad de citas e IDs de cada paper en una sola ejecución, sin texto completo cuando solo necesitas el registro.

Entrada y salida

Entrada

{
  "query": "retrieval augmented generation",
  "maxResults": 5
}

query busca por tema, palabras del título o autor, hasta 300 caracteres. En su lugar, ids recibe DOI, IDs de arXiv, PMID, PMCID o IDs de OpenAlex y no se hace la búsqueda.

Un ID que falló

{
  "input": "10.1234/not-a-paper",
  "error": "No paper was found for this ID. Nothing was charged for it."
}

Un ID que no se pudo entregar vuelve con el motivo y no se cobra.

Precio

US$0.002 por paper,
US$0.004 más por cada texto completo

Pago por evento en Apify, sin suscripción: un evento paper por cada paper entregado con sus metadatos y un evento full-text más por cada paper entregado con su texto completo en markdown. Los IDs que no se encuentran, los papers que no se pueden leer y los textos completos que no se pueden leer no se cobran, y una ejecución nunca cobra más que el máximo que fijas.

Límites

Una búsqueda recibe una query de hasta 300 caracteres y un maxResults de 1 a 100 (10 por defecto).
ids recibe de 1 a 100 IDs por ejecución; un ID repetido se lee una vez.
PDF de hasta 5 MB, 15 s por intento de descarga y 30 s para convertir cada uno; 3 papers a la vez. Una descarga que se queda sin tiempo, no conecta o recibe un error del servidor se intenta una vez más, salvo en los sitios que piden una pausa entre descargas; si también falla, el paper sale sin su texto y el texto no se cobra.
Respeta robots.txt para FrameskimFetch; los PDF escaneados (solo imágenes) no se leen.

Úsalo por API o desde Claude

API

curl -X POST "https://api.apify.com/v2/acts/emttn~research-papers-markdown/run-sync-get-dataset-items" \
  -H "Authorization: Bearer $APIFY_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"query": "retrieval augmented generation", "maxResults": 5}'

MCP

{ "mcpServers": { "apify": {
  "url": "https://mcp.apify.com/?actors=emttn/research-papers-markdown"
} } }

Luego pregunta: "Busca papers de acceso abierto sobre retrieval augmented generation y resume los tres más citados."

Preguntas frecuentes

¿Qué se cobra y qué no?

Un evento paper por cada paper entregado con sus metadatos, y un evento full-text más por cada paper entregado con su texto completo en markdown. Los IDs que no se encuentran, los papers que no se pueden leer y los textos completos que no se pueden leer no se cobran. Fija un cargo máximo por ejecución y se detiene antes de un paper que lo pasaría.

¿Qué papers traen texto completo?

Solo los papers con una licencia abierta que permite la reutilización: CC BY, CC BY-SA, CC BY-ND, CC0 o dominio público. El texto se lee del PDF de la copia abierta, y solo en sitios cuyos términos permiten las descargas automáticas, como ACL Anthology, PLOS, eLife y Zenodo. En cualquier otro sitio, arXiv y PubMed Central incluidos, recibes el enlace en fullTextUrl y el motivo en fullTextError, y el paper igual se entrega con sus metadatos. Los PDF escaneados (solo imágenes) no se leen.

¿De dónde salen los metadatos?

De OpenAlex (CC0), que cubre registros de Crossref, PubMed y arXiv. La license de cada ítem es la que OpenAlex informa para la copia abierta y puede estar mal, así que verifícala en la página del propio paper antes de reutilizar el texto. Cada ítem trae la atribución que esa licencia pide.

¿Cómo se leen los PDF?

Como el bot FrameskimFetch, a través del proxy de datacenter de Apify. Se respeta robots.txt en cada solicitud, y los sitios que piden a los rastreadores esperar entre solicitudes reciben un PDF por ejecución.

¿Cómo puede un sitio o un titular de derechos dejar sus papers afuera?

Bloquea FrameskimFetch con Disallow en tu robots.txt; eso también detiene a los otros actores de Frameskim que descargan páginas. Los titulares de derechos también pueden escribir a [email protected]. Ni una regla de robots.txt ni una solicitud quitan texto de los datasets que los usuarios ya tienen.