Research Papers to Markdown (OpenAlex, open access)

Dê ao seu agente papers de pesquisa em markdown limpo

Q: O que é cobrado e o que não é?

Um evento paper por paper entregue com seus metadados, e mais um evento full-text por paper entregue com o texto completo em markdown. IDs não encontrados, papers que não podem ser lidos e textos completos que não podem ser lidos não são cobrados. Defina uma cobrança máxima por execução e ela para antes de um paper que a ultrapassaria.

Q: Como os PDFs são lidos?

Como o bot FrameskimFetch, pelo proxy de datacenter da Apify. O robots.txt é respeitado em cada requisição, e sites que pedem aos rastreadores que esperem entre requisições recebem um PDF por execução.

Q: Como um site ou um titular de direitos deixa seus papers de fora?

Bloqueie o FrameskimFetch com Disallow no seu robots.txt; isso também detém os outros actors do Frameskim que baixam páginas. Titulares de direitos também podem escrever para support@frameskim.dev. Nem uma regra de robots.txt nem um pedido removem texto dos datasets que os usuários já têm.

Research Papers to Markdown é uma API que devolve os metadados de um paper e, quando a licença permite, o texto completo em markdown, por $0.002 por paper mais $0.004 pelo texto completo. Busque papers por tema, ou consulte por DOI, ID do arXiv, ID do PubMed ou ID da OpenAlex, e receba um item por paper com título, autores, ano, veículo, citações e links e, quando a licença aberta permite, o resumo e o texto completo em markdown. Para revisões de literatura, agentes de pesquisa e RAG sobre papers de acesso aberto.

Execute na Apify Ver exemplo de API

US$0.002 por paper entregue, mais US$0.004 por cada texto completo. Papers que falham não são cobrados.

Um tema ou uma lista de IDs: cada paper, com o texto completo quando a licença permite.

Saída, um item por paper

{
  "id": "https://openalex.org/W4389519118",
  "doi": "https://doi.org/10.18653/v1/2023.emnlp-main.495",
  "title": "Active Retrieval Augmented Generation",
  "authors": ["Zhengbao Jiang", "Frank F. Xu", "Luyu Gao"],
  "year": 2023,
  "publicationDate": "2023-01-01",
  "venue": "Conference on Empirical Methods in Natural Language Processing (EMNLP)",
  "type": "conference-paper",
  "citedByCount": 497,
  "isOpenAccess": true,
  "oaStatus": "hybrid",
  "license": "cc-by",
  "landingPageUrl": "https://doi.org/10.18653/v1/2023.emnlp-main.495",
  "pdfUrl": "https://aclanthology.org/2023.emnlp-main.495.pdf",
  "ids": { "openalex": "https://openalex.org/W4389519118", "doi": "https://doi.org/10.18653/v1/2023.emnlp-main.495", "pmid": null, "pmcid": null, "arxiv": null },
  "abstract": "Despite the remarkable ability of large language models...",
  "fullText": "# Active Retrieval Augmented Generation\n\n...",
  "fullTextUrl": "https://aclanthology.org/2023.emnlp-main.495.pdf",
  "fullTextError": null,
  "truncated": false,
  "attribution": ""Active Retrieval Augmented Generation" by Zhengbao Jiang et al. (2023). License: CC BY. Metadata: OpenAlex (CC0)."
}

Valores encurtados. Um campo ausente é null. license é a licença da cópia aberta de onde vem o texto, como a OpenAlex informa. Sem uma licença aberta que permita a reutilização, abstract e fullText são null e fullTextError diz o motivo; o paper ainda é entregue com seus metadados.

Casos de uso

Revisão de literatura a partir do Claude ou do Cursor

Faça uma pergunta com suas palavras: o agente busca os papers, lê por inteiro os de licença aberta em sites que permitem e cita cada um com a atribuição que a licença pede.

RAG sobre papers de acesso aberto

Markdown limpo de papers com licença aberta, com a licença que a OpenAlex informa e o link da cópia aberta em cada item, pronto para dividir e indexar.

Metadados e citações de uma lista de DOI

Título, autores, ano, veículo, número de citações e IDs de cada paper em uma única execução, sem texto completo quando você só precisa do registro.

Entrada e saída

Entrada

{
  "query": "retrieval augmented generation",
  "maxResults": 5
}

query busca por tema, palavras do título ou autor, até 300 caracteres. No lugar dela, ids recebe DOIs, IDs do arXiv, PMIDs, PMCIDs ou IDs da OpenAlex e a busca não é feita.

Um ID que falhou

{
  "input": "10.1234/not-a-paper",
  "error": "No paper was found for this ID. Nothing was charged for it."
}

Um ID que não pôde ser entregue volta com o motivo e não é cobrado.

Preço

US$0.002 por paper,
US$0.004 a mais por cada texto completo

Pagamento por evento na Apify, sem assinatura: um evento paper por paper entregue com seus metadados e mais um evento full-text por paper entregue com o texto completo em markdown. IDs não encontrados, papers que não podem ser lidos e textos completos que não podem ser lidos não são cobrados, e uma execução nunca cobra mais que o máximo que você define.

Limites

Uma busca recebe uma query de até 300 caracteres e um maxResults de 1 a 100 (10 por padrão).
ids recebe de 1 a 100 IDs por execução; um ID repetido é lido uma vez.
PDFs de até 5 MB, 15 s por tentativa de download e 30 s para converter cada um; 3 papers por vez. Um download que fica sem tempo, não conecta ou recebe um erro do servidor é tentado mais uma vez, exceto nos sites que pedem uma pausa entre downloads; se também falhar, o paper volta sem o texto e o texto não é cobrado.
Respeita o robots.txt para o FrameskimFetch; PDFs escaneados (só imagens) não são lidos.

Use pela API ou pelo Claude

API

curl -X POST "https://api.apify.com/v2/acts/emttn~research-papers-markdown/run-sync-get-dataset-items" \
  -H "Authorization: Bearer $APIFY_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"query": "retrieval augmented generation", "maxResults": 5}'

MCP

{ "mcpServers": { "apify": {
  "url": "https://mcp.apify.com/?actors=emttn/research-papers-markdown"
} } }

Depois pergunte: "Busque papers de acesso aberto sobre retrieval augmented generation e resuma os três mais citados."

Perguntas frequentes

O que é cobrado e o que não é?

Um evento paper por paper entregue com seus metadados, e mais um evento full-text por paper entregue com o texto completo em markdown. IDs não encontrados, papers que não podem ser lidos e textos completos que não podem ser lidos não são cobrados. Defina uma cobrança máxima por execução e ela para antes de um paper que a ultrapassaria.

Quais papers vêm com texto completo?

Só os papers com licença aberta que permite a reutilização: CC BY, CC BY-SA, CC BY-ND, CC0 ou domínio público. O texto é lido do PDF da cópia aberta, e só em sites cujos termos permitem downloads automáticos, como ACL Anthology, PLOS, eLife e Zenodo. Em qualquer outro site, arXiv e PubMed Central incluídos, você recebe o link em fullTextUrl e o motivo em fullTextError, e o paper ainda é entregue com seus metadados. PDFs escaneados (só imagens) não são lidos.

De onde vêm os metadados?

Da OpenAlex (CC0), que cobre registros do Crossref, do PubMed e do arXiv. A license de cada item é a que a OpenAlex informa para a cópia aberta e pode estar errada, então confira na página do próprio paper antes de reutilizar o texto. Cada item traz a atribuição que essa licença pede.

Como os PDFs são lidos?

Como o bot FrameskimFetch, pelo proxy de datacenter da Apify. O robots.txt é respeitado em cada requisição, e sites que pedem aos rastreadores que esperem entre requisições recebem um PDF por execução.

Como um site ou um titular de direitos deixa seus papers de fora?

Bloqueie o FrameskimFetch com Disallow no seu robots.txt; isso também detém os outros actors do Frameskim que baixam páginas. Titulares de direitos também podem escrever para [email protected]. Nem uma regra de robots.txt nem um pedido removem texto dos datasets que os usuários já têm.