pdf (Anthropic)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo), um projeto temporário novo a cada execução, skill instalada ou ausente, duas execuções por grupo, rede desligada. As entradas eram PDFs gerados por nós, o que nos permitiu verificar os resultados com código. Os prompts nunca mencionaram a skill.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 20.6 / 30, veredito Situacional.

Veredito: Situacional (20.3 / 30). Fonte: anthropics/skills, skills/pdf, fixada no commit ca45fc4. Instalação: npx skills@latest add anthropics/skills --skill pdf. Licença: proprietária (o uso é regido pelo seu contrato com a Anthropic; não é código aberto).

O que é

Um guia para trabalho com PDF: ler e extrair texto e tabelas, mesclar, dividir, girar, aplicar marca d'água, criar novos PDFs, preencher formulários, criptografar, extrair imagens, fazer OCR em páginas digitalizadas. SKILL.md cobre o básico com trechos Python (pypdf, pdfplumber, reportlab) e ferramentas de linha de comando (pdftotext, qpdf). Mais dois arquivos (forms.md, reference.md) e oito scripts auxiliares cuidam de formulários e caixas delimitadoras.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo), um projeto temporário novo por execução, skill instalada ou ausente, duas execuções por grupo, rede desativada. As entradas eram PDFs que geramos, então podíamos verificar os resultados com código:

1. Extração de tabela. Extraia uma tabela de 12 linhas que ocupa duas páginas (cabeçalho repetido na segunda página) para sales.csv e informe a receita total.
2. Mesclar, girar, dividir. Combine dois PDFs, gire apenas a última página em 90 graus, salve a página um como cover.pdf, deixe os originais intactos.
3. Preencher um formulário. Defina três campos e marque uma caixa de seleção em um PDF preenchível, mantenha os campos editáveis.

Os prompts nunca mencionaram a skill.

O que aconteceu

Ela é acionada de forma confiável. O agente leu SKILL.md nas seis execuções com a skill, sem estímulo.

Não fez diferença no resultado. A tarefa 1 (2 de 2 verificações) e a tarefa 2 (6 de 6) passaram nas quatro execuções de cada tarefa, com e sem a skill. A tarefa 3 falhou uma vez em cada grupo, então os dois grupos passaram em 5 de 6 execuções no total.

As duas falhas foram iguais, e os dois agentes disseram que tinham conseguido. A caixa de seleção foi salva com o valor de texto Yes enquanto seu estado visual permanecia /Off. Um visualizador de PDF a mostra desmarcada, e as mensagens finais dessas duas execuções diziam que a caixa estava marcada. Uma falha foi uma execução de controle, a outra uma execução com a skill. O agente com a skill tinha lido FORMS.md, que manda inspecionar os tipos de campo e usar o checked_value de cada caixa, mas nunca chegou tão longe (próximo parágrafo), então a skill não evitou o erro.

Os scripts não rodaram como documentado. FORMS.md diz para rodar python scripts/check_fillable_fields .... O macOS não tem python, só python3, e o ambiente padrão não tem pypdf. As duas execuções com a skill então divergiram. Uma procurou no disco, encontrou pypdf dentro do cache uv do usuário, rodou os próprios scripts da skill via PYTHONPATH e preencheu o formulário corretamente. A outra tentou pip install (falhou offline), depois escreveu um programa Swift/PDFKit e errou a caixa de seleção. As execuções de controle improvisaram das mesmas formas (Swift em uma, pypdf na outra). Então as ferramentas da skill só ajudaram na única execução que conseguiu pegar uma biblioteca emprestada de fora do diretório do projeto.

Dobra o custo. As execuções com a skill tiveram média de 228,000 tokens contra 116,000 sem (1.98x) e levaram 72 segundos contra 46. O agente lê a skill, depois forms.md, depois tenta os scripts primeiro. Na tarefa de formulário, a execução com a skill que deu certo precisou de 35 comandos e 434,000 tokens; as execuções de controle precisaram de 16 comandos e cerca de 185,000.

Notas de portabilidade

• SKILL.md se refere a FORMS.md e REFERENCE.md, mas os arquivos são forms.md e reference.md. Isso funcionou nas nossas execuções porque sistemas de arquivos do macOS ignoram maiúsculas; no Linux esses links quebrariam.
• Ela assume que python e várias bibliotecas Python estão instaladas. Uma máquina limpa normalmente não tem nem uma coisa nem outra.
• O guia menciona pip install pytesseract pdf2image para OCR, o que exige acesso à rede.

Análise de segurança

Rodamos o scanner e depois lemos SKILL.md, forms.md, reference.md e os oito scripts. Os scripts importam apenas módulos da biblioteca padrão mais pypdf, pdfplumber, pdf2image e PIL; eles leem um arquivo de entrada e escrevem arquivos locais. Sem chamadas de subprocesso, sockets, leitura de ambiente, eval ou downloads. Sem instruções para esconder nada ou tocar em credenciais. O achado que vale destacar é a licença: ela é proprietária, então o site não deveria rotulá-la como código aberto. Veja security.md.

Notas

Quem deve usar

Agentes modernos já mesclam, giram, dividem e extraem tabelas de PDFs limpos sem ajuda, como nosso grupo de controle mostrou, então para essas tarefas a skill adiciona principalmente tokens. Ela pode se pagar em casos mais difíceis que não testamos: documentos digitalizados e OCR, arquivos protegidos por senha, formulários sem campos preenchíveis (o fluxo de caixas delimitadoras) ou um ambiente onde as bibliotecas auxiliares estão instaladas para que os scripts funcionem. Se você instalá-la, garanta que python e pypdf existam antes, ou a orientação não vai rodar como escrita.

Limitações deste teste

Duas execuções por grupo, três tarefas, um modelo com esforço de raciocínio baixo, sandbox offline sem bibliotecas Python de PDF no ambiente padrão. As execuções compartilharam a pasta temporária do sistema, e uma execução com a skill reutilizou um ambiente virtual que outra execução criou ali, então o isolamento entre execuções não foi perfeito. Uma máquina totalmente equipada poderia mudar o resultado a favor da skill. O tier do Codex vale para Codex e Claude Code sob a regra do site.

Atualização (2 de novembro de 2026): grupo de uma frase adicionado

Terceiro grupo: sem skill, com uma frase ("Use ferramental adequado para PDF: extraia tabelas por página com as linhas de cabeçalho intactas, mescle/gire/divida páginas sem perder conteúdo, preencha campos de formulário reais por nome e mantenha o arquivo original inalterado, depois verifique a saída reabrindo-a."). 6 execuções, verificações baseadas em regras, rodadas em uma máquina Windows com um conjunto vendorizado de pypdf/pdfplumber disponível offline.

Todas as seis execuções de uma frase passaram em todas as verificações, incluindo o preenchimento do formulário com caixa de seleção que falhou uma vez no controle e uma vez no grupo com a skill. A skill custou 3.3x os tokens da frase. Ressalva: as execuções de uma frase rodaram em uma máquina diferente (Windows) dos dois primeiros grupos (macOS) e tinham as bibliotecas de PDF disponíveis, o que as execuções no Mac não tinham, então essa comparação está confundida pelo ambiente. Ainda assim, sugere que o custo extra de 2x em tokens da skill não compra nada nessas três tarefas.