xlsx (anthropics/skills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (grupo de controle), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Ambiente: os dois grupos receberam o mesmo kit offline (python openpyxl/lxml/defusedxml, node docx, um shim de python para python3), porque a skill assume isso. O LibreOffice está no Mac, mas não consegue criar um perfil dentro do sandbox do Codex.

Comparação entre os braços

Medido com Codex CLI em 12 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 20.3 / 30, veredito Situacional.

Veredito: Situacional (20.3 / 30). Fonte: anthropics/skills, skills/xlsx, fixada no commit ca45fc4. Instalação: npx skills@latest add anthropics/skills --skill xlsx. Licença: Proprietária (LICENSE.txt no diretório da skill): avaliada somente para leitura, não redistribuída.

O que é

A skill xlsx, do repositório de skills da Anthropic, usa openpyxl/pandas para construir e editar arquivos Excel, mantém as fórmulas vivas em vez de colar números, segue convenções de cor de modelos financeiros e roda scripts/recalc.py (LibreOffice headless) para calcular fórmulas e procurar erros como #REF!. O SKILL.md diz que as ferramentas estão pré-instaladas.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (controle), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Ambiente: os dois grupos receberam o mesmo kit offline (python openpyxl/lxml/defusedxml, node docx, um shim python para python3), porque a skill assume isso. O LibreOffice está no Mac, mas não consegue criar um perfil dentro do sandbox do Codex.

1. Criar uma pasta de trabalho de orçamento — Crie budget.xlsx com uma planilha chamada 'Budget': linha de cabeçalho Categoria, Q1, Q2, Q3, Q4, Total (negrito, fonte Arial); pelo menos cinco categorias de despesa com números de exemplo; a coluna Total e uma linha Total na parte de baixo devem ser fórmulas vivas do Excel, não valores digitados.
2. Adicionar uma coluna de crescimento — Em sales.xlsx, adicione uma coluna 'Crescimento %' ao final da planilha Sales (coluna F) mostrando a variação do Q2 em relação ao Q1 de cada região como uma fórmula viva. Mantenha as fórmulas e a formatação do cabeçalho existentes. Edite o arquivo no local.
3. Planilha de resumo com SUMIF — Em orders.xlsx, adicione uma planilha 'Summary' com o Amount total por região (North, South, East, West) como fórmulas vivas que referenciam a planilha Orders. Não altere a planilha Orders. Edite o arquivo no local.

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), 0–5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.

Resultados

Pontuação média: 4.8 sem a skill vs 4.55 com ela (delta -0.25). Tokens por execução: 83k vs 120k (1.44x); tempo 44s vs 63s.

O que aconteceu

• O resultado foi praticamente o mesmo: controle 4.8 vs tratamento 4.55 de 5 (n=2, dentro do ruído). Os dois grupos construíram fórmulas vivas corretas (totais de linha e coluna, coluna de crescimento, SUMIF por região) com valores recalculados corretos quando nós mesmos recalculamos.
• O principal recurso da skill não rodou. Em 5 das 6 execuções com a skill, recalc.py foi tentado: a chamada simples de python travou com TypeError: ... 'ignore_cleanup_errors' (esse argumento exige Python 3.10+; o python3 que o PATH do sandbox resolve é mais antigo), e depois de trocar para o Python do Homebrew ele parou com "LibreOffice did not create a usable profile; formulas were NOT recalculated" dentro do sandbox.
• O custo de descobrir isso: cerca de 1.4x os tokens por execução e mais comandos (10-18 vs 4-6).
• Um efeito colateral das tentativas de contorno: uma execução com a skill deixou uma pasta .xlsx-tmp/ com uma cópia da pasta de trabalho no projeto.
• A tarefa da coluna de crescimento perdeu o mesmo ponto nas quatro execuções: o arquivo não tinha valores armazenados para as novas fórmulas (um visualizador que não recalcula mostraria vazios), porque ninguém conseguiu rodar um recálculo. Na tarefa SUMIF, três das quatro execuções terminaram com valores armazenados (as execuções de controle os escreveram no XML por conta própria); uma execução com a skill não deixou nenhum.
• Em uma execução com a skill, a linha de total do orçamento não tinha fórmulas (7 de 8 verificações).

Pontuações por dimensão

Limites deste teste

• Apenas três tarefas pequenas de pasta de trabalho; convenções de formatação (entradas em azul, fórmulas em preto), formatos numéricos e modelos financeiros com várias planilhas não foram pontuados.
• As falhas são causadas pelo ambiente (Python de sistema antigo, LibreOffice em um sandbox). Em uma máquina onde recalc.py roda, o resultado pode ser diferente.
• Licença proprietária: apenas o comportamento foi descrito.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Um scan limpo não prova que uma skill é segura.

Conclusão

Em um sandbox no estilo do Codex em um Mac, o script de recálculo da skill não roda, então você paga cerca de 1.4x os tokens e não obtém planilhas melhores do que sem ela. O conselho dela (fórmulas vivas, recálculo, varredura de erros) é sólido, mas as ferramentas exigem Python 3.10+ e um LibreOffice fora do sandbox.