xlsx (anthropics/skills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군)와 미설치(대조군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 환경: 스킬이 그 환경을 전제로 하므로 두 그룹 모두 같은 오프라인 툴킷(python openpyxl/lxml/defusedxml, node docx, python3용 python shim)을 받았습니다. Mac에는 LibreOffice가 있지만 Codex 샌드박스 안에서는 프로필을 만들 수 없습니다.

3개 그룹 비교

Codex CLI에서 12회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 20.3 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (20.3 / 30). 출처: anthropics/skills, skills/xlsx, 커밋 ca45fc4에 고정. 설치: npx skills@latest add anthropics/skills --skill xlsx. 라이선스: 독점(스킬 디렉터리의 LICENSE.txt). 읽기 전용으로 평가했으며 재배포하지 않습니다.

어떤 스킬인가

Anthropic의 skills 저장소에 있는 xlsx 스킬은 openpyxl/pandas로 Excel 파일을 만들고 편집하며, 숫자를 붙여넣는 대신 수식을 살아 있게 유지하고, 금융 모델 색상 관례를 따르고, scripts/recalc.py(LibreOffice 헤드리스)를 실행해 수식을 계산하고 #REF! 같은 오류를 스캔합니다. SKILL.md는 도구가 미리 설치되어 있다고 말합니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군)와 설치하지 않은 경우(대조군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

환경: 스킬이 이를 전제로 하므로 두 군 모두 같은 오프라인 툴킷(python openpyxl/lxml/defusedxml, node docx, python3용 python 심)을 받았습니다. LibreOffice는 Mac에 있지만 Codex 샌드박스 안에서는 프로필을 만들 수 없습니다.

1. 예산 워크북 만들기 — 'Budget' 시트가 있는 budget.xlsx를 만드세요. 헤더 행은 Category, Q1, Q2, Q3, Q4, Total(굵게, Arial 폰트), 최소 5개의 지출 범주와 샘플 숫자, Total 열과 맨 아래 Total 행은 직접 입력한 값이 아니라 살아 있는 Excel 수식이어야 합니다.
2. 성장률 열 추가 — sales.xlsx의 Sales 시트 끝(F열)에 각 지역의 Q2 변화를 Q1 대비로 보여주는 'Growth %' 열을 살아 있는 수식으로 추가하세요. 기존 수식과 헤더 서식을 유지하세요. 파일을 제자리에서 편집하세요.
3. SUMIF가 있는 요약 시트 — orders.xlsx에 지역별(North, South, East, West) 총 Amount를 Orders 시트를 참조하는 살아 있는 수식으로 계산하는 'Summary' 시트를 추가하세요. Orders 시트는 변경하지 마세요. 파일을 제자리에서 편집하세요.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

평균 점수: 스킬 없이 4.8, 스킬 사용 시 4.55(델타 -0.25). 실행당 토큰: 83k 대 120k(1.44배), 시간 44초 대 63초.

실제로 있었던 일

• 결과는 거의 같았습니다. 대조군 4.8 대 스킬 사용 4.55(5점 만점, n=2, 노이즈 범위). 두 군 모두 올바른 살아 있는 수식(행·열 합계, 성장률 열, 지역별 SUMIF)을 만들었고, 저희가 직접 재계산했을 때 값도 정확했습니다.
• 스킬의 대표 기능은 실행되지 않았습니다. 스킬 사용 6회 중 5회에서 recalc.py를 시도했습니다. 일반 python 호출은 TypeError: ... 'ignore_cleanup_errors'로 죽었고(이 인자는 Python 3.10+가 필요하며 샌드박스 PATH가 해석하는 python3는 더 오래되었습니다), Homebrew Python으로 바꾼 뒤에는 샌드박스 안에서 'LibreOffice did not create a usable profile; formulas were NOT recalculated'와 함께 멈췄습니다.
• 그 사실을 알아내는 비용: 실행당 토큰 약 1.4배, 명령 10~18회 대 4~6회.
• 우회 시도의 부작용: 스킬 사용 실행 하나가 프로젝트에 워크북 사본이 담긴 .xlsx-tmp/ 폴더를 남겼습니다.
• 성장률 열 작업은 네 번의 실행 모두 같은 점수를 잃었습니다. 아무도 재계산을 실행할 수 없어 파일에 새 수식의 저장된 값이 없었습니다(재계산하지 않는 뷰어에서는 빈칸으로 보임). SUMIF 작업에서는 네 번 중 세 번이 저장된 값으로 끝났고(대조군 실행은 XML에 직접 값을 썼습니다), 스킬 사용 실행 하나는 값을 남기지 않았습니다.
• 스킬 사용 실행 하나에서는 예산 합계 행에 수식이 없었습니다(8개 검사 중 7개).

항목별 점수

이 테스트의 한계

• 작은 워크북 작업 세 개뿐. 서식 관례(파란 입력, 검은 수식), 숫자 형식, 다중 시트 금융 모델은 채점하지 않았습니다.
• 실패는 환경에서 비롯됩니다(오래된 시스템 Python, 샌드박스의 LibreOffice). recalc.py가 실행되는 머신에서는 결과가 다를 수 있습니다.
• 독점 라이선스: 동작만 설명했습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 비활성 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

Mac의 Codex 스타일 샌드박스에서는 스킬의 재계산 스크립트가 실행되지 않으므로 토큰을 약 1.4배 더 쓰고 스킬 없을 때보다 나은 워크북을 얻지 못합니다. 조언(살아 있는 수식, 재계산, 오류 스캔)은 타당하지만 도구에는 Python 3.10+와 샌드박스 밖 LibreOffice가 필요합니다.