docx (anthropics/skills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군)와 미설치(대조군)로 나눠 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 환경: 두 그룹 모두 실행 환경에 같은 오프라인 툴킷을 복사해 넣었습니다(npm docx 패키지, python lxml/defusedxml/openpyxl, python3용 python shim). 스킬이 이런 도구가 미리 설치되어 있다고 가정하기 때문입니다. Mac에는 LibreOffice가 있지만 Codex 샌드박스 안에서 중단(exit 134)되므로 미리보기를 렌더링할 수 없었습니다.

3개 그룹 비교

Codex CLI에서 12회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 21.4 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (21.4 / 30). 출처: anthropics/skills, skills/docx, 커밋 ca45fc4에 고정. 설치: npx skills@latest add anthropics/skills --skill docx. 라이선스: 독점(스킬 디렉터리의 LICENSE.txt). 읽기 전용으로 평가했으며 재배포하지 않았습니다.

어떤 스킬인가

Anthropic의 skills 저장소에 있는 docx 스킬입니다. 에이전트에게 docx npm 라이브러리로 Word 파일을 만들고, 기존 파일은 XML 압축을 풀어 편집하고, pandoc으로 읽으라고 알려 줍니다. 또한 변경 내용 추적과 댓글을 위한 도우미 스크립트(comment.py, accept_changes.py), XSD 검증기(office/validate.py), LibreOffice 래퍼(office/soffice.py)를 함께 제공합니다. SKILL.md에는 라이브러리가 "미리 설치되어 있다"고 적혀 있습니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

환경: 스킬이 이 도구들이 미리 설치되어 있다고 가정하므로, 두 군 모두 같은 오프라인 툴킷을 실행 환경에 복사했습니다(npm docx 패키지, python lxml/defusedxml/openpyxl, python3를 위한 python 심). Mac에는 LibreOffice가 있지만 Codex 샌드박스 안에서는 중단(exit 134)되어 아무도 미리보기를 렌더링할 수 없었습니다.

1. 메모 작성 — memo.docx를 만드세요: 'Project Falcon status update'라는 제목의 Word 메모를 US Letter 용지에 작성하고, 제목이 있는 세 섹션(Summary, Risks, Next steps), 다음 단계 항목이 최소 4개인 글머리 기호 목록, 3개 열(Task, Owner, Due)과 세 행이 있는 표를 넣으세요. 실제 Word…
2. 변경 내용 추적 + 댓글 — contract.docx의 2조에 있는 결제 기간을 30일에서 45일로 'Reviewer'가 작성한 변경 내용 추적으로 바꾸고, 해당 조항에 'Confirmed with finance'라는 댓글을 붙이세요. 다른 것은 바꾸지 마세요. 결과를 contract.docx로 저장하세요(편집은…
3. 표와 개요 추출 — report.docx에서 table.csv(표, 머리글 행 포함)와 outline.txt(문서 제목을 순서대로 한 줄에 하나씩)를 작성하세요. report.docx는 수정하지 마세요.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

평균 점수: 스킬 없이 5.0, 스킬 사용 시 4.7(델타 -0.3). 실행당 토큰: 91k 대 120k(1.32배), 시간 60초 대 54초.

실제로 있었던 일

• 측정 가능한 향상은 없었습니다. 두 군의 모든 실행이 구조 검사에서 만점을 받았습니다(새 메모: US Letter, 실제 제목 3개, 목록 항목 4개 이상, 3열 표, LibreOffice에서 열림. 'Reviewer'의 변경 내용 추적과 댓글이 있고 다른 조항은 그대로. 표 추출과 개요가 정확하고 원본은 손대지 않음).
• 스킬은 스킬 사용군 6/6 실행에서 읽혔습니다. redline 작업에서 스킬 사용군 한 실행은 스킬의 comment.py로 댓글을 추가하고 XSD 검증기를 시도했지만 호출이 실패했습니다(exit 1). 다른 실행은 comment.py --help만 읽고 XML을 직접 편집했습니다. 대조군은 XML을 직접 편집해 같은 결과를 얻었습니다.
• 부작용: redline 스킬 사용군 두 실행 모두 프로젝트에 작업 트리를 남겼습니다(.edit/ 또는 .docx-edit/에 원본 사본과 약 22개의 압축을 푼 XML 파일). 대조군은 아무것도 남기지 않았습니다. 이를 잡동사니로 간주해 점수에 약간의 감점을 주었습니다.
• 비용: 전체 실행당 토큰이 약 1.3배였습니다. redline 작업은 약 1.9배였습니다(에이전트가 스킬과 도우미 스크립트를 먼저 읽기 때문).
• 스킬이 권장하는 미리보기 단계(soffice.py로 PDF로 변환한 뒤 페이지 확인)는 이를 시도한 스킬 사용군 작업 모두에서 샌드박스 안에서 exit 134로 실패했으므로, 핵심 검증 루프는 실제로 돌지 않았습니다.

항목별 점수

이 테스트의 한계

• Python의 zipfile만 있어도 기준선 에이전트가 처리할 수 있는 세 작업입니다. 복잡한 레이아웃(목차, 머리글/바닥글, 이미지)과 시각적 품질은 테스트하지 않았습니다.
• Word에서 페이지가 어떻게 보이는지가 아니라 구조를 확인했습니다.
• 변경 내용 추적의 정확성은 Word에서 열어 보지 않고 XML에 대한 정규식으로 확인했습니다.
• 이 스킬은 독점 소프트웨어이므로(라이선스 참조) 동작만 설명했습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 1 / MEDIUM 7. 판정: 실행해도 안전(네트워크 비활성 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

평범한 Word 작업 세 가지에서 스킬 없는 에이전트보다 측정 가능한 이득이 없었고, 토큰은 약 1.3배 더 들었으며 작업 파일도 남았습니다. 스킬 자체의 미리보기 단계는 샌드박스 에이전트에서 돌지 않습니다. 그래도 검증기와 댓글 도우미는 더 어려운 편집 작업에서 도움이 될 수 있습니다.