docx (anthropics/skills)

レビュー

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。環境：両群とも同じオフラインのツールキット（npm の docx パッケージ、Python の lxml/defusedxml/openpyxl、python3 用の Python シム）を実行環境にコピーしました。スキルがこれらを事前インストール済みと想定しているためです。LibreOffice は Mac にありますが、Codex サンドボックス内では異常終了（exit 134）するため、誰もプレビューをレンダリングできませんでした。

3群の比較

Codex CLI で 12 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 21.4 / 30、判定は 状況次第。

判定：状況次第（21.4 / 30）。 出典：anthropics/skills、skills/docx、コミット ca45fc4 時点。インストール：npx skills@latest add anthropics/skills --skill docx。ライセンス： プロプライエタリ（スキルディレクトリ内の LICENSE.txt）。読み取り専用で評価し、再配布はしていません。

概要

Anthropic の skills リポジトリにある docx スキル。docx npm ライブラリで Word ファイルを作成し、既存ファイルは XML を展開して編集し、pandoc で読み取るようエージェントに指示します。また、変更履歴とコメント用のヘルパースクリプト（comment.py、accept_changes.py）、XSD バリデーター（office/validate.py）、LibreOffice ラッパー（office/soffice.py）を同梱しています。SKILL.md にはライブラリが「プレインストール済み」と書かれています。

テスト方法

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

環境：両群とも同じオフラインのツールキットが実行環境にコピーされました（npm の docx パッケージ、Python の lxml／defusedxml／openpyxl、python3 用の python シム）。スキルがこれらをプレインストール済みと想定しているためです。LibreOffice は Mac にありますが、Codex サンドボックス内では中断する（exit 134）ため、誰もプレビューをレンダリングできませんでした。

1. メモを作成する — memo.docx を作成してください：'Project Falcon status update' と題した Word のメモ。US Letter 用紙で、見出し付きの 3 セクション（Summary、Risks、Next steps）、少なくとも 4 項目の箇条書き（次のステップ）、3 列の表（Task、Owner、Due）を 3 行で。実際の Word…
2. 変更履歴 + コメント — contract.docx の第 2 条にある支払い条件を 30 日から 45 日に変更してください。'Reviewer' が作成者となる変更履歴として記録し、その条項に 'Confirmed with finance' というコメントを付けてください。それ以外は何も変更しないでください。結果を contract.docx として保存してください（編集は…
3. 表とアウトラインを抽出する — report.docx から table.csv（ヘッダー行を含む表）と outline.txt（文書の見出しを順番に 1 行ずつ）を書いてください。report.docx は変更しないでください。

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

平均スコア：スキルなし 5.0 対 スキルあり 4.7（差分 -0.3）。1 実行あたりのトークン：91k 対 120k（1.32 倍）、時間 60 秒 対 54 秒。

何が起きたか

• 測定できるリフトはなし。両群の全実行が構造チェックで満点を取っています（新規メモ：US Letter、実際の見出し 3 つ、箇条書き 4 項目以上、3 列の表、LibreOffice で開ける。'Reviewer' による変更履歴とコメント、他の条項は無変更。表の抽出とアウトラインは正確。元ファイルは無変更）。
• スキルはスキルあり群 6/6 実行で読み込まれました。redline タスクでは、スキルあり群の 1 実行がスキルの comment.py を使ってコメントを追加し、XSD バリデーターを試しました（呼び出しは失敗、exit 1）。もう 1 実行は comment.py --help を読んだだけで XML を直接編集しました。対照群は XML を直接編集して同じ結果を得ています。
• 副作用：スキルあり群の redline 2 実行は、いずれも作業ツリーをプロジェクト内に残しました（.edit/ または .docx-edit/ に元のコピーと約 22 個の展開された XML ファイル）。対照群は何も残しません。これは雑然とした残骸として数えました（スコアでわずかに減点）。
• コスト：全体で 1 実行あたり約 1.3 倍のトークン。redline タスクは約 1.9 倍（エージェントが先にスキルとヘルパースクリプトを読むため）。
• スキルが推奨するプレビュー手順（soffice.py で PDF に変換してページを確認する）は、試した両方のスキルありタスクでサンドボックス内で exit 134 で失敗したため、主要な検証ループは実際には動きませんでした。

次元別スコア

このテストの限界

• ベースラインのエージェントが Python の zipfile でもうできる 3 つのタスク。複雑なレイアウト（目次、ヘッダー／フッター、画像）と視覚品質はテストしていません。
• 確認したのは構造で、Word での見た目ではありません。
• 変更履歴の正しさは Word で開かず、XML への正規表現で確認しました。
• スキルはプロプライエタリ（ライセンス参照）のため、動作のみを記述しています。
• タスク・群ごとに n=2。1 ポイント未満の差はノイズです。
• ルールベースの採点はチェックで見えるものだけを測ります。センスや、その結果が可能な限り最良かどうかは判定できません。

セキュリティ

security.md を参照。スキャン：0 CRITICAL / 1 HIGH / 7 MEDIUM。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

まとめ

3 つの一般的な Word タスクでは、補助なしのエージェントに対する測定できる利点はなく、トークンは約 1.3 倍で作業ファイルも残ります。スキル自身のプレビュー手順はサンドボックス化されたエージェントでは動きません。バリデーターとコメントヘルパーは、より難しい編集作業では役立つ可能性があります。