xlsx (anthropics/skills)

レビュー

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。環境：両群とも同じオフラインツールキット（python openpyxl/lxml/defusedxml、node docx、python3 用の python シム）を受け取りました。スキルがそれを前提としているためです。LibreOffice は Mac にありますが、Codex サンドボックス内ではプロファイルを作成できません。

3群の比較

Codex CLI で 12 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 20.3 / 30、判定は 状況次第。

判定：状況次第（20.3 / 30）。 ソース：anthropics/skills、skills/xlsx、コミット ca45fc4 に固定。インストール：npx skills@latest add anthropics/skills --skill xlsx。ライセンス： プロプライエタリ（スキルディレクトリ内の LICENSE.txt）。読み取り専用で評価し、再配布していません。

概要

Anthropic のスキルリポジトリの xlsx スキルは、openpyxl/pandas を使って Excel ファイルを作成・編集し、数値を貼り付けるのではなく数式をライブのまま保ち、財務モデルの色の慣習に従い、scripts/recalc.py（LibreOffice ヘッドレス）を実行して数式を計算し #REF! などのエラーをスキャンします。SKILL.md はツールがプリインストール済みと述べています。

テスト方法

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

環境：両群に同じオフラインのツールキット（python の openpyxl/lxml/defusedxml、node の docx、python3 用の python シム）を与えました。スキルがそれを前提としているためです。LibreOffice は Mac にありますが、Codex サンドボックス内でプロファイルを作成できません。

1. 予算ワークブックの作成 — 'Budget' というシート名の budget.xlsx を作成してください：ヘッダー行は Category、Q1、Q2、Q3、Q4、Total（太字、Arial フォント）。サンプルの数値を持つ経費カテゴリを 5 つ以上。Total 列と最下部の Total 行は、入力値ではなくライブの Excel 数式にしてください。
2. 成長率列の追加 — sales.xlsx の Sales シートの末尾（F 列）に 'Growth %' 列を追加し、各地域の Q1 に対する Q2 の変化をライブの数式で示してください。既存の数式とヘッダーの書式は維持してください。ファイルをその場で編集してください。
3. SUMIF によるサマリーシート — orders.xlsx に 'Summary' シートを追加し、地域ごと（North、South、East、West）の Amount の合計を、Orders シートを参照するライブの数式で示してください。Orders シートは変更しないでください。ファイルをその場で編集してください。

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

平均スコア：スキルなし 4.8 に対しスキルあり 4.55（差 -0.25）。1実行あたりのトークン：83k に対し 120k（1.44 倍）。所要時間 44 秒に対し 63 秒。

何が起きたか

• 結果はほぼ同じでした：5 点中 対照群 4.8 に対しスキルあり 4.55（n=2、ノイズの範囲内）。両群とも正しいライブの数式（行と列の合計、成長率列、地域ごとの SUMIF）を構築し、こちらで再計算すると正しい再計算値になりました。
• スキルの目玉機能は動作しませんでした。6 つのスキルあり群の実行のうち 5 つで recalc.py が試されました：素の python 呼び出しは TypeError: ... 'ignore_cleanup_errors' でクラッシュしました（この引数には Python 3.10 以上が必要で、サンドボックスの PATH が解決する python3 はそれより古い）。Homebrew Python に切り替えると、サンドボックス内で「LibreOffice が使用可能なプロファイルを作成しなかった。数式は再計算されなかった」というところで停止しました。
• それを突き止めるコストは、1実行あたり約 1.4 倍のトークンと、より多くのコマンド（10〜18 に対し 4〜6）でした。
• 回避策の試行による副作用：スキルあり群の 1 実行が、ワークブックのコピーを含む .xlsx-tmp/ フォルダをプロジェクトに残しました。
• 成長率列のタスクは、4 実行すべてで同じ 1 点を失いました：新しい数式の保存値がファイルにありませんでした（再計算しないビューアでは空白が表示される）。誰も再計算を実行できなかったためです。SUMIF タスクでは、4 実行中 3 実行が保存値付きで終わりました（対照群の実行は自ら XML に書き込んだ）。スキルあり群の 1 実行は保存値を残しませんでした。
• スキルあり群の 1 実行では、予算の合計行に数式がありませんでした（8 チェック中 7）。

ディメンション別スコア

本テストの限界

• 小さなワークブックのタスク 3 つだけです。書式の慣習（青の入力、黒の数式）、数値の書式、複数シートの財務モデルは採点していません。
• 失敗は環境に起因します（古いシステム Python、サンドボックス内の LibreOffice）。recalc.py が実行できるマシンでは結果が異なる可能性があります。
• プロプライエタリライセンス：振る舞いのみを説明しています。
• タスク・群ごとに n=2。1 ポイント未満の差はノイズです。
• ルールベースの採点はチェックが検出できるものだけを測ります。センスや、結果が最善かどうかは判定できません。

セキュリティ

security.md を参照。スキャン：CRITICAL 0 / HIGH 0 / MEDIUM 0。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

結論

Mac 上の Codex 形式のサンドボックスでは、スキルの再計算スクリプトは動作しません。そのため約 1.4 倍のトークンを支払っても、スキルなしと比べて良いワークブックは得られません。その助言（ライブの数式、再計算、エラースキャン）は妥当ですが、ツールには Python 3.10 以上と、サンドボックス外の LibreOffice が必要です。