Agent Skills

すべてのスキル

caveman-commit (JuliusBrussee/caveman)

Conventional Commits に沿って、意図と理由だけを残した簡潔なコミットメッセージを書きます。

caveman-commit：breaking-change フッター付きの Conventional Commits メッセージを書きます（対照群 4.0、スキルあり 5.0、一文プロンプト 4.95）。トークンはほぼ同じです。対照群は平文の一文を書きますが、フォーマットの一文プロンプトでも同様に書けます。

状況次第安全

Codex CLI · gpt-6-astra

26.0 / 30

スキルなしに対するリフト：+0.98 · 状況次第 · 18 実行

状況次第：リフト +0.98 が +1.0 未満。推奨には合計 22/30、出力品質 3.5、リフト +1.0 が必要です。

SOTA

合格

Codex でテスト済み。

カバー対象 Codex, Claude Code

Codex CLI 0.166（SOTA ティア）：採点対象 18 実行。当ティアのルールでは、ここでの合格は Claude Code もカバーします。第2ティアについては何も述べません。

スコア

各ディメンションは 0〜5 点で、6 つの合計が 30 点満点の合計スコアになります。すべてのディメンションで 5 が最良です。コスト 5 は低コストで高速、インストール 5 は簡単であることを意味します。

トリガーの信頼性
5.0
スキルなしに対するリフト
3.0
出力品質
5.0
トークンと時間のコスト
5.0
インストールと移植性
4.0
安全性
4.0

セキュリティレビュー

安全

静的スキャン：CRITICAL 0 / HIGH 0 / MEDIUM 0。手動レビュー：ネットワーク無効のサンドボックスで実行しても安全（指摘なし）。クリーンなスキャン結果はスキルの安全性を証明しません。

インストール

npx skills@latest add JuliusBrussee/caveman --skill caveman-commit

ソース

固定コミット: 9b68f7ed12b05e7efaff18e65c5a3fc2849fd0a4

テスト済み: 2026-11-02

テスト内容

  • 小さな修正のコミットメッセージ — コミットメッセージが必要です。change.diff の変更に対するコミットメッセージを書き、COMMIT_MSG.txt に保存してください（メッセージのみ）。
  • 新しいエンドポイントのコミットメッセージ — コミットを書いてください。change.diff の変更に対するコミットメッセージを書き、COMMIT_MSG.txt に保存してください（メッセージのみ）。
  • 破壊的変更のコミットメッセージ — コミットメッセージを書いてください。change.diff の変更に対するコミットメッセージを書き、COMMIT_MSG.txt に保存してください（メッセージのみ）。

長所

  • スキルなしと比べ平均スコアを 4.02 から 5.0 に引き上げ（+0.98）。
  • スキルは名前を出さずとも採用されました：スキルあり群 6/6 実行でスキルファイルが読み込まれました。
  • トークンのオーバーヘッドなし：スキルなしの 1.09 倍。
  • スキルありの絶対品質は高水準：5 点中 5.0。

短所

  • 一文プロンプトは 4.95、スキルありは 5.0（+0.05）。
  • タスク・群ごとに n=2。1 ポイント未満の差はノイズです。

レビュー

専用の Windows テスト PC 上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。3 つの差分（ページネーションの修正、新しい /health エンドポイント、設定キーの timeout から timeout_ms へのリネーム）。プロンプトは COMMIT_MSG.txt に保存するコミットメッセージだけを求め、フォーマットは指定しません。一文プロンプト群は Conventional Commits のフォーマットとルールを一文で述べます。

3群の比較

群平均スコア（0〜5）1実行あたりのトークン
スキルなし4.0253k
一文プロンプト4.9548k
スキルあり5.058k

Codex CLI で 18 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 26.0 / 30、判定は 状況次第。

判定：状況次第（26.0 / 30）。 ソース：JuliusBrussee/caveman、skills/caveman-commit、コミット 9b68f7e に固定。インストール：npx skills@latest add JuliusBrussee/caveman --skill caveman-commit。ライセンス： MIT（リポジトリの LICENSE）。

概要

caveman-commit スキル（JuliusBrussee/caveman）は、コミットメッセージのスタイルガイドです。Conventional Commits の type(scope): imperative summary（最大 50 文字、末尾のピリオドなし）、理由が自明でない場合に限り本文を付けること、破壊的変更には BREAKING CHANGE の注記を付けること、そして 'this commit'、'I'、'we'、'now'、絵文字、AI による帰属表示は使わないことを定めています。

テスト方法

専用の Windows テスト PC 上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

3 つの差分（ページネーションの修正、新しい /health エンドポイント、設定キー timeout を timeout_ms にリネーム）を使用しました。プロンプトは、COMMIT_MSG.txt に保存するコミットメッセージの作成のみを求め、フォーマットは指定しません。一文プロンプトは、Conventional Commits のフォーマットとそのルールを一文で述べます。

  1. 小さな修正のコミットメッセージ — コミットメッセージが必要です。change.diff の変更に対するコミットメッセージを書き、COMMIT_MSG.txt に保存してください（メッセージのみ）。
  2. 新しいエンドポイントのコミットメッセージ — コミットを書いてください。change.diff の変更に対するコミットメッセージを書き、COMMIT_MSG.txt に保存してください（メッセージのみ）。
  3. 破壊的変更のコミットメッセージ — コミットメッセージを書いてください。change.diff の変更に対するコミットメッセージを書き、COMMIT_MSG.txt に保存してください（メッセージのみ）。

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

第 3 の群に与えた一文プロンプト："Conventional Commits のメッセージを書いてください。type(scope): imperative summary（最大 50 文字、末尾のピリオドなし）、理由が自明でない場合のみ本文（破壊的変更には常に BREAKING CHANGE の注記を付ける）、そして 'this commit'、'I'、'we'、'now'、絵文字、AI 帰属表示は使わないこと。"

タスク対照群スコア一文プロンプトスキルあり対照群トークン一文プロンプトトークンスキルありトークンスキルの読み込み
t1-fix4.495.05.047k48k49k2/2
t2-feature4.495.05.054k48k55k2/2
t3-breaking3.074.865.056k48k67k2/2

平均スコア：スキルなし 4.02 に対しスキルあり 5.0（差 +0.98）。1実行あたりのトークン：53k に対し 58k（1.09 倍）。所要時間 42 秒に対し 40 秒。一文プロンプト群：4.95（一文プロンプトに対するスキルの上乗せ：+0.05、スキルなしに対する一文プロンプトの上乗せ：+0.93）。一文プロンプトのトークンは 1実行あたり 48k で、スキルは一文プロンプトの 1.19 倍のトークンを消費します。

何が起きたか

  • 対照群 4.02、スキルあり 5.0、一文プロンプト 4.95（それぞれ n=6）。対照群は 6/6 実行で type(scope): 接頭辞のない単純な命令文（'Fix pagination offset for one-based page numbers'）を書き、そのため毎回「conventional type」ルールで不合格になります。その他のルールはほぼ合格でした（1 実行ではサブジェクトが 50 文字を超えていました）。
  • 破壊的変更タスク：対照群は 2/2 実行で破壊的変更を示しませんでした（BREAKING CHANGE の注記も ! もなし）。本文には移行についての記述があります。スキルありは両方の実行で 5.0 でした：BREAKING CHANGE フッター付きの feat(config)!: を使用。一文プロンプトも 2/2 で同様でしたが、1 実行のメッセージが conventional-type チェックで不合格になりました。
  • トークン：1実行あたりスキルあり 58k、一文プロンプト 48k、対照群 53k（対照群の 1.09 倍）。スキルはスキルあり群 6/6 実行で読み込まれました。

ディメンション別スコア

ディメンションスコア理由
1_出力品質5.0

スキルありの平均スコア 5.00/5（プログラム的チェック。タスク別の表を 参照）。

2_スキルなしに対するリフト2.98

スキルなし 4.02 に対して +0.98 ポイント（タスクごとに n=2。約 1 ポ イント未満の差はノイズ）。

3_トリガー5.0スキルあり群 6/6 実行でスキルファイルが読み込まれました。
4_指示の移植性4SKILL.md のみ。
5_効率性5トークン 1.09 倍（1実行あたり 58k に対し 53k）、時間 0.96 倍（40 秒に対し 42 秒）。
6_安全性と衛生4テキストのみ。security.md を参照。

本テストの限界

  • チェックは COMMIT_MSG.txt に対するルールベースのものです（タイプ接頭辞、長さ、時制、トーン、禁止語、破壊的変更の注記）。メッセージが差分をうまく説明しているかは、キーワードのチェック以外では判定していません。
  • 対照群は、プロンプトが要求していない Conventional Commits の規約を推測しなかったことで減点されています。
  • セルごとに n=2。小さな差分 3 つです。
  • タスク・群ごとに n=2。1 ポイント未満の差はノイズです。
  • ルールベースの採点はチェックが検出できるものだけを測ります。センスや、結果が最善かどうかは判定できません。

セキュリティ

security.md を参照。スキャン：CRITICAL 0 / HIGH 0 / MEDIUM 0。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

結論

「コミットメッセージを書いてください」というだけのプロンプトから、破壊的変更フラグ付きの Conventional Commits メッセージを得るための確実な方法です。フォーマットを指定する一文でも同じ結果が得られるため、このスキルの主な価値は、その一文を毎回書かずに済むことです。

トランスクリプト

実行ログ：caveman-commit (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.)
列：タスク、群-回、スコア（0-5）、トークン、秒、合格したチェック、エージェントが開いたスキルファイル。

t1-fix control-1: スコア 4.49, トークン 47722, 秒 20.0, チェック 2/3, 開いたファイルなし
t1-fix control-2: スコア 4.49, トークン 47848, 秒 20.8, チェック 2/3, 開いたファイルなし
t1-fix oneliner-1: スコア 5.0, トークン 47948, 秒 29.4, チェック 3/3, 開いたファイルなし
t1-fix oneliner-2: スコア 5.0, トークン 48277, 秒 21.1, チェック 3/3, 開いたファイルなし
t1-fix treatment-1: スコア 5.0, トークン 49540, 秒 24.8, チェック 3/3, 開いたファイル caveman-commit
t1-fix treatment-2: スコア 5.0, トークン 49614, 秒 16.5, チェック 3/3, 開いたファイル caveman-commit
t2-feature control-1: スコア 4.49, トークン 48133, 秒 31.0, チェック 2/3, 開いたファイルなし
t2-feature control-2: スコア 4.49, トークン 60402, 秒 101.3, チェック 2/3, 開いたファイルなし
t2-feature oneliner-1: スコア 5.0, トークン 48035, 秒 107.1, チェック 3/3, 開いたファイルなし

18 実行、3 成果物

サンプル出力

SOTA · With the skill: COMMIT_MSG.txt (t1-fix, run 1, Codex)

fix(api): correct offset for one-based pagination

Pro を見る