caveman-commit (JuliusBrussee/caveman)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Drei Diffs (ein Pagination-Fix, ein neuer /health-Endpunkt, eine Umbenennung eines Konfigurationsschlüssels von timeout zu timeout_ms). Der Prompt verlangt nur eine Commit-Nachricht in COMMIT_MSG.txt, ohne Formatvorgabe. Der One-Liner nennt das Conventional-Commits-Format und seine Regeln in einem Satz.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 26.0 / 30, Urteil Situativ.

Urteil: Situativ (26.0 / 30). Quelle: JuliusBrussee/caveman, skills/caveman-commit, gepinnt auf Commit 9b68f7e. Installation: npx skills@latest add JuliusBrussee/caveman --skill caveman-commit. Lizenz: MIT (Repo-LICENSE).

Was es ist

Der Skill caveman-commit (JuliusBrussee/caveman): ein Stilguide für Commit-Nachrichten: Conventional Commits type(scope): imperative summary mit höchstens 50 Zeichen und ohne Punkt am Ende, ein Body nur, wenn das Warum nicht offensichtlich ist, ein BREAKING CHANGE-Hinweis bei Breaking Changes und kein „this commit“, „I“, „we“, „now“, keine Emojis und keine KI-Attribution.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, low reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Mit-Skill-Gruppe) oder nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Drei Diffs (ein Pagination-Fix, ein neuer /health-Endpunkt, eine Umbenennung eines Konfigurationsschlüssels von timeout zu timeout_ms). Der Prompt verlangt nur eine Commit-Nachricht, gespeichert in COMMIT_MSG.txt, ohne Formatvorgabe. Der Ein-Satz-Prompt nennt das Conventional-Commits-Format und seine Regeln in einem Satz.

1. Commit-Nachricht für einen kleinen Fix — Ich brauche eine Commit-Nachricht. Schreibe die Commit-Nachricht für die Änderung in change.diff und speichere sie in COMMIT_MSG.txt (nur die Nachricht).
2. Commit-Nachricht für einen neuen Endpunkt — Bitte schreibe einen Commit. Schreibe die Commit-Nachricht für die Änderung in change.diff und speichere sie in COMMIT_MSG.txt (nur die Nachricht).
3. Commit-Nachricht für eine Breaking Change — Schreibe eine Commit-Nachricht. Schreibe die Commit-Nachricht für die Änderung in change.diff und speichere sie in COMMIT_MSG.txt (nur die Nachricht).

Die Bewertung erfolgt programmatisch (versteckte Tests / Trefferquote bei eingebauten Problemen / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat eine Punktzahl entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Schreibe eine Conventional-Commit-Nachricht: type(scope): imperative summary mit höchstens 50 Zeichen und ohne Punkt am Ende, einen Body nur, wenn das Warum nicht offensichtlich ist (Breaking Changes bekommen immer einen mit BREAKING CHANGE-Hinweis), und kein „this commit“, „I“, „we“, „now“, keine Emojis und keine KI-Attribution."

Durchschnitt: 4.02 ohne vs. 5.0 mit Skill (Delta +0.98). Token pro Lauf: 53k vs. 58k (1.09x); Zeit 42s vs. 40s. Ein-Satz-Gruppe: 4.95 (Zuwachs des Skills gegenüber dem Ein-Satz-Prompt: +0.05; Zuwachs des Ein-Satz-Prompts gegenüber ohne Skill: +0.93); Token des Ein-Satz-Prompts 48k pro Lauf, der Skill kostet also 1.19x so viel wie der Ein-Satz-Prompt.

Was dabei herauskam

• Kontrolle 4.02, Skill 5.0, Ein-Satz 4.95 (n=6 je Gruppe). Die Kontrolle schreibt in 6/6 Läufen einen schlichten Imperativsatz („Fix pagination offset for one-based page numbers“) ohne type(scope):-Präfix und scheitert damit jedes Mal an der Regel „konventioneller Typ“; die übrigen Regeln wurden meist eingehalten (in einem Lauf war zudem der Betreff länger als 50 Zeichen).
• Aufgabe Breaking Change: Die Kontrolle hat die Breaking Change in 2/2 Läufen nicht gekennzeichnet (kein BREAKING CHANGE-Hinweis und kein !); der Body erwähnt die Migration jedoch. Der Skill erzielte in beiden Läufen 5.0: feat(config)!: mit BREAKING CHANGE-Footer. Der Ein-Satz-Prompt tat dasselbe in 2/2, aber in einem Lauf scheiterte die Nachricht an der Prüfung des konventionellen Typs.
• Token: Skill 58k, Ein-Satz 48k, Kontrolle 53k pro Lauf (1.09x Kontrolle). Der Skill wurde in 6/6 Mit-Skill-Läufen gelesen.

Bewertung nach Dimensionen

Grenzen dieses Tests

• Die Prüfungen sind regelbasiert auf COMMIT_MSG.txt (Typ-Präfix, Länge, Zeitform, Ton, verbotene Wörter, Breaking-Hinweis); ob die Nachricht den Diff gut beschreibt, wurde nur über die Prüfung auf Schlüsselbegriffe beurteilt.
• Die Kontrolle wird dafür bestraft, dass sie die Conventional-Commit-Konvention nicht errät, die der Prompt nicht verlangt hat.
• n=2 pro Zelle; drei kleine Diffs.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; Geschmack oder ob ein Ergebnis das bestmögliche ist, lässt sich so nicht beurteilen.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Eine verlässliche Möglichkeit, aus einem bloßen Prompt „Schreibe eine Commit-Nachricht“ Conventional-Commit-Nachrichten mit Breaking-Change-Kennzeichnung zu bekommen. Ein einzelner Satz, der das Format nennt, liefert dasselbe Ergebnis; der Skill erspart Ihnen also vor allem, diesen Satz selbst zu schreiben.