caveman (JuliusBrussee/caveman, SKILL.md only)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Jeder Prompt ist eine technische Frage (eine Endlosschleife in useEffect, eine langsame Postgres-Abfrage, Merge vs. Rebase auf einem gemeinsamen Branch) und endet mit „Be brief; I'm paying per token.“ Dieser Satz ist einer der eigenen Trigger des Skills, und die Kontrollgruppe erhält denselben Satz. Der Test fragt also, was der Skill zusätzlich zu einer einfachen Bitte um Kürze bringt.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 21.7 / 30, Urteil Situativ.

Urteil: Situationsabhängig (21.7 / 30). Quelle: JuliusBrussee/caveman, skills/caveman, festgeschrieben auf Commit 9b68f7e. Installation: npx skills@latest add JuliusBrussee/caveman --skill caveman. Lizenz: MIT (LICENSE im Repo; Hooks und Installer im Repo wurden NICHT installiert oder ausgeführt).

Was es ist

Der Skill caveman (nur skills/caveman/SKILL.md; die Hooks und der Installer des Repos wurden nicht installiert). Ein Stil für knappe Antworten: zuerst antworten, Begrüßungen und Zusammenfassungen streichen, kurze Wörter, Artikel weglassen, aber niemals Verneinungen; Code, Pfade, Zahlen und Fehlermeldungen unverändert übernehmen; klare Prosa bei Warnungen und irreversiblen Aktionen. Er wird durch „caveman mode“, „be brief“, „less tokens“ ausgelöst. Rund 600 Wörter Markdown, keine Skripte.

Wie wir getestet haben

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt sowie temporäre HOME/TMPDIR/Caches, Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten erwähnten Formulierung).

Jeder Prompt ist eine technische Frage (eine endlose useEffect-Schleife, eine langsame Postgres-Abfrage, Merge vs. Rebase auf einem gemeinsamen Branch) und endet mit „Fasse dich kurz; ich zahle pro Token.“ Dieser Satz ist einer der Auslöser des Skills, und die Kontrollgruppe erhält denselben Satz. Der Test fragt also, was der Skill zusätzlich zu einer schlichten Bitte um Kürze bringt.

1. Endlose useEffect-Schleife erklären — In einer React-Komponente habe ich const fetchData = async () => { const r = await fetch('/api/items'); setItems(await r.json()); } und useEffect(() => { fetchData(); }, [fetchData]);. Die Komponente lädt in einer Endlosschleife neu. Warum, und wie behebe ich das? Fasse dich kurz…
2. Eine langsame Postgres-Abfrage reparieren — Postgres: SELECT id, total FROM orders WHERE customer_id = 42 ORDER BY created_at DESC LIMIT 20; braucht Sekunden auf einer orders-Tabelle mit 50M Zeilen, die nur einen Primärschlüssel-Index hat. Was sollte ich tun? Fasse dich kurz; ich zahle pro Token.
3. Merge oder Rebase auf einem gemeinsamen Branch — Mein Team arbeitet auf einem gemeinsamen Feature-Branch, den andere bereits gepullt haben. Ich möchte den neuesten main-Stand einbringen. Soll ich git merge oder git rebase verwenden, und warum? Fasse dich kurz; ich zahle pro Token.

Die Bewertung erfolgt programmatisch (versteckte Tests / Erkennung eingepflanzter Fehler / Constraint-Checks / Rendering+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Bewertung entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Antworte knapp: zuerst die Antwort, keine Begrüßung, kein Füllwerk, keine Absicherungen oder Zusammenfassung, unnötige Artikel weglassen, jeden technischen Fakt, Code, jede Zahl und jede Verneinung exakt beibehalten."

Durchschnittswert: 4.67 ohne vs. 4.67 mit dem Skill (Delta +0.0). Token pro Lauf: 14k vs. 31k (2.20x); Zeit 12s vs. 19s. Ein-Satz-Gruppe: 4.5 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: +0.17; Gewinn des Ein-Satz-Prompts gegenüber ohne Skill: -0.17); Ein-Satz-Token 14k pro Lauf, der Skill kostet also 2.20x so viel wie der Ein-Satz-Prompt.

Was passiert ist

• Ohne den Skill antwortet der Agent auf die Bitte um Kürze bereits in etwa 59 Wörtern (45-70); mit dem Skill in 52 Wörtern (39-64) und mit der Ein-Satz-Version in 54. Der Unterschied von 7 Wörtern liegt innerhalb der Streuung zwischen den Läufen. Keine Gruppe verwendete Füllphrasen zum Einstieg oder Abschluss; alle 18 Antworten behielten Code, Befehle und Kernfakten.
• Die Faktenquote war gleich: 3-5 von 5 erforderlichen technischen Fakten pro Antwort in jeder Gruppe (Anteil der beibehaltenen Pflichtfakten: 87% Kontrolle, 80% Ein-Satz, 87% Skill). Der eine Fakt, den die Agenten oft wegließen (dass ein State-Update die Komponente neu rendert und den Effekt erneut ausführt), fehlte in allen drei Gruppen gleichermaßen. Der Punkt „keinen gemeinsamen Branch rebasen“ wurde von unserem Check in 1 von 2 Kontroll-, 0 von 2 Ein-Satz- und 1 von 2 Skill-Antworten erkannt; in den von uns gelesenen Antworten empfahlen alle Merge und behielten Rebase für private oder unveröffentlichte Arbeit vor, die Trefferausfälle sind also teils Formulierungssache.
• Der Skill wurde in 6/6 Läufen gelesen, weil der Prompt seinen Auslösesatz enthält. Er kostet 31k Token pro Lauf gegenüber 14k (2.2x), weil der Agent den Skill lädt und zwei Befehle ausführt, um ihn zu lesen, bevor er eine Frage beantwortet, die er direkt beantworten könnte. Der Ein-Satz-Prompt kostet dasselbe wie die Kontrolle.
• Beim Lesen der Antworten sind die Stile identisch: zuerst die Antwort, Fragmente, ein kurzer Codeblock. Wir konnten Skill-Antworten nicht von Kontroll-Antworten unterscheiden.

Dimensionswerte

Grenzen dieses Tests

• Der Test misst den Skill zusätzlich zu einer ausdrücklichen Bitte um Kürze. Der eigentliche Nutzen des Skills ist dauerhaft: Er bleibt eine ganze Sitzung aktiv, sodass man die Bitte nie wiederholen muss — was dieser Test mit drei Fragen nicht abdeckt.
• Die hier gezählten Token-Kosten sind ein einmaliges Laden des Skills pro Konversation; über eine lange Sitzung mit ein paar gesparten Wörtern pro Antwort könnte sich das amortisieren; das haben wir nicht gemessen.
• Geprüft wurden nur Chat-Antworten auf drei technische Fragen; Commit-Nachrichten, Code-Review-Kommentare und lange Agent-Sitzungen (für die der Skill andere Regeln hat) wurden nicht getestet.
• Die Hooks, die Statusline und die anderen caveman-Skills des Repos wurden nicht installiert oder ausgeführt.
• n = 2 pro Gruppe und Aufgabe: Abweichungen unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Checks sehen können; sie kann weder Geschmack beurteilen noch, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Zusätzlich zu einer schlichten Bitte um Kürze machte caveman die Antworten nicht messbar kürzer oder ungenauer, und das Laden verdoppelte die Token einer kurzen Antwort. Wenn du deinen Agenten eine ganze Sitzung lang knapp haben willst, ohne jedes Mal zu fragen, leistet der Skill das; wenn du nur bei einer Frage Kürze brauchst, sag es im Prompt.