writing-for-agents (mattpocock/skills)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Dieselben drei Aufgaben wie bei writing-skills: einen Commit-Message-Skill aus vier Regeln schreiben, eine aufgeblähte AGENTS.md straffen, ohne Wesentliches zu verlieren (5 echte Regeln, vergraben zwischen Fülltext, Duplikaten und einem veralteten Verweis), und einen Bug-Triage-Skill schreiben. Die Kontrolle erhält nur die Aufgabe. Der One-Liner nennt die Hauptregeln des Skills in einem Satz. Die erzeugten SKILL.md-Dateien werden mit derselben 7-Punkte-Checkliste wie bei writing-skills bewertet, die eine Beschreibung im Stil „Use when ...“ erwartet; der eigene Rat dieses Skills lautet „trigger first“, nicht diese wörtliche Formulierung.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 24.9 / 30, Urteil Situativ.

Urteil: Situativ (24.9 / 30). Quelle: mattpocock/skills, skills/productivity/writing-for-agents, festgehalten auf Commit 4ae2317. Installation: npx skills@latest add mattpocock/skills --skill writing-for-agents. Lizenz: MIT (Repo-LICENSE).

Was es ist

Der Skill writing-for-agents (mattpocock/skills): Anleitung zum Schreiben von Anweisungen, die Agenten lesen: den Auslöser in einer Beschreibung an den Anfang stellen, mit einem Auslöser pro eigenständigem Zweig, jede Bedeutung nur an einer einzigen Quelle der Wahrheit halten, No-op-Anweisungen löschen, die das Modell ohnehin befolgt, und Zeilen streichen, die die Umgebung nur wiederholen (Skripte, Konfiguration), jeden Schritt mit einem prüfbaren Abschlusskriterium beenden und Dateien kurz halten.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedrige Denkstufe) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts erwähnen den Skill nie (außer der unten genannten Formulierung).

Dieselben drei Aufgaben wie bei writing-skills: einen Commit-Message-Skill aus vier Regeln schreiben, eine aufgeblähte AGENTS.md straffen, ohne Wesentliches zu verlieren (5 echte Regeln, vergraben zwischen Füllmaterial, Duplikaten und einem veralteten Verweis), und einen Bug-Triage-Skill schreiben. Die Kontrolle bekommt nur die Aufgabe. Der Ein-Satz-Prompt nennt die Hauptregeln des Skills in einem Satz. Die erzeugten SKILL.md-Dateien werden mit derselben 7-Punkte-Checkliste wie bei writing-skills bewertet, die eine Beschreibung im Stil „Use when ...“ erwartet; der Rat dieses Skills lautet „Trigger zuerst“, nicht diese wörtliche Formulierung.

1. Einen Commit-Message-Skill schreiben — Schreibe einen Skill (eine SKILL.md) unter skills/commit-writer/SKILL.md, der unsere Coding-Agenten dazu bringt, Commit-Nachrichten nach diesen Regeln zu schreiben: Der Betreff steht im Imperativ, hat weniger als 50 Zeichen und keinen Punkt am Ende; dann eine Leerzeile und ein Textkörper mit Umbruch bei 72 Zeichen…
2. Eine AGENTS.md straffen — AGENTS.md ist so sehr gewachsen, dass sie niemand mehr liest. Schreibe sie an Ort und Stelle so um, dass sie so kurz wie möglich ist, ohne etwas zu verlieren, das ein Agent wirklich braucht.
3. Einen Bug-Triage-Skill schreiben — Schreibe einen Skill (eine SKILL.md) unter skills/bug-triage/SKILL.md, der Agenten eingehende Bug-Reports als S1 (Datenverlust oder Ausfall), S2 (eine wichtige Funktion ist kaputt, aber es gibt einen Workaround) oder S3 (klein oder kosmetisch) einordnen lässt und zuerst die fehlenden Reproduktionsschritte erfragt…

Die Bewertung erfolgt programmatisch (versteckte Tests / Recall eingeschleuster Probleme / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Punktzahl vergeben.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „Schreibe für Agenten: Setze den Auslöser in der Beschreibung an den Anfang, mit einem Auslöser pro eigenständigem Zweig, halte jede Bedeutung nur an einer einzigen Quelle der Wahrheit, lösche No-op-Anweisungen, die das Modell ohnehin befolgt, und Zeilen, die die Umgebung nur wiederholen (Skripte, Konfiguration), beende jeden Schritt mit einem prüfbaren Abschlusskriterium und halte die Datei kurz.“

Mittelwert: 4.17 ohne vs. 4.52 mit Skill (Delta +0.35). Token pro Lauf: 70k vs. 88k (1.27x); Zeit 39s vs. 37s. Ein-Satz-Gruppe: 4.63 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: -0.11; Gewinn des Ein-Satz-Prompts gegenüber dem Lauf ohne Skill: +0.46); Token des Ein-Satz-Prompts 76k pro Lauf, der Skill kostet also 1.17x des Ein-Satz-Prompts.

Was dabei herauskam

• Mittelwerte: Skill 4.52, Ein-Satz 4.63, Kontrolle 4.17 (je n=6). Der klare Erfolg ist die AGENTS.md-Aufgabe: Skill 5.00 in beiden Läufen (alle 5 wesentlichen Regeln erhalten, Füllmaterial entfernt, veralteter Verweis korrigiert, Duplikate zusammengeführt) gegenüber 4.29 Kontrolle und 4.71 Ein-Satz. Beide Ein-Satz-Läufe löschten beim Straffen die Regel „Migrations sind append-only“; die Skill-Läufe behielten sie.
• Bei den beiden Skill-Schreibaufgaben ist der Skill nicht besser als die Kontrolle (4.18-4.59 vs. 4.06-4.18): In allen 4 Läufen der Skill-Gruppe zu diesen Aufgaben war die Beschreibung eine Workflow-Zusammenfassung oder sagte nicht, wann der Skill zu verwenden ist („Triage incoming bug reports by requesting missing reproduction steps and classifying severity...“, identisch zur Kontrolle), daher gab die 7-Punkte-Checkliste wie bei der Kontrolle 5/7 oder 6/7. Die Ein-Satz-Läufe schrieben Beschreibungen im Auslöser-Stil („When an incoming bug report lacks reproduction steps, request them first...“).
• Die Kontrolle ließ die Regel „Textkörper bei 72 umbrechen, warum erklären“ in beiden Commit-Skill-Läufen weg (3/4 Regeln); Skill und Ein-Satz behielten alle vier.
• Kosten: 88k Token pro Lauf mit dem Skill vs. 70k Kontrolle und 76k Ein-Satz (1.26x, 1.16x). Die Läufe der Skill-Gruppe kopieren pro Lauf 4 Dateien ins Projekt.
• Eine Prüfung, die in AGENTS.md wiederholte package.json-Skripte zählt, scheitert nur hier bei den 2 Kontrollläufen (3 Treffer), passend zur Regel des Skills „die Umgebung nicht wiederholen“.

Bewertung nach Dimensionen

Grenzen dieses Tests

• Regelbasierte Prüfungen, teils aus dem writing-skills-Test übernommen: Die 7-Punkte-Skill-Checkliste belohnt die Formulierung „Use when“, die dieser Skill nicht verlangt, was ihn bei den beiden Skill-Schreibaufgaben unterschätzt.
• Niemand hat getestet, ob die geschriebenen Skills oder die gestraffte AGENTS.md das Verhalten eines Agenten tatsächlich verändern.
• n=2 pro Zelle.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; sie kann weder Geschmack noch beurteilen, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Offline-Sandbox). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Lohnenswert ist er, um eine Anweisungsdatei zu verdichten (er behielt jede echte Regel, die ein Ein-Satz-Prompt fallen ließ); ansonsten ist er beim Schreiben neuer Skills nicht besser als das Basismodell, bei 1.26x Token.