setup-pre-commit (mattpocock/skills)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Drei kleine Repos, alle mit demselben Prompt „Add commit hooks. Set up pre-commit hooks for this repo (no network is available, so write the files and package.json changes yourself instead of installing)“: ein npm-Repo mit typecheck- und test-Skripten, ein pnpm-Repo (pnpm-lock.yaml) ohne typecheck-Skript und ein npm-Repo, das bereits eine .prettierrc hat. One-Liner = das Rezept des Skills in einem Satz.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 29.0 / 30, Urteil Empfohlen.

Urteil: Empfohlen (29.0 / 30). Quelle: mattpocock/skills, skills/misc/setup-pre-commit, festgeschrieben auf Commit 4ae2317. Installation: npx skills@latest add mattpocock/skills --skill setup-pre-commit. Lizenz: MIT (LICENSE im Repo).

Was es ist

Der Skill setup-pre-commit (mattpocock/skills) richtet Husky-v9-Pre-Commit-Hooks mit lint-staged und Prettier ein: Er erkennt den Paketmanager aus der Lockfile, schreibt .husky/pre-commit (ohne Shebang), das lint-staged und dann die Typecheck- und Test-Skripte des Repos über diesen Paketmanager ausführt (nicht vorhandene Skripte werden übersprungen und gemeldet), fügt eine .lintstagedrc mit prettier --ignore-unknown --write hinzu, ergänzt prepare: husky und legt .prettierrc nur an, wenn keine existiert.

Wie wir getestet haben

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt sowie temporäre HOME/TMPDIR/Caches, Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten erwähnten Formulierung).

Drei kleine Repos, alle mit demselben Prompt „Füge Commit-Hooks hinzu. Richte Pre-Commit-Hooks für dieses Repo ein (kein Netzwerk verfügbar, schreibe die Dateien und package.json-Änderungen also selbst, statt zu installieren)“: ein npm-Repo mit Typecheck- und Test-Skripten, ein pnpm-Repo (pnpm-lock.yaml) ohne Typecheck-Skript und ein npm-Repo, das bereits eine .prettierrc hat. Ein-Satz-Prompt = das Rezept des Skills in einem Satz.

1. npm-Projekt mit Typecheck- und Test-Skripten — Füge Commit-Hooks hinzu. Richte Pre-Commit-Hooks für dieses Repo ein (kein Netzwerk verfügbar, schreibe die Dateien und package.json-Änderungen also selbst, statt zu installieren).
2. pnpm-Projekt ohne Typecheck-Skript — Füge Commit-Hooks hinzu. Richte Pre-Commit-Hooks für dieses Repo ein (kein Netzwerk verfügbar, schreibe die Dateien und package.json-Änderungen also selbst, statt zu installieren).
3. Bestehende Prettier-Konfiguration muss überleben — Füge Commit-Hooks hinzu. Richte Pre-Commit-Hooks für dieses Repo ein (kein Netzwerk verfügbar, schreibe die Dateien und package.json-Änderungen also selbst, statt zu installieren).

Die Bewertung erfolgt programmatisch (versteckte Tests / Erkennung eingepflanzter Fehler / Constraint-Checks / Rendering+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Bewertung entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Richte Husky v9 mit lint-staged ein: erkenne den Paketmanager aus der Lockfile, schreibe .husky/pre-commit (ohne Shebang), das npx lint-staged und dann die Typecheck- und Test-Skripte des Repos über diesen Paketmanager ausführt (nicht vorhandene Skripte auslassen und mir melden), eine .lintstagedrc mit prettier --ignore-unknown --write, ein prepare: husky-Skript, und lege .prettierrc nur an, wenn keine existiert."

Durchschnittswert: 1.41 ohne vs. 5.0 mit dem Skill (Delta +3.59). Token pro Lauf: 82k vs. 82k (0.99x); Zeit 58s vs. 43s. Ein-Satz-Gruppe: 5.0 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: +0.0; Gewinn des Ein-Satz-Prompts gegenüber ohne Skill: +3.59); Ein-Satz-Token 75k pro Lauf, der Skill kostet also 1.09x so viel wie der Ein-Satz-Prompt.

Was passiert ist

• Kontrolle 1.41, Ein-Satz 5.00, Skill 5.00 (je n=6). Ohne genanntes Werkzeug wählte die Kontrolle ihr eigenes Design: In den npm- und pnpm-Repos (4 Läufe) schrieb sie einen nativen git-Hook-Ordner (.githooks/pre-commit plus README und ein prepare-Skript) ohne Husky, ohne lint-staged und ohne Prettier, und im pnpm-Repo führt der Hook npm test aus (in Lauf 1 geprüft), obwohl das Repo pnpm verwendet. Nur das Repo mit vorhandener .prettierrc bekam Husky (2 Läufe).
• Skill- und Ein-Satz-Läufe sind in allen Details korrekt: Das pnpm-Repo nutzte pnpm exec lint-staged und pnpm run test, ließ den fehlenden Typecheck aus und sagte das, die vorhandene .prettierrc wurde nicht überschrieben, prepare: husky und die drei devDependencies wurden ergänzt. Der Skill wirkt über die getroffene Entscheidung (Husky + lint-staged + Prettier), nicht über anspruchsvolle Technik.
• Keine Mehrkosten: 82k Token pro Lauf mit dem Skill, 82k Kontrolle, 75k Ein-Satz. Der Skill wurde in 6/6 Treatment-Läufen gelesen, ohne genannt zu werden.
• Der Agent konnte offline nichts installieren oder ausführen, daher wurde keiner der erzeugten Hooks ausgeführt; beide Gruppen sagten, die Hooks blieben inaktiv bis npm install.

Dimensionswerte

Grenzen dieses Tests

• Regelbasierte Checks der geschriebenen Dateien; die Hooks wurden nie ausgeführt (kein Netzwerk, Husky nicht installiert).
• Die native Hook-Lösung der Kontrolle ist ein gültiges Design; die Checks messen, ob das angeforderte Husky/lint-staged-Rezept erzeugt wurde, was die Kontrolle nicht wissen konnte.
• Ein Check (vorhandene .prettierrc bleibt erhalten) schlug anfangs bei jedem Lauf fehl, weil unveränderte Dateien nicht herausgekopiert werden; er wurde so geändert, dass er besteht, wenn die Datei unangetastet bleibt, und alle 18 Läufe wurden unter derselben Regel neu bewertet.
• n = 2 pro Gruppe und Aufgabe: Abweichungen unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Checks sehen können; sie kann weder Geschmack beurteilen noch, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Wenn du das Setup mit Husky + lint-staged + Prettier willst, bekommt der Skill es bei allen drei Repo-Formen richtig hin (pnpm-Erkennung, fehlender Typecheck, vorhandene Prettier-Konfiguration) ohne zusätzliche Token; ein Ein-Satz-Rezept leistet dasselbe. Installiere ihn, um das Rezept nicht jedes Mal neu erklären zu müssen, und erwarte darüber hinaus keinen Qualitätsgewinn.