Methodik

Wie jeder Skill getestet wird: drei Varianten, 18 regelbewertete Läufe auf Codex, eine Sicherheitsprüfung und ein schriftliches Urteil.

Was gelistet wird

Ein Skill wird erst gelistet, nachdem wir ihn ausgeführt haben. Ein Repository mit SKILL.md-Dateien ist keine Bewertung. Beispielseiten in diesem Repository sind Entwürfe und bleiben unveröffentlicht. Skills, die wir als unsicher für die Ausführung eingestuft haben, werden nicht ausgeführt.

Das Protokoll

Jeder Skill wird mit drei kleinen Aufgaben in drei Varianten ausgeführt: ohne Skill (Kontrolle), ohne Skill, aber mit der Kernregel des Skills als einem Satz im Prompt (Ein-Satz-Prompt), und mit installiertem Skill (Treatment). Die Prompts nennen den Skill nie. Jede Aufgabe und Variante läuft zweimal, eine vollständige Bewertung umfasst also 18 bewertete Läufe. Die Läufe verwenden ein frisches temporäres Projekt, temporäres HOME und Caches und kein Netzwerk.

Die Bewertung ist regelbasiert: versteckte Unit-Tests, Trefferquote bei eingebauten Problemen, Constraint-Prüfungen oder Render- und OCR-Prüfungen, 0 bis 5 pro Lauf. Kein Sprachmodell entscheidet über eine Punktzahl. Unterschiede unter etwa 1 Punkt sind bei n=2 Rauschen.

Die Punktzahl auf jeder Seite ist eine Gesamtpunktzahl von 30: Die sechs Dimensionen reichen jeweils von 0 bis 5 und werden addiert. Die Dimensionen sind Ausgabequalität, Lift gegenüber ohne Skill, Zuverlässigkeit des Triggers, Installation und Portabilität, Token- und Zeitkosten (5 bedeutet günstig und schnell) sowie Sicherheits-Hygiene. Neben der Gesamtpunktzahl zeigt die Seite den Lift: die mittlere Aufgabenpunktzahl mit dem Skill minus dem Mittelwert ohne ihn, auf der Aufgaben-Skala von 0 bis 5.

Das Urteil wird von der Test-Pipeline vergeben und verwendet die auf der Seite gezeigten Zahlen. „Empfohlen“ erfordert alle drei: eine Gesamtpunktzahl von mindestens 22 von 30, eine Ausgabequalität von mindestens 3.5 und einen Lift von mindestens +1.0. „Nicht empfohlen“ gilt, wenn die Gesamtpunktzahl unter 14 von 30 liegt, die Ausgabequalität unter 2.5 oder der Skill einen vollen Punkt schlechter abschneidet als ohne Skill. Alles andere ist „Situativ“. Ein Skill kann daher 24 von 30 zeigen und trotzdem situativ sein, weil sein Lift unter +1.0 liegt; jede Seite nennt das verfehlte Kriterium. Der Ein-Satz-Arm zeigt, ob der Skill das Einfügen seiner Regel als eine Zeile schlägt; er geht nicht in die Punktzahl ein.

Jede Seite listet, was im Nachhinein geändert wurde, zum Beispiel gelockerte und neu bewertete Prüfungen, nicht abgeschlossene Läufe und Skills, die bei einem älteren Commit getestet wurden.

Stufen

Jeder Skill wird auf Codex getestet. Ein Bestehen dort deckt auch Claude Code ab. Dieses Ergebnis wird nicht auf andere Agenten übertragen.

| Stufe | Getestet mit | Bestehen gilt auch für | | ------------ | ------------ | ---------------------- | | SOTA-Agenten | Codex | Claude Code |

Eine zweite Stufe auf einem günstigeren Modell (DeepSeek Flash) wird derzeit erneut getestet und ergänzt, sobald sie abgeschlossen ist. Bis dahin erscheint sie als nicht getestet.

Die Bewertungsseite zeigt die Ergebnisse nebeneinander: Dateien, Screenshots, Vorher-und-Nachher-Auszüge und Video mit Player. Videogenerierung ist eine eigene Kategorie auf oberster Ebene.

Sicherheitsprüfung

Jeder Skill erhält außerdem eine Sicherheitsprüfung anhand der statischen Analyse und dessen, was der Lauf in der Sandbox tatsächlich getan hat.

• Statische Analyse: Was die Skill-Datei den Agenten auffordert zu tun.
• Riskante Berechtigungen: Namen, die die Analyse markiert hat, etwa Netzwerk oder Lesen außerhalb des Workspace.
• Netzwerk- und Dateizugriff: was wir während der Ausführung des Skills beobachtet haben.
• Badge: Sicher, Vorsicht oder Unsicher. Dasselbe Badge erscheint auf der Listenkarte.

Was öffentlich ist

Urteil, Punktzahlen, schriftliche Bewertung und die auf der Seite eingebetteten Ergebnisse sind öffentlich. Transkripte, herunterladbare Lauf-Dateien und die Rohpunktzahl jedes Laufs sind Pro.

Eine Bewertung hinzufügen

Echte Bewertungen stammen aus der Test-Pipeline. Die Verzeichnisstruktur steht im README. Eine Bewertung bleibt draft, bis die Läufe echt sind.