internal-comms (Anthropic)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Drei Schreibaufgaben aus einer kurzen notes.md mit Teamfakten: ein 3P-Update, ein kurzes Leadership-Update (max. 150 Wörter) und eine Unternehmens-FAQ mit 4 Fragen. Regelprüfungen: Die drei Abschnitte, die Staging- und Datenexport-Probleme und das Datum 9. November werden genannt, Wortlimits, keine erfundenen Zahlen, vier Frage/Antwort-Paare.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 26.0 / 30, Urteil Situativ.

Urteil: Situativ (26.0 / 30). Quelle: anthropics/skills, skills/internal-comms, festgehalten auf Commit ca45fc4. Installation: npx skills@latest add anthropics/skills --skill internal-comms. Lizenz: Apache-2.0 / Anthropic-Bedingungen (siehe LICENSE.txt im Skill).

Was es ist

Der Skill internal-comms aus anthropics/skills: Formate für interne Kommunikation: 3P-Updates (Fortschritt, Pläne, Probleme), Unternehmens-Newsletter, FAQs und allgemeine Kommunikation, jeweils mit einer Beispieldatei. Etwa 400 Wörter in SKILL.md und 1.400 in den Beispieldateien. Nur Markdown, keine Skripte.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedrige Denkstufe) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts erwähnen den Skill nie (außer der unten genannten Formulierung).

Drei Schreibaufgaben aus einer kurzen notes.md mit Team-Fakten: ein 3P-Update, ein kurzes Update für die Führungsebene (max. 150 Wörter) und eine Unternehmens-FAQ mit 4 Fragen. Regelprüfungen: die drei Abschnitte, die Probleme mit Staging und Datenexport sowie das Datum 9. Nov werden genannt, Wortlimits, keine erfundenen Zahlen, vier Frage-Antwort-Paare.

1. 3P-Update aus rohen Notizen — Schreibe das 3P-Update dieser Woche für unser Team aus den Notizen in notes.md (nutze nur diese Fakten). Speichere es in update.md.
2. Status-Update für die Führungsebene — Verwandle notes.md in ein kurzes Update für die Führungsebene (was ausgeliefert wurde, was als Nächstes kommt, Risiken), nur mit diesen Fakten. Speichere es in leadership.md. Max. 150 Wörter.
3. FAQ für Mitarbeitende — Schreibe eine FAQ mit 4 Fragen für den Rest des Unternehmens dazu, was unser Team als Nächstes macht (Abrechnungsumstellung usw.), nur aus notes.md. Speichere sie in faq.md.

Die Bewertung erfolgt programmatisch (versteckte Tests / Recall eingeschleuster Probleme / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Punktzahl vergeben.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „Folge dem üblichen internal-comms-Format für die Art des Updates (3P: Fortschritt, Pläne, Probleme; Newsletter; FAQ; Update für die Führungsebene), halte es knapp und gut scanbar und verwende nur die Fakten aus den Notizen.“

Mittelwert: 5.0 ohne vs. 5.0 mit Skill (Delta +0.0). Token pro Lauf: 60k vs. 63k (1.05x); Zeit 30s vs. 32s. Ein-Satz-Gruppe: 5.0 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: +0.0; Gewinn des Ein-Satz-Prompts gegenüber dem Lauf ohne Skill: +0.0); Token des Ein-Satz-Prompts 60k pro Lauf, der Skill kostet also 1.04x des Ein-Satz-Prompts.

Was dabei herauskam

• Nach der Korrektur der Prüfungen kein Punktunterschied: Mittelwert 5.0 für die Kontrolle, 5.0 für den Ein-Satz-Prompt, 5.0 für den Skill. Der erste Bewertungsdurchlauf hatte zwei Fehler (er behandelte „Oct 26“ als erfundene Zahl und zählte „Question:“/„Answer:“-Labels nicht als Frage-Antwort-Paare); beide wurden behoben und alle 18 Läufe neu geprüft.
• Der Skill verändert die Form der Ausgabe. Beim 3P-Update nutzten beide Skill-Läufe sein kompaktes Format: ein Emoji und der Teamname mit der Woche in der ersten Zeile, dann je ein kurzer Absatz für Fortschritt, Pläne und Probleme (97 Wörter). Alle 4 Läufe von Kontrolle und Ein-Satz-Prompt schrieben einen Markdown-Titel mit Aufzählungsabschnitten (108-117 Wörter). Bei der FAQ nutzten die Skill-Läufe beschriftete „Question:“/„Answer:“-Paare (etwa 166 Wörter gegenüber 139).
• Der Skill wurde in 6/6 Läufen gelesen und kostete 63k Token pro Lauf gegenüber 60k (1.05x), eine nahezu kostenlose Ergänzung.
• Unsere Regeln bewerten Inhalt und Limits, nicht die Formattreue; ein Team mit eigenem Hausformat würde den Unterschied also sehen, die Punktzahl nicht.

Bewertung nach Dimensionen

Grenzen dieses Tests

• Die drei Aufgaben nutzen ein kurzes Faktenblatt, daher hat keine Gruppe etwas erfunden; eine längere oder unordentlichere Quelle könnte die Gruppen trennen.
• Die Formattreue zum eigenen Stil eines Unternehmens wurde nicht bewertet; die Formate des Skills sind Anthropics Beispiele und passen möglicherweise nicht zu eurem.
• Newsletter- und allgemeine Kommunikationsformate wurden nicht getestet.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; sie kann weder Geschmack noch beurteilen, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Offline-Sandbox). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Reines Codex schrieb korrekte, faktenbasierte interne Updates ohne Hilfe, es gibt also keinen messbaren Qualitätsgewinn, und die Kosten sind vernachlässigbar. Der Skill lohnt sich, wenn seine kompakten 3P- und FAQ-Formate konsequent angewendet werden sollen; hat euer Team einen anderen Hausstil, hilft er nicht.