caveman-commit (JuliusBrussee/caveman) vs pptx (anthropics/skills)
caveman-commit (JuliusBrussee/caveman)
26.0 / 30
状況次第安全
caveman-commit:breaking-change フッター付きの Conventional Commits メッセージを書きます(対照群 4.0、スキルあり 5.0、一文プロンプト 4.95)。トークンはほぼ同じです。対照群は平文の一文を書きますが、フォーマットの一文プロンプトでも同様に書けます。
- SOTA合格
pptx (anthropics/skills)
24.0 / 30
状況次第安全
anthropics pptx:すべての群がデッキチェックに合格します(5.0 対 4.99)。スキルのトークンは 1.4 倍です。一文プロンプトの 1 実行では LibreOffice で開けないデッキが生成されました。
- SOTA合格