caveman-commit (JuliusBrussee/caveman) vs theme-factory (Anthropic)
caveman-commit (JuliusBrussee/caveman)
26.0 / 30
状況次第安全
caveman-commit:breaking-change フッター付きの Conventional Commits メッセージを書きます(対照群 4.0、スキルあり 5.0、一文プロンプト 4.95)。トークンはほぼ同じです。対照群は平文の一文を書きますが、フォーマットの一文プロンプトでも同様に書けます。
- SOTA合格
theme-factory (Anthropic)
27.7 / 30
推奨安全
theme-factory:Codex はすでに 2 つの名前付きテーマを暗記しています(スキルなしで 5.0)。しかし「プリセットを選ぶ」ことができるのはスキルだけです。そのタスクでは 5.0 対 0.0 で、しかも安価です(トークン 0.66 倍)。
- SOTA合格