pr (mattpocock/skills) vs theme-factory (Anthropic)
pr (mattpocock/skills)
29.0 / 30
추천안전
pr: 순수한 형식 스킬입니다. 대조군은 세 섹션으로 된 PR 본문을 전혀 만들지 못했고(1.7/5), 스킬과 한 문장 프롬프트는 둘 다 만들어냈으며(5.0, 4.95) 추가 토큰도 들지 않았습니다
- SOTA통과
theme-factory (Anthropic)
27.7 / 30
추천안전
theme-factory: Codex는 이미 이름이 붙은 테마 두 가지를 외우고 있지만(스킬 없이 5.0), '프리셋 고르기'는 스킬만 할 수 있습니다. 해당 과제에서 5.0 대 0.0이고 토큰도 더 적게 씁니다(0.66배).
- SOTA통과