caveman-commit (JuliusBrussee/caveman) vs pr (mattpocock/skills)
caveman-commit (JuliusBrussee/caveman)
26.0 / 30
상황에 따라안전
caveman-commit: 브레이킹 체인지 푸터를 포함한 Conventional Commits 메시지를 거의 같은 토큰으로 작성합니다(대조군 4.0, 스킬 사용군 5.0, 한 문장 프롬프트군 4.95). 대조군은 평범한 문장을 작성하며, 형식을 한 문장으로 적은 프롬프트도 같은 성과를 냅니다.
- SOTA통과
pr (mattpocock/skills)
29.0 / 30
추천안전
pr: 순수한 형식 스킬입니다. 대조군은 세 섹션으로 된 PR 본문을 전혀 만들지 못했고(1.7/5), 스킬과 한 문장 프롬프트는 둘 다 만들어냈으며(5.0, 4.95) 추가 토큰도 들지 않았습니다
- SOTA통과