caveman-commit (JuliusBrussee/caveman) vs hyperframes-core (HeyGen HyperFrames)
caveman-commit (JuliusBrussee/caveman)
26.0 / 30
상황에 따라안전
caveman-commit: 브레이킹 체인지 푸터를 포함한 Conventional Commits 메시지를 거의 같은 토큰으로 작성합니다(대조군 4.0, 스킬 사용군 5.0, 한 문장 프롬프트군 4.95). 대조군은 평범한 문장을 작성하며, 형식을 한 문장으로 적은 프롬프트도 같은 성과를 냅니다.
- SOTA통과
hyperframes-core (HeyGen HyperFrames)
25.8 / 30
상황에 따라안전
hyperframes-core: 스킬을 쓰면 Codex가 HyperFrames 컴포지션을 훨씬 자주 올바르게 만들고(대조군 4.1, 스킬 4.9, 한 문장 4.6) 토큰도 덜 씁니다(대조군의 0.48배). 다만 이 스킬은 HeyGen 저장소에서 제거되었습니다
- SOTA통과