caveman-commit (JuliusBrussee/caveman) vs remotion-render (Remotion)
caveman-commit (JuliusBrussee/caveman)
26.0 / 30
상황에 따라안전
caveman-commit: 브레이킹 체인지 푸터를 포함한 Conventional Commits 메시지를 거의 같은 토큰으로 작성합니다(대조군 4.0, 스킬 사용군 5.0, 한 문장 프롬프트군 4.95). 대조군은 평범한 문장을 작성하며, 형식을 한 문장으로 적은 프롬프트도 같은 성과를 냅니다.
- SOTA통과
remotion-render (Remotion)
17.0 / 30
상황에 따라안전
remotion-render: 올바른 투명 영상 렌더 명령을 작성하지만(대조군 4.5, 스킬 4.85, 한 문장 프롬프트 5.0) 토큰은 약 두 배 사용합니다. Codex가 이미 Remotion 플래그를 알고 있어 이득은 아주 작습니다
- SOTA통과