remotion-render (Remotion) vs theme-factory (Anthropic)
remotion-render (Remotion)
17.0 / 30
상황에 따라안전
remotion-render: 올바른 투명 영상 렌더 명령을 작성하지만(대조군 4.5, 스킬 4.85, 한 문장 프롬프트 5.0) 토큰은 약 두 배 사용합니다. Codex가 이미 Remotion 플래그를 알고 있어 이득은 아주 작습니다
- SOTA통과
theme-factory (Anthropic)
27.7 / 30
추천안전
theme-factory: Codex는 이미 이름이 붙은 테마 두 가지를 외우고 있지만(스킬 없이 5.0), '프리셋 고르기'는 스킬만 할 수 있습니다. 해당 과제에서 5.0 대 0.0이고 토큰도 더 적게 씁니다(0.66배).
- SOTA통과