remotion-best-practices (remotion-dev/skills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 환경: 프로젝트 템플릿(composition id가 Main인 Remotion 프로젝트)은 모든 그룹에 동일합니다. 샌드박스에는 네트워크도 Remotion 툴링도 없어 어느 그룹도 Studio를 실행하거나 렌더링할 수 없었고, 소스 코드만 작성했습니다. 이후 별도의 오프라인 머신에서 Remotion 4.0.539로 모든 프로젝트를 렌더링했습니다. 스킬의 '먼저 프리뷰 열기' 단계는 수행할 수 없었습니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 22.9 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (22.9 / 30). 출처: remotion-dev/skills, skills/remotion-best-practices, 커밋 30d4553에 고정. 설치: npx skills@latest add remotion-dev/skills --skill remotion-best-practices. 라이선스: Remotion License(3인 초과 기업은 유료 라이선스 필요, 평가 전용).

무엇인가

remotion-best-practices 스킬은 Remotion 공식 스킬 세트의 라우터입니다(remotion-dev/skills, 버전 4.0.539, Remotion License). SKILL.md(약 600단어)는 에이전트를 하위 스킬로 안내합니다. 영상 만들기, 마크업 모범 사례(useCurrentFrame()과 interpolate()로 애니메이션 구동, useVideoConfig()에서 fps 가져오기, CSS 트랜지션과 Tailwind 애니메이션 클래스 금지), 지도, 자막, 스튜디오, 렌더링 등입니다. Markdown 하위 스킬 약 12개와 작은 로컬 .mjs 스크립트 2개로 구성됩니다. 또한 에이전트에게 Remotion Studio 미리보기를 열고, 요청받지 않으면 렌더링하지 말라고 지시합니다.

테스트 방법

Mac 테스트 머신에서 Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬 없이 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

환경: 프로젝트 템플릿(컴포지션 id가 Main인 Remotion 프로젝트)은 모든 군에 동일합니다. 샌드박스에는 네트워크와 Remotion 도구가 없어 어느 군도 Studio를 시작하거나 렌더링할 수 없었고, 소스 코드만 작성했습니다. 이후 별도의 오프라인 머신에서 Remotion 4.0.539로 모든 프로젝트를 렌더링했습니다. 스킬의 '먼저 미리보기를 여세요' 단계는 수행할 수 없었습니다.

1. 15초 제품 티저 — 이 Remotion 프로젝트(src/의 React 컴포넌트, 컴포지션 id 'Main', npx remotion render src/index.ts Main으로 렌더링)에서 월간 김 스낵 구독 브랜드 Tidepool의 15초, 1920x1080, 30 fps 제품 티저를 만드세요. 화면에 반드시 넣을 텍스트: …
2. 20초 애니메이션 막대 차트 설명 영상 — 이 Remotion 프로젝트(src/의 React 컴포넌트, 컴포지션 id 'Main', npx remotion render src/index.ts Main으로 렌더링)에서 20초, 1920x1080, 30 fps 애니메이션 설명 영상을 만드세요: 월별 매출 막대 차트(8월 $42k, 9월 $58k, 10월 $71k). 제목 '매출…'
3. 30초 세로형 자막 숏 — 이 Remotion 프로젝트(src/의 React 컴포넌트, 컴포지션 id 'Main', npx remotion render src/index.ts Main으로 렌더링)에서 30초 세로형 1080x1920, 30 fps 소셜 숏 영상을 자막을 화면에 구워 넣어(burned-in) 만드세요. 자막은 순서대로 각각 약 5초…

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "모든 애니메이션을 useCurrentFrame()과 interpolate()/spring()으로 구동하세요(CSS transition/animation은 절대 사용 금지). fps는 useVideoConfig()에서 가져와 초를 프레임으로 변환하고, 영상은 컴포지션 안의 <Sequence>/<Series> 장면으로 구성하세요."

평균 점수: 스킬 없음 4.91, 스킬 사용 4.91(차이 -0.01). 실행당 토큰: 159k 대 217k(1.36배), 시간: 161초 대 177초. 한 문장 프롬프트 군: 4.89(한 문장 프롬프트 대비 스킬의 이득 +0.02, 스킬 없음 대비 한 문장 프롬프트의 이득 -0.03). 한 문장 프롬프트의 실행당 토큰은 156k이므로 스킬은 한 문장 프롬프트의 1.39배 비용을 씁니다.

무슨 일이 있었나

• 영상 품질은 같았습니다. 18개 프로젝트 모두 올바른 크기, 길이, 프레임 레이트로 렌더링되었고, OCR이 각 프로젝트에서 필요한 모든 텍스트(이름, 태그라인, $14 / box, 마지막 문구, 차트 제목, 자막)를 찾아냈습니다. 평균 점수는 스킬 없음 4.91, 스킬 규칙을 한 문장으로만 넣은 경우 4.89, 스킬 사용 4.91입니다. 모든 군에서 감점된 유일한 부분은 막대 차트 설명 영상이 오랫동안 정지해 있던 것(모션이 있는 프레임 15~23%)과 한 문장 티저 2개가 48~52%였던 것입니다.
• 세 군의 티저 콘택트 시트를 살펴봤습니다. 모두 완성된 제품 광고처럼 보였고(크림색과 짙은 초록색 장면, 파우치 일러스트, 가격 엔드 카드), 순위를 매길 수 없었습니다.
• 스킬의 핵심 구체 규칙은 스킬이 있든 없든 지켜졌습니다. 소스를 읽어 보면 스킬 없는 6개 프로젝트 중 useVideoConfig()를 호출한 것은 없고(30 fps를 하드코딩), 스킬 프로젝트 6개와 한 문장 프로젝트 6개는 모두 사용했습니다. 어느 군의 프로젝트도 CSS 트랜지션이나 키프레임을 쓰지 않았습니다. 즉 한 문장이 같은 규칙을 전달했고, 에이전트들은 이미 지시 없이도 useCurrentFrame()과 interpolate()로 애니메이션합니다.
• 스킬은 매번 읽혔고(6/6 스킬 사용 실행) 비용이 더 큽니다. 실행당 217k 토큰으로 스킬 없음 159k(1.36배), 한 문장 156k(1.39배)이며, 명령은 14개 대 9개입니다. 테스트한 영상 스킬 세 개 중 가장 작은 오버헤드입니다.
• 일부는 실행할 수 없었습니다. 스킬의 첫 지시는 만들기 전에 Remotion Studio를 시작해 미리보기를 여는 것인데, 네트워크와 도구가 없어 이루어지지 않았습니다. 따라서 결과는 스킬의 텍스트만 반영합니다.

항목별 점수

이 테스트의 한계

• 샌드박스에 Studio 미리보기, 렌더링, Remotion CLI가 없어 스킬 워크플로는 일부만 수행되었습니다.
• 코드로 그린 작업 세 가지(티저, 막대 차트, 세로형 자막 숏). 영상 푸티지, 오디오, 음성 자막, 지도, Lottie, 3D, SaaS 렌더링 기능은 테스트하지 않았습니다.
• 렌더링은 소프트웨어 GL을 쓰는 Linux에서 이루어졌고, 모션 검사는 조잡한 프레임 차이 임계값입니다. 차트 작업은 모든 군에서 점수를 잃습니다.
• useVideoConfig 사용 횟수는 소스를 읽어 센 것으로 0~30 점수에는 포함되지 않습니다.
• Remotion License: 개인과 3인 이하 기업은 무료, 그 이상은 유료. 우리는 평가만 했고 재배포하지 않습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 13 / HIGH 16 / MEDIUM 0. 판정: 실행해도 안전(네트워크 차단 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

일회성 코드 기반 영상에서는 스킬이 측정 가능한 차이를 만들지 못했습니다. 에이전트는 이미 건실한 Remotion 코드를 작성하며, 스킬 핵심 규칙을 한 문장으로 적은 것이 약 0.7배 비용으로 작은 구조적 효과를 재현했습니다. Remotion 프로젝트를 자주 만든다면 설치해 둘 만큼 저렴하지만(하위 스킬은 우리가 테스트하지 않은 지도, 자막, 렌더링을 다룸), 단순한 영상을 개선한다는 증거는 여기에 없습니다.