방법론

모든 스킬을 테스트하는 방법: 3개 그룹, Codex에서 규칙으로 채점한 18회 실행, 보안 리뷰, 서면 판정.

등재 기준

스킬은 직접 실행한 뒤에만 등재합니다. SKILL.md 파일이 모인 저장소만으로는 리뷰가 아닙니다. 이 저장소의 예시 페이지는 초안이며 게시되지 않습니다. 실행하기에 안전하지 않다고 판단한 스킬은 실행하지 않습니다.

프로토콜

각 스킬은 세 가지 작은 과제를 세 그룹에서 실행합니다. 스킬 없음(대조군), 스킬은 없지만 스킬의 핵심 규칙을 한 문장으로 프롬프트에 적은 경우(한 문장 프롬프트), 스킬을 설치한 경우(스킬 사용군)입니다. 프롬프트에는 스킬 이름을 절대 언급하지 않습니다. 과제와 그룹마다 두 번씩 실행하므로 전체 리뷰는 18회의 채점 실행으로 구성됩니다. 실행마다 새 임시 프로젝트, 임시 HOME과 캐시를 사용하며 네트워크는 사용하지 않습니다.

채점은 규칙 기반입니다. 숨겨진 단위 테스트, 심어 둔 문제 재현율, 제약 검사, 렌더링 및 OCR 검사 중 하나를 사용하며 실행당 0~5점입니다. 점수를 언어 모델이 결정하지 않습니다. n=2에서 약 1점 미만의 차이는 노이즈입니다.

모든 페이지의 점수는 30점 만점의 총점입니다. 여섯 차원이 각각 0~5점이고 이를 합산합니다. 차원은 출력 품질, 스킬 없이 대비 향상폭, 스킬이 안정적으로 트리거되는 정도, 설치 및 이식성, 토큰·시간 비용(5가 저렴하고 빠름), 안전성입니다. 총점 옆에는 향상폭이 표시됩니다. 향상폭은 0~5 과제 척도에서 스킬 사용 시 평균 과제 점수에서 스킬 없이의 평균을 뺀 값입니다.

판정은 테스트 파이프라인이 내리며 페이지에 표시된 숫자를 사용합니다. 추천은 세 조건을 모두 만족해야 합니다. 총점 22/30 이상, 출력 품질 3.5 이상, 향상폭 +1.0 이상입니다. 비추천은 총점이 14/30 미만이거나, 출력 품질이 2.5 미만이거나, 스킬 없이보다 1점 이상 낮을 때 적용됩니다. 나머지는 모두 상황에 따라입니다. 따라서 총점 24/30이어도 향상폭이 +1.0 미만이면 '상황에 따라'로 남을 수 있으며, 각 페이지는 어떤 기준을 충족하지 못했는지 밝힙니다. 한 문장 프롬프트군은 스킬이 규칙을 한 줄로 붙여넣는 것보다 나은지를 보여주며 점수에는 포함되지 않습니다.

모든 페이지에는 사후에 변경한 내용이 나열됩니다. 예를 들어 완화해 다시 채점한 검사, 완료하지 못한 실행, 이전 커밋에서 테스트한 스킬 등입니다.

티어

모든 스킬은 Codex에서 테스트합니다. 여기서 통과하면 Claude Code도 커버합니다. 그 결과를 다른 에이전트로 복사하지는 않습니다.

| 티어 | 테스트 환경 | 통과 시 커버 | | ------------- | ----------- | ------------ | | SOTA 에이전트 | Codex | Claude Code |

더 저렴한 모델(DeepSeek Flash)의 두 번째 티어는 재테스트 중이며, 완료되면 추가됩니다. 그때까지는 미테스트로 표시됩니다.

리뷰 페이지는 결과물을 나란히 보여줍니다. 파일, 스크린샷, 전후 발췌, 플레이어가 있는 영상입니다. 영상 생성은 최상위 카테고리입니다.

보안 리뷰

각 스킬은 정적 감사와 샌드박스 실행에서 실제로 일어난 일을 바탕으로 보안 리뷰도 받습니다.

• 정적 감사: 스킬 파일이 에이전트에게 무엇을 하라고 요구하는지.
• 위험 권한: 감사에서 표시된 권한 이름. 예: 네트워크, 워크스페이스 밖 읽기.
• 네트워크 및 파일 접근: 스킬 실행 중 관찰한 내용.
• 배지: 안전, 주의, 위험. 목록 카드에도 같은 배지가 표시됩니다.

공개 범위

판정, 점수, 작성된 리뷰, 페이지에 포함된 결과물은 공개됩니다. 트랜스크립트, 다운로드 가능한 실행 결과물, 모든 실행의 원점수는 Pro입니다.

리뷰 추가

실제 리뷰는 테스트 파이프라인에서 나옵니다. 디렉터리 구조는 README를 참고하세요. 실행이 실제가 되기 전까지 리뷰는 draft 상태로 남습니다.