prisma-client-api (prisma/skills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 전용 Windows 테스트 PC에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 작은 Prisma 프로젝트(schema, seed, src 파일)를 준비했습니다. 과제는 src/queries.ts에 타입 지정 쿼리 함수 다섯 개 작성(게시된 최근 게시글 10개와 함께 사용자 조회, 커서 페이지네이션 대소문자 무시 검색, upsert, 게시글의 원자적 이전, groupBy 카운트), 출력 형태를 유지한 채 src/report.ts의 N+1 수정, 두 파일에서 Prisma 실수 검토(문자열 보간으로 만든 원시 쿼리 등)입니다. 프롬프트에는 Prisma 기능 이름을 쓰지 않았습니다. 한 문장 프롬프트는 Prisma에서 권장하는 패턴들을 한 문장으로 나열합니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 24.0 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (24.0 / 30). 출처: prisma/skills, prisma-client-api, 커밋 8ea289b에 고정. 설치: npx skills@latest add prisma/skills --skill prisma-client-api. 라이선스: Apache-2.0(저장소 LICENSE).

무엇인가

prisma-client-api 스킬(prisma/skills)은 Prisma Client 쿼리 API(findUnique/findMany, select/include, 필터, 커서 페이지네이션, upsert, 트랜잭션, groupBy, 원시 쿼리)를 다루는 레퍼런스와 문서 스타일 지침을 SKILL.md와 규칙 파일로 제공합니다.

테스트 방법

전용 Windows 테스트 PC에서 Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬 없이 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

작은 Prisma 프로젝트(schema, seed, src 파일)를 준비했습니다. 작업: 타입이 지정된 쿼리 함수 5개가 담긴 src/queries.ts 작성(사용자와 마지막 게시글 10개, 커서 페이지네이션을 쓰는 대소문자 무시 검색, upsert, 게시글의 원자적 이전, groupBy 카운트), src/report.ts의 N+1을 출력 형태를 유지한 채 수정, 두 파일에서 Prisma 실수(문자열 보간으로 만든 원시 쿼리 등) 리뷰. 프롬프트는 Prisma 기능을 이름으로 언급하지 않습니다. 한 문장 프롬프트는 관용적 기능을 한 문장으로 나열합니다.

1. 설명으로 타입 지정 쿼리 작성 — Prisma Client를 사용해 다음 함수를 담은 src/queries.ts를 작성하세요: getUserWithPosts(id)는 사용자와 그 사용자의 게시글만, 최신순, 최대 10개 반환; searchPosts(term, cursor?)는 커서 페이지네이션(페이지 크기 20)을 쓰는 대소문자 무시 제목 검색; upsertUser(…
2. N+1 쿼리 제거 — src/report.ts는 큰 테이블에서 느립니다. src/report.ts의 성능 문제를 고치고 반환 형태는 그대로 유지하세요.
3. Prisma 코드의 실수 리뷰 — src/search.ts와 src/report.ts에서 Prisma 실수와 위험한 부분을 리뷰하고, 문제를 가장 심각한 것부터 나열하세요. 어떤 파일도 변경하지 마세요.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "Prisma Client를 관용적으로 사용하세요: 고유 필드에는 findUnique, N+1과 과다 조회를 피하려면 include/select, 필터에는 mode: 'insensitive', 페이지네이션은 take를 쓰는 커서 방식, 삽입 또는 갱신에는 upsert, 원자적 변경에는 $transaction 또는 updateMany, 집계에는 groupBy, 그리고 보간된 입력으로 $queryRawUnsafe를 절대 쓰지 마세요."

평균 점수: 스킬 없음 5.0, 스킬 사용 5.0(차이 +0.0). 실행당 토큰: 92k 대 97k(1.05배), 시간: 44초 대 40초. 한 문장 프롬프트 군: 5.0(한 문장 프롬프트 대비 스킬의 이득 +0.0, 스킬 없음 대비 한 문장 프롬프트의 이득 +0.0). 한 문장 프롬프트의 실행당 토큰은 88k이므로 스킬은 한 문장 프롬프트의 1.10배 비용을 씁니다.

무슨 일이 있었나

• 모든 군의 모든 실행이 모든 검사를 통과했습니다. 대조군 5.00, 한 문장 5.00, 스킬 5.00(각 n=6). 생성된 쿼리는 findUnique, mode: 'insensitive', cursor + take, upsert, $transaction/updateMany, groupBy를 사용했습니다. N+1은 include/select 또는 배치 처리로 고쳤고, 리뷰는 모든 실행에서 안전하지 않은 원시 쿼리 보간을 찾아냈습니다.
• 스킬은 6/6회 스킬 사용 실행에서 읽혔고, 실행당 97k 토큰으로 대조군 92k, 한 문장 88k(1.05배) 대비 약간의 오버헤드만 있었고 이득은 없었습니다.
• 스킬 사용 실행은 스킬의 규칙 파일을 프로젝트로 복사합니다(실행당 평균 9.7개).
• 검사 집합에는 천장 효과가 있습니다. 모든 실행이 최고점이면 스킬이 해를 끼치지 않았다는 것만 말할 수 있고, 도움이 되지 않는다고는 말할 수 없습니다. 이득을 찾으려면 더 어려운 작업(Prisma 7 드라이버 어댑터, 모델이 모를 수 있는 최신 기능)이 필요합니다.

항목별 점수

이 테스트의 한계

• 코드 텍스트에 대한 규칙 기반 검사. Prisma 클라이언트를 생성하지 않았고 쿼리도 실행하지 않았습니다(오프라인, 데이터베이스 없음).
• 모든 군이 천장에 닿았습니다. 이 작업들은 기본 모델이 이미 아는 기초적인 관용 Prisma를 측정합니다.
• 셀당 n=2. 최신 API 지식(문서형 스킬이 가장 더할 가능성이 큰 부분)은 다루지 않았습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 9 / HIGH 9 / MEDIUM 0. 판정: 실행해도 안전(네트워크 차단 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

일상적인 Prisma Client 작업에서는 순수 Codex도 이미 정확하므로, 이 스킬은 여기서 눈에 보이는 변화 없이 약간의 토큰 비용만 더합니다. 이 테스트가 다루지 않은 아주 새로운 Prisma 기능에서는 의미가 있을 수 있습니다.