seo-audit (coreyhaines31/marketingskills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 테스트 사이트는 작은 정적 페이지 묶음(index.html, robots.txt, sitemap.xml, 가상 도메인 tidepool.example)이며, 감사 과제용 문제 12개와 수정 과제용 온페이지 문제 9개를 심어 두었습니다. 여기에는 Disallow: /가 있는 robots 파일과 noindex 메타 태그도 포함됩니다. 네트워크가 없어 아무것도 가져오지 못했습니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 24.7 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (24.7 / 30). 출처: coreyhaines31/marketingskills, skills/seo-audit, 커밋 88c79f6에 고정. 설치: npx skills@latest add coreyhaines31/marketingskills --skill seo-audit. 라이선스: MIT(저장소 LICENSE).

무엇인가

coreyhaines31/marketingskills의 seo-audit 스킬(v2.2.2)입니다. '내 SEO가 나쁘다', '왜 순위가 안 오르지', 기술 SEO, 메타 태그 리뷰를 위한 감사 프레임워크입니다. 제품 마케팅 콘텍스트 파일 확인, 감사 순서(크롤링 가능성과 색인, 기술 기반, 온페이지, 콘텐츠 품질, 권위), 심각도순 출력을 제시하고 참고 파일 7개(타이틀 태그, 국제 SEO, 로컬 SEO, 순위 상승, AI 글쓰기 탐지 등)를 포함합니다. 가져온 페이지는 신뢰할 수 없는 데이터라고도 명시합니다. Markdown만 사용합니다.

테스트 방법

Mac 테스트 머신에서 Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬 없이 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

테스트 사이트는 작은 정적 페이지 세트(index.html, robots.txt, sitemap.xml, 가상 도메인 tidepool.example)로, 감사 작업용 문제 12개와 수정 작업용 온페이지 문제 9개를 심어 두었습니다. Disallow: / robots 파일과 noindex 메타 태그도 포함됩니다. 네트워크가 없어 아무것도 가져오지 않았습니다.

1. 작은 정적 사이트 감사 — 이 폴더의 정적 사이트(index.html, robots.txt, sitemap.xml, 도메인 https://tidepool.example)의 SEO를 감사하세요. 결과를 심각도순으로 audit.md에 작성하세요. 사이트 파일은 변경하지 마세요.
2. 온페이지 문제 수정 — index.html과 robots.txt의 온페이지 SEO 문제를 수정하세요(도메인 https://tidepool.example). 파일을 그 자리에서 편집하고, 그 외 콘텐츠는 그대로 유지하세요.
3. 비기술 담당자를 위한 상위 5개 — 저는 기술자가 아닙니다. 이 폴더의 사이트를 보고 가장 중요한 SEO 수정 5개를 영향도순으로 쉬운 말로 알려 주세요. 어떤 파일도 변경하지 마세요.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "크롤링 가능성과 색인(robots.txt, sitemap, canonical), 온페이지 요소(제목, 메타 설명, 헤딩, 이미지 대체 텍스트, 내부 링크), 구조화 데이터를 감사하고, 발견 사항을 심각도별로 각각 구체적인 수정안과 함께 보고하세요."

평균 점수: 스킬 없음 4.95, 스킬 사용 4.84(차이 -0.11). 실행당 토큰: 88k 대 108k(1.23배), 시간: 60초 대 62초. 한 문장 프롬프트 군: 4.83(한 문장 프롬프트 대비 스킬의 이득 +0.01, 스킬 없음 대비 한 문장 프롬프트의 이득 -0.12). 한 문장 프롬프트의 실행당 토큰은 96k이므로 스킬은 한 문장 프롬프트의 1.13배 비용을 씁니다.

무슨 일이 있었나

• 품질 향상은 없었습니다. 평균 점수는 스킬 없음 4.95, 감사 순서를 한 문장으로만 적은 경우 4.83, 스킬 사용 4.84입니다. 세 군 모두 매 실행에서 심어 둔 문제 임계값에 도달했고, 같은 최상위 발견 사항(모든 것을 차단하는 robots.txt와 noindex 태그)이 첫 번째로 나왔습니다.
• 감사 작업에서 심어 둔 문제 탐지율은 모든 군에서 6회 중 5회가 12개 중 11개였습니다. 놓친 항목은 각기 달랐습니다(이미지 대체 텍스트 누락, viewport 태그 누락, 빈약한 콘텐츠). 스킬 실행 2회는 모두 '빈약한 콘텐츠'를 놓쳤는데, 이는 대조군이 한 실행에서 찾아낸 항목입니다.
• 수정 작업에서 대조군 2회는 온페이지 문제 9/9를 모두 수정했습니다. 한 문장 실행은 8/9(viewport 태그 누락), 스킬 실행은 한 번 8/9('click here' 링크 텍스트를 남김), 한 번 9/9였습니다. 문제 하나 차이는 n=2에서 노이즈입니다.
• 스킬은 6/6회 스킬 사용 실행에서 읽혔습니다. 실행당 108k 토큰으로 스킬 없음 88k(1.23배), 한 문장 96k(1.13배)이며, 이번 라운드 스킬 중 가장 작은 오버헤드입니다.
• 비기술 담당자용 '상위 5개 수정' 작업에서는 세 군 모두 5/5였고, 모두 robots/noindex 문제를 첫 번째로 꼽았습니다.

항목별 점수

이 테스트의 한계

• 문제가 뻔히 심어진 아주 작은 정적 사이트라 유능한 에이전트는 파일 세 개를 읽고 찾아냅니다. 스킬의 강점(트래픽 급감 진단, 근접 순위 키워드, 로컬 SEO, 국제/hreflang, 크롤 데이터)은 실제 분석 데이터나 라이브 사이트가 필요해 테스트하지 않았습니다.
• 네트워크 없음: 스킬의 페이지 속도 및 라이브 크롤 지침은 실행할 수 없었습니다.
• 채점은 정규식으로 찾은 심어 둔 문제를 세며, 우선순위 품질이나 수정안 설명의 충실도는 평가하지 않습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 2 / MEDIUM 0. 판정: 실행해도 안전(네트워크 차단 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

작은 사이트에서는 스킬이 순수 Codex를 앞서지 못합니다. 둘 다 주요 문제를 찾고 온페이지 문제를 수정하며, 스킬은 토큰이 약 1.2배 듭니다. 더 지저분한 실제 사이트에서 스킬이 담고 있는 참고 자료(타이틀 태그, 로컬·국제 SEO)를 위해 보관할 가치는 있지만, 기본 감사를 더 낫게 만든다는 증거는 이 테스트에서 나오지 않았습니다.