Metodología
Cómo se prueba cada skill: tres ramas, 18 ejecuciones puntuadas con reglas en Codex, una revisión de seguridad y un veredicto escrito.
Qué se publica
Una skill solo se publica después de ejecutarla. Un repositorio de archivos SKILL.md no es una reseña. Las páginas de ejemplo de este repositorio son borradores y permanecen sin publicar. Las skills que consideramos peligrosas de ejecutar no se ejecutan.
El protocolo
Cada skill se ejecuta en tres tareas pequeñas con tres ramas: sin skill (control), sin skill pero con la regla central de la skill escrita en una frase dentro del prompt (prompt de una frase) y con la skill instalada (tratamiento). Los prompts nunca nombran la skill. Cada tarea y rama se ejecuta dos veces, así que una reseña completa son 18 ejecuciones puntuadas. Cada ejecución usa un proyecto temporal nuevo, HOME y cachés temporales, y sin red.
La puntuación se basa en reglas: tests unitarios ocultos, recuperación de problemas plantados, comprobaciones de restricciones o comprobaciones de render y OCR, de 0 a 5 por ejecución. Ningún modelo de lenguaje decide una puntuación. Las diferencias por debajo de aproximadamente 1 punto son ruido con n=2.
La puntuación de cada página es un total sobre 30: las seis dimensiones van cada una de 0 a 5 y se suman. Las dimensiones son calidad de salida, mejora frente a sin skill, fiabilidad con la que se activa la skill, instalación y portabilidad, coste en tokens y tiempo (5 es barato y rápido) e higiene de seguridad. Junto al total, la página muestra la mejora: la puntuación media de las tareas con la skill menos la media sin ella, en la escala de tareas de 0 a 5.
El veredicto lo determina el pipeline de pruebas y usa los números que se muestran en la página. Recomendada exige las tres cosas: un total de al menos 22 sobre 30, una calidad de salida de al menos 3.5 y una mejora de al menos +1.0. No recomendada se aplica cuando el total está por debajo de 14 sobre 30, la calidad de salida por debajo de 2.5 o la skill puntúa un punto entero peor que sin skill. Todo lo demás es Según el caso. Por eso una skill puede mostrar 24 sobre 30 y seguir siendo Según el caso, porque su mejora está por debajo de +1.0; cada página indica qué criterio no cumple. La rama de una frase muestra si la skill supera a pegar su regla como una línea; no entra en la puntuación.
Cada página enumera lo que se cambió a posteriori, por ejemplo comprobaciones que se relajaron y se volvieron a puntuar, ejecuciones que no se completaron y skills probadas en un commit anterior.
Niveles
Cada skill se prueba en Codex. Una pasada allí también cubre Claude Code. No copiamos ese resultado a otros agentes.
| Nivel | Probada con | Una pasada también cubre | | ------------ | ----------- | ------------------------ | | Agentes SOTA | Codex | Claude Code |
Un segundo nivel con un modelo más barato (DeepSeek Flash) se está volviendo a probar y se añadirá cuando esté listo. Hasta entonces aparece como no probado.
La página de reseña muestra los resultados en paralelo: archivos, capturas, extractos de antes y después y vídeo con reproductor. La generación de vídeo es una categoría de primer nivel.
Revisión de seguridad
Cada skill recibe también una revisión de seguridad a partir de la auditoría estática y de lo que hizo realmente la ejecución en el sandbox.
- Auditoría estática: qué pide la skill al agente que haga.
- Permisos de riesgo: nombres que la auditoría señaló, como red o lecturas fuera del espacio de trabajo.
- Acceso a red y archivos: lo que observamos mientras se ejecutaba la skill.
- Insignia: Segura, Precaución o No segura. La misma insignia aparece en la tarjeta de la lista.
Qué es público
El veredicto, las puntuaciones, la reseña escrita y los resultados incrustados en la página son públicos. Las transcripciones, los archivos de ejecución descargables y la puntuación bruta de cada ejecución son Pro.
Añadir una reseña
Las reseñas reales vienen del pipeline de pruebas. Consulta el README para la estructura de directorios. Una reseña sigue en draft hasta que las ejecuciones son reales.