caveman-commit (JuliusBrussee/caveman)

Reseña

Codex CLI 0.166 (gpt-6-astra, razonamiento bajo) en un PC Windows dedicado a pruebas, un proyecto temporal nuevo y HOME/TMPDIR/cachés temporales por ejecución, skill instalada (tratamiento) o ausente (control) o ausente con el requisito central de la skill condensado en una frase añadida al prompt (grupo del prompt de una frase), 2 ejecuciones por grupo y tarea, red desactivada, escrituras en /tmp bloqueadas. Los prompts nunca mencionan la skill (salvo el texto indicado abajo). Tres diffs (una corrección de paginación, un endpoint /health nuevo y un renombrado de una clave de configuración de timeout a timeout_ms). El prompt solo pide un mensaje de commit guardado en COMMIT_MSG.txt, sin indicar formato. El prompt de una frase indica el formato Conventional Commits y sus reglas en una sola frase.

Comparación de tres ramas

Medido con Codex CLI en 18 ejecuciones, puntuado con comprobaciones basadas en reglas y sin juez LLM. Total 26.0 / 30, veredicto Según el caso.

Veredicto: Según el caso (26.0 / 30). Fuente: JuliusBrussee/caveman, skills/caveman-commit, fijada en el commit 9b68f7e. Instalación: npx skills@latest add JuliusBrussee/caveman --skill caveman-commit. Licencia: MIT (LICENSE del repositorio).

Qué es

La skill caveman-commit (JuliusBrussee/caveman): una guía de estilo para mensajes de commit: Conventional Commits type(scope): imperative summary de 50 caracteres como máximo y sin punto final, cuerpo solo cuando el porqué no está claro, una nota BREAKING CHANGE para cambios incompatibles, y nada de 'this commit', 'I', 'we', 'now', emojis ni atribución a la IA.

Cómo lo probamos

Codex CLI 0.166 (gpt-6-astra, razonamiento bajo) en un PC de pruebas Windows dedicado, un proyecto temporal nuevo y HOME/TMPDIR/cachés temporales por ejecución, skill instalada (tratamiento) o ausente (control) o ausente con el requisito central de la skill comprimido en una frase añadida al final del prompt (grupo de una frase), 2 ejecuciones por grupo y tarea, red desactivada, escrituras en /tmp bloqueadas. Los prompts nunca mencionan la skill (salvo la formulación indicada abajo).

Tres diffs (un arreglo de paginación, un endpoint /health nuevo, un cambio de nombre de una clave de configuración de timeout a timeout_ms). El prompt solo pide un mensaje de commit guardado en COMMIT_MSG.txt, sin indicar formato. La frase única enuncia el formato Conventional Commits y sus reglas en una sola frase.

1. Mensaje de commit para un arreglo pequeño — Necesito un mensaje de commit. Escribe el mensaje de commit para el cambio en change.diff y guárdalo en COMMIT_MSG.txt (solo el mensaje).
2. Mensaje de commit para un endpoint nuevo — Escribe un commit. Redacta el mensaje de commit para el cambio en change.diff y guárdalo en COMMIT_MSG.txt (solo el mensaje).
3. Mensaje de commit para un cambio incompatible — Escribe un mensaje de commit. Redacta el mensaje de commit para el cambio en change.diff y guárdalo en COMMIT_MSG.txt (solo el mensaje).

La puntuación es programática (pruebas ocultas / detección de problemas sembrados / comprobaciones de restricciones / renderizado+OCR cuando corresponde), 0–5 por ejecución. Ningún juez LLM decidió ninguna puntuación.

Resultados

La frase única que recibió el tercer grupo: "Escribe un mensaje de Conventional Commits: type(scope): imperative summary de 50 caracteres como máximo y sin punto final, cuerpo solo cuando el porqué no esté claro (los cambios incompatibles siempre llevan uno con una nota BREAKING CHANGE), y nada de 'this commit', 'I', 'we', 'now', emojis ni atribución a la IA."

Puntuación media: 4.02 sin vs 5.0 con la skill (delta +0.98). Tokens por ejecución: 53k vs 58k (1.09x); tiempo 42s vs 40s. Grupo de una frase: 4.95 (ganancia de la skill sobre la frase única: +0.05; ganancia de la frase única sobre sin skill: +0.93); tokens de la frase única 48k por ejecución, así que la skill cuesta 1.19x la frase única.

Qué ocurrió

• Control 4.02, skill 5.0, frase única 4.95 (n=6 cada uno). El control escribe una frase imperativa simple («Corrige el desplazamiento de paginación para números de página basados en uno») sin prefijo type(scope): en 6/6 ejecuciones, así que falla la regla del «tipo convencional» todas las veces; sus otras reglas casi siempre pasaron (una ejecución también tuvo un asunto de más de 50 caracteres).
• Tarea de cambio incompatible: el control no marcó el cambio incompatible (sin nota BREAKING CHANGE y sin !) en 2/2 ejecuciones; su cuerpo sí menciona la migración. La skill obtuvo 5.0 en ambas ejecuciones: feat(config)!: con un pie BREAKING CHANGE. La frase única hizo lo mismo en 2/2, pero el mensaje de una ejecución falló la comprobación de tipo convencional.
• Tokens: skill 58k, frase única 48k, control 53k por ejecución (1.09x el control). La skill se leyó en 6/6 ejecuciones de tratamiento.

Puntuaciones por dimensión

Límites de esta prueba

• Las comprobaciones se basan en reglas sobre COMMIT_MSG.txt (prefijo de tipo, longitud, tiempo verbal, tono, palabras prohibidas, nota de cambio incompatible); no se juzgó si el mensaje describe bien el diff más allá de una comprobación de términos clave.
• El control se penaliza por no adivinar la convención de Conventional Commits que el prompt no pedía.
• n=2 por celda; tres diffs pequeños.
• n = 2 por grupo y tarea: las diferencias de menos de 1 punto son ruido.
• La puntuación basada en reglas mide lo que las comprobaciones pueden ver; no puede juzgar el gusto ni si un resultado es el mejor posible.

Seguridad

Consulta security.md. Escaneo: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredicto: seguro para ejecutar (sandbox sin red). Un escaneo limpio no demuestra que una skill sea segura.

En resumen

Una forma fiable de obtener mensajes de Conventional Commits con marcas de cambio incompatible a partir de un prompt escueto de «escribe un mensaje de commit». Una sola frase que nombre el formato da el mismo resultado, así que la skill sobre todo te ahorra escribirlo.