code-review (Matt Pocock)
Revisa los cambios desde un commit o una rama frente a los estándares del repositorio y la especificación original.
code-review de Matt Pocock: la misma capacidad de detección que Codex sin skill en 3 tareas de revisión, 1.5x los tokens
Codex CLI · gpt-6-astra
23.5 / 30
Mejora frente a sin skill: +0.08 · Según el caso · 18 ejecuciones
Según el caso: la mejora +0.08 está por debajo de +1.0. Para ser recomendada hace falta un total de 22/30, una calidad de salida de 3.5 y una mejora de +1.0.
SOTA
AprobadaProbada con Codex.
Cubre Codex, Claude Code
Codex CLI 0.166 (nivel SOTA): 18 ejecuciones puntuadas. Una pasada aquí también cubre Claude Code según nuestra regla de niveles; no dice nada sobre el segundo nivel.
Puntuaciones
Cada dimensión va de 0 a 5 y las seis suman el total sobre 30. 5 es mejor en todas las dimensiones. Coste 5 significa barato y rápido. Instalación 5 significa fácil.
- Fiabilidad de activación
- 5.0
- Mejora frente a sin skill
- 2.1
- Calidad de salida
- 4.5
- Coste en tokens y tiempo
- 3.0
- Instalación y portabilidad
- 4.0
- Seguridad
- 5.0
Revisión de seguridad
SeguraEscaneo estático: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Revisión manual: Segura de ejecutar en un sandbox sin red (sin hallazgos). Un escaneo limpio no demuestra que una skill sea segura.
Instalar
npx skills@latest add mattpocock/skills --skill code-review
Commit fijado: 4ae2317ddb22b046e26455e4f9c9b3aaaf62212d
Probada: 2026-11-02
Qué probamos
- Revisa un módulo de servicio pequeño — Revisa orders_service.py antes de que lo fusione. Enumera los problemas que encuentres, de lo más grave a lo menos. No cambies ningún archivo.
- Revisa un helper de autenticación — Revisa auth_handlers.py: acabo de escribirlo para nuestro flujo de inicio de sesión. Enumera los problemas, de lo más grave a lo menos. No cambies ningún archivo.
- Revisa el último commit contra los estándares y la especificación escritos — Revisa mi último commit (los cambios desde HEAD~1) contra CODING_STANDARDS.md y SPEC.md. Enumera cada desviación, de lo más grave a lo menos. No cambies ningún archivo.
Ventajas
- La skill se activó sin nombrarla: se leyó el archivo de la skill en 6/6 ejecuciones con skill.
Inconvenientes
- Sin mejora medible frente a sin skill (+0.08, dentro del ruido).
- n=2 por tarea y rama; las diferencias de menos de aproximadamente 1 punto son ruido.
Reseña
Codex CLI 0.166 (gpt-6-astra, razonamiento bajo) en una máquina de pruebas Mac, con un proyecto temporal nuevo y HOME/TMPDIR/cachés temporales en cada ejecución, la skill instalada (grupo con skill), ausente (control) o ausente con el requisito central de la skill comprimido en una frase añadida al prompt (grupo del prompt de una frase), 2 ejecuciones por grupo y tarea, sin red y con las escrituras en /tmp bloqueadas. Los prompts nunca mencionan la skill (salvo la redacción indicada abajo). Dos revisiones de un solo archivo (un servicio de pedidos con 8 problemas sembrados, tres de ellos no relacionados con seguridad; una función auxiliar de autenticación con 8 problemas sembrados) y una revisión del último commit frente a CODING_STANDARDS.md y SPEC.md (8 desviaciones sembradas), que es el uso previsto de la skill. Todos los prompts son de solo lectura («enumera los problemas, los más graves primero, no cambies archivos»).
Comparación de tres ramas
| Rama | Puntuación media (0-5) | Tokens por ejecución |
|---|---|---|
| Sin la skill | 4.37 | 78k |
| Prompt de una frase | 4.37 | 77k |
| Con la skill | 4.45 | 114k |
Medido con Codex CLI en 18 ejecuciones, puntuado con comprobaciones basadas en reglas y sin juez LLM. Total 23.5 / 30, veredicto Según el caso.
Veredicto: Según el caso (23.5 / 30). Fuente: mattpocock/skills, skills/engineering/code-review, fijada en el commit 4ae2317. Instalación: npx skills@latest add mattpocock/skills --skill code-review. Licencia: MIT (LICENSE del repositorio).
Qué es
La skill code-review de mattpocock/skills (engineering/code-review). Revisa los cambios desde una referencia dada en dos ejes: si el código sigue los estándares de codificación documentados del repositorio (y los olores comunes), y si implementa lo que pedía la especificación; está escrita para repositorios con documentos de estándares y especificación, y para usarse con subagentes. Solo Markdown, sin scripts.
Cómo lo probamos
Codex CLI 0.166 (gpt-6-astra, razonamiento bajo) en un Mac de pruebas, un proyecto temporal nuevo y HOME/TMPDIR/cachés temporales por ejecución, skill instalada (tratamiento) o ausente (control) o ausente con el requisito central de la skill comprimido en una frase añadida al final del prompt (grupo de una frase), 2 ejecuciones por grupo y tarea, red desactivada, escrituras en /tmp bloqueadas. Los prompts nunca mencionan la skill (salvo la formulación indicada abajo).
Dos revisiones de un solo archivo (un servicio de pedidos con 8 problemas sembrados, tres de ellos no relacionados con seguridad; un helper de autenticación con 8 problemas sembrados) y una revisión del último commit contra CODING_STANDARDS.md y SPEC.md (8 desviaciones sembradas), que es el uso previsto de la skill. Todos los prompts son de solo lectura ('enumera los problemas, de más grave a menos, no cambies archivos').
- Revisar un módulo de servicio pequeño — Revisa orders_service.py antes de que lo fusione. Enumera los problemas que encuentres, de más grave a menos. No cambies ningún archivo.
- Revisar un helper de autenticación — Revisa auth_handlers.py: acabo de escribirlo para nuestro flujo de login. Enumera los problemas, de más grave a menos. No cambies ningún archivo.
- Revisar el último commit contra los estándares y la especificación escritos — Revisa mi último commit (los cambios desde HEAD~1) contra CODING_STANDARDS.md y SPEC.md. Enumera cada desviación, de más grave a menos. No cambies ningún archivo.
La puntuación es programática (tests ocultos / detección de problemas sembrados / comprobaciones de restricciones / renderizado + OCR cuando corresponde), 0–5 por ejecución. Ningún juez LLM decidió ninguna puntuación.
Resultados
La frase única que recibió el tercer grupo: "Revisa en dos ejes: si el código sigue los estándares de codificación documentados del repositorio (además de los olores de código comunes) y si implementa lo que pedía la especificación, y cita el archivo y la línea de cada hallazgo."
| Tarea | Puntuación control | Una frase | Con la skill | Tokens control | Tokens de una frase | Tokens con la skill | Skill leída |
|---|---|---|---|---|---|---|---|
| t1-orders | 3.82 | 3.59 | 3.82 | 79k | 79k | 94k | 2/2 |
| t2-auth | 4.29 | 4.53 | 4.53 | 76k | 70k | 93k | 2/2 |
| t3-diff | 5.0 | 5.0 | 5.0 | 78k | 80k | 153k | 2/2 |
Puntuación media: 4.37 sin vs 4.45 con la skill (delta +0.08). Tokens por ejecución: 78k vs 114k (1.46x); tiempo 44s vs 57s. Grupo de una frase: 4.37 (la ganancia de la skill sobre la frase única: +0.08; la ganancia de la frase única sobre sin skill: +0.0); tokens de la frase única 77k por ejecución, así que la skill cuesta 1.49x la frase única.
Qué ocurrió
- Sin ganancia medible: puntuación media 4.37 sin la skill, 4.37 con la versión de una frase, 4.45 con la skill. Detección de problemas sembrados por ejecución: 5.0 de 8 control, 5.0 una frase, 5.1 skill.
- En la tarea para la que se escribió la skill (revisar un commit contra un archivo de estándares y una especificación) todos los grupos encontraron las 8 desviaciones en 6 de 6 ejecuciones. Codex por sí solo ya lee CODING_STANDARDS.md y SPEC.md y compara el diff con ellos cuando se le pide.
- En las dos revisiones de un solo archivo, todos los grupos encontraron 5-7 de los 8 problemas sembrados. Las omisiones fueron las mismas en todos los grupos (dinero en float, un secreto escrito en el log, sin límite de intentos en el login), y nada de lo que añade la skill cambió eso.
- La skill se leyó en 6/6 ejecuciones y costó 114k tokens por ejecución frente a 78k (1.5x); en la tarea de revisión de commit, 154k frente a 79k (unas 2x), el caso más pesado. La frase única costó lo mismo que el control. Ninguna ejecución cambió archivos.
- Una advertencia sobre la puntuación: los elementos se emparejan por regex, así que un hallazgo redactado de otra forma puede contar como omisión.
Puntuaciones por dimensión
| Dimensión | Puntuación | Motivo |
|---|---|---|
| 1_output_quality | 4.45 | Puntuación media 4.45/5 con la skill (comprobaciones programáticas, véase la tabla por tarea). |
| 2_lift_vs_no_skill | 2.08 | +0.08 puntos frente a 4.37 sin la skill (n=2 por tarea; menos de ~1 punto es ruido). |
| 3_trigger | 5.0 | Archivo de la skill leído en 6/6 ejecuciones de tratamiento. |
| 4_instructions_portability | 4 | Escrita para repositorios que tienen documentos de estándares y especificación, y para agentes que pueden lanzar subagentes; funciona como instrucciones simples en otros contextos. |
| 5_efficiency | 3 | 1.46x tokens (114k vs 78k por ejecución) y 1.30x tiempo (57s vs 44s). |
| 6_safety_hygiene | 5 | Solo Markdown; sin scripts ni comandos. |
Límites de esta prueba
- La skill está diseñada para repartir los dos ejes entre subagentes y leer los documentos del repositorio; una ejecución no interactiva de Codex con un repositorio pequeño no muestra si eso ayuda con un diff grande.
- Problemas sembrados en archivos diminutos; no se puntuaron la calidad de las explicaciones, el orden por gravedad ni los falsos positivos.
- La frase única reformula los dos ejes de la skill; un equipo sin estándares documentados no tendría nada para el primer eje.
- n = 2 por grupo y tarea: las diferencias de menos de ~1 punto son ruido.
- La puntuación basada en reglas mide lo que las comprobaciones pueden ver; no puede juzgar el gusto ni si el resultado es el mejor posible.
Seguridad
Consulta security.md. Escaneo: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredicto: segura de ejecutar (sandbox sin red). Un escaneo limpio no demuestra que una skill sea segura.
Conclusión
Cuando se le pide revisar un commit contra estándares escritos y una especificación, Codex por sí solo ya encontró todas las desviaciones sembradas, y la skill añadió tokens (de 1.5x a 2x) sin encontrar más. Aun así puede ayudar a un equipo que quiera que todas las revisiones sigan el mismo formato de dos ejes, algo que esta prueba no mide.
Transcripción
Registro de ejecuciones: code-review (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.) Columnas: tarea, grupo-ejecución, puntuación (0-5), tokens, segundos, comprobaciones superadas, archivos de la skill que abrió el agente. t1-orders control-1: puntuación 3.59, tokens 79037, s 43.8, comprobaciones 2/2, no abrió nada t1-orders control-2: puntuación 4.06, tokens 79487, s 50.4, comprobaciones 2/2, no abrió nada t1-orders oneliner-1: puntuación 3.59, tokens 97051, s 50.6, comprobaciones 2/2, no abrió nada t1-orders oneliner-2: puntuación 3.59, tokens 61642, s 42.5, comprobaciones 2/2, no abrió nada t1-orders treatment-1: puntuación 4.06, tokens 65668, s 44.1, comprobaciones 2/2, abrió code-review t1-orders treatment-2: puntuación 3.59, tokens 123428, s 56.0, comprobaciones 2/2, abrió code-review t2-auth control-1: puntuación 4.53, tokens 76436, s 43.2, comprobaciones 2/2, no abrió nada t2-auth control-2: puntuación 4.06, tokens 76339, s 43.5, comprobaciones 2/2, no abrió nada t2-auth oneliner-1: puntuación 4.53, tokens 61176, s 49.9, comprobaciones 2/2, no abrió nada
18 ejecuciones, 3 artefactos
Resultado de ejemplo
SOTA · With the skill: final message (t1-orders, run 1, Codex)
Found six problems, most serious first: 1. **High — Missing cancellation authorization** ([line 13](orders_service.py:13)). `current_user` is never checked. Anyone able to call this function can cancel another user’s order by supplying its ID. Verify ownership or administrative permission before updating. 2. **High — SQL injection** ([line 9](orders_service.py:9)). `order_id` is interpolated directly into SQL. A value such as `"0 OR 1=1"` changes the query and can return another order. Use a parameterized query. 3. **High — Credential exposure** ([line 4](orders_service.py:4), [line 48](orders_service.py:48)). A live-looking API key is hardcoded, and the successful charge path prints it to logs. Load credentials from secure configuration and remove the logging. If this key is real, rotate it. 4. **High — Charging always fails silently** ([lines 45–55](orders_service.py:45)). `send_to_gateway()` always raises `NotImplementedError`; `charge()` catches it and returns `None`. No payment can succeed, and callers receive no explicit failure. Implement the gateway and propagate or explicitly report failures. 5. **Medium — Discount thresholds are incorrect** ([line 24](orders_service.py:24)). The documented “or more” thresholds require `>=`. Currently, a total of 100 receives no discount, and 500 receives only 10%, yielding 100 and 450 instead of 90 and 400. 6. **Medium — Export file is never explicitly closed** ([line 39](orders_service.py:39)). Buffered output and resource cleanup depend on garbage collection, including on exceptions. Use a `with open(...)` block to ensure flushing and closing. Static review only; no files changed.