Evidencia · benchmark v7 · 2026-11-02

Qué medimos y cuánto confiar en ello

Cada número de esta página sale de los CSV agregados del repositorio, de los que salen también las figuras. No publicamos las transcripciones crudas de los agentes; una ejecución nueva usa datos de avisos en vivo y va a dar otros números. Los límites están al lado de los resultados.

Método

  • Claude Code 2.1.308 en modo headless, con Sonnet 5.5, Haiku 5.5 y Opus 5.5.
  • 12 tareas de programación que escribimos nosotros (8 de npm, 4 de PyPI) y que piden versiones fijadas. 2 ejecuciones por brazo y modelo.
  • Brazos: sin docs; solo docs (pinright con su veredicto apagado); servidor MCP de pinright; solo hook; MCP más hook. Una referencia sin versión instala los mismos paquetes sin fijar versión.
  • Auditamos cada proyecto con npm audit o pip-audit, que no comparten código con pinright, y después lo instalamos y compilamos.
  • 360 ejecuciones de agente más 144 ejecuciones de docs, USD 35,10 en total a precio de lista de la API, sobre el código de la 1.0.0.

Unas 30 alertas por proyecto sin docs, 0,3 con pinright

Sin herramientas, los proyectos promediaron de 29,8 a 31,9 alertas en todo el árbol. Con el servidor MCP de pinright cada modelo promedió 0,3, lo mismo que instalar los paquetes sin versión. Ese 0,3 es de nuxt: su versión actual trae versiones de deepmerge, glob y minimatch con avisos y todavía sin arreglo.

  • Sin pinright, con el veredicto apagado o sin versión
  • Con pinright
  • Intervalo del 95%, remuestreando tareas
Alertas en todo el árbol por proyecto, Sonnet 5.5Promedio de alertas en todo el árbol por proyecto para cada brazo, con intervalos del 95%. Sonnet 5.5, Sin docs: 31,9 alertas en todo el árbol por proyecto (intervalo del 95%: 20,3 a 44,7, 24 proyectos). Sonnet 5.5, Solo docs: 3,5 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 10,0, 24 proyectos). Sonnet 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Sonnet 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,4, 24 proyectos). Sonnet 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 23 proyectos). Sonnet 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos). Opus 5.5, Sin docs: 30,5 alertas en todo el árbol por proyecto (intervalo del 95%: 18,0 a 43,5, 24 proyectos). Opus 5.5, Solo docs: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,4, 24 proyectos). Opus 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos). Haiku 5.5, Sin docs: 29,8 alertas en todo el árbol por proyecto (intervalo del 95%: 17,8 a 43,5, 24 proyectos). Haiku 5.5, Solo docs: 2,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 7,6, 24 proyectos). Haiku 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Haiku 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,5, 23 proyectos). Haiku 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Haiku 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos)01020304050Sonnet 5.5Sonnet 5.5, Sin docs: 31,9 alertas en todo el árbol por proyecto (intervalo del 95%: 20,3 a 44,7, 24 proyectos)Sin docs31,9Sonnet 5.5, Solo docs: 3,5 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 10,0, 24 proyectos)Solo docs3,5Sonnet 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos)pinright MCP0,3Sonnet 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,4, 24 proyectos)Solo hook0,6Sonnet 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 23 proyectos)MCP + hook0,3Sonnet 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos)Sin versión0,3
Alertas en todo el árbol por proyecto, Opus 5.5Promedio de alertas en todo el árbol por proyecto para cada brazo, con intervalos del 95%. Sonnet 5.5, Sin docs: 31,9 alertas en todo el árbol por proyecto (intervalo del 95%: 20,3 a 44,7, 24 proyectos). Sonnet 5.5, Solo docs: 3,5 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 10,0, 24 proyectos). Sonnet 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Sonnet 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,4, 24 proyectos). Sonnet 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 23 proyectos). Sonnet 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos). Opus 5.5, Sin docs: 30,5 alertas en todo el árbol por proyecto (intervalo del 95%: 18,0 a 43,5, 24 proyectos). Opus 5.5, Solo docs: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,4, 24 proyectos). Opus 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos). Haiku 5.5, Sin docs: 29,8 alertas en todo el árbol por proyecto (intervalo del 95%: 17,8 a 43,5, 24 proyectos). Haiku 5.5, Solo docs: 2,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 7,6, 24 proyectos). Haiku 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Haiku 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,5, 23 proyectos). Haiku 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Haiku 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos)01020304050Opus 5.5Opus 5.5, Sin docs: 30,5 alertas en todo el árbol por proyecto (intervalo del 95%: 18,0 a 43,5, 24 proyectos)Sin docs30,5Opus 5.5, Solo docs: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos)Solo docs0,3Opus 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos)pinright MCP0,3Opus 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,4, 24 proyectos)Solo hook0,6Opus 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos)MCP + hook0,3Opus 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos)Sin versión0,3
Alertas en todo el árbol por proyecto, Haiku 5.5Promedio de alertas en todo el árbol por proyecto para cada brazo, con intervalos del 95%. Sonnet 5.5, Sin docs: 31,9 alertas en todo el árbol por proyecto (intervalo del 95%: 20,3 a 44,7, 24 proyectos). Sonnet 5.5, Solo docs: 3,5 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 10,0, 24 proyectos). Sonnet 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Sonnet 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,4, 24 proyectos). Sonnet 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 23 proyectos). Sonnet 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos). Opus 5.5, Sin docs: 30,5 alertas en todo el árbol por proyecto (intervalo del 95%: 18,0 a 43,5, 24 proyectos). Opus 5.5, Solo docs: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,4, 24 proyectos). Opus 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Opus 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos). Haiku 5.5, Sin docs: 29,8 alertas en todo el árbol por proyecto (intervalo del 95%: 17,8 a 43,5, 24 proyectos). Haiku 5.5, Solo docs: 2,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 7,6, 24 proyectos). Haiku 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Haiku 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,5, 23 proyectos). Haiku 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos). Haiku 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos)01020304050Haiku 5.5Haiku 5.5, Sin docs: 29,8 alertas en todo el árbol por proyecto (intervalo del 95%: 17,8 a 43,5, 24 proyectos)Sin docs29,8Haiku 5.5, Solo docs: 2,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 7,6, 24 proyectos)Solo docs2,6Haiku 5.5, pinright MCP: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos)pinright MCP0,3Haiku 5.5, Solo hook: 0,6 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 1,5, 23 proyectos)Solo hook0,6Haiku 5.5, MCP + hook: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 24 proyectos)MCP + hook0,3Haiku 5.5, Sin versión: 0,3 alertas en todo el árbol por proyecto (intervalo del 95%: 0,0 a 0,8, 12 proyectos)Sin versión0,3
Alertas en todo el árbol por proyecto. Promedio de alertas de npm audit / pip-audit por proyecto generado, 12 tareas x 2 ejecuciones por brazo y modelo (Sin versión: 1 ejecución por tarea). Bigotes: intervalos del 95% por bootstrap de clústeres que remuestrean tareas. Misma escala en los tres paneles.

40% a 42% de las versiones directas fijadas tenían un aviso de seguridad conocido, 0% con pinright

Sonnet fijó 66 de 164 dependencias directas con un aviso, Haiku 63 de 157 y Opus 66 de 159. Ejemplos: axios@1.7.9, pillow@11.0.0, pyjwt@2.10.1. Ningún brazo fijó un paquete o una versión que no exista.

  • Sin pinright, con el veredicto apagado o sin versión
  • Con pinright
  • Intervalo del 95%, remuestreando tareas
Dependencias directas con un aviso de seguridad conocido, Sonnet 5.5Proporción de dependencias directas fijadas con un aviso de seguridad conocido para cada brazo, con intervalos del 95%. Sonnet 5.5, Sin docs: 66 de 164 dependencias directas con un aviso de seguridad conocido (40%, intervalo del 95%: 29% a 50%). Sonnet 5.5, Solo docs: 2 de 125 dependencias directas con un aviso de seguridad conocido (2%, intervalo del 95%: 0% a 6%). Sonnet 5.5, pinright MCP: 0 de 131 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, Solo hook: 0 de 160 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, MCP + hook: 0 de 122 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, Sin versión: 0 de 83 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Sin docs: 66 de 159 dependencias directas con un aviso de seguridad conocido (42%, intervalo del 95%: 32% a 50%). Opus 5.5, Solo docs: 0 de 126 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, pinright MCP: 0 de 154 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Solo hook: 0 de 156 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, MCP + hook: 0 de 149 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Sin versión: 0 de 78 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Sin docs: 63 de 157 dependencias directas con un aviso de seguridad conocido (40%, intervalo del 95%: 30% a 49%). Haiku 5.5, Solo docs: 3 de 142 dependencias directas con un aviso de seguridad conocido (2%, intervalo del 95%: 0% a 7%). Haiku 5.5, pinright MCP: 0 de 137 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Solo hook: 0 de 148 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, MCP + hook: 0 de 123 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Sin versión: 0 de 76 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)0%20%40%Sonnet 5.5Sonnet 5.5, Sin docs: 66 de 164 dependencias directas con un aviso de seguridad conocido (40%, intervalo del 95%: 29% a 50%)Sin docs40%Sonnet 5.5, Solo docs: 2 de 125 dependencias directas con un aviso de seguridad conocido (2%, intervalo del 95%: 0% a 6%)Solo docs2%Sonnet 5.5, pinright MCP: 0 de 131 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)pinright MCP0%Sonnet 5.5, Solo hook: 0 de 160 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)Solo hook0%Sonnet 5.5, MCP + hook: 0 de 122 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)MCP + hook0%Sonnet 5.5, Sin versión: 0 de 83 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)Sin versión0%
Dependencias directas con un aviso de seguridad conocido, Opus 5.5Proporción de dependencias directas fijadas con un aviso de seguridad conocido para cada brazo, con intervalos del 95%. Sonnet 5.5, Sin docs: 66 de 164 dependencias directas con un aviso de seguridad conocido (40%, intervalo del 95%: 29% a 50%). Sonnet 5.5, Solo docs: 2 de 125 dependencias directas con un aviso de seguridad conocido (2%, intervalo del 95%: 0% a 6%). Sonnet 5.5, pinright MCP: 0 de 131 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, Solo hook: 0 de 160 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, MCP + hook: 0 de 122 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, Sin versión: 0 de 83 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Sin docs: 66 de 159 dependencias directas con un aviso de seguridad conocido (42%, intervalo del 95%: 32% a 50%). Opus 5.5, Solo docs: 0 de 126 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, pinright MCP: 0 de 154 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Solo hook: 0 de 156 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, MCP + hook: 0 de 149 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Sin versión: 0 de 78 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Sin docs: 63 de 157 dependencias directas con un aviso de seguridad conocido (40%, intervalo del 95%: 30% a 49%). Haiku 5.5, Solo docs: 3 de 142 dependencias directas con un aviso de seguridad conocido (2%, intervalo del 95%: 0% a 7%). Haiku 5.5, pinright MCP: 0 de 137 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Solo hook: 0 de 148 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, MCP + hook: 0 de 123 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Sin versión: 0 de 76 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)0%20%40%Opus 5.5Opus 5.5, Sin docs: 66 de 159 dependencias directas con un aviso de seguridad conocido (42%, intervalo del 95%: 32% a 50%)Sin docs42%Opus 5.5, Solo docs: 0 de 126 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)Solo docs0%Opus 5.5, pinright MCP: 0 de 154 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)pinright MCP0%Opus 5.5, Solo hook: 0 de 156 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)Solo hook0%Opus 5.5, MCP + hook: 0 de 149 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)MCP + hook0%Opus 5.5, Sin versión: 0 de 78 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)Sin versión0%
Dependencias directas con un aviso de seguridad conocido, Haiku 5.5Proporción de dependencias directas fijadas con un aviso de seguridad conocido para cada brazo, con intervalos del 95%. Sonnet 5.5, Sin docs: 66 de 164 dependencias directas con un aviso de seguridad conocido (40%, intervalo del 95%: 29% a 50%). Sonnet 5.5, Solo docs: 2 de 125 dependencias directas con un aviso de seguridad conocido (2%, intervalo del 95%: 0% a 6%). Sonnet 5.5, pinright MCP: 0 de 131 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, Solo hook: 0 de 160 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, MCP + hook: 0 de 122 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Sonnet 5.5, Sin versión: 0 de 83 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Sin docs: 66 de 159 dependencias directas con un aviso de seguridad conocido (42%, intervalo del 95%: 32% a 50%). Opus 5.5, Solo docs: 0 de 126 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, pinright MCP: 0 de 154 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Solo hook: 0 de 156 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, MCP + hook: 0 de 149 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Opus 5.5, Sin versión: 0 de 78 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Sin docs: 63 de 157 dependencias directas con un aviso de seguridad conocido (40%, intervalo del 95%: 30% a 49%). Haiku 5.5, Solo docs: 3 de 142 dependencias directas con un aviso de seguridad conocido (2%, intervalo del 95%: 0% a 7%). Haiku 5.5, pinright MCP: 0 de 137 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Solo hook: 0 de 148 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, MCP + hook: 0 de 123 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%). Haiku 5.5, Sin versión: 0 de 76 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)0%20%40%Haiku 5.5Haiku 5.5, Sin docs: 63 de 157 dependencias directas con un aviso de seguridad conocido (40%, intervalo del 95%: 30% a 49%)Sin docs40%Haiku 5.5, Solo docs: 3 de 142 dependencias directas con un aviso de seguridad conocido (2%, intervalo del 95%: 0% a 7%)Solo docs2%Haiku 5.5, pinright MCP: 0 de 137 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)pinright MCP0%Haiku 5.5, Solo hook: 0 de 148 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)Solo hook0%Haiku 5.5, MCP + hook: 0 de 123 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)MCP + hook0%Haiku 5.5, Sin versión: 0 de 76 dependencias directas con un aviso de seguridad conocido (0%, intervalo del 95%: 0% a 0%)Sin versión0%
Dependencias directas fijadas con un aviso de seguridad conocido. Al menos un aviso de deps.dev cuando se puntuaron las ejecuciones (2026-11-02 y 2026-11-03), con intervalos del 95% por bootstrap de clústeres. deps.dev es también la fuente que lee pinright, así que el 0% de sus brazos sale de cómo elige versiones. Las alertas en todo el árbol de arriba vienen de npm audit y pip-audit, que no comparten ese camino.

La documentación actual hace la mayor parte del trabajo. El veredicto hace el resto.

El brazo de solo docs es el propio servidor de pinright con el veredicto apagado, que documenta la última versión de cada paquete. Llevar al agente hacia versiones actuales de esa forma redujo las alertas de 89% a 99%. Sin el veredicto, Sonnet fijó un next@15.5.0 vulnerable en sus dos ejecuciones de next-auth y Haiku una beta de next-auth con avisos en las dos suyas, y las ejecuciones necesitaron más turnos y costaron de 1,5x a 1,8x más que con el servidor completo.

Alertas en todo el árbol, suma de 24 proyectos (dependencias directas con un aviso)
BrazoSonnet 5.5Haiku 5.5Opus 5.5
Sin docs766 (40%)715 (40%)732 (42%)
Solo docs (veredicto apagado)84 (2%)63 (2%)6 (0%)
pinright MCP6 (0%)6 (0%)6 (0%)
pinright solo hook14 (0%)14 (0%)14 (0%)
pinright MCP + hook6 (0%)6 (0%)6 (0%)
Proyectos que compilan, pinright MCP23/2423/2424/24
Costo por ejecución, sin docs / MCP (USD, precio de lista)0,033 / 0,0500,003 / 0,0060,074 / 0,126

Lo que queda en el brazo de solo hook viene de next 15.5.28, que no tiene avisos propios pero trae un postcss que sí tiene. Sobre los mismos 394 lockfiles, check-manifest de pinright marcó los mismos paquetes que npm audit y pip-audit (Jaccard promedio de 0,96 en npm y 1,00 en PyPI).

16 de 16 ejecuciones escribieron la API actual, frente a 9 a 14 sin docs

Ocho tareas que solo salen bien con la versión mayor actual de una biblioteca: Next.js 16, Tailwind CSS 4, Zod 4, AI SDK 7, Express 5, ESLint 10, Pydantic 2 y LangChain 1. Una ejecución cuenta cuando instala, compila, pasa una prueba de humo, fija la versión mayor pedida y no usa ninguna API retirada ni deprecada. Sin docs, todos los modelos escribieron código de AI SDK 5/6 para AI SDK 7, y la mayoría de las ejecuciones de LangChain fijaron una 1.x temprana cuyos imports fallan. Los modelos ya conocían cinco de las ocho API, así que la diferencia depende de las otras tres. Los intervalos sin docs de Sonnet y Opus se superponen con 16 de 16; el de Haiku, no.

  • Sin pinright, con el veredicto apagado o sin versión
  • Con pinright
  • Intervalo del 95%, remuestreando tareas
Ejecuciones de docs que escribieron la API actual, Sonnet 5.5Ejecuciones del benchmark de docs, de 16, que escribieron la API actual, con intervalos del 95%. Sonnet 5.5, Sin docs: 13 de 16 ejecuciones escribieron la API actual. Sonnet 5.5, Solo docs: 16 de 16 ejecuciones escribieron la API actual. Sonnet 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual. Opus 5.5, Sin docs: 14 de 16 ejecuciones escribieron la API actual. Opus 5.5, Solo docs: 16 de 16 ejecuciones escribieron la API actual. Opus 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual. Haiku 5.5, Sin docs: 9 de 16 ejecuciones escribieron la API actual. Haiku 5.5, Solo docs: 15 de 16 ejecuciones escribieron la API actual. Haiku 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual0481216Sonnet 5.5Sonnet 5.5, Sin docs: 13 de 16 ejecuciones escribieron la API actualSin docs13 de 16Sonnet 5.5, Solo docs: 16 de 16 ejecuciones escribieron la API actualSolo docs16 de 16Sonnet 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actualpinright MCP16 de 16
Ejecuciones de docs que escribieron la API actual, Opus 5.5Ejecuciones del benchmark de docs, de 16, que escribieron la API actual, con intervalos del 95%. Sonnet 5.5, Sin docs: 13 de 16 ejecuciones escribieron la API actual. Sonnet 5.5, Solo docs: 16 de 16 ejecuciones escribieron la API actual. Sonnet 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual. Opus 5.5, Sin docs: 14 de 16 ejecuciones escribieron la API actual. Opus 5.5, Solo docs: 16 de 16 ejecuciones escribieron la API actual. Opus 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual. Haiku 5.5, Sin docs: 9 de 16 ejecuciones escribieron la API actual. Haiku 5.5, Solo docs: 15 de 16 ejecuciones escribieron la API actual. Haiku 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual0481216Opus 5.5Opus 5.5, Sin docs: 14 de 16 ejecuciones escribieron la API actualSin docs14 de 16Opus 5.5, Solo docs: 16 de 16 ejecuciones escribieron la API actualSolo docs16 de 16Opus 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actualpinright MCP16 de 16
Ejecuciones de docs que escribieron la API actual, Haiku 5.5Ejecuciones del benchmark de docs, de 16, que escribieron la API actual, con intervalos del 95%. Sonnet 5.5, Sin docs: 13 de 16 ejecuciones escribieron la API actual. Sonnet 5.5, Solo docs: 16 de 16 ejecuciones escribieron la API actual. Sonnet 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual. Opus 5.5, Sin docs: 14 de 16 ejecuciones escribieron la API actual. Opus 5.5, Solo docs: 16 de 16 ejecuciones escribieron la API actual. Opus 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual. Haiku 5.5, Sin docs: 9 de 16 ejecuciones escribieron la API actual. Haiku 5.5, Solo docs: 15 de 16 ejecuciones escribieron la API actual. Haiku 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actual0481216Haiku 5.5Haiku 5.5, Sin docs: 9 de 16 ejecuciones escribieron la API actualSin docs9 de 16Haiku 5.5, Solo docs: 15 de 16 ejecuciones escribieron la API actualSolo docs15 de 16Haiku 5.5, pinright MCP: 16 de 16 ejecuciones escribieron la API actualpinright MCP16 de 16
Benchmark de docs. 16 ejecuciones por brazo y modelo; los bigotes son intervalos del 95%. "16 de 16" es un resultado medido en estas tareas y no una tasa de acierto.

Sin agente, la documentación de pinright respondió 25 de 28 y 33 de 45 preguntas en dos conjuntos reservados que nadie usó para ajustar, sobre bibliotecas fuera del benchmark. Una sonda busca cadenas de la API actual y no evalúa si la respuesta es correcta.

21% a 33% menos tokens que un servidor de solo docs

Los servidores MCP de documentación devuelven la documentación de una biblioteca; no revisan la versión que fija el agente y no ven la instalación. El brazo de solo docs los representa: el propio servidor de pinright con su capa de seguridad apagada, que sirve la documentación de la versión pedida sin veredicto. No es otro producto. Frente a él, el servidor completo usó de 21% a 26% menos tokens por ejecución en las tareas de agente y de 26% a 33% menos en las tareas de docs, y de 3,1 a 4,3 turnos menos. Sin ninguna herramienta, el agente usó la menor cantidad de tokens de los tres brazos, así que pinright cuesta más que nada.

  • Sin docs, o servidor de contexto solo docs
  • Servidor MCP de pinright
  • Intervalo del 95%, remuestreando tareas
Tokens por ejecución, tareas de agente, Sonnet 5.5Promedio de tokens por ejecución en las 12 tareas de agente para sin docs, solo docs y el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Sin docs, tareas de agente: 15,3k tokens por ejecución (intervalo del 95%: 14,6k a 16,1k, 24 ejecuciones). Sonnet 5.5, Solo docs, tareas de agente: 55,6k tokens por ejecución (intervalo del 95%: 47,2k a 63,5k, 24 ejecuciones). Sonnet 5.5, pinright MCP, tareas de agente: 42,2k tokens por ejecución (intervalo del 95%: 37,4k a 46,8k, 24 ejecuciones); 24% menos que solo docs en las mismas tareas. Opus 5.5, Sin docs, tareas de agente: 16,4k tokens por ejecución (intervalo del 95%: 15,3k a 18,0k, 24 ejecuciones). Opus 5.5, Solo docs, tareas de agente: 73,3k tokens por ejecución (intervalo del 95%: 58,8k a 88,5k, 24 ejecuciones). Opus 5.5, pinright MCP, tareas de agente: 54,6k tokens por ejecución (intervalo del 95%: 45,2k a 65,0k, 24 ejecuciones); 26% menos que solo docs en las mismas tareas. Haiku 5.5, Sin docs, tareas de agente: 20,8k tokens por ejecución (intervalo del 95%: 19,8k a 22,0k, 24 ejecuciones). Haiku 5.5, Solo docs, tareas de agente: 93,8k tokens por ejecución (intervalo del 95%: 73,5k a 114,8k, 24 ejecuciones). Haiku 5.5, pinright MCP, tareas de agente: 74,2k tokens por ejecución (intervalo del 95%: 61,8k a 87,8k, 24 ejecuciones); 21% menos que solo docs en las mismas tareas050k100k150kSonnet 5.5Sonnet 5.5, Sin docs, tareas de agente: 15,3k tokens por ejecución (intervalo del 95%: 14,6k a 16,1k, 24 ejecuciones)Sin docs15,3kSonnet 5.5, Solo docs, tareas de agente: 55,6k tokens por ejecución (intervalo del 95%: 47,2k a 63,5k, 24 ejecuciones)Solo docs55,6kSonnet 5.5, pinright MCP, tareas de agente: 42,2k tokens por ejecución (intervalo del 95%: 37,4k a 46,8k, 24 ejecuciones); 24% menos que solo docs en las mismas tareaspinright MCP42,2k
Tokens por ejecución, tareas de agente, Opus 5.5Promedio de tokens por ejecución en las 12 tareas de agente para sin docs, solo docs y el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Sin docs, tareas de agente: 15,3k tokens por ejecución (intervalo del 95%: 14,6k a 16,1k, 24 ejecuciones). Sonnet 5.5, Solo docs, tareas de agente: 55,6k tokens por ejecución (intervalo del 95%: 47,2k a 63,5k, 24 ejecuciones). Sonnet 5.5, pinright MCP, tareas de agente: 42,2k tokens por ejecución (intervalo del 95%: 37,4k a 46,8k, 24 ejecuciones); 24% menos que solo docs en las mismas tareas. Opus 5.5, Sin docs, tareas de agente: 16,4k tokens por ejecución (intervalo del 95%: 15,3k a 18,0k, 24 ejecuciones). Opus 5.5, Solo docs, tareas de agente: 73,3k tokens por ejecución (intervalo del 95%: 58,8k a 88,5k, 24 ejecuciones). Opus 5.5, pinright MCP, tareas de agente: 54,6k tokens por ejecución (intervalo del 95%: 45,2k a 65,0k, 24 ejecuciones); 26% menos que solo docs en las mismas tareas. Haiku 5.5, Sin docs, tareas de agente: 20,8k tokens por ejecución (intervalo del 95%: 19,8k a 22,0k, 24 ejecuciones). Haiku 5.5, Solo docs, tareas de agente: 93,8k tokens por ejecución (intervalo del 95%: 73,5k a 114,8k, 24 ejecuciones). Haiku 5.5, pinright MCP, tareas de agente: 74,2k tokens por ejecución (intervalo del 95%: 61,8k a 87,8k, 24 ejecuciones); 21% menos que solo docs en las mismas tareas050k100k150kOpus 5.5Opus 5.5, Sin docs, tareas de agente: 16,4k tokens por ejecución (intervalo del 95%: 15,3k a 18,0k, 24 ejecuciones)Sin docs16,4kOpus 5.5, Solo docs, tareas de agente: 73,3k tokens por ejecución (intervalo del 95%: 58,8k a 88,5k, 24 ejecuciones)Solo docs73,3kOpus 5.5, pinright MCP, tareas de agente: 54,6k tokens por ejecución (intervalo del 95%: 45,2k a 65,0k, 24 ejecuciones); 26% menos que solo docs en las mismas tareaspinright MCP54,6k
Tokens por ejecución, tareas de agente, Haiku 5.5Promedio de tokens por ejecución en las 12 tareas de agente para sin docs, solo docs y el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Sin docs, tareas de agente: 15,3k tokens por ejecución (intervalo del 95%: 14,6k a 16,1k, 24 ejecuciones). Sonnet 5.5, Solo docs, tareas de agente: 55,6k tokens por ejecución (intervalo del 95%: 47,2k a 63,5k, 24 ejecuciones). Sonnet 5.5, pinright MCP, tareas de agente: 42,2k tokens por ejecución (intervalo del 95%: 37,4k a 46,8k, 24 ejecuciones); 24% menos que solo docs en las mismas tareas. Opus 5.5, Sin docs, tareas de agente: 16,4k tokens por ejecución (intervalo del 95%: 15,3k a 18,0k, 24 ejecuciones). Opus 5.5, Solo docs, tareas de agente: 73,3k tokens por ejecución (intervalo del 95%: 58,8k a 88,5k, 24 ejecuciones). Opus 5.5, pinright MCP, tareas de agente: 54,6k tokens por ejecución (intervalo del 95%: 45,2k a 65,0k, 24 ejecuciones); 26% menos que solo docs en las mismas tareas. Haiku 5.5, Sin docs, tareas de agente: 20,8k tokens por ejecución (intervalo del 95%: 19,8k a 22,0k, 24 ejecuciones). Haiku 5.5, Solo docs, tareas de agente: 93,8k tokens por ejecución (intervalo del 95%: 73,5k a 114,8k, 24 ejecuciones). Haiku 5.5, pinright MCP, tareas de agente: 74,2k tokens por ejecución (intervalo del 95%: 61,8k a 87,8k, 24 ejecuciones); 21% menos que solo docs en las mismas tareas050k100k150kHaiku 5.5Haiku 5.5, Sin docs, tareas de agente: 20,8k tokens por ejecución (intervalo del 95%: 19,8k a 22,0k, 24 ejecuciones)Sin docs20,8kHaiku 5.5, Solo docs, tareas de agente: 93,8k tokens por ejecución (intervalo del 95%: 73,5k a 114,8k, 24 ejecuciones)Solo docs93,8kHaiku 5.5, pinright MCP, tareas de agente: 74,2k tokens por ejecución (intervalo del 95%: 61,8k a 87,8k, 24 ejecuciones); 21% menos que solo docs en las mismas tareaspinright MCP74,2k
Tokens por ejecución, benchmark de agentes. Todo lo que procesó el modelo en una ejecución (entrada sin caché, lecturas y escrituras de caché, salida), según el registro de uso con el que Claude Code calcula el precio de la ejecución. 12 tareas x 2 ejecuciones por brazo y modelo. Misma escala en los tres paneles y en el gráfico de docs de abajo.
Tokens por ejecución, tareas de docs, Sonnet 5.5Promedio de tokens por ejecución en las 8 tareas de docs para sin docs, solo docs y el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Sin docs, tareas de docs: 17,2k tokens por ejecución (intervalo del 95%: 16,3k a 18,2k, 16 ejecuciones). Sonnet 5.5, Solo docs, tareas de docs: 94,0k tokens por ejecución (intervalo del 95%: 63,8k a 125,1k, 16 ejecuciones). Sonnet 5.5, pinright MCP, tareas de docs: 62,9k tokens por ejecución (intervalo del 95%: 52,4k a 76,7k, 16 ejecuciones); 33% menos que solo docs en las mismas tareas. Opus 5.5, Sin docs, tareas de docs: 19,0k tokens por ejecución (intervalo del 95%: 17,3k a 21,0k, 16 ejecuciones). Opus 5.5, Solo docs, tareas de docs: 113,2k tokens por ejecución (intervalo del 95%: 78,8k a 152,6k, 16 ejecuciones). Opus 5.5, pinright MCP, tareas de docs: 83,9k tokens por ejecución (intervalo del 95%: 67,1k a 98,9k, 16 ejecuciones); 26% menos que solo docs en las mismas tareas. Haiku 5.5, Sin docs, tareas de docs: 23,5k tokens por ejecución (intervalo del 95%: 21,2k a 26,2k, 16 ejecuciones). Haiku 5.5, Solo docs, tareas de docs: 135,1k tokens por ejecución (intervalo del 95%: 95,7k a 179,9k, 16 ejecuciones). Haiku 5.5, pinright MCP, tareas de docs: 95,0k tokens por ejecución (intervalo del 95%: 77,2k a 113,3k, 16 ejecuciones); 30% menos que solo docs en las mismas tareas050k100k150kSonnet 5.5Sonnet 5.5, Sin docs, tareas de docs: 17,2k tokens por ejecución (intervalo del 95%: 16,3k a 18,2k, 16 ejecuciones)Sin docs17,2kSonnet 5.5, Solo docs, tareas de docs: 94,0k tokens por ejecución (intervalo del 95%: 63,8k a 125,1k, 16 ejecuciones)Solo docs94,0kSonnet 5.5, pinright MCP, tareas de docs: 62,9k tokens por ejecución (intervalo del 95%: 52,4k a 76,7k, 16 ejecuciones); 33% menos que solo docs en las mismas tareaspinright MCP62,9k
Tokens por ejecución, tareas de docs, Opus 5.5Promedio de tokens por ejecución en las 8 tareas de docs para sin docs, solo docs y el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Sin docs, tareas de docs: 17,2k tokens por ejecución (intervalo del 95%: 16,3k a 18,2k, 16 ejecuciones). Sonnet 5.5, Solo docs, tareas de docs: 94,0k tokens por ejecución (intervalo del 95%: 63,8k a 125,1k, 16 ejecuciones). Sonnet 5.5, pinright MCP, tareas de docs: 62,9k tokens por ejecución (intervalo del 95%: 52,4k a 76,7k, 16 ejecuciones); 33% menos que solo docs en las mismas tareas. Opus 5.5, Sin docs, tareas de docs: 19,0k tokens por ejecución (intervalo del 95%: 17,3k a 21,0k, 16 ejecuciones). Opus 5.5, Solo docs, tareas de docs: 113,2k tokens por ejecución (intervalo del 95%: 78,8k a 152,6k, 16 ejecuciones). Opus 5.5, pinright MCP, tareas de docs: 83,9k tokens por ejecución (intervalo del 95%: 67,1k a 98,9k, 16 ejecuciones); 26% menos que solo docs en las mismas tareas. Haiku 5.5, Sin docs, tareas de docs: 23,5k tokens por ejecución (intervalo del 95%: 21,2k a 26,2k, 16 ejecuciones). Haiku 5.5, Solo docs, tareas de docs: 135,1k tokens por ejecución (intervalo del 95%: 95,7k a 179,9k, 16 ejecuciones). Haiku 5.5, pinright MCP, tareas de docs: 95,0k tokens por ejecución (intervalo del 95%: 77,2k a 113,3k, 16 ejecuciones); 30% menos que solo docs en las mismas tareas050k100k150kOpus 5.5Opus 5.5, Sin docs, tareas de docs: 19,0k tokens por ejecución (intervalo del 95%: 17,3k a 21,0k, 16 ejecuciones)Sin docs19,0kOpus 5.5, Solo docs, tareas de docs: 113,2k tokens por ejecución (intervalo del 95%: 78,8k a 152,6k, 16 ejecuciones)Solo docs113,2kOpus 5.5, pinright MCP, tareas de docs: 83,9k tokens por ejecución (intervalo del 95%: 67,1k a 98,9k, 16 ejecuciones); 26% menos que solo docs en las mismas tareaspinright MCP83,9k
Tokens por ejecución, tareas de docs, Haiku 5.5Promedio de tokens por ejecución en las 8 tareas de docs para sin docs, solo docs y el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Sin docs, tareas de docs: 17,2k tokens por ejecución (intervalo del 95%: 16,3k a 18,2k, 16 ejecuciones). Sonnet 5.5, Solo docs, tareas de docs: 94,0k tokens por ejecución (intervalo del 95%: 63,8k a 125,1k, 16 ejecuciones). Sonnet 5.5, pinright MCP, tareas de docs: 62,9k tokens por ejecución (intervalo del 95%: 52,4k a 76,7k, 16 ejecuciones); 33% menos que solo docs en las mismas tareas. Opus 5.5, Sin docs, tareas de docs: 19,0k tokens por ejecución (intervalo del 95%: 17,3k a 21,0k, 16 ejecuciones). Opus 5.5, Solo docs, tareas de docs: 113,2k tokens por ejecución (intervalo del 95%: 78,8k a 152,6k, 16 ejecuciones). Opus 5.5, pinright MCP, tareas de docs: 83,9k tokens por ejecución (intervalo del 95%: 67,1k a 98,9k, 16 ejecuciones); 26% menos que solo docs en las mismas tareas. Haiku 5.5, Sin docs, tareas de docs: 23,5k tokens por ejecución (intervalo del 95%: 21,2k a 26,2k, 16 ejecuciones). Haiku 5.5, Solo docs, tareas de docs: 135,1k tokens por ejecución (intervalo del 95%: 95,7k a 179,9k, 16 ejecuciones). Haiku 5.5, pinright MCP, tareas de docs: 95,0k tokens por ejecución (intervalo del 95%: 77,2k a 113,3k, 16 ejecuciones); 30% menos que solo docs en las mismas tareas050k100k150kHaiku 5.5Haiku 5.5, Sin docs, tareas de docs: 23,5k tokens por ejecución (intervalo del 95%: 21,2k a 26,2k, 16 ejecuciones)Sin docs23,5kHaiku 5.5, Solo docs, tareas de docs: 135,1k tokens por ejecución (intervalo del 95%: 95,7k a 179,9k, 16 ejecuciones)Solo docs135,1kHaiku 5.5, pinright MCP, tareas de docs: 95,0k tokens por ejecución (intervalo del 95%: 77,2k a 113,3k, 16 ejecuciones); 30% menos que solo docs en las mismas tareaspinright MCP95,0k
Tokens por ejecución, benchmark de docs. 8 tareas x 2 ejecuciones por brazo y modelo.
Del servidor de contexto solo docs a pinright, promedios por ejecución. "Menos" empareja los dos brazos tarea por tarea; los corchetes son intervalos del 95% que remuestrean tareas.
Benchmark, modeloTokens (k)Menos con pinrightTexto MCP (k caracteres)Llamadas a get-docsTurnosCosto (USD, precio de lista)
Agente, Sonnet 5.555,6 a 42,224% [14; 34]24,8 a 5,35,2 a 0,79,3 a 5,90,088 a 0,050
Agente, Haiku 5.593,8 a 74,221% [6; 33]45,3 a 17,25,7 a 1,711,1 a 7,50,008 a 0,005
Agente, Opus 5.573,3 a 54,626% [11; 37]32,9 a 10,45,7 a 1,39,9 a 6,80,212 a 0,126
Docs, Sonnet 5.594,0 a 62,933% [13; 45]35,0 a 20,25,4 a 1,611,7 a 8,10,120 a 0,084
Docs, Haiku 5.5135,1 a 95,030% [4; 46]46,9 a 26,14,5 a 2,013,4 a 9,10,010 a 0,007
Docs, Opus 5.5113,2 a 83,926% [2; 43]38,6 a 23,76,4 a 1,912,4 a 9,30,263 a 0,195

Por qué pinright lee menos

Las transcripciones muestran dos formas de encontrar una versión. Con solo docs, el agente usó get-docs para buscar versiones: en el benchmark de agentes la llamó una vez por paquete, antes de escribir ningún archivo. 345 de esas 398 llamadas no nombraban una versión, así que devolvieron la documentación de la última versión, y 299 pusieron "version" o "latest" en la consulta. Una ejecución de Sonnet empieza con "I'll check the libraries' current versions in the docs first." Con pinright, las 72 ejecuciones de agente empezaron con check-packages sobre la lista completa de dependencias, de 0,5k a 0,7k caracteres por llamada, que devuelve la versión a fijar. Después el agente llamó a get-docs de 0,7 a 1,7 veces por ejecución, con una versión en 86 de 87 llamadas. Las instrucciones del servidor completo piden ese orden; el servidor de solo docs no tiene check-packages, y cada prompt le pide al agente que revise las bibliotecas antes de elegir versiones.

Texto de herramientas MCP por ejecución, tareas de agente, Sonnet 5.5Miles de caracteres que devolvieron las herramientas MCP por ejecución en las 12 tareas de agente, solo docs contra el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Solo docs, tareas de agente: 24,8k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 19,6k a 30,8k, 24 ejecuciones). Sonnet 5.5, pinright MCP, tareas de agente: 5,3k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 2,9k a 7,7k, 24 ejecuciones); 79% menos que solo docs en las mismas tareas. Opus 5.5, Solo docs, tareas de agente: 32,9k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 25,7k a 40,5k, 24 ejecuciones). Opus 5.5, pinright MCP, tareas de agente: 10,4k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 6,5k a 14,6k, 24 ejecuciones); 68% menos que solo docs en las mismas tareas. Haiku 5.5, Solo docs, tareas de agente: 45,3k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 33,3k a 60,6k, 24 ejecuciones). Haiku 5.5, pinright MCP, tareas de agente: 17,2k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 12,4k a 21,9k, 24 ejecuciones); 62% menos que solo docs en las mismas tareas020k40k60kSonnet 5.5Sonnet 5.5, Solo docs, tareas de agente: 24,8k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 19,6k a 30,8k, 24 ejecuciones)Solo docs24,8kSonnet 5.5, pinright MCP, tareas de agente: 5,3k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 2,9k a 7,7k, 24 ejecuciones); 79% menos que solo docs en las mismas tareaspinright MCP5,3k
Texto de herramientas MCP por ejecución, tareas de agente, Opus 5.5Miles de caracteres que devolvieron las herramientas MCP por ejecución en las 12 tareas de agente, solo docs contra el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Solo docs, tareas de agente: 24,8k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 19,6k a 30,8k, 24 ejecuciones). Sonnet 5.5, pinright MCP, tareas de agente: 5,3k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 2,9k a 7,7k, 24 ejecuciones); 79% menos que solo docs en las mismas tareas. Opus 5.5, Solo docs, tareas de agente: 32,9k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 25,7k a 40,5k, 24 ejecuciones). Opus 5.5, pinright MCP, tareas de agente: 10,4k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 6,5k a 14,6k, 24 ejecuciones); 68% menos que solo docs en las mismas tareas. Haiku 5.5, Solo docs, tareas de agente: 45,3k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 33,3k a 60,6k, 24 ejecuciones). Haiku 5.5, pinright MCP, tareas de agente: 17,2k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 12,4k a 21,9k, 24 ejecuciones); 62% menos que solo docs en las mismas tareas020k40k60kOpus 5.5Opus 5.5, Solo docs, tareas de agente: 32,9k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 25,7k a 40,5k, 24 ejecuciones)Solo docs32,9kOpus 5.5, pinright MCP, tareas de agente: 10,4k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 6,5k a 14,6k, 24 ejecuciones); 68% menos que solo docs en las mismas tareaspinright MCP10,4k
Texto de herramientas MCP por ejecución, tareas de agente, Haiku 5.5Miles de caracteres que devolvieron las herramientas MCP por ejecución en las 12 tareas de agente, solo docs contra el servidor MCP de pinright, con intervalos del 95%. Sonnet 5.5, Solo docs, tareas de agente: 24,8k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 19,6k a 30,8k, 24 ejecuciones). Sonnet 5.5, pinright MCP, tareas de agente: 5,3k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 2,9k a 7,7k, 24 ejecuciones); 79% menos que solo docs en las mismas tareas. Opus 5.5, Solo docs, tareas de agente: 32,9k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 25,7k a 40,5k, 24 ejecuciones). Opus 5.5, pinright MCP, tareas de agente: 10,4k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 6,5k a 14,6k, 24 ejecuciones); 68% menos que solo docs en las mismas tareas. Haiku 5.5, Solo docs, tareas de agente: 45,3k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 33,3k a 60,6k, 24 ejecuciones). Haiku 5.5, pinright MCP, tareas de agente: 17,2k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 12,4k a 21,9k, 24 ejecuciones); 62% menos que solo docs en las mismas tareas020k40k60kHaiku 5.5Haiku 5.5, Solo docs, tareas de agente: 45,3k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 33,3k a 60,6k, 24 ejecuciones)Solo docs45,3kHaiku 5.5, pinright MCP, tareas de agente: 17,2k caracteres de texto de herramientas MCP por ejecución (intervalo del 95%: 12,4k a 21,9k, 24 ejecuciones); 62% menos que solo docs en las mismas tareaspinright MCP17,2k
Texto de herramientas MCP por ejecución, benchmark de agentes. Miles de caracteres que las herramientas de docs y de veredicto le devolvieron al agente: documentación, veredictos y respuestas de find-library.

Los intervalos de tokens por brazo se superponen en cinco de los seis pares de modelo y benchmark; los intervalos emparejados, que comparan las mismas tareas, quedan por encima de cero en los seis. Las lecturas de caché son la mayor parte de la entrada de cada ejecución y cuestan menos que la entrada nueva, así que los tokens y el costo no se mueven en proporción. Datos: tokens_by_model_arm.csv, de bench/tokens.ts.

Con una shell, todos los brazos terminaron en las mismas 6 alertas

Las ejecuciones de arriba le dan al agente solo Write y Read, así que fija versiones de memoria. Repetimos las mismas 12 tareas con Bash, cada trabajo en un contenedor Linux descartable, con un npm install o pip install real y una revisión de compilación: 216 ejecuciones con tres modelos y tres brazos (sin docs, solo hook, servidor MCP y hook). Sin el servidor MCP, el agente ejecutó npm view o pip index versions antes de fijar versiones en todas las ejecuciones. Todos los brazos y modelos terminaron con 6 alertas en todo el árbol, las que trae el árbol de la última versión de nuxt, y ninguna dependencia directa con un aviso. En estas tareas, con una shell, pinright no cambió de forma medible lo que se fijó.

Brazo con shell, 24 ejecuciones por brazo y modelo, alertas en todo el árbol sumadas sobre las ejecuciones.
BrazoSonnet 5.5Opus 5.5Haiku 5.5
Sin docs666
Solo hook666
Servidor MCP y hook666

El hook respondió 897 llamadas a herramientas y rechazó o preguntó en 48. Ninguna frenó una versión con un aviso, porque ningún agente intentó instalar una. 13 fueron falsos positivos con npm install && npx tsc en un mismo comando, y 13 vinieron de una versión publicada horas antes que deps.dev todavía no listaba. Las ejecuciones de solo hook tardaron de 15% a 21% más que sin docs. Detalles en RESULTS-shell.md (en inglés).

El hook bloqueó o preguntó en 1,46% de 25.077 comandos públicos

Pasamos por el hook real 25.077 comandos y escrituras de manifiestos de 180 repositorios públicos (pasos de CI, scripts de package.json, líneas de README, Dockerfiles, Makefiles). La versión 1.0.0 bloqueó o preguntó en 1,46%, y rechazó 0,13%. La mayoría de esas preguntas son a propósito: una versión en una variable, una fuente git, otro índice de paquetes. 32 fueron verdaderos positivos, como npm install -g pnpm@8 con 26 avisos en un workflow público. Las 13 causas raíz que arreglamos salieron de este mismo corpus, así que no hay un conjunto reservado. También repetimos un mes de nuestras propias sesiones de Claude Code, 154.402 llamadas a herramientas distintas: después de dos arreglos que motivó esa repetición, el hook leyó mal 10 de ellas, frente a 52 verdaderos positivos y 79 preguntas por diseño.

  • Versión candidata
  • Después de los arreglos que motivó esta repetición
El hook bloqueó o preguntó, por fuenteProporción de comandos públicos y escrituras de manifiestos que el hook bloqueó o sobre los que preguntó, antes y después de los arreglos que motivó esta repetición, por fuente. Scripts de package.json: 0,27% bloqueado o con pregunta antes de los arreglos (6588 entradas). Scripts de package.json: 0,06% bloqueado o con pregunta después de los arreglos (6588 entradas). Líneas de README / CONTRIBUTING: 0,98% bloqueado o con pregunta antes de los arreglos (2146 entradas). Líneas de README / CONTRIBUTING: 0,61% bloqueado o con pregunta después de los arreglos (2146 entradas). Objetivos de Makefile / justfile: 5,34% bloqueado o con pregunta antes de los arreglos (711 entradas). Objetivos de Makefile / justfile: 0,42% bloqueado o con pregunta después de los arreglos (711 entradas). Pasos run: de GitHub Actions: 2,29% bloqueado o con pregunta antes de los arreglos (14040 entradas). Pasos run: de GitHub Actions: 1,54% bloqueado o con pregunta después de los arreglos (14040 entradas). RUN de Dockerfile: 4,78% bloqueado o con pregunta antes de los arreglos (1171 entradas). RUN de Dockerfile: 4,36% bloqueado o con pregunta después de los arreglos (1171 entradas). Escrituras de manifiestos: 7,60% bloqueado o con pregunta antes de los arreglos (421 entradas). Escrituras de manifiestos: 2,61% bloqueado o con pregunta después de los arreglos (421 entradas)0%2%4%6%8%Scripts de package.jsonScripts de package.json: 0,27% bloqueado o con pregunta antes de los arreglos (6588 entradas)Sin arreglos0,27%Scripts de package.json: 0,06% bloqueado o con pregunta después de los arreglos (6588 entradas)Con arreglos0,06%Líneas de README / CONTRIBUTINGLíneas de README / CONTRIBUTING: 0,98% bloqueado o con pregunta antes de los arreglos (2146 entradas)Sin arreglos0,98%Líneas de README / CONTRIBUTING: 0,61% bloqueado o con pregunta después de los arreglos (2146 entradas)Con arreglos0,61%Objetivos de Makefile / justfileObjetivos de Makefile / justfile: 5,34% bloqueado o con pregunta antes de los arreglos (711 entradas)Sin arreglos5,34%Objetivos de Makefile / justfile: 0,42% bloqueado o con pregunta después de los arreglos (711 entradas)Con arreglos0,42%Pasos run: de GitHub ActionsPasos run: de GitHub Actions: 2,29% bloqueado o con pregunta antes de los arreglos (14040 entradas)Sin arreglos2,29%Pasos run: de GitHub Actions: 1,54% bloqueado o con pregunta después de los arreglos (14040 entradas)Con arreglos1,54%RUN de DockerfileRUN de Dockerfile: 4,78% bloqueado o con pregunta antes de los arreglos (1171 entradas)Sin arreglos4,78%RUN de Dockerfile: 4,36% bloqueado o con pregunta después de los arreglos (1171 entradas)Con arreglos4,36%Escrituras de manifiestosEscrituras de manifiestos: 7,60% bloqueado o con pregunta antes de los arreglos (421 entradas)Sin arreglos7,60%Escrituras de manifiestos: 2,61% bloqueado o con pregunta después de los arreglos (421 entradas)Con arreglos2,61%
Tasa de falsos positivos del hook por fuente. De 2,22% a 1,44% sobre todas las entradas. Dos arreglos de la segunda revisión de seguridad preguntan a propósito, lo que deja la versión publicada en 1,46%. El corpus son comandos de CI y de README, no sesiones de agentes.

Latencia

El hook corre antes de cada comando de shell. Un comando que no instala nada tardó 121 ms en la mediana; una instalación tardó 358 ms con caché caliente y 2,4 s en frío. Con el servidor MCP, las ejecuciones necesitaron unos 2 a 4 turnos más del agente y de 1,5 a 2 veces el costo equivalente en API de una ejecución sin herramientas.

Latencia del hook, 5 ejecuciones por caso, Windows, Node 24, servicios en vivo. Medido una vez, en una sola máquina.
CasoCachép50p95Presupuesto
Comando que no instala nada (npm test)n/a121 ms177 ms238 ms
Una instalación (npm i express)caliente358 ms372 ms1 s
Una instalaciónen frío2,4 s3,7 s5 s
requirements.txt de 15 líneascaliente1,0 s1,5 s1 s
requirements.txt de 15 líneasen frío4,6 s5,6 s5 s
package.json con 30 dependencias nuevascaliente1,2 s1,5 s1,5 s
package.json con 30 dependencias nuevasen frío10,9 s15,2 s45 s

El presupuesto de un comando que no instala nada es el arranque del propio Node (88 ms) más 150 ms. Un archivo requirements de 15 líneas en frío supera su presupuesto de p95.

Salvedades

  • Modelos de un solo proveedor, todos manejados por Claude Code. Otros agentes pueden fijar versiones de otra forma.
  • Tareas que escribimos nosotros, y solo proyectos nuevos. Editar una base de código vieja es otro problema.
  • Las ejecuciones principales no le dan una shell al agente. Con una shell, los agentes buscaron las versiones por su cuenta y todos los brazos terminaron en las mismas 6 alertas.
  • Datos de avisos de los dos días de la ejecución, 2026-11-02 y 2026-11-03. Los avisos nuevos cambian los conteos.
  • 2 ejecuciones por brazo y modelo, o sea de 16 a 24 ejecuciones por celda. Lee los intervalos, no solo las barras.
  • pinright solo conoce los avisos publicados. Un paquete sin avisos registrados no tiene ninguno reportado todavía.
  • El corpus público de falsos positivos son comandos de CI y de README. La repetición de sesiones de agentes cubre un mes de trabajo de una sola persona.

Datos e informe

El informe técnico cubre el diseño, el método, los resultados y las revisiones de seguridad. Los CSV agregados y los scripts que dibujan cada figura a partir de ellos están en el repositorio. El benchmark v7 corrió sobre el código de la 1.0.0; el v6, sobre un commit previo a la versión, queda en el repositorio para comparar. El informe y los resultados están en inglés.