Evidencia · benchmark v7 · 2026-11-02
Qué medimos y cuánto confiar en ello
Cada número de esta página sale de los CSV agregados del repositorio, de los que salen también las figuras. No publicamos las transcripciones crudas de los agentes; una ejecución nueva usa datos de avisos en vivo y va a dar otros números. Los límites están al lado de los resultados.
Método
- Claude Code 2.1.308 en modo headless, con Sonnet 5.5, Haiku 5.5 y Opus 5.5.
- 12 tareas de programación que escribimos nosotros (8 de npm, 4 de PyPI) y que piden versiones fijadas. 2 ejecuciones por brazo y modelo.
- Brazos: sin docs; solo docs (pinright con su veredicto apagado); servidor MCP de pinright; solo hook; MCP más hook. Una referencia sin versión instala los mismos paquetes sin fijar versión.
- Auditamos cada proyecto con
npm auditopip-audit, que no comparten código con pinright, y después lo instalamos y compilamos. - 360 ejecuciones de agente más 144 ejecuciones de docs, USD 35,10 en total a precio de lista de la API, sobre el código de la 1.0.0.
Unas 30 alertas por proyecto sin docs, 0,3 con pinright
Sin herramientas, los proyectos promediaron de 29,8 a 31,9 alertas en todo el árbol. Con el servidor MCP de pinright cada modelo promedió 0,3, lo mismo que instalar los paquetes sin versión. Ese 0,3 es de nuxt: su versión actual trae versiones de deepmerge, glob y minimatch con avisos y todavía sin arreglo.
- Sin pinright, con el veredicto apagado o sin versión
- Con pinright
- Intervalo del 95%, remuestreando tareas
40% a 42% de las versiones directas fijadas tenían un aviso de seguridad conocido, 0% con pinright
Sonnet fijó 66 de 164 dependencias directas con un aviso, Haiku 63 de 157 y Opus 66 de 159. Ejemplos: axios@1.7.9, pillow@11.0.0, pyjwt@2.10.1. Ningún brazo fijó un paquete o una versión que no exista.
- Sin pinright, con el veredicto apagado o sin versión
- Con pinright
- Intervalo del 95%, remuestreando tareas
La documentación actual hace la mayor parte del trabajo. El veredicto hace el resto.
El brazo de solo docs es el propio servidor de pinright con el veredicto apagado, que documenta la última versión de cada paquete. Llevar al agente hacia versiones actuales de esa forma redujo las alertas de 89% a 99%. Sin el veredicto, Sonnet fijó un next@15.5.0 vulnerable en sus dos ejecuciones de next-auth y Haiku una beta de next-auth con avisos en las dos suyas, y las ejecuciones necesitaron más turnos y costaron de 1,5x a 1,8x más que con el servidor completo.
| Brazo | Sonnet 5.5 | Haiku 5.5 | Opus 5.5 |
|---|---|---|---|
| Sin docs | 766 (40%) | 715 (40%) | 732 (42%) |
| Solo docs (veredicto apagado) | 84 (2%) | 63 (2%) | 6 (0%) |
| pinright MCP | 6 (0%) | 6 (0%) | 6 (0%) |
| pinright solo hook | 14 (0%) | 14 (0%) | 14 (0%) |
| pinright MCP + hook | 6 (0%) | 6 (0%) | 6 (0%) |
| Proyectos que compilan, pinright MCP | 23/24 | 23/24 | 24/24 |
| Costo por ejecución, sin docs / MCP (USD, precio de lista) | 0,033 / 0,050 | 0,003 / 0,006 | 0,074 / 0,126 |
Lo que queda en el brazo de solo hook viene de next 15.5.28, que no tiene avisos propios pero trae un postcss que sí tiene. Sobre los mismos 394 lockfiles, check-manifest de pinright marcó los mismos paquetes que npm audit y pip-audit (Jaccard promedio de 0,96 en npm y 1,00 en PyPI).
16 de 16 ejecuciones escribieron la API actual, frente a 9 a 14 sin docs
Ocho tareas que solo salen bien con la versión mayor actual de una biblioteca: Next.js 16, Tailwind CSS 4, Zod 4, AI SDK 7, Express 5, ESLint 10, Pydantic 2 y LangChain 1. Una ejecución cuenta cuando instala, compila, pasa una prueba de humo, fija la versión mayor pedida y no usa ninguna API retirada ni deprecada. Sin docs, todos los modelos escribieron código de AI SDK 5/6 para AI SDK 7, y la mayoría de las ejecuciones de LangChain fijaron una 1.x temprana cuyos imports fallan. Los modelos ya conocían cinco de las ocho API, así que la diferencia depende de las otras tres. Los intervalos sin docs de Sonnet y Opus se superponen con 16 de 16; el de Haiku, no.
- Sin pinright, con el veredicto apagado o sin versión
- Con pinright
- Intervalo del 95%, remuestreando tareas
Sin agente, la documentación de pinright respondió 25 de 28 y 33 de 45 preguntas en dos conjuntos reservados que nadie usó para ajustar, sobre bibliotecas fuera del benchmark. Una sonda busca cadenas de la API actual y no evalúa si la respuesta es correcta.
21% a 33% menos tokens que un servidor de solo docs
Los servidores MCP de documentación devuelven la documentación de una biblioteca; no revisan la versión que fija el agente y no ven la instalación. El brazo de solo docs los representa: el propio servidor de pinright con su capa de seguridad apagada, que sirve la documentación de la versión pedida sin veredicto. No es otro producto. Frente a él, el servidor completo usó de 21% a 26% menos tokens por ejecución en las tareas de agente y de 26% a 33% menos en las tareas de docs, y de 3,1 a 4,3 turnos menos. Sin ninguna herramienta, el agente usó la menor cantidad de tokens de los tres brazos, así que pinright cuesta más que nada.
- Sin docs, o servidor de contexto solo docs
- Servidor MCP de pinright
- Intervalo del 95%, remuestreando tareas
| Benchmark, modelo | Tokens (k) | Menos con pinright | Texto MCP (k caracteres) | Llamadas a get-docs | Turnos | Costo (USD, precio de lista) |
|---|---|---|---|---|---|---|
| Agente, Sonnet 5.5 | 55,6 a 42,2 | 24% [14; 34] | 24,8 a 5,3 | 5,2 a 0,7 | 9,3 a 5,9 | 0,088 a 0,050 |
| Agente, Haiku 5.5 | 93,8 a 74,2 | 21% [6; 33] | 45,3 a 17,2 | 5,7 a 1,7 | 11,1 a 7,5 | 0,008 a 0,005 |
| Agente, Opus 5.5 | 73,3 a 54,6 | 26% [11; 37] | 32,9 a 10,4 | 5,7 a 1,3 | 9,9 a 6,8 | 0,212 a 0,126 |
| Docs, Sonnet 5.5 | 94,0 a 62,9 | 33% [13; 45] | 35,0 a 20,2 | 5,4 a 1,6 | 11,7 a 8,1 | 0,120 a 0,084 |
| Docs, Haiku 5.5 | 135,1 a 95,0 | 30% [4; 46] | 46,9 a 26,1 | 4,5 a 2,0 | 13,4 a 9,1 | 0,010 a 0,007 |
| Docs, Opus 5.5 | 113,2 a 83,9 | 26% [2; 43] | 38,6 a 23,7 | 6,4 a 1,9 | 12,4 a 9,3 | 0,263 a 0,195 |
Por qué pinright lee menos
Las transcripciones muestran dos formas de encontrar una versión. Con solo docs, el agente usó get-docs para buscar versiones: en el benchmark de agentes la llamó una vez por paquete, antes de escribir ningún archivo. 345 de esas 398 llamadas no nombraban una versión, así que devolvieron la documentación de la última versión, y 299 pusieron "version" o "latest" en la consulta. Una ejecución de Sonnet empieza con "I'll check the libraries' current versions in the docs first." Con pinright, las 72 ejecuciones de agente empezaron con check-packages sobre la lista completa de dependencias, de 0,5k a 0,7k caracteres por llamada, que devuelve la versión a fijar. Después el agente llamó a get-docs de 0,7 a 1,7 veces por ejecución, con una versión en 86 de 87 llamadas. Las instrucciones del servidor completo piden ese orden; el servidor de solo docs no tiene check-packages, y cada prompt le pide al agente que revise las bibliotecas antes de elegir versiones.
Los intervalos de tokens por brazo se superponen en cinco de los seis pares de modelo y benchmark; los intervalos emparejados, que comparan las mismas tareas, quedan por encima de cero en los seis. Las lecturas de caché son la mayor parte de la entrada de cada ejecución y cuestan menos que la entrada nueva, así que los tokens y el costo no se mueven en proporción. Datos: tokens_by_model_arm.csv, de bench/tokens.ts.
Con una shell, todos los brazos terminaron en las mismas 6 alertas
Las ejecuciones de arriba le dan al agente solo Write y Read, así que fija versiones de memoria. Repetimos las mismas 12 tareas con Bash, cada trabajo en un contenedor Linux descartable, con un npm install o pip install real y una revisión de compilación: 216 ejecuciones con tres modelos y tres brazos (sin docs, solo hook, servidor MCP y hook). Sin el servidor MCP, el agente ejecutó npm view o pip index versions antes de fijar versiones en todas las ejecuciones. Todos los brazos y modelos terminaron con 6 alertas en todo el árbol, las que trae el árbol de la última versión de nuxt, y ninguna dependencia directa con un aviso. En estas tareas, con una shell, pinright no cambió de forma medible lo que se fijó.
| Brazo | Sonnet 5.5 | Opus 5.5 | Haiku 5.5 |
|---|---|---|---|
| Sin docs | 6 | 6 | 6 |
| Solo hook | 6 | 6 | 6 |
| Servidor MCP y hook | 6 | 6 | 6 |
El hook respondió 897 llamadas a herramientas y rechazó o preguntó en 48. Ninguna frenó una versión con un aviso, porque ningún agente intentó instalar una. 13 fueron falsos positivos con npm install && npx tsc en un mismo comando, y 13 vinieron de una versión publicada horas antes que deps.dev todavía no listaba. Las ejecuciones de solo hook tardaron de 15% a 21% más que sin docs. Detalles en RESULTS-shell.md (en inglés).
El hook bloqueó o preguntó en 1,46% de 25.077 comandos públicos
Pasamos por el hook real 25.077 comandos y escrituras de manifiestos de 180 repositorios públicos (pasos de CI, scripts de package.json, líneas de README, Dockerfiles, Makefiles). La versión 1.0.0 bloqueó o preguntó en 1,46%, y rechazó 0,13%. La mayoría de esas preguntas son a propósito: una versión en una variable, una fuente git, otro índice de paquetes. 32 fueron verdaderos positivos, como npm install -g pnpm@8 con 26 avisos en un workflow público. Las 13 causas raíz que arreglamos salieron de este mismo corpus, así que no hay un conjunto reservado. También repetimos un mes de nuestras propias sesiones de Claude Code, 154.402 llamadas a herramientas distintas: después de dos arreglos que motivó esa repetición, el hook leyó mal 10 de ellas, frente a 52 verdaderos positivos y 79 preguntas por diseño.
- Versión candidata
- Después de los arreglos que motivó esta repetición
Latencia
El hook corre antes de cada comando de shell. Un comando que no instala nada tardó 121 ms en la mediana; una instalación tardó 358 ms con caché caliente y 2,4 s en frío. Con el servidor MCP, las ejecuciones necesitaron unos 2 a 4 turnos más del agente y de 1,5 a 2 veces el costo equivalente en API de una ejecución sin herramientas.
| Caso | Caché | p50 | p95 | Presupuesto |
|---|---|---|---|---|
| Comando que no instala nada (npm test) | n/a | 121 ms | 177 ms | 238 ms |
| Una instalación (npm i express) | caliente | 358 ms | 372 ms | 1 s |
| Una instalación | en frío | 2,4 s | 3,7 s | 5 s |
| requirements.txt de 15 líneas | caliente | 1,0 s | 1,5 s | 1 s |
| requirements.txt de 15 líneas | en frío | 4,6 s | 5,6 s | 5 s |
| package.json con 30 dependencias nuevas | caliente | 1,2 s | 1,5 s | 1,5 s |
| package.json con 30 dependencias nuevas | en frío | 10,9 s | 15,2 s | 45 s |
El presupuesto de un comando que no instala nada es el arranque del propio Node (88 ms) más 150 ms. Un archivo requirements de 15 líneas en frío supera su presupuesto de p95.
Salvedades
- Modelos de un solo proveedor, todos manejados por Claude Code. Otros agentes pueden fijar versiones de otra forma.
- Tareas que escribimos nosotros, y solo proyectos nuevos. Editar una base de código vieja es otro problema.
- Las ejecuciones principales no le dan una shell al agente. Con una shell, los agentes buscaron las versiones por su cuenta y todos los brazos terminaron en las mismas 6 alertas.
- Datos de avisos de los dos días de la ejecución, 2026-11-02 y 2026-11-03. Los avisos nuevos cambian los conteos.
- 2 ejecuciones por brazo y modelo, o sea de 16 a 24 ejecuciones por celda. Lee los intervalos, no solo las barras.
- pinright solo conoce los avisos publicados. Un paquete sin avisos registrados no tiene ninguno reportado todavía.
- El corpus público de falsos positivos son comandos de CI y de README. La repetición de sesiones de agentes cubre un mes de trabajo de una sola persona.
Datos e informe
El informe técnico cubre el diseño, el método, los resultados y las revisiones de seguridad. Los CSV agregados y los scripts que dibujan cada figura a partir de ellos están en el repositorio. El benchmark v7 corrió sobre el código de la 1.0.0; el v6, sobre un commit previo a la versión, queda en el repositorio para comparar. El informe y los resultados están en inglés.