por Juanjo LunaEvaluar regresiones de agentes
Te ayuda a comprobar que un cambio en un agente, prompt o herramienta no empeora el resultado. Sirve cuando necesitas montar una batería de pruebas de regresión, comparar contra una base o bloquear un cambio que degrada el sistema.
Descripción original (inglés)
agent-regression-evals: Use when an agent, prompt, model or tool change needs proof it did not make the agent worse — setting up a regression eval suite, deciding whether a pass-rate drop is real or noise, grading tool-call trajectories, finding flaky eval cases, or wiring an eval gate into CI that blocks the merge. Runs repeated trials, reports pass@k and pass^k, compares candidate to baseline with paired statistics, and refuses to pass a dropped case, a critical-case regression, or a forbidden tool call.
Cómo instalarla
Una skill es una carpeta con un fichero SKILL.md. Para instalarla basta con copiar la carpeta agent-regression-evals en el sitio donde tu agente busca sus skills.
- Sin terminal: abre la carpeta en GitHub, descárgala y cópiala en la carpeta de tu agente (tabla de abajo).
- Con terminal (macOS, Linux o Git Bash en Windows): elige tu agente y copia los comandos.
git clone --depth 1 https://github.com/alirezarezvani/claude-skills.git /tmp/skill-src
mkdir -p ~/.claude/skills
cp -r "/tmp/skill-src/engineering/agent-regression-evals/skills/agent-regression-evals" ~/.claude/skills/agent-regression-evals
rm -rf /tmp/skill-src| Agente | Para todos tus proyectos | Solo un proyecto |
|---|---|---|
| Claude Code | ~/.claude/skills | .claude/skills |
| GitHub Copilot | ~/.copilot/skills | .github/skills |
| Codex | ~/.agents/skills | .agents/skills |
| Gemini CLI | ~/.gemini/skills | .gemini/skills |
Muchos agentes leen también .agents/skills. Reinicia el agente después de instalar. Antes de instalar una skill, revisa su SKILL.md y los scripts que incluya: se ejecutan con tus permisos.
Más skills de alirezarezvani/claude-skills
- Auditar accesibilidad web WCAG 2.2 a11y-audit
- Revisar código con crítica adversaria adversarial-reviewer
- Diseñar sistemas multiagente agent-designer
- Orquestar agentes con verificación agent-harness
- Orquestar agentes gestionados por Claude agent-launcher-orchestrator
- Gestionar memoria de agentes agent-memory
- Coordinar agentes entre sí agent-protocol
- Diseñar flujos de trabajo multiagente agent-workflow-designer
Explicación redactada con ayuda de IA a partir de la descripción original.