Evaluar modelos y resultados
Te ayuda a evaluar respuestas, comparar modelos y medir si un resultado cumple lo esperado. Sirve cuando necesitas juicios calibrados, pruebas A/B o un sistema para revisar salidas de IA con criterios claros.
Descripción original (inglés)
Assay: Assertion-first eval framework: code asserts, calibrated judges, pass@k, A/B comparison, agentic evals, judgment-layer question systems and code-extract-decide-write pipelines. USE WHEN eval, evaluate, benchmark, judge, judge prompt, judge panel, regression test, assert, llm-rubric, calibrate judge, judged residue, pass@k, pass^k, grade output, compare prompts or models, A/B test, which model did we like, model retro, ablation, with/without, test agent, agentic eval, noul/choice/score question, glance row, judged miss, proof this, check the output, did it come out as asked, design judgment questions, question system, design a pipeline, extract values, Clairic, LLM-only baseline, judgment layer status/report/tune, is this caller ready to enforce. NOT FOR scientific-method framing (Science), property/mutation testing (Hardening), live UI verification (Interceptor), non-eval prompts (Prompting), TypeSafe apps outside LifeOS (typesafe-ai).
Cómo instalarla
Una skill es una carpeta con un fichero SKILL.md. Para instalarla basta con copiar la carpeta Assay en el sitio donde tu agente busca sus skills.
- Sin terminal: abre la carpeta en GitHub, descárgala y cópiala en la carpeta de tu agente (tabla de abajo).
- Con terminal (macOS, Linux o Git Bash en Windows): elige tu agente y copia los comandos.
git clone --depth 1 https://github.com/danielmiessler/LifeOS.git /tmp/skill-src
mkdir -p ~/.claude/skills
cp -r "/tmp/skill-src/LifeOS/install/skills/Assay" ~/.claude/skills/Assay
rm -rf /tmp/skill-src| Agente | Para todos tus proyectos | Solo un proyecto |
|---|---|---|
| Claude Code | ~/.claude/skills | .claude/skills |
| GitHub Copilot | ~/.copilot/skills | .github/skills |
| Codex | ~/.agents/skills | .agents/skills |
| Gemini CLI | ~/.gemini/skills | .gemini/skills |
Muchos agentes leen también .agents/skills. Reinicia el agente después de instalar. Antes de instalar una skill, revisa su SKILL.md y los scripts que incluya: se ejecutan con tus permisos.
Más skills de danielmiessler/LifeOS
- Analizar informes anuales de ciberseguridad AnnualReports
- Oscilar el alcance del diseño ApertureOscillation
- Buscar y gestionar aforismos Aphorisms
- Crear arte y diagramas Art
- Revisar la dirección visual ArtDirection
- Buscar papers en arXiv ArXiv
- Limpiar audio hablado AudioEditor
- Generar ideas creativas BeCreative
Explicación redactada con ayuda de IA a partir de la descripción original.