agentskills

IA, agentes y MCPdanielmiessler/LifeOS★ 20k

Evaluar modelos y resultados

Te ayuda a evaluar respuestas, comparar modelos y medir si un resultado cumple lo esperado. Sirve cuando necesitas juicios calibrados, pruebas A/B o un sistema para revisar salidas de IA con criterios claros.

Descripción original (inglés)

Assay: Assertion-first eval framework: code asserts, calibrated judges, pass@k, A/B comparison, agentic evals, judgment-layer question systems and code-extract-decide-write pipelines. USE WHEN eval, evaluate, benchmark, judge, judge prompt, judge panel, regression test, assert, llm-rubric, calibrate judge, judged residue, pass@k, pass^k, grade output, compare prompts or models, A/B test, which model did we like, model retro, ablation, with/without, test agent, agentic eval, noul/choice/score question, glance row, judged miss, proof this, check the output, did it come out as asked, design judgment questions, question system, design a pipeline, extract values, Clairic, LLM-only baseline, judgment layer status/report/tune, is this caller ready to enforce. NOT FOR scientific-method framing (Science), property/mutation testing (Hardening), live UI verification (Interceptor), non-eval prompts (Prompting), TypeSafe apps outside LifeOS (typesafe-ai).

Cómo instalarla

Una skill es una carpeta con un fichero SKILL.md. Para instalarla basta con copiar la carpeta Assay en el sitio donde tu agente busca sus skills.

  1. Sin terminal: abre la carpeta en GitHub, descárgala y cópiala en la carpeta de tu agente (tabla de abajo).
  2. Con terminal (macOS, Linux o Git Bash en Windows): elige tu agente y copia los comandos.
Agente
Para
git clone --depth 1 https://github.com/danielmiessler/LifeOS.git /tmp/skill-src
mkdir -p ~/.claude/skills
cp -r "/tmp/skill-src/LifeOS/install/skills/Assay" ~/.claude/skills/Assay
rm -rf /tmp/skill-src
Carpetas de skills por agente
AgentePara todos tus proyectosSolo un proyecto
Claude Code~/.claude/skills.claude/skills
GitHub Copilot~/.copilot/skills.github/skills
Codex~/.agents/skills.agents/skills
Gemini CLI~/.gemini/skills.gemini/skills

Muchos agentes leen también .agents/skills. Reinicia el agente después de instalar. Antes de instalar una skill, revisa su SKILL.md y los scripts que incluya: se ejecutan con tus permisos.

Más skills de danielmiessler/LifeOS

Explicación redactada con ayuda de IA a partir de la descripción original.