agentskills

ProgramaciónOrchestra-Research/AI-Research-SKILLs★ 14k

Cuantizar modelos con AWQ

Te ayuda a comprimir modelos de lenguaje a 4 bits para ahorrar memoria y acelerar la inferencia. Útil cuando despliegas modelos grandes en GPUs limitadas y quieres mantener buena precisión.

Descripción original (inglés)

awq-quantization: Activation-aware weight quantization for 4-bit LLM compression with 3x speedup and minimal accuracy loss. Use when deploying large models (7B-70B) on limited GPU memory, when you need faster inference than GPTQ with better accuracy preservation, or for instruction-tuned and multimodal models. MLSys 2024 Best Paper Award winner.

Cómo instalarla

Una skill es una carpeta con un fichero SKILL.md. Para instalarla basta con copiar la carpeta awq en el sitio donde tu agente busca sus skills.

  1. Sin terminal: abre la carpeta en GitHub, descárgala y cópiala en la carpeta de tu agente (tabla de abajo).
  2. Con terminal (macOS, Linux o Git Bash en Windows): elige tu agente y copia los comandos.
Agente
Para
git clone --depth 1 https://github.com/Orchestra-Research/AI-Research-SKILLs.git /tmp/skill-src
mkdir -p ~/.claude/skills
cp -r "/tmp/skill-src/10-optimization/awq" ~/.claude/skills/awq
rm -rf /tmp/skill-src
Carpetas de skills por agente
AgentePara todos tus proyectosSolo un proyecto
Claude Code~/.claude/skills.claude/skills
GitHub Copilot~/.copilot/skills.github/skills
Codex~/.agents/skills.agents/skills
Gemini CLI~/.gemini/skills.gemini/skills

Muchos agentes leen también .agents/skills. Reinicia el agente después de instalar. Antes de instalar una skill, revisa su SKILL.md y los scripts que incluya: se ejecutan con tus permisos.

Más skills de Orchestra-Research/AI-Research-SKILLs

Explicación redactada con ayuda de IA a partir de la descripción original.