por Juanjo LunaCurar datos para LLMs con Nemo Curator
Te ayuda a limpiar y preparar grandes conjuntos de datos para entrenar modelos de lenguaje. Sirve para deduplicar, filtrar calidad, borrar datos personales o detectar contenido no apto en texto, imagen, vídeo y audio.
Descripción original (inglés)
nemo-curator: GPU-accelerated data curation for LLM training. Supports text/image/video/audio. Features fuzzy deduplication (16× faster), quality filtering (30+ heuristics), semantic deduplication, PII redaction, NSFW detection. Scales across GPUs with RAPIDS. Use for preparing high-quality training datasets, cleaning web data, or deduplicating large corpora.
Cómo instalarla
Una skill es una carpeta con un fichero SKILL.md. Para instalarla basta con copiar la carpeta nemo-curator en el sitio donde tu agente busca sus skills.
- Sin terminal: abre la carpeta en GitHub, descárgala y cópiala en la carpeta de tu agente (tabla de abajo).
- Con terminal (macOS, Linux o Git Bash en Windows): elige tu agente y copia los comandos.
git clone --depth 1 https://github.com/Orchestra-Research/AI-Research-SKILLs.git /tmp/skill-src
mkdir -p ~/.claude/skills
cp -r "/tmp/skill-src/05-data-processing/nemo-curator" ~/.claude/skills/nemo-curator
rm -rf /tmp/skill-src| Agente | Para todos tus proyectos | Solo un proyecto |
|---|---|---|
| Claude Code | ~/.claude/skills | .claude/skills |
| GitHub Copilot | ~/.copilot/skills | .github/skills |
| Codex | ~/.agents/skills | .agents/skills |
| Gemini CLI | ~/.gemini/skills | .gemini/skills |
Muchos agentes leen también .agents/skills. Reinicia el agente después de instalar. Antes de instalar una skill, revisa su SKILL.md y los scripts que incluya: se ejecutan con tus permisos.
Más skills de Orchestra-Research/AI-Research-SKILLs
- Crear figuras para artículos de IA academic-plotting
- Convertir investigación en artefacto ARA ara-compiler
- Registrar el proceso de investigación ARA ara-research-manager
- Revisar rigurosidad de artefactos ARA ara-rigor-reviewer
- Generar audio con AudioCraft audiocraft-audio-generation
- Crear agentes autónomos con AutoGPT autogpt-agents
- Coordinar investigación autónoma autoresearch
- Cuantizar modelos con AWQ awq-quantization
Explicación redactada con ayuda de IA a partir de la descripción original.