Voicebox: clona voces, dicta y habla con agentes — alternativa local y gratuita a ElevenLabs

Si buscas clonar una voz, generar narración o dictar texto sin pagar suscripción ni subir audio a servidores ajenos, Voicebox es uno de los proyectos que más tracción ha ganado en 2026. Creado por Jamie Pine y publicado bajo licencia MIT en GitHub, se vende como alternativa local y gratuita a ElevenLabs y WisprFlow: clonación, siete motores TTS, dictado con Whisper, editor multipista, efectos de audio y una API REST — todo corriendo en tu Mac, PC o Linux con GPU (Metal, CUDA, ROCm, DirectML) o CPU.

Qué hace Voicebox en la práctica

La promesa del sitio es triple: Clone (clonar voces), Capture (dictar y transcribir) y Create (generar speech y historias multipersonaje). A diferencia de un simple clonador web, Voicebox es una app de escritorio completa con historial de generaciones, perfiles de voz reutilizables y un servidor HTTP embebido en 127.0.0.1:17493 para integraciones.

• Clonación casi instantánea: arrastra un WAV/MP3/FLAC, graba hasta 30 s con el micrófono o captura audio del sistema (YouTube, podcast, cualquier app).
• Stories Editor: línea de tiempo para mezclar varias voces en un mismo guion — útil para podcasts, doblaje amateur o prototipos de juegos.
• Pipeline de efectos: pitch, reverb, delay, compresión; presets guardables por perfil de voz.
• Generación larga: hasta 50.000 caracteres por petición, partidos en frases y unidos con crossfade.
• Personalidades: texto libre que define carácter; modos Rewrite (mismo contenido, otra entrega) y Compose (improvisación en personaje).

Siete motores TTS bajo un mismo techo

Desde la versión 0.2.0, Voicebox dejó de depender de un solo modelo y pasó a ser una plataforma multi-motor. Puedes elegir motor por generación según calidad, idioma o hardware:

• Qwen3-TTS (Alibaba, 0.6B/1.7B): clonación multilingüe con instrucciones de entrega en lenguaje natural («habla lento y cálido»).
• Chatterbox (Resemble AI): 23 idiomas, clonación zero-shot y control de emoción.
• Chatterbox Turbo (350M): rápido; admite etiquetas [laugh], [sigh], [gasp].
• LuxTTS (ZipVoice): orientado a CPU, 48 kHz, >150× realtime en CPU según el proyecto.
• Qwen CustomVoice: nueve locutores preset con control por instrucciones.
• TADA (Hume AI): pensado para formas largas (700+ s coherentes).
• Kokoro (Apache 2.0, 82M): mínimo VRAM, tiempo real en CPU, voces preset.

Para transcripción y dictado usa Whisper (varios tamaños + Turbo) en 99 idiomas. Un LLM Qwen3 local opcional limpia muletillas del dictado («um», autocorrecciones) sin reescribir el sentido — comparable a WisprFlow, pero offline.

Dictado global: habla y pega en cualquier app

Mantén ⌘⌥ en macOS o Ctrl+Alt en Windows, habla y suelta: el texto cae en el campo activo o en el portapapeles. Voicebox muestra una «pill» flotante mientras graba y transcribe. Es el flujo que compite directamente con dictado en la nube, con la ventaja de que el audio y el modelo pueden quedarse en disco.

MCP: Cursor y Claude Code con voz

Uno de los ángulos más interesantes para desarrolladores es el servidor MCP incluido. Basta añadir a la config del agente:

{
  "mcpServers": {
    "voicebox": {
      "url": "http://127.0.0.1:17493/mcp"
    }
  }
}

Desde ahí cualquier cliente compatible (Claude Code, Cursor, Cline…) puede invocar voicebox.speak con un perfil de voz clonado. Puedes asignar voces distintas por agente — Morgan para Claude, otra para Cursor — y ver en pantalla cuándo el agente está hablando. También existe POST /speak para scripts, Stream Deck o juegos.

API local sin API keys

Cada motor descargado expone endpoints REST en localhost. Ejemplo oficial del sitio para generar una línea:

curl -X POST http://127.0.0.1:17493/generate \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Welcome to the game, player one.",
    "profile_id": "b3f1c2d4-5e6f-4a7b-8c9d-0e1f2a3b4c5d",
    "engine": "qwen_custom_voice",
    "instruct": "warm, slow, cinematic"
  }' \
  --output line.wav

Sin cuotas por carácter, sin rate limits de terceros y funcionamiento offline una vez descargados los modelos. La documentación OpenAPI vive en /docs cuando la app está en marcha.

Hardware: local, remoto o Docker

Voicebox detecta GPU NVIDIA (CUDA), AMD (ROCm), Intel Arc, Apple Silicon (Metal) y DirectML en Windows. También permite apuntar la inferencia a otra máquina en la red — útil si tu portátil es flojo pero tienes un PC con RTX en casa. Hay imagen Docker para despliegue headless sin interfaz gráfica.

¿Es realmente gratis?

Sí para el núcleo. La página de pricing aclara que clonación, dictado, todos los motores, MCP y personalidades corren en local sin cuenta obligatoria. Los planes de pago opcionales añaden backup y sincronización en la nube; el proyecto promete seguir «free and open source forever». Existe además un token $VOICEBOX en Solana para quien quiera apoyar al autor — no desbloquea funciones.

Limitaciones y consideraciones éticas

Clonar voces reales —celebridades, compañeros, clientes— plantea riesgos de suplantación y derechos de imagen. Voicebox incluye voces preset con nombres reconocibles (Jarvis, Morgan Freeman, Barack Obama…) claramente orientadas al entretenimiento y la parodia; en producción comercial conviene usar muestras con consentimiento o voces propias. La calidad depende del hardware: un Mac con Apple Silicon o una GPU dedicada marcan diferencia frente a CPU sola. Y el repositorio acumula cientos de issues abiertos: es software joven, aunque con comunidad muy activa.

En resumen

Voicebox condensa en una sola app lo que antes requería ElevenLabs + WisprFlow + plugins sueltos: clonación, TTS multmotor, dictado Whisper, efectos, editor multipista, API y MCP para agentes. Si tu prioridad es privacidad, coste cero recurrente y control del stack de IA de voz, merece estar en la lista de herramientas a probar en 2026 — empezando por la descarga oficial o el código fuente.