VibeVoice: Microsoft abre su IA de voz con transcripción de 60 minutos, TTS en tiempo real y 50 idiomas

VibeVoice es la apuesta de Microsoft por una IA de voz de frontera en código abierto: un ecosistema que combina reconocimiento de habla (ASR), síntesis de voz (TTS) y generación en tiempo real en un mismo marco técnico. El repositorio en GitHub supera las 49.000 estrellas, con documentación, demos en Colab y pesos publicados en Hugging Face. Para quien trabaja con podcasts, reuniones, accesibilidad o asistentes de voz, VibeVoice ofrece algo poco habitual en modelos abiertos: procesar hasta una hora de audio sin trocearlo y devolver quién habló, cuándo y qué dijo.

Qué es VibeVoice y por qué importa

La mayoría de sistemas ASR convencionales dividen el audio en fragmentos cortos —a menudo de 30 segundos— y pierden contexto global: cambios de hablante, referencias cruzadas o términos técnicos que solo tienen sentido al final de una hora de grabación. VibeVoice-ASR ataca ese problema con una ventana de contexto de 64K tokens que admite hasta 60 minutos continuos en una sola inferencia, según el informe técnico y la documentación oficial.

En lugar de encadenar ASR + diarización + alineación temporal en tres pipelines distintos, el modelo unifica las tres tareas en una generación estructurada: una transcripción rica que intercala identidad del hablante («quién»), marcas de tiempo («cuándo») y contenido («qué»). Además admite hotwords personalizados —nombres propios, jerga médica, marcas— que el usuario inyecta como contexto para mejorar la precisión en dominios específicos.

Los tres modelos de la familia

Microsoft organiza VibeVoice en tres líneas, cada una con pesos en Hugging Face y distinto grado de disponibilidad del código de inferencia:

• VibeVoice-ASR-7B — El más maduro y adoptado. ~9.000 millones de parámetros (según Microsoft Foundry). Soporta más de 50 idiomas sin indicar idioma explícito, incluye code-switching nativo y ofrece finetuning, inferencia con vLLM e integración directa con Transformers desde marzo de 2026.
• VibeVoice-Realtime-0.5B — TTS ligero para despliegue en producción: ~300 ms hasta el primer audio audible, entrada de texto en streaming y generación robusta de hasta ~10 minutos. Incluye voces experimentales en nueve idiomas (DE, FR, IT, JP, KR, NL, PL, PT, ES) y 11 estilos en inglés.
• VibeVoice-TTS-1.5B — Síntesis multivoz de larga duración: hasta 90 minutos y 4 hablantes distintos en una conversación. Aceptado como Oral en ICLR 2026. Los pesos siguen en Hugging Face, pero Microsoft retiró el código TTS del repositorio en septiembre de 2025 tras detectar usos indebidos (deepfakes, desinformación).

VibeVoice-ASR en detalle

El ASR es hoy el pilar activo del proyecto. Microsoft lo abrió el 21 de enero de 2026 y desde entonces ha añadido código de finetuning, soporte vLLM para inferencia más rápida y el playground público en aka.ms/vibevoice-asr.

Características que lo distinguen de Whisper, Deepgram o pipelines clásicos:

• Un solo paso — Sin sliding window ni reensamblado de chunks; coherencia de hablante de principio a fin.
• Salida estructurada — Speaker ID, timestamps y texto en un flujo único, no tres herramientas encadenadas.
• Hotwords y contexto — Listas de términos o descripciones de fondo que guían el reconocimiento.
• Multilingüe nativo — Más de 50 idiomas; manejo de mezcla de idiomas dentro y entre frases.
• Ecosistema abierto — Gradio demo local, scripts de inferencia por archivo, finetuning y catálogo en Azure Foundry.

Para probarlo en local, la documentación sugiere:

python demo/vibevoice_asr_gradio_demo.py --model_path microsoft/VibeVoice-ASR --share

O inferencia directa sobre archivos de audio con vibevoice_asr_inference_from_file.py. La variante compatible con Transformers está en VibeVoice-ASR-HF.

TTS en tiempo real: VibeVoice-Realtime

Publicado en diciembre de 2025, VibeVoice-Realtime-0.5B apunta a casos donde la latencia manda: asistentes de voz, lectura en vivo de noticias o narración mientras el usuario escribe. Con solo 500 millones de parámetros, es desplegable en hardware modesto y admite texto en streaming: el modelo empieza a hablar antes de recibir la frase completa.

Microsoft ofrece un notebook de Colab para experimentar sin instalar dependencias locales. Es la vía más accesible para evaluar la calidad de voz frente a ElevenLabs, OpenAI TTS u otros servicios cerrados —con la salvedad de que sigue siendo un modelo de investigación, no un producto comercial pulido.

El TTS largo y la retirada del código

VibeVoice-TTS-1.5B fue uno de los primeros modelos abiertos capaces de generar conversaciones de hasta 90 minutos con hasta cuatro voces distintas, con entonación expresiva y coherencia de personaje a lo largo del diálogo. Los resultados de evaluación publicados por Microsoft muestran preferencia de oyentes frente a baselines en varios escenarios:

Sin embargo, en septiembre de 2025 Microsoft eliminó el código de inferencia TTS del repositorio. El comunicado oficial cita «instancias donde la herramienta se usó de formas inconsistentes con la intención declarada» —en la práctica, deepfakes y desinformación con voces sintéticas convincentes. Los pesos en Hugging Face permanecen, pero el acceso al pipeline completo queda restringido. Es una señal clara de la tensión entre investigación abierta y riesgo de abuso en síntesis de voz de alta fidelidad.

Arquitectura: tokenizadores a 7,5 Hz y difusión

El núcleo técnico de VibeVoice son tokenizadores de habla continuos (acústico y semántico) que operan a una frecuencia ultra baja de 7,5 Hz. Eso comprime el audio en una secuencia mucho más corta que los enfoques frame-a-frame tradicionales, lo que hace viable procesar horas de contenido dentro del contexto del LLM sin explotar la memoria.

Sobre esa representación, VibeVoice usa un marco de next-token diffusion: un modelo de lenguaje grande (basado en Qwen2.5 1.5B en las versiones iniciales) entiende el contexto textual y el flujo del diálogo, mientras una cabeza de difusión genera los detalles acústicos de alta fidelidad. Es el mismo principio que permite pasar de «entender qué decir» a «cómo sonar al decirlo» en un solo sistema entrenado de extremo a extremo.

Cómo empezar

Según tu perfil, estas son las rutas más directas:

1. Solo probar — Playground ASR o Microsoft Foundry Labs (sube audio y obtén transcripción estructurada).
2. Integrar en código — Clona el repo, instala dependencias y usa Transformers con microsoft/VibeVoice-ASR-HF.
3. TTS en tiempo real — Abre el Colab de Realtime o descarga los pesos de VibeVoice-Realtime-0.5B.
4. Afinar para tu dominio — Sigue la guía en finetuning-asr/ del repositorio para adaptar el ASR a vocabulario o acentos concretos.

Riesgos y limitaciones

Microsoft advierte explícitamente en el README: VibeVoice es para investigación y desarrollo, no para producción comercial sin pruebas adicionales. Hereda sesgos del modelo base, puede producir transcripciones incorrectas y —en el caso del TTS— el riesgo de deepfakes es real. La licencia MIT facilita el uso, pero la responsabilidad de desplegarlo de forma legal y ética recae en quien lo implementa. Microsoft recomienda divulgar el uso de IA cuando se comparte contenido generado.

En resumen

¿Qué es? Una familia open source de modelos de voz de Microsoft (ASR, TTS, streaming). ¿Qué destaca? Transcripción de 60 minutos en un paso con diarización y timestamps, 50+ idiomas y TTS en tiempo real con 300 ms de latencia. ¿Dónde probarlo? aka.ms/vibevoice-asr, GitHub y Hugging Face. ¿Precaución? El TTS largo perdió su código por abuso; todo el ecosistema sigue siendo experimental. Para equipos que procesan podcasts, actas o contenido multilingüe, VibeVoice-ASR es hoy una de las opciones abiertas más ambiciosas del mercado.