语音识别 标签

NVIDIA推出Nemotron 3 Nano Omni，将Nemotron扩展为统一处理文本、图像、视频和音频的多模态理解模型，面向长文档分析、语音识别、长音视频理解、GUI代理和通用推理，在文档、视频、音频多项基准上领先，并以混合Mamba-Transformer-MoE架构和分阶段训练实现更长上下文、更高精度及最高9倍吞吐提升。

VibeVoice是微软开源的前沿语音AI模型家族，包含语音识别（ASR）和语音合成（TTS）两大方向。核心创新采用7.5Hz超低帧率的连续语音分词器，结合大语言模型与扩散模型实现高效长序列处理。