英伟达正式发布免费且开放权重的语音模型 Nemotron 3.5 Transcribe,支持多达40种语言的音频转录。同期,该公司还推出了开源语音数据集 Granary 的第2版。

官方数据显示,Nemotron 3.5 支持31种语言与英语互译,可处理长达一小时的录音,并能区分最多八个说话人。英伟达表示,该模型在 Hugging Face 开放自动语音识别排行榜等多项基准测试中表现优于竞争对手。

这套工具主要面向致力于开发商务会议和医疗转录应用的开发者,这也是 AI 在职场中落地最为成熟的两个场景。英伟达指出,结合更新后的 Granary 数据集及 NeMo 语音模型,开发者可以定制能够识别各行业特定术语的应用程序。需要注意的是,Transcribe 目前仅支持录制音频处理,尚不支持实时流媒体。

尽管功能受限,英伟达强调,拥有300亿参数的 Transcribe 具备高效的单芯片运行能力。其适用范围广泛,涵盖从驱动新型笔记本电脑的 DGX Spark 芯片、Jetson AGX Thor 机器人控制器,到 Blackwell 数据中心芯片。该产品进一步丰富了英伟达的开放权重语音模型系列,此前该系列已包含参数量较小但性能强劲的 Parakeet(11亿参数)。

此次发布正值 AI 语音模型竞争白热化阶段。近期,Mistral 推出了 Voxtral 3,ElevenLabs 发布了用于语音代理的 Realtime 功能,Salesforce 也推出了语音模型 Launa-Omni。