語音模式已迅速成為對話式人工智能的旗艦功能，讓用戶感到輕松并允許他們以最自然的方式（通過語音）進行交互。 OpenAI 不斷開拓創(chuàng)新，推出了延遲低于 500 毫秒的實時 AI 語音代理。這一成就背后的技術(shù)現(xiàn)已開源，提供了無與倫比的工具訪問權(quán)限，使構(gòu)建高質(zhì)量的響應(yīng)式語音代理成為可能。

語音模式有迅速成為對話式人工智能的旗艦功能，讓用戶感到輕松并允許他們以最自然的方式（通過語音）進行交互。 OpenAI 不斷開拓創(chuàng)新，推出了延遲低于 500 毫秒的實時 AI 語音代理。這一成就背后的技術(shù)現(xiàn)已開源，提供了無與倫比的工具訪問權(quán)限，使構(gòu)建高質(zhì)量的響應(yīng)式語音代理成為可能。

OpenAI 并沒有采取任何行動。當(dāng)他們?yōu)?ChatGPT 開發(fā)語音功能時，他們引進了頂尖的選角和導(dǎo)演人才，以確保聲音具有身臨其境的感覺，同時又讓他們看起來像是屬于自己的。隨后，400 名試鏡者被削減至今天的 5 名。這并不是說一切都是一帆風(fēng)順的。不是當(dāng)公司不得不擱置“天空”，因為它與斯嘉麗約翰遜驚人的相似。

但真正令人興奮的是最新的發(fā)展：能夠在本地利用這項技術(shù)。想象一下，在您自己的 GPU 上進行實時語音到語音處理，延遲低于 500 毫秒。這不再是一個遙遠的夢想：系統(tǒng)現(xiàn)已完全開源。

它是如何工作的？

為了實現(xiàn)如此小的延遲，AI 管道被分為不同的組件，每個組件都經(jīng)過優(yōu)化為了速度和效率：

1。語音活動檢測 (VAD)

管道從 Silero VAD v5 模塊開始，負責(zé)檢測用戶何時結(jié)束講話。它是觸發(fā)下一階段處理的“看門人”。

2.實時轉(zhuǎn)錄（語音到文本）

這部分流程使用一些更復(fù)雜的模型（例如 Whisper 或 DeepSpeech）將用戶的語音轉(zhuǎn)錄為文本。例如，Whisper 是實時運行的，系數(shù)為 0.5；因此，它可以以兩倍于實時速度的速度處理語音，并在大約 100 毫秒內(nèi)提供準確的轉(zhuǎn)錄。

3.響應(yīng)生成

隨著轉(zhuǎn)錄的進行，大型語言模型（LLM）開始同時預(yù)測可能的響應(yīng)。在 200 毫秒內(nèi)，系統(tǒng)可以生成相關(guān)的基于文本的回復(fù)。

4.語音合成（文本到語音）

使用快速語音合成器立即將生成的響應(yīng)轉(zhuǎn)換為語音，這還需要 200 毫秒才能產(chǎn)生高質(zhì)量的音頻。

通過并行提高效率處理

這種令人印象深刻的速度的秘密在于并行處理。與順序處理組件或一次處理一項任務(wù)相比，系統(tǒng)同時進行轉(zhuǎn)錄、響應(yīng)生成和語音合成。這種端到端的設(shè)計保證了流程的各個部分協(xié)同工作，極大地減少了完成用戶交互所需的總體時間

例如，當(dāng)系統(tǒng)檢測到語音結(jié)束時，系統(tǒng)會啟動轉(zhuǎn)錄過程。當(dāng)轉(zhuǎn)錄完成時，語言模型已生成響應(yīng)，隨后立即開始語音合成。這種任務(wù)并行處理確保從用戶語音到 AI 響應(yīng)的整體交互在 500 毫秒內(nèi)完成。

結(jié)論：解鎖語音 AI 的未來

AI 語音代理 down人機交互延遲達到500ms，是無縫人機交互的重大發(fā)展。該技術(shù)的使用是通過實時轉(zhuǎn)錄、快速響應(yīng)生成和語音合成，同時提供超響應(yīng)的對話體驗。

這意味著，隨著整個管道開源，可以集成此技術(shù)技術(shù)融入您的項目。開發(fā)人員可以針對各種應(yīng)用程序微調(diào)和定制其語音代理，包括語音助手甚至實時游戲化身。

這不僅僅是向前邁出的一步；這是構(gòu)建對話式人工智能未來的邀請。那么，你會用它創(chuàng)造什么？

路由網(wǎng)(www.lu-you.com)您可以查閱其它相關(guān)文章！