WhisperFusion:AI實時對話,超低延遲

Link:whisperfusion
WhisperFusion是一款基於WhisperLive和WhisperSpeech功能的產品,透過在實時語音轉文字流程中整合Mistral大型語言模型(LLM)來實現與AI的無縫對話。Whisper和LLM均經過TensorRT引擎最佳化,以最大程度提升效能和實時處理能力。WhisperSpeech則使用torch.compile來最佳化。產品定位於提供超低延遲的AI實時對話體驗。

需求人群:

"使用者可以透過使用預構建的TensorRT-LLM Docker容器快速開始與WhisperFusion進行互動。同時,也可以構建適用於不同cuda架構的docker映象。"

使用場景示例:

1. 在網站上與WhisperFusion的AI進行實時對話

2. 透過WhisperFusion的小程式進行語音轉文字互動

3. 使用WhisperFusion外掛在桌面客戶端上進行實時語音識別

產品特色:

實時語音轉文字:利用OpenAI WhisperLive實現實時語音轉文字。

大型語言模型整合:整合Mistral大型語言模型,增強對轉錄文字的理解和語境。

TensorRT最佳化:LLM和Whisper均最佳化為TensorRT引擎,確保高效能和低延遲處理。

torch.compile:WhisperSpeech使用torch.compile來加速推斷,透過將PyTorch程式碼即時編譯為最佳化核心,使PyTorch程式碼執行更快。

返回頂端