Link：whisperfusion
WhisperFusion是一款基於WhisperLive和WhisperSpeech功能的產品，透過在實時語音轉文字流程中整合Mistral大型語言模型（LLM）來實現與AI的無縫對話。Whisper和LLM均經過TensorRT引擎最佳化，以最大程度提升效能和實時處理能力。WhisperSpeech則使用torch.compile來最佳化。產品定位於提供超低延遲的AI實時對話體驗。
需求人群：
"使用者可以透過使用預構建的TensorRT-LLM Docker容器快速開始與WhisperFusion進行互動。同時，也可以構建適用於不同cuda架構的docker映象。"
使用場景示例：
1. 在網站上與WhisperFusion的AI進行實時對話
2. 透過WhisperFusion的小程式進行語音轉文字互動
3. 使用WhisperFusion外掛在桌面客戶端上進行實時語音識別
產品特色：
實時語音轉文字：利用OpenAI WhisperLive實現實時語音轉文字。
大型語言模型整合：整合Mistral大型語言模型，增強對轉錄文字的理解和語境。
TensorRT最佳化：LLM和Whisper均最佳化為TensorRT引擎，確保高效能和低延遲處理。
torch.compile：WhisperSpeech使用torch.compile來加速推斷，透過將PyTorch程式碼即時編譯為最佳化核心，使PyTorch程式碼執行更快。