LLM Archives - AI書籤-全球ai人工智慧產品和服務

Reka Core：強大的多模態LLM，商業解決方案

Reka Core是一個GPT-4級別的多模態大型語言模型（LLM），具備影象、影片和音訊的強大上下文理解能力。它是目前市場上僅有的兩個商用綜合多模態解決方案之一。Core在多模態理解、推理能力、編碼和Agent工作流程、多語言支援以及部署靈活性方面表現出色。

vLLM：快速易用的LLM推理和服務平臺

LLM, 推理

vLLM是一個為大型語言模型(LLM)推理和提供服務的快速、易用且高效的庫。它透過使用最新的服務吞吐量技術、高效的記憶體管理、連續批處理請求、CUDA/HIP圖快速模型執行、量化技術、最佳化的CUDA核心等，提供了高效能的推理服務。

nerve：無需編寫程式碼即可建立智慧代理的LLM工具

LLM

Nerve是一個可以建立具有狀態的代理的LLM工具，使用者無需編寫程式碼即可定義和執行復雜任務。它透過動態更新系統提示和在多個推理過程中保持狀態，使代理能夠規劃和逐步執行完成任務所需的操作。Nerve支援任何透過ollama、groq或OpenAI API可訪問的模型，具有高度的靈活性和效率，同時注重記憶體安全。

Unify AI：一站式LLM模型比較與最佳化平臺

AI, LLM

Unify AI是一個為開發者設計的平臺，它允許使用者透過一個統一的API訪問和比較來自不同提供商的大型語言模型(LLMs)。該平臺提供了實時效能基準測試，幫助使用者根據質量、速度和成本效率來選擇和最佳化最合適的模型。Unify AI還提供了定製路由功能，允許使用者根據自己的需求設定成本、延遲和輸出速度的約束，並定義自訂質量指標。

LLMOps.Space：LLMOps全球社區

LLM

LLMOps.Space是一個全球社區，面向LLM從業者和愛好者。社區聚焦於關於將LLM部署到生產環境的內容、討論和活動。加入LLMOps Discord伺服器，認識其他社區成員並參與討論。社區提供有關LLM的教育資源、LLM公司和產品資訊、即將舉行的演講和演示活動，以及LLM諮詢師和相關事件的列表。

Promptfoo：LLM prompt測試庫

LLM, prompt測試

promptfoo是一個用於評估LLM prompt質量和進行測試的庫。它能夠幫助您建立測試用例，設定評估指標，並與現有的測試和CI流程整合。promptfoo還提供了一個Web Viewer，讓您可以輕鬆地比較不同的prompt和模型輸出。它被用於服務超過1000萬使用者的LLM應用程式。

Bind：Bind幫助開發者快速構建部署強大的LLM應用

LLM, 生成式 AI

Bind是一個協作式的Generative AI應用開發平臺,可幫助開發者快速構建和部署強大的語言模型應用。提供豐富的工具和功能,包括實時測試和除錯LLM響應的提示場景,簡易的部署LLM助手等應用到生產環境的平臺。

Klu.ai：設計、部署和最佳化LLM應用與Klu

AI開發, LLM

Klu是一款全能的LLM應用平臺，可以在Klu上快速構建、評估和最佳化基於LLM技術的應用。它提供了多種最先進的LLM模型選擇，讓使用者可以根據自己的需求進行選擇和調整。Klu還支援團隊協作、版本管理、資料評估等功能，為AI團隊提供了一個全面而便捷的開發平臺。

LM Studio：發現和執行本地LLM

Hugging Face, LLM

LM Studio是一個易於使用的桌面應用程式，用於在本地實驗和執行本地和開源的Large Language Models (LLMs)。LM Studio跨平臺桌面應用程式允許您從Hugging Face下載和執行任何ggml相容的模型，並提供了一個簡單而強大的模型配置和推理介面。該應用程式在有GPU的情況下利用您的GPU。