Langroid是一個輕量級、可擴充套件和原則性的Python框架,可以輕鬆地構建基於LLM的應用程式。您可以設定代理,為它們配備可選元件(LLM、向量儲存和方法),分配它們任務,並讓他們透過交換消息協作解決問題。這個多代理範例的靈感來自Actor框架(但您不需要瞭解任何關於這個的知識!)。Langroid提供了一個全新的LLM應用程式開發方式,在簡化開發人員體驗方面進行了深思熟慮;它不使用Langchain。我們歡迎貢獻–請參閱貢獻檔案以獲取貢獻想法。
Vellum 是一個開發平臺，用於構建 LLM 應用。它提供了快速工程、語義搜尋、版本控制、測試和監控等工具，相容所有主要的 LLM 提供商。Vellum 可以幫助您將 LLM 功能帶入生產環境，支援迅速開發和部署 LLM 模型，同時提供質量測試和效能監控等功能。定價和定位請參考官方網站。
Humanloop是一個用於構建和監控以大語言模型為基礎的生產級應用的協作平臺。它提供了一套完整的工具集,可以幫助開發者更快速地將AI從原型開發到生產環境,同時保證系統的可靠性。主要功能包括:提示工程,可以迭代和版本化提示,提高命中率;模型管理,支援各種模型並進行跟蹤;內容評估,收集反饋並進行定量分析;以及合作平臺,讓非技術人員也可以參與到AI應用開發中。典型應用場景有構建聊天機器人、自動化客戶支援以及生成營銷內容等。Humanloop已經受到了成千上萬開發者的青睞,被多家知名企業所使用。
LangChain是一個幫助開發人員構建應用程式的庫，透過組合性將大型語言模型（LLMs）與其他計算或知識源結合起來。它提供了各種應用場景的端到端示例，包括問題回答、聊天機器人和代理等。LangChain還提供了對LLMs的通用介面、鏈式呼叫、資料增強生成、記憶和評估等功能。定價資訊請訪問官方網站。
Terracotta是一個易於使用的平臺，透過Terracotta，可以快速高效地進行LLM開發工作流。在Terracotta上管理所有精調模型，透過定性和定量評估快速迭代改進模型。同時支援與OpenAI和Cohere等多個提供商的連線。Terracotta透過上傳資料來開展LLM模型的精調工作，提供安全儲存資料的功能。使用者可以對資料進行分類和文字生成的精調。Terracotta提供了定性和定量評估功能，可以同時輸入多個模型的提示並比較模型輸出，也可以使用我們的工具在包括準確度、BLEU和混淆矩陣等多種評估指標下評估模型。Terracotta由兩位斯坦福大學人工智慧研究生Beri Kohen和Lucas Pauker共同建立。歡迎您訂閱我們的郵件列表，以便及時瞭解我們的最新進展！
LLM Spark是一個開發平臺，可用於構建基於LLM的應用程式。它提供多個LLM的快速測試、版本控制、可觀察性、協作、多個LLM支援等功能。LLM Spark可輕鬆構建AI聊天機器人、虛擬助手等智慧應用程式，並透過與提供商金鑰整合，實現卓越效能。它還提供了GPT驅動的模板，加速了各種AI應用程式的建立，同時支援從零開始定製專案。LLM Spark還支援無縫上傳資料集，以增強AI應用程式的功能。透過LLM Spark的全面日誌和分析，可以比較GPT結果、迭代和部署智慧AI應用程式。它還支援多個模型同時測試，儲存提示版本和歷史記錄，輕鬆協作，以及基於意義而不僅僅是關鍵字的強大搜尋功能。此外，LLM Spark還支援將外部資料集整合到LLM中，並符合GDPR合規要求，確保資料安全和隱私保護。
蘋果釋出了自己的大語言模型MM1，這是一個最高有30B規模的多模態LLM。透過預訓練和SFT，MM1模型在多個基準測試中取得了SOTA效能，展現了上下文內預測、多影象推理和少樣本學習能力等吸引人的特性。
Inductor是一款面向開發者的工具, 用於評估、確保和改進大語言模型(LLM)應用程式的質量, 可在開發和生產環境中使用。主要功能包括: 1. 快速開發: 提供持續測試和評估工作流, 不斷了解和提高應用質量及成本效益。2. 快速可靠地部署: 透過嚴格評估應用行為, 確保高質量和高價效比。並可持續監控使用情況, 發現和解決問題。3. 輕鬆協作: 易於工程師與其他角色(如產品經理、使用者體驗師、專家等)協作, 獲取反饋意見, 確保應用使用者友好。4. 為團隊量身打造: 提供測試套件、命令列介面、版本控制、自動化執行記錄、人機評估、分析工具、生產環境監控和Web協作介面等。Inductor可與任何模型、任何LLM應用開發方式無縫整合, 可在本地部署或使用雲服務。
LangSmith是一個統一的DevOps平臺,用於開發、協作、測試、部署和監控LLM應用程式。它支援LLM應用程式開發生命週期的所有階段,為構建LLM應用提供端到端的解決方案。主要功能包括:鏈路追蹤、提示工具、資料集、自動評估、線上部署等。適用於構建基於LLM的AI助手、 ChatGPT應用的開發者。