Efficient LLM：高效的 Intel GPU 上的 LLM 推理解決方案
這是一種在 Intel GPU 上實現的高效的 LLM 推理解決方案。透過簡化 LLM 解碼器層、使用分段 KV 快取策略和自定義的 Scaled-Dot-Product-Attention 核心，該解決方案在 Intel GPU 上相比標準的 HuggingFace 實現可實現高達 7 倍的令牌延遲降低和 27 倍的吞吐量提升。詳細功能、優勢、定價和定位等資訊請參考官方網站。
Confident AI：開源評估基礎設施，為 LLM 提供信心
Confident AI 是一個開源的評估基礎設施，為 LLM（Language Model）提供信心。使用者可以透過編寫和執行測試用例來評估自己的 LLM 應用，並使用豐富的開源指標來衡量其效能。透過定義預期輸出並與實際輸出進行比較，使用者可以確定 LLM 的表現是否符合預期，並找出改進的方向。Confident AI 還提供了高階的差異跟蹤功能，幫助使用者最佳化 LLM 配置。此外，使用者還可以利用全面的分析功能，識別重點關注的用例，實現 LLM 的有信心地投產。Confident AI 還提供了強大的功能，幫助使用者自信地將 LLM 投入生產，包括 A/B 測試、評估、輸出分類、報告儀表盤、資料集生成和詳細監控。
Essential AI：Essential AI 開發基於反饋的LLMs,提高企業工作效率
Essential AI開發了全棧AI產品,透過自動化枯燥乏味的工作流程,顯著提高企業工作效率。例如,他們的技術可以使資料分析師的工作效率提高10倍,併為商業使用者提供工具,使他們自己成為獨立的資料驅動決策者。它還可以識別組織供應鏈中的最大風險並提出改進建議。隨著人工反饋和技術突破,Essential AI的LLM將賦能使用者解決越來越困難的任務,解鎖關鍵技能,擴大組織對社會的影響。
Algomax：簡化LLM和RAG模型輸出評估，提供對定性指標的洞察
Algomax簡化LLM和RAG模型的評估，最佳化提示開發，並透過直觀的儀表板提供對定性指標的獨特洞察。我們的評估引擎精確評估LLM，並透過廣泛測試確保可靠性。平臺提供了全面的定性和定量指標，幫助您更好地理解模型的行為，並提供具體的改進建議。Algomax的用途廣泛，適用於各個行業和領域。
Agent M：LLM驅動的主代理框架
Agent M是一個強大的大型語言模型或ChatGPT驅動的主代理開發框架,可讓您建立多個基於LLM的代理。Agent Mbetween多個執行各種任務的代理之間進行編排,例如基於自然語言的API呼叫,連線到您的資料並幫助自動化複雜的對話。
Teammate Lang：LLM App開發和運營平臺
Teammate Lang是一個全能的LLM App開發和運營解決方案。提供無程式碼編輯器、語義快取、Prompt版本管理、LLM資料平臺、A/B測試、QA、Playground等20多個模型，包括GPT、PaLM、Llama、Cohere等。
Golem：聊天AI的替代品
Golem是一個開源的ChatGPT UI替代品，具有美觀易用的設計，保護使用者資料隱私，可以分享對話，並且提供定製化體驗。該產品基於LLM模型，功能強大，定價合理。適用於各種聊天場景。
GPTMagicPrompts：ChatGPT引導詞擴充套件外掛
GPTMagicPrompts是一款為ChatGPT設計的Chrome外掛，提供高階引導詞，幫助使用者快速獲得ChatGPT的最佳響應。它節省時間、提高生產力，具有專業的引導詞，適用於各種話題。與ChatGPT無縫配合，無需額外設定。透過GPTMagicPrompts，使用者可以更高效地使用ChatGPT，輕鬆實現目標。
Beamcast：ChatGPT助手，提升工作效率
Beamcast是一個外掛形式的ChatGPT助手，可在任何網站上快速執行AI命令。它提供了內建命令、雲同步功能以及自定義命令的支援。使用者可以執行AI命令來寫作、程式設計、提問等，提高工作效率。Beamcast基於OpenAI的先進模型驅動，提供免費和付費套餐，滿足不同需求。
universally.chat：在任何網站上使用ChatGPT的個人AI助手
透過簡單的快捷方式在任何網站上使用ChatGPT，載入文章、YouTube影片和PDF，並進行討論、總結和提問。價格：免費使用基本功能，付費解鎖高階功能。定位：為使用者提供方便快捷的ChatGPT瀏覽器外掛。