Link：chainforge
ChainForge是一款開源的視覺化程式設計環境,專注於提示工程。它可以讓你評估提示和文字生成模型的穩健性,超越了簡單的案例證據。我們認為,提示多個大型語言模型、比較它們的響應並測試關於它們的假設,應該不僅容易,而且有趣。ChainForge提供了一套工具,以最小的努力評估和視覺化提示(和模型)的質量。換句話說,它旨在讓大型語言模型的評估變得簡單。ChainForge開箱即用地支援測試提示注入攻擊的穩健性、測試響應格式的一致性、傳送大量引數化提示並匯出到Excel檔案、驗證同一模型不同設定的響應質量、測量不同系統消息對ChatGPT輸出的影響等。
需求人群：
"ChainForge可以用於對大型語言模型進行評估和除錯,特別是針對提示工程場景。它為開發人員提供了一種簡單高效的方式來驗證模型輸出的質量和穩健性。"
使用場景示例：
測試提示注入攻擊對模型輸出的影響
驗證給定提示在不同模型和設定下的輸出差異
透過批次測試不同提示來最佳化提示模板
產品特色：
測試提示注入攻擊的穩健性
測試響應格式的一致性
傳送大量引數化提示並匯出到Excel檔案
驗證同一模型不同設定的響應質量
測量不同系統消息對ChatGPT輸出的影響
執行OpenAI評估生成的示例評估