執行反饋

OpenCodeInterpreter是一個開源的程式碼生成系統,將程式碼生成、執行和迭代最佳化結合在一起。它利用包含6.8萬段互動的Code-Feedback資料集進行訓練,可以根據執行輸出和人類反饋對程式碼進行動態最佳化。在HumanEval、MBPP等基準測試上的評估顯示了它在程式碼生成方面的突出表現。具有33B引數量的OpenCodeInterpreter在HumanEval和MBPP的平均準確率可達83.2%,與GPT-4程式碼直譯器的84.2%不相上下,並可透過人工反饋提升至91.6%。OpenCodeInterpreter縮小了開原始碼生成模型與GPT-4等專有系統之間的差距。