C3PO:基於使用者反饋的 LLM 模型對齊技術

C3PO 是一種基於使用者反饋的 LLM 模型對齊技術,可以從單個反饋句子中對 LLM 進行調整,避免過度概括化。該技術提供了參考實現、相關基準線和必要元件,方便研究論文中提出的技術。