狀態空間模型

Mamba-2是Goomba AI Lab開發的一種新型序列模型，旨在提高機器學習社群中序列模型的效率和效能。它透過結構化狀態空間對偶（SSD）模型，結合了狀態空間模型（SSM）和注意力機制的優點，提供了更高效的訓練過程和更大的狀態維度。Mamba-2的設計允許模型在訓練時利用矩陣乘法，從而提高了硬體效率。此外，Mamba-2在多查詢關聯記憶（MQAR）等任務中表現出色，顯示出其在複雜序列處理任務中的潛力。