Link：mistral-common
mistral-common是一套幫助您處理Mistral模型的工具。它不僅包含文本到token的轉換，還增加了工具解析和結構化對話。目前釋出了三個版本的tokenizer，分別適用於不同的模型集合。
需求人群：
"適用於需要處理Mistral模型的場景，如對話系統、自然語言處理等。"
使用場景示例：
使用MistralTokenizer進行訊息token化
透過Function和Tool類構建對話系統
利用Custom properties自訂模型特性
產品特色：
tokenization
validation
normalization