雅意資訊抽取大模型:基於大規模資料的高質量資訊抽取模型

連結:https://github.com/wenge-research/YAYI-UIE

雅意資訊抽取大模型(YAYI-UIE)由中科聞歌演演算法團隊研發,是一款在百萬級人工構造的高質量資訊抽取資料上進行指令微調的模型。它能夠統一訓練資訊抽取任務,包括命名實體辨識(NER)、關係抽取(RE)和事件抽取(EE),覆蓋了通用、安全、金融、生物、醫療、商業等多個場景的結構化抽取。該模型的開源旨在促進中文預訓練大模型開源社群的發展,並透過開源共建雅意大模型生態。

需求人群:

  • 該產品面向需要進行大規模文本資訊抽取的研究人員和開發者,特別是那些專注於自然語言處理領網網域的專業人士。它適合於需要從文本中自動提取關鍵資訊以支援決策、分析或其他資料處理任務的企業和組織。

使用場景示例:

  • 金融機構使用YAYI-UIE模型從資訊報道中抽取關鍵金融事件和資料。
  • 醫療機構利用該模型從醫療文獻中辨識疾病和治療方法。
  • 商業分析團隊使用模型從社交媒體中抽取消費者情緒和市場趨勢。

產品特色:

  • 支援多種語言的命名實體辨識(NER)
  • 能夠進行多種型別的關係抽取(RE)
  • 實作事件抽取(EE)功能,覆蓋多種事件型別和論元
  • 在多種領網網域和場景下進行結構化資訊抽取
  • 提供模型下載和資料集下載,便於使用者進行本地訓練和測試
  • 支援在單張GPU上使用bf16精度進行模型推理

使用教學:

1. 訪問YAYI-UIE的GitHub頁面並克隆或下載程式碼。

2. 根據README檔案中的指示建立conda環境並安裝所需依賴。

3. 下載並載入預訓練模型到本地或遠端伺服器。

4. 準備輸入文本,並根據需要定製抽取指令。

5. 使用模型進行推理,抽取文本中的實體、關係或事件。

6. 分析模型輸出結果,根據需要進行後續處理或應用。

返回頂端