連結：https://github.com/facebookresearch/DIG-In
DIG-In是一個用於評估文本到影象生成模型在不同地理區網網域中質量、多樣性和一致性差異的庫。它使用GeoDE和DollarStreet作為參考資料集，透過計算生成影象的相關特徵和精度、覆蓋度指標，以及使用CLIPScore指標來衡量模型的表現。該庫支援研究人員和開發者對影象生成模型進行地理多樣性的審計，以確保其在全球範圍內的公平性和包容性。
需求人群：
- DIG-In適用於需要評估和確保其影象生成模型在全球範圍內表現一致的研究人員和開發者。它特別適用於那些關注模型在不同文化和地理背景下的公平性和包容性的應用場景。
使用場景示例：
- 研究人員使用DIG-In評估不同影象生成模型在非洲地區的輸出質量。
- 開發者利用DIG-In確保其應用在全球範圍內提供一致的使用者體驗。
- 教育機構使用DIG-In作為教學工具，教授學生如何評估和改進AI模型的公平性。
產品特色：
- 使用GeoDE和DollarStreet資料集評估生成影象的質量差異。
- 計算生成影象的精度、召回率、覆蓋度和密度指標。
- 使用CLIPScore指標評估影象的一致性。
- 提供腳本以從生成影象中提取特徵。
- 支援自訂影象或特徵路徑的指標。
- 提供計算指標的腳本，包括平衡參考資料集。
使用教學：
1. 生成對應於csv檔案中提示的影象。
2. 提供指向提示csv和生成影象資料夾的指標，以提取影象特徵。
3. 使用提取的特徵計算指標，包括精度、召回率、覆蓋度和密度。
4. 根據需要更新特徵檔案的路徑。
5. 執行計算指標的腳本，包括平衡參考資料集。
6. 分析生成的csv檔案中的指標結果，以評估模型效能。