連結：https://visualsketchpad.github.io/
Visual Sketchpad 是一種為多模態大型語言模型（LLMs）提供視覺草圖板和繪圖工具的框架。它允許模型在進行規劃和推理時，根據自己繪製的視覺工件進行操作。與以往使用文本作為推理步驟的方法不同，Visual Sketchpad 使模型能夠使用線條、框、標記等更接近人類繪圖方式的元素進行繪圖，從而更好地促進推理。此外，它還可以在繪圖過程中使用專家視覺模型，例如使用目標偵測模型繪製邊界框，或使用分割模型繪製掩碼，以進一步提高視覺感知和推理能力。
需求人群：
- Visual Sketchpad 適合教育工作者、研究人員和開發者，他們需要利用先進的人工智慧技術來增強教育工具和研究方法。它特別適用於需要解決複雜數學問題或進行視覺推理的場景，例如在教育領網網域輔助學生理解幾何概念，或在研究領網網域幫助科學家進行資料視覺化和分析。
使用場景示例：
- 輔助學生透過繪製輔助線來解決幾何問題
- 幫助研究人員在進行科學計算時進行視覺化推理
- 在程式設計和軟體開發中，輔助開發者理解複雜的資料結構和演演算法
產品特色：
- 生成中間草圖以推理解決任務
- 使用輔助線條解決幾何問題
- 利用視覺專家模型增強視覺感知
- 在數學和複雜視覺推理任務上顯著提升效能
- 支援多種數學任務（包括幾何、函式、圖表、西洋棋）
- 與GPT-4等多模態大型語言模型整合
使用教學：
1. 訪問Visual Sketchpad的網頁連結
2. 閱讀產品介紹和相關資訊
3. 根據需要選擇相應的多模態大型語言模型進行整合
4. 利用Visual Sketchpad提供的視覺草圖板進行任務規劃和推理
5. 在解決特定問題時，使用輔助線條或框等工具增強推理過程
6. 結合專家視覺模型進一步提升視覺感知能力
7. 根據反饋調整草圖和推理策略，最佳化問題解決效率