Pile-T5:基於Pile資料集訓練的T5模型
Pile-T5是EleutherAI推出的一款自然語言處理模型,它在原有的T5模型基礎上,採用了Pile資料集和LLAMA分詞器進行訓練,以改善對程式碼任務的理解能力。該模型經過了2萬億個token的訓練,是原T5模型訓練量的兩倍。Pile-T5在多項下游任務中表現出色,尤其是在程式碼相關任務上。
Pile-T5是EleutherAI推出的一款自然語言處理模型,它在原有的T5模型基礎上,採用了Pile資料集和LLAMA分詞器進行訓練,以改善對程式碼任務的理解能力。該模型經過了2萬億個token的訓練,是原T5模型訓練量的兩倍。Pile-T5在多項下游任務中表現出色,尤其是在程式碼相關任務上。
Generative AI Courses是一家提供AI學習課程的線上平臺。透過課程學習,使用者可以掌握GenAI、AI、機器學習、深度學習、chatGPT、DALLE、影象生成、影片生成、文本生成等技術,並瞭解2024年AI領網域的最新發展。
Google Cloud的機器學習工程師學習路徑是一套精選的線上課程和實驗,旨在幫助學習者獲得Google Cloud技術實操經驗,掌握機器學習系統的設計、構建、投產、最佳化、運轉和維護等關鍵技能。完成此學習路徑後,學習者可以進一步考取Google Cloud機器學習工程師認證,為職業發展打下堅實基礎。
XTuner是一個為大型模型(如InternLM, Llama, Baichuan, Qwen, ChatGLM)設計的高效、靈活且功能齊全的微調工具包。它支援在幾乎所有GPU上進行LLM和VLM的預訓練和微調,能夠自動排程高效能操作,如FlashAttention和Triton核心,以提高訓練吞吐量。XTuner與DeepSpeed相容,支援多種ZeRO最佳化技術。
DrEureka是一個利用大型語言模型(LLMs)自動化和加速模擬到現實(sim-to-real)設計的方法。它透過物理模擬自動構建合適的獎勵函式和領網域隨機化分佈,以支援現實世界中的轉移。
IC-Light專案旨在透過先進的機器學習技術,對影象的照明條件進行操縱,從而實作一致的光照效果。它提供了兩種型別的模型:文本條件重照明模型和背景條件模型,兩者均以前景影象作為輸入。
Granite Code Models 是 IBM 開發的一系列開源基礎模型,專為程式碼生成任務設計,如修復錯誤、解釋程式碼、文檔化程式碼等。這些模型在多種程式語言上進行了訓練,並在不同的程式碼相關任務上達到了最先進的效能。主要優點包括全面的效能、企業級的信任度以及遵循 IBM 的 AI 倫理原則進行訓練。
資料端點是一個機器學習API市場,使用者可以在其中找到最佳的機器學習API端點,並進行請求和預測,無需繁瑣的操作。產品提供了各種功能,優勢,定價和定位等資訊。
Bunny 是一系列輕量級但功能強大的多模態模型,提供多種即插即用的視圖編碼器和語言主幹網路。透過從更廣泛的資料來源進行精選選擇,構建更豐富的訓練資料,以補償模型尺寸的減小。Bunny-v1.0-3B 模型在效能上超越了同類大小甚至更大的 MLLMs(7B)模型,並與 13B 模型效能相當。
HuggingFace映象站是一個非盈利性專案,旨在為國內的AI開發者提供一個快速且穩定的模型和資料集下載平臺。透過最佳化下載過程,減少因網路問題導致的中斷,它極大地提高了開發者的工作效率。