Transformer

CogView是一個用於通用領域文字到影象生成的預訓練Transformer模型。該模型包含410億引數,能夠生成高質量、多樣化的影象。模型的訓練思路採用抽象到具體的方式,先 pretrain 獲得通用知識,然後 finetune 在特定域生成影象,能顯著提升生成質量。值得一提的是,論文還提出了兩種幫助大模型穩定訓練的技巧:PB-relax 和 Sandwich-LN。