注意力加速：TurboDiffusion 使用低比特率的 SageAttention 和可訓練的稀疏線性注意力機制 (SLA) 來加速注意力計算。
步驟蒸餾：TurboDiffusion 采用 rCM 算法進行高效的步驟蒸餾。
W8A8 量化：TurboDiffusion 將模型參數(shù)和激活值量化為 8 位，以加速線性層并壓縮模型。
TurboDiffusion 主要使用 SageAttention 、 SLA（稀疏線性注意力） 進行注意力加速，以及 rCM 進行時間步蒸餾。
這是使用單塊 RTX 5090 顯卡，通過 Wan-2.1-T2V-1.3B-480P 生成的 5 秒視頻示例：
通過算法和系統(tǒng)協(xié)同優(yōu)化，TurboDiffusion 在單個 RTX 5090 上將 Wan2.1-T2V-14B-720P 的擴散推理延遲降低了約 200 倍。
方法論
TurboDiffusion 主要采用四種技術來加速擴散模型。
TurboDiffusion 使用 SageAttention 進行低比特量化注意力加速。
TurboDiffusion 使用 Sparse-Linear Attention (SLA) 進行稀疏注意力加速。
TurboDiffusion 使用 rCM 來減少采樣步數(shù)，rCM 是目前最先進的擴散蒸餾方法之一。通過模型權重合并，rCM 自然地繼承了注意力層面的加速。
TurboDiffusion 使用 W8A8 量化進行線性層加速。
在培訓過程中，TurboDiffusion 根據(jù)給定預訓練的視頻擴散模型，執(zhí)行以下訓練過程。
首先，將完全注意力機制替換為稀疏線性注意力機制 (SLA)，并對預訓練模型進行微調以適應稀疏性。
同時，使用 rCM 將預訓練模型提煉為一個采樣步數(shù)更少的學生模型。其次，將 SLA 微調和 rCM 訓練得到的參數(shù)更新合并到一個模型中。所有訓練過程均可使用真實數(shù)據(jù)或合成數(shù)據(jù)。
評估
Wan2.2-I2V-A14B-720P
使用單個 RTX 5090 在 Wan2.2-I2V-A14B-720P 上生成 5 秒視頻：
“
第一人稱視角自拍視頻，超級凌亂，速度極快。一只戴著墨鏡的白貓面無表情地站在沖浪板上，突然沖浪板猛地側甩，將貓和相機一起甩入水中；畫面急劇下沉，被劇烈的氣泡、旋轉的湍流和模糊的水痕吞噬，相機也隨之下沉。陰影加深，水壓波紋扭曲了邊緣，松散的氣泡從鏡頭前涌出，顯示相機仍在下沉。然后，貓以驚人的速度向上踢水，拖著畫面穿過翻騰的氣泡和迅速變亮的水面，陽光重新涌入；相機飛速上升，水花從鏡頭上飛濺，最終在一陣強光和水花中沖出水面，畫面瞬間恢復成一張歪斜而慌亂的自拍，而貓也重新浮出水面。
使用單個 RTX 5090 在 Wan2.2-I2V-A14B-720P 上生成 5 秒視頻:
“
烏瑪·瑟曼飾演的碧翠絲·基多在電影般的燈光下穩(wěn)穩(wěn)地握著她鋒利的武士刀。毫無預兆地，整把刀瞬間失去剛性，材質如同不穩(wěn)定的液體般顫抖。刀身表面完全失穩(wěn)——一塊塊金屬緩緩脫落，化作涓涓細流般的熔銀，滴滴向下流淌。片刻之后，刀身變成一團坍塌的、無定形的金屬，沒有棱角，也沒有結構。濃稠的液態(tài)金屬從她手中傾瀉而出，隨后是片片閃爍的液體撕裂開來，落到地上。她手中現(xiàn)在只剩下一團顫抖的、如同水銀般的液體，不斷下垂滴落。隨著最后一點固體殘存的物質溶解、撕裂、從她指間流淌，她的表情從平靜的準備轉變?yōu)檎痼@和困惑，她變得毫無防備，茫然無措。
Wan2.1-T2V-1.3B-480P
使用單個 RTX 5090 在 Wan2.1-T2V-1.3B-480P 上生成 5 秒視頻：
“
鏡頭圍繞著一大堆老式電視機旋轉，這些電視機都在播放不同的節(jié)目——20 世紀 50 年代的科幻電影、恐怖電影、新聞、雪花屏、20 世紀 70 年代的情景喜劇等等，場景設置在紐約一家大型博物館的展廳內。
使用單個 RTX 5090 在 Wan2.1-T2V-1.3B-480P 上生成 5 秒視頻:
“
一個 3D 教室場景，里面坐滿了 6 到 8 歲的小朋友，他們都專注地坐在各自的課桌前。一位盡職盡責的老師站在講臺前，與學生們進行著生動的互動，用手勢和面部表情傳遞著熱情。教室里燈光明亮，墻上貼滿了色彩鮮艷的海報和圖表。每個孩子都全神貫注，有的點頭附和，有的舉手提問。課桌整齊地排列成行，每張桌子上都擺放著書本和鉛筆。背景中有一扇窗戶，陽光透過窗戶灑進來，在教室里投下柔和的光影。這是一個廣角鏡頭，從正面視角展現(xiàn)了整個教室。
Wan2.1-T2V-14B-720P
使用單個 RTX 5090 在 Wan2.1-T2V-14B-720P 上生成 5 秒視頻:
“
在都市戶外，一位身穿黑色連帽衫和白色條紋黑色運動褲的男子走向一座現(xiàn)代建筑旁的長椅，該建筑擁有巨大的落地玻璃窗。他肩上挎著一個黑色背包，手里拿著一疊文件。走到長椅前，他彎下腰，將文件放在上面，然后坐了下來。不久，一位身穿紅色夾克（飾有黃色點綴）和黑色褲子的女子走了過來。她站在長椅旁，面對著他，似乎在與他交談。男子繼續(xù)翻閱文件，女子則認真地傾聽。背景中，可以看到其他人走過，有些人提著包，為這熙熙攘攘卻又輕松隨意的場景增添了幾分氛圍。整體氛圍暗示著在繁忙的環(huán)境中，他們正在進行一場專注的討論或準備工作。
Wan2.1-T2V-14B-480P
使用單個 RTX 5090 在 Wan2.1-T2V-14B-480P 上生成 5 秒視頻:
“
一名手持火把的《我的世界》玩家角色進入一個巨大的地下洞穴。火把的光芒在嶙峋的石壁上搖曳，照亮了嵌在巖石中的鐵礦和鉆石礦。鐘乳石從洞頂垂下，附近有熔巖流淌成閃亮的溪流，洞穴中回蕩著微弱的滴水聲。
相關人員表示，未來將計劃擴展此框架以支持更多視頻生成范式，例如自回歸視頻擴散。
參考資料：
https://jt-zhang.github.io/files/TurboDiffusion_Technical_Report.pdf
https://github.com/thu-ml/TurboDiffusion
分享
