在2024中關(guān)村論壇年會未來人工智能先鋒論壇上，清華大學(xué)聯(lián)合生數(shù)科技27日正式發(fā)布中國首個長時長、高一致性、高動態(tài)性視頻大模型——Vidu。

該模型采用團(tuán)隊原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。

4月27日，在2024中關(guān)村論壇年會未來人工智能先鋒論壇上，清華大學(xué)聯(lián)合生數(shù)科技正式發(fā)布Vidu?！　≈行律缬浾?陳溯 攝

據(jù)介紹，Vidu不僅能夠模擬真實物理世界，還擁有豐富想象力，具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型，性能全面對標(biāo)國際頂尖水平，并在加速迭代提升中。

在當(dāng)天的論壇上，清華大學(xué)教授、生數(shù)科技首席科學(xué)家朱軍表示，與Sora一致，Vidu能夠根據(jù)提供的文本描述直接生成長達(dá)16秒的高質(zhì)量視頻。除了在時長方面的突破外，Vidu在視頻效果方面實現(xiàn)顯著提升，主要體現(xiàn)在模擬真實物理世界、多鏡頭語言、時空一致性高、理解中國元素等方面。

4月27日，在2024中關(guān)村論壇年會未來人工智能先鋒論壇上，清華大學(xué)聯(lián)合生數(shù)科技正式發(fā)布Vidu。Vidu在視頻效果方面實現(xiàn)顯著提升，能夠生成特有的中國元素，例如熊貓、龍?！≈行律缬浾?陳溯 攝

“值得一提的是，Vidu采用的是‘一步到位’的生成方式?！敝燔姳硎?，與Sora一樣，文本到視頻的轉(zhuǎn)換是直接且連續(xù)的，在底層算法實現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。

朱軍表示，Vidu的快速突破源自于團(tuán)隊在貝葉斯機(jī)器學(xué)習(xí)和多模態(tài)大模型的長期積累和多項原創(chuàng)性成果。其核心技術(shù)U-ViT架構(gòu)由團(tuán)隊于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個Diffusion與Transformer融合的架構(gòu)，完全由團(tuán)隊自主研發(fā)。

自今年2月Sora發(fā)布推出后，團(tuán)隊基于對U-ViT架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗，在短短兩個月進(jìn)一步突破長視頻表示與處理關(guān)鍵技術(shù)，研發(fā)推出Vidu視頻大模型，顯著提升視頻的連貫性與動態(tài)性。

“Vidu的命名不僅諧音‘Vedio’，也蘊(yùn)含‘We do’的寓意。”朱軍表示，模型的突破是一個多維度、跨領(lǐng)域的綜合性過程，需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合，希望與產(chǎn)業(yè)鏈上下游企業(yè)、研究機(jī)構(gòu)加強(qiáng)合作，共同推動視頻大模型進(jìn)展。