迄今最大視頻開源模型！騰訊混元文生視頻上線：一句話生成視頻

2024-12-28 22:49:16 分類：時尚 閱讀(4)

12月3日消息，迄今今日，視頻視頻上線生成視頻騰訊混元大模型宣布文生視頻功能上線，開源一句話就能生成視頻。模型

此次開源的騰訊視頻生成大模型，參數(shù)量130億，混元是文生當(dāng)前最大的視頻開源模型。

目前，句話該模型已在Hugging Face平臺及Github上發(fā)布，迄今包含模型權(quán)重、視頻視頻上線生成視頻推理代碼、開源模型算法等完整模型，模型可供企業(yè)與個人開發(fā)者免費(fèi)使用和開發(fā)生態(tài)插件。騰訊

大家可在騰訊元寶APP-AI應(yīng)用-AI視頻中提交申請?jiān)囉?，混元企業(yè)客戶可通過騰訊云提供服務(wù)接入，文生API同步開放內(nèi)測申請。

據(jù)了解，目前生成視頻支持中英文雙語輸入、多種視頻尺寸以及多種視頻清晰度。

騰訊混元視頻生成大模型可以生成超寫實(shí)的高質(zhì)量視頻，比如，像沖浪、跳舞這種大動作場景，生成的畫面自然合理，不容易變形。

在鏡面或鏡子場景中，可以做到鏡面反射動作和外面完全同步，光影反射基本符合物理規(guī)律。

據(jù)騰訊介紹，騰訊混元視頻生成大模型采用DiT架構(gòu)，并在架構(gòu)設(shè)計(jì)上進(jìn)行多處升級。

適配了新一代文本編碼器提升語義遵循，其具備強(qiáng)大的語義跟隨能力，更好地應(yīng)對多個主體描繪，實(shí)現(xiàn)更加細(xì)致的指令和畫面呈現(xiàn)。

通過先進(jìn)的圖像視頻混合VAE（3D變分編碼器），讓模型在細(xì)節(jié)表現(xiàn)有明顯提升，特別是小人臉、高速鏡頭等場景。