當(dāng)前位置:首頁(yè) >  科技 >  互聯(lián)網(wǎng) >  正文

實(shí)測(cè)萬(wàn)興“天幕”:視頻連貫性可圈可點(diǎn),本土內(nèi)容優(yōu)勢(shì)顯著

 2024-05-24 13:30  來(lái)源: A5專欄   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

文 | 智能相對(duì)論

作者 | 沈浪

隨著OpenAI在2024開(kāi)年發(fā)布Sora引爆市場(chǎng),視頻大模型成了新一代“全球通殺”的AI技術(shù),也讓業(yè)界對(duì)誰(shuí)能成為“中國(guó)版Sora”充滿了期待。

其結(jié)果,是各類廠商在龐大的市場(chǎng)蛋糕驅(qū)動(dòng)下,都不可避免地爭(zhēng)做“中國(guó)版Sora”。而正如歷次技術(shù)重大革新浪潮中,“中國(guó)版”的名頭并非誰(shuí)最先做出來(lái),誰(shuí)就能戴上王冠,其背后,自帶兩重要求:

首先,“中國(guó)版”本身意味著對(duì)本土內(nèi)容創(chuàng)作有直接的驅(qū)動(dòng)價(jià)值,否則大模型創(chuàng)新價(jià)值將減少,陷入“別人有所以我才要有”的邏輯中,而不是真正圍繞本土價(jià)值展開(kāi)。這是價(jià)值標(biāo)準(zhǔn)和導(dǎo)向。

然后,要能力夠強(qiáng)、夠全面,要能對(duì)標(biāo)到“Sora”的能力方向,而不是差較遠(yuǎn)。這是基礎(chǔ)也是底氣。

“中國(guó)版”+“Sora”,組合起來(lái),才是“中國(guó)版Sora”。

欣慰的是,智能相對(duì)論發(fā)現(xiàn),目前業(yè)內(nèi)部分大模型已開(kāi)始展現(xiàn)這一潛力。今年1月初,AIGC軟件A股上市公司萬(wàn)興科技(300624.SZ)發(fā)布了國(guó)內(nèi)首個(gè)專注于數(shù)字創(chuàng)意領(lǐng)域的音視頻多媒體大模型——萬(wàn)興“天幕”,并憑借大模型在視頻、音頻、圖像、文本等多媒體領(lǐng)域的強(qiáng)大能力,吸引了業(yè)界的廣泛關(guān)注。據(jù)介紹,萬(wàn)興“天幕”依托15億用戶行為數(shù)據(jù)和百億本土化音視頻數(shù)據(jù),具備近百項(xiàng)音視頻原子能力,并已通過(guò)中央網(wǎng)信辦備案。

前不久,萬(wàn)興“天幕”正式開(kāi)放公測(cè),提供了包括文生視頻、文生音樂(lè)、文生音效、文生圖等等多樣化功能的測(cè)試入口,其中文生視頻功能支持一鍵生成60秒+視頻。上周末,睽違4年的《歌手2024》震撼開(kāi)唱,而據(jù)透露,節(jié)目片頭中部分畫(huà)面便是由萬(wàn)興“天幕”支持生成,超高清晰度的精致畫(huà)面更是吊足了視頻從業(yè)者的胃口。

(《歌手》片頭部分畫(huà)面由萬(wàn)興“天幕”技術(shù)加持生成)

萬(wàn)興“天幕”綜合能力究竟如何,有是否真的能生成60+秒視頻?《智能相對(duì)論》特別在萬(wàn)興“天幕”近期公測(cè)期間,體驗(yàn)了相關(guān)能力。

1.基本操作:小白友好,可體驗(yàn)7大功能

(萬(wàn)興“天幕”公測(cè)頁(yè)面)

打開(kāi)萬(wàn)興“天幕”的公測(cè)頁(yè)面,7大功能陳列在左側(cè)功能欄,包括文生視頻、視頻風(fēng)格化、文生音樂(lè)、視頻配樂(lè)、文生音效、文生圖、圖生圖,完美契合了“音視頻大模型”這一定位。

目前,每個(gè)功能每日可進(jìn)行10次生成;具體到操作層面,每個(gè)功能的操作都很簡(jiǎn)單,基本都只需要進(jìn)行prompt輸入+選擇風(fēng)格即可生成,新手也可快速上手,符合其“賦能創(chuàng)作者”的定位。

2.文生視頻功能實(shí)測(cè):“中國(guó)特色”理解力及生成效果表現(xiàn)優(yōu)異

在萬(wàn)興“天幕”的介紹中,“本土化音視頻數(shù)據(jù)”引人注目。目前包括Sora、MidJourney等在內(nèi)的大部分視頻/圖像生成模型,都主要是以海外數(shù)據(jù)進(jìn)行訓(xùn)練,對(duì)中國(guó)元素的生成仍舊不盡如人意。作為國(guó)產(chǎn)音視頻大模型的先鋒者,除了視頻整體效果外,萬(wàn)興“天幕”在“中國(guó)特色”內(nèi)容的生成層面表現(xiàn)如何,也是我們這次測(cè)評(píng)的重點(diǎn)之一。

點(diǎn)開(kāi)文生視頻功能頁(yè),輸入描述詞“張家界美麗的自然風(fēng)光,包括其標(biāo)志性的柱狀山脈、茂密的森林和云霧繚繞的景觀”。等待5分鐘后,一段60秒長(zhǎng)度的視頻就生成出來(lái)了。單從生成效率來(lái)看,天幕表現(xiàn)不錯(cuò)。

(萬(wàn)興“天幕”文生視頻頁(yè)面)

接下來(lái)具體看看生成效果。

描述詞還原度方面,表現(xiàn)得可圈可點(diǎn)——張家界的景色特點(diǎn)鮮明,奇峰聳立、山巒疊嶂、云霧繚繞,且整體畫(huà)面自然真實(shí),細(xì)節(jié)上也完成得不錯(cuò)。此外值得注意的是,天幕在沒(méi)有任何動(dòng)作、情節(jié)描寫(xiě)的簡(jiǎn)短描述詞的基礎(chǔ)上,進(jìn)行了不少“自我創(chuàng)作”,不僅有遠(yuǎn)景近景以及視角的變幻,還可根據(jù)自己的理解,在畫(huà)面中增加了河流、寺廟、花朵等視覺(jué)元素,讓1分鐘時(shí)長(zhǎng)的視頻內(nèi)容更豐富、變化更多樣。

(萬(wàn)興“天幕”部分視頻生成效果)

3.多媒體內(nèi)容生成實(shí)測(cè):“六邊形戰(zhàn)士”發(fā)揮穩(wěn)定

作為全國(guó)首個(gè)音視頻多媒體大模型,天幕不僅僅具備文生視頻能力,更集合了音頻、圖像等其他多媒體種類的內(nèi)容生成能力。接下來(lái),就一起來(lái)看看天幕在其他內(nèi)容類型上的表現(xiàn)吧。

首先是圖像生成。還是張家界,這次我們加點(diǎn)人物進(jìn)去,選取“電影打光”風(fēng)格,輸入提示詞“一名游客在張家界快樂(lè)地游玩,寫(xiě)實(shí)風(fēng)格”,幾秒后圖片就生成出來(lái)了。

從生成效果來(lái)看,景色展示一如既往的穩(wěn)定,這次描述詞中沒(méi)有具體的景色描寫(xiě),但是可以看到張家界的特色依舊很明顯。

此外,圖片中還有一個(gè)細(xì)節(jié)非常驚喜。描述詞中強(qiáng)調(diào)人的特征,但是天幕自然而然生成了中國(guó)人的形象,不論是畫(huà)面中的主要人物還是作為背景展現(xiàn)的其他游客形象,都是清一色的黑頭發(fā)黃皮膚。自信大方的笑容,自然輕松的體態(tài),非常符合日常的穿著。

(萬(wàn)興“天幕”文生圖效果)

接下來(lái),看看文生音效的表現(xiàn)。輸入描述詞“鳥(niǎo)叫聲”即可生成,很快就生成出10秒的音頻出來(lái)。質(zhì)量方面,鳥(niǎo)叫聲非常清脆逼真,用來(lái)作為視頻的背景音效毫無(wú)問(wèn)題。

(文生音效頁(yè)面)

綜合來(lái)看,天幕已經(jīng)具備了多模態(tài)處理能力,任務(wù)完成度和一致性上表現(xiàn)不錯(cuò),已經(jīng)初現(xiàn)“六邊形戰(zhàn)士”雛形,是目前市面上少見(jiàn)的以本土內(nèi)容為核心進(jìn)行訓(xùn)練及生成的大模型。隨著后續(xù)技術(shù)的持續(xù)發(fā)展,通過(guò)不斷的打磨及投喂訓(xùn)練,相信天幕會(huì)是一個(gè)非常不錯(cuò)的產(chǎn)品。

4.天幕未來(lái)展望:素材“彈藥”生產(chǎn)商

從實(shí)際體驗(yàn)層面,天幕在風(fēng)景、場(chǎng)景類畫(huà)面生成上確實(shí)表現(xiàn)不錯(cuò),同時(shí)還具備音頻、圖像等多模態(tài)內(nèi)容的生成能力。結(jié)合目前透露的信息來(lái)看,萬(wàn)興科技為天幕規(guī)劃的未來(lái)發(fā)展方向已呼之欲出:相較業(yè)界普遍討論的所謂“一鍵成片”“AI生成成品視頻”,天幕當(dāng)前階段在素材類內(nèi)容生成上表現(xiàn)突出,可為商業(yè)廣告、影視、旅游、社媒等視頻創(chuàng)作提供豐富的素材“彈藥”。

這也符合技術(shù)發(fā)展規(guī)律以及商業(yè)化落地基本邏輯。技術(shù)層面,由于數(shù)據(jù)集限制以及理解難度的指數(shù)級(jí)上升,視頻生成技術(shù)在完成度上仍有較大提升空間,其中自然景色類視頻相較人像類視頻的視頻數(shù)據(jù)更充分、完成度較高。

商業(yè)邏輯層面,視頻市場(chǎng)規(guī)模正在不斷擴(kuò)大,但AI內(nèi)容在其中的切入角度還需要持續(xù)探索。目前來(lái)看,空鏡頭類素材在商業(yè)化層面的優(yōu)先級(jí)更高,人像類視頻則通常傾向于真人出鏡,還需要經(jīng)歷一定的技術(shù)和效果跨越。

總之,實(shí)測(cè)下來(lái),可以說(shuō),“中國(guó)版Sora”是業(yè)界期許,也在萬(wàn)興“天幕”上看到可能性。應(yīng)用驅(qū)動(dòng)大模型發(fā)展、磨煉技術(shù)實(shí)力,以萬(wàn)興科技為代表的先鋒者仍在持續(xù)探索和實(shí)踐。相信假以時(shí)日,萬(wàn)興科技為代表的國(guó)產(chǎn)廠商,將帶領(lǐng)從業(yè)者們共同奔赴更美好的AI+視頻未來(lái)。

*本文圖片均來(lái)源于網(wǎng)絡(luò)

此內(nèi)容為【智能相對(duì)論】原創(chuàng),

僅代表個(gè)人觀點(diǎn),未經(jīng)授權(quán),任何人不得以任何方式使用,包括轉(zhuǎn)載、摘編、復(fù)制或建立鏡像。

部分圖片來(lái)自網(wǎng)絡(luò),且未核實(shí)版權(quán)歸屬,不作為商業(yè)用途,如有侵犯,請(qǐng)作者與我們聯(lián)系。

•AI產(chǎn)業(yè)新媒體;

•澎湃新聞科技榜單月度top5;

•文章長(zhǎng)期“霸占”鈦媒體熱門(mén)文章排行榜TOP10;

•著有《人工智能 十萬(wàn)個(gè)為什么》

•【重點(diǎn)關(guān)注領(lǐng)域】智能家電(含白電、黑電、智能手機(jī)、無(wú)人機(jī)等AIoT設(shè)備)、智能駕駛、AI+醫(yī)療、機(jī)器人、物聯(lián)網(wǎng)、AI+金融、AI+教育、AR/VR、云計(jì)算、開(kāi)發(fā)者以及背后的芯片、算法等。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

熱門(mén)排行

信息推薦