NVIDIA AR SDK為直播、視頻會議和游戲開辟了創(chuàng)造性的新選擇。這個(gè)SDK允許開發(fā)者使用標(biāo)準(zhǔn)的網(wǎng)絡(luò)攝像頭對人臉進(jìn)行實(shí)時(shí)3D追蹤,并創(chuàng)建各種有趣的的增強(qiáng)現(xiàn)實(shí)效果,如為人臉疊加3D數(shù)字內(nèi)容或?yàn)楸尘疤砑映两叫Ч?/p>
NVIDIA AR SDK正以公測版本向社區(qū)開放,并支持多項(xiàng)用例:
追蹤攝像頭視圖的人臉,并識別圖像中的一個(gè)或多個(gè)主體。
將數(shù)字asset疊加于個(gè)人,如服飾和效果。
通過臉部和頭部運(yùn)動控制動畫角色或游戲角色。
NVIDIA AR SDK利用了NVIDIA RTX顯卡的Tensor內(nèi)核,可通過AI網(wǎng)絡(luò)實(shí)現(xiàn)快速和高質(zhì)量的追蹤性能。所述網(wǎng)絡(luò)可以提供精確的人臉追蹤;人臉形狀、嘴唇、眼睛、眉毛和鼻子的三自由度五官追蹤;以及六自由度的先進(jìn)人臉網(wǎng)格(人臉和頭部姿態(tài)的3D重建)。
例如,用于OBS直播軟件的熱門插件StreamFX發(fā)布了一個(gè)全新的版本,其利用NVIDIA AR SDK創(chuàng)建了一個(gè)可以自動裁剪和放大用戶、并且在用戶移動時(shí)保持幀居中的智能camera。
StreamFX的開發(fā)者M(jìn)ichael Fabian 'Xaymar' Dirks表示:“StreamFX中的全新Face Tracking濾鏡需要復(fù)雜的數(shù)學(xué)和機(jī)器學(xué)習(xí),而這原本需要以一系列的機(jī)器運(yùn)行和花費(fèi)數(shù)個(gè)月,甚至幾年的時(shí)間。但利用NVIDIA的AR SDK,現(xiàn)在可以在短時(shí)間內(nèi)完成操作,并且可以支持因NVENC H.264編碼器而日漸流行的所有NVIDIA RTX硬件。這大大縮短了必要的開發(fā)時(shí)間,從原本數(shù)年的時(shí)間縮短到僅需兩周,而且沒有額外的成本。”
NVIDIA發(fā)布的NVIDIA CloudXR 1.0軟件開發(fā)套件將通過5G、Wi-Fi和其他高性能網(wǎng)絡(luò),為增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)和虛擬現(xiàn)實(shí)內(nèi)容(統(tǒng)稱擴(kuò)展現(xiàn)實(shí)XR)帶來重大提升。
隨著5G網(wǎng)絡(luò)在全球的推廣,NVIDIA CloudXR正在為包括建筑和零售等許多行業(yè)帶來創(chuàng)新。通過從GPU驅(qū)動的邊緣服務(wù)器傳輸XR體驗(yàn),公司能夠?qū)D形密集型應(yīng)用程序和內(nèi)容的訪問擴(kuò)展到移動端,讓遠(yuǎn)程用戶也能享受沉浸式、響應(yīng)式擴(kuò)展現(xiàn)實(shí)體驗(yàn)。
據(jù)艾媒咨詢統(tǒng)計(jì),在疫情爆發(fā)前的2016至2019年,我國在線直播用戶規(guī)模就已呈現(xiàn)連年上升趨勢,2020年我國在線直播用戶規(guī)模預(yù)測將達(dá)到5.24億人。起于秀場、游戲的直播形式,如今已成為商家營銷的重要方式之一。各行各業(yè)都在聞風(fēng)而動:化妝品、服裝、生活用品、零食…………
信息化互聯(lián)網(wǎng)時(shí)代,行業(yè)市場發(fā)生了巨大的變革,產(chǎn)品由傳統(tǒng)制造演變?yōu)橹悄芑⒒ヂ?lián)化、共享化、個(gè)性化,體驗(yàn)化的趨勢。伴隨淘寶、抖音、快手等視頻直播電商平臺日漸成熟,實(shí)時(shí)互動、真實(shí)感強(qiáng)、互動率高的直播帶貨場景正贏得越來越多消費(fèi)者的青睞,“萬物皆可播”正在變?yōu)楝F(xiàn)實(shí),這將極大程度改變很多行業(yè)的傳統(tǒng)營銷模式。
隨著5G全息通訊網(wǎng)絡(luò)帶寬條件變化,5G全息應(yīng)用市場將迎來爆發(fā),全息互動娛樂、全息會議、全息發(fā)布會等高端應(yīng)用逐步向全息社交、全息通訊、全息導(dǎo)航、全息家庭應(yīng)用等方向普及。微美全息(WIMI.US)計(jì)劃基于全息AI人臉識別技術(shù)和全息AI人臉換臉技術(shù)為核心技術(shù),用多個(gè)技術(shù)創(chuàng)新的系統(tǒng)支持全息云平臺服務(wù)和5G通訊全息應(yīng)用。
隨著5G商用時(shí)代的即將來到,令游戲以及直播行業(yè)有了新的機(jī)遇。5G帶來的底層變化更加喜人,比提升碼率和畫質(zhì)更令人感到興奮。如果在直播中使用了超低時(shí)延,將會提升直播的互動過程,令直播內(nèi)容更有價(jià)值。
當(dāng)下,移動互聯(lián)網(wǎng)正以前所未有的態(tài)勢改變著我們的娛樂方式,而此次微美全息(WIMI.US)的AR+直播系統(tǒng),通過在直播中加入AR技術(shù)作為新的交互介質(zhì),很好的解決了場景化、互動化的問題。
立體展示、全息成像等酷炫技術(shù)越來越受到行業(yè)的青睞,傳統(tǒng)的展示手法已給觀眾造成了麻痹的審美疲勞,更多企業(yè)希望通過更加先進(jìn)的高科技手段展示自己的產(chǎn)品,引起客戶的注意,提升自身市場占有率。
微美全息(WIMI.US)的AR+直播直播優(yōu)勢很顯而易見,可真實(shí)模擬任意場景,體現(xiàn)產(chǎn)品在不同真實(shí)環(huán)境中的使用請況;可以展現(xiàn)更為復(fù)雜的產(chǎn)品,讓受眾更為直觀了解產(chǎn)品的內(nèi)部結(jié)構(gòu)和產(chǎn)品細(xì)節(jié);突破人員限制,同時(shí)又可以鎖定人群進(jìn)行直播精準(zhǔn)投放,宣傳力度效應(yīng)更廣;線上互動性更強(qiáng),嘉賓與粉絲可在直播期間進(jìn)行互動,并對他們的問題進(jìn)行實(shí)時(shí)篩選作答;進(jìn)行實(shí)時(shí)效果合成,直播結(jié)束即可獲得整套完成視頻,無需再進(jìn)行后期剪輯,第一時(shí)間用于宣發(fā)。
微美全息(WIMI.US)依托自我成熟的視覺設(shè)計(jì)團(tuán)隊(duì)基礎(chǔ),深度開挖AR直播技術(shù),正式上線AR直播業(yè)務(wù),豐富自我的業(yè)務(wù)結(jié)構(gòu),為客戶提供更多服務(wù),解決客戶問題,涵蓋多行業(yè)多領(lǐng)域。
微美全息(WIMI.US)AR+直播系統(tǒng),簡單來說就是通過AR全息科技,讓觀眾可裸眼觀看全息人物或場景在現(xiàn)實(shí)中的真實(shí)還原,身臨其境,用戶體驗(yàn)可以用嘆為觀止來形容微美全息將全息技術(shù)與娛樂模式相結(jié)合,觀影者能夠成為電影/舞臺中的角色,介入影片/舞臺事先設(shè)置的環(huán)境與劇情,讓觀影者身臨其境般感受到自己就是電影/舞臺里的一份子,觀影者就是影片里的主角或是其中一員,并持續(xù)與影片/舞臺內(nèi)容產(chǎn)生交互作用。
全息直播是展示的一個(gè)新的方式和發(fā)展方向,通過全息投影技術(shù),參觀者不僅能看到清晰的圖像,而且是全方位、多角度的看到立體、逼真的圖像,結(jié)合原有的展示方式,充分的呈現(xiàn)了直播的內(nèi)涵、細(xì)節(jié),更加激發(fā)了大眾接受新事物的積極性。
微美全息(WIMI.US)通過構(gòu)建多角度拍攝實(shí)時(shí)建模系統(tǒng):對采集對象進(jìn)行全維度的影像掃描,實(shí)時(shí)合成為立體模型。六度矩陣式光場系統(tǒng):多光源綜合運(yùn)用,構(gòu)建全息虛擬影像的成像場。雙眼視差智能增強(qiáng)系統(tǒng):采集過程中動態(tài)跟蹤對象軌跡并調(diào)整光線,保持雙眼差的均衡值。多圖像動態(tài)融合系統(tǒng):狹窄空間中的多維圖像廣角采集技術(shù),應(yīng)用于云視小型化全息棧倉。全息圖像高速處理算法:對圖像信息進(jìn)行極速處理,并保證渲染效果,處理速率達(dá)10GB/秒。隱身聚酯光學(xué)顯像膜:全息成像關(guān)鍵構(gòu)件,讓全息影像完美成像顯示。全息虛擬人物畫音重建技術(shù):運(yùn)用人骨骼動態(tài)捕捉,圖像實(shí)時(shí)渲染,語音識別技術(shù),聲音模擬技術(shù)呈現(xiàn)虛擬人。全息云平臺:覆蓋全國的影像采集和還原,具有數(shù)據(jù)存儲、影像還原、全息社交屬性的交互平臺。微美通過以上系統(tǒng)組合構(gòu)建起完整的5G全息通訊應(yīng)用平臺,以支持各種線上終端和個(gè)人設(shè)備應(yīng)用,同時(shí)拓展全息社交通訊、全息家庭互動、全息明星互動、全息在線教育、全息在線會議等各種主流5G全息應(yīng)用。
VR/AR是新一代信息技術(shù)相互融合的產(chǎn)物,過去的VR/AR產(chǎn)品因?yàn)閹捄脱訒r(shí)的因素可以導(dǎo)致渲染能力不足、互動體驗(yàn)不強(qiáng)和終端移動性差等痛點(diǎn)問題,一直是遏制行業(yè)發(fā)展的最大的一塊短板。高質(zhì)量VR/AR業(yè)務(wù)對帶寬、時(shí)延要求非常高,例如對于VR來說,要達(dá)到非常好的用戶體驗(yàn),需要的帶寬要達(dá)到1000Mbps以上,延時(shí)要達(dá)到小于2ms的級別,而對于AR來說要達(dá)到不錯(cuò)的用戶體驗(yàn)也需要200Mbps帶寬以上和5ms以下的延時(shí),這在4G時(shí)代是沒有辦法實(shí)現(xiàn)的,唯有5G能滿足這樣的高速傳輸能力。
5G時(shí)代,視頻流量將呈指數(shù)級增長,視頻化表達(dá)已是大勢所趨。但當(dāng)前,我國媒體轉(zhuǎn)型與發(fā)展正面臨著發(fā)展瓶頸,主要表現(xiàn)在:低效率的視頻生產(chǎn)方式制約了傳統(tǒng)媒體向融媒體、智媒體轉(zhuǎn)型;海量化的視頻生產(chǎn)規(guī)模使內(nèi)容審核更加復(fù)雜困難。
未來,AI和5G將作為一種底層能力,融入各行各業(yè),AI+5G的最終價(jià)值在于行業(yè)應(yīng)用。當(dāng)前,5G技術(shù)在主要垂直行業(yè)的全球市場潛在價(jià)值預(yù)計(jì)可達(dá)4.3萬億美元。那么,如何撬動4.3萬億美元的行業(yè)應(yīng)用,AI或許才是幕后關(guān)鍵的推手。
申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
