當(dāng)前位置:首頁(yè) >  科技 >  IT業(yè)界 >  正文

現(xiàn)場(chǎng)Live震撼!OmAgent框架強(qiáng)勢(shì)開源!行業(yè)應(yīng)用已全面開花

 2024-07-09 15:21  來(lái)源: 互聯(lián)網(wǎng)   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

第一個(gè)提出自動(dòng)駕駛并進(jìn)行研發(fā)的公司是Google,巧的是,它發(fā)布的Transformer模型也為今天的大模型發(fā)展奠定了基礎(chǔ)。

自動(dòng)駕駛已經(jīng)完成從概念到現(xiàn)實(shí)的華麗轉(zhuǎn)變,徹底重塑了傳統(tǒng)駕車方式,而大模型行業(yè)正在經(jīng)歷的,恰如自動(dòng)駕駛技術(shù)發(fā)展的傳奇征程——

最頂尖的研發(fā)團(tuán)隊(duì)競(jìng)相投身其中、不斷加速搶跑的技術(shù)產(chǎn)品創(chuàng)新,以及持續(xù)被推向極致的用戶體驗(yàn)。

在大模型賽道中,有一家企業(yè)始終以領(lǐng)先的身位,推動(dòng)著行業(yè)邊界向前拓展。

為什么是聯(lián)匯科技?

當(dāng)行業(yè)剛開始關(guān)注大模型,他們已經(jīng)錨定多模態(tài)大模型,并高分取得了工信部大模型檢測(cè)的001號(hào)證書;

去年,當(dāng)人們關(guān)注“百模大戰(zhàn)”,他們不僅發(fā)布了自研OmModel多模態(tài)大模型的V3版本,更發(fā)布了國(guó)內(nèi)首批大模型驅(qū)動(dòng)的自主智能體應(yīng)用;

今年,世界人工智能大會(huì)期間,他們?cè)俅伟l(fā)布一系列技術(shù)成果,將大模型技術(shù)產(chǎn)品推向更深、更廣的應(yīng)用層面。

聯(lián)匯科技技術(shù)團(tuán)隊(duì)有著極強(qiáng)的前瞻思維,這與他們的首席科學(xué)家趙天成博士緊密相關(guān),這位師從國(guó)際AI領(lǐng)域頂尖學(xué)者的Maxine Eskenazi,在CMU LTI (卡內(nèi)基梅隆大學(xué)語(yǔ)言技術(shù)研究所)完成碩博連讀的天才少年,不僅稱得上「AI 名門正派」,更難得的是,趙天成在技術(shù)發(fā)展和戰(zhàn)略規(guī)劃方面有著獨(dú)到見解。

趙天成博士指出,在AI主導(dǎo)的第四次工業(yè)革命浪潮中,自主智能將成為變革的核心變量。隨著人類第一次接觸并掌握創(chuàng)造智慧的奧秘,我們將目睹一個(gè)新時(shí)代的到來(lái)——在這個(gè)時(shí)代中,機(jī)器、軟件甚至系統(tǒng),將被賦予前所未有的自主決策能力,自動(dòng)化將廣泛應(yīng)用于各個(gè)工作領(lǐng)域,開啟前所未有的效率和創(chuàng)新。

2024年是智能體元年。

我們正處于L2級(jí)別,并逐步向L3、L4邁進(jìn)的過(guò)程中。

OmAgent來(lái)了!

WAIC期間,聯(lián)匯科技正式發(fā)布第二代多模態(tài)智能體 OmAgent。

去年同期,聯(lián)匯科技搶跑行業(yè),率先發(fā)布了國(guó)內(nèi)第一批由多模態(tài)大模型驅(qū)動(dòng)的自主智能體,那么,今年聯(lián)匯的第二代多模態(tài)智能體OmAgent有哪些驚喜?

首先是感知模塊全新升級(jí)。

隨著AI應(yīng)用落地,聯(lián)匯科技發(fā)現(xiàn)盡管萬(wàn)物感知模型在智能識(shí)別和處理方面具有巨大潛力,但受限于推理速度的瓶頸。相較于小型模型在推理速度上的優(yōu)勢(shì),Idealab的G-DINO和聯(lián)匯科技的OmDet在速度上的表現(xiàn)都不盡如人意,這極大地限制了它們?cè)谶吘売?jì)算設(shè)備上的應(yīng)用。

聯(lián)匯科技最新發(fā)布的OmDet V2,實(shí)現(xiàn)萬(wàn)物感知的全面加速,從底層重新構(gòu)建了萬(wàn)物感知的模塊,推出了EFH高性能融合頭,包含了一系列模型加速的優(yōu)化技術(shù)、語(yǔ)言向量緩存、輕量化特征編碼與解碼等技術(shù),得益于EFH對(duì)每一個(gè)環(huán)節(jié)的機(jī)制優(yōu)化,相較于G-DINO和聯(lián)匯的第一代感知模型,OmDet V2在每一個(gè)環(huán)節(jié)上都實(shí)現(xiàn)了20倍以上的速度提高。

這樣的提升意味著OmDet V2正在打開未來(lái)邊緣AI與具身智能全新可能。

憑借OmDet V2的推理速度和精確分析能力,單個(gè)GPU就可以承載對(duì)500路視頻流的實(shí)時(shí)萬(wàn)物感知分析,這是對(duì)技術(shù)性能的新一次刷新。同時(shí),這也意味著打開邊緣AI的可能,OmDet V2讓萬(wàn)物感知模型擺脫云端束縛,走向邊緣設(shè)備,為人形機(jī)器人、家庭智算中心等前沿應(yīng)用提供了強(qiáng)大的智能支持。

這種創(chuàng)新不僅重新定義了大模型產(chǎn)品的開發(fā)思維,更為構(gòu)建一個(gè)更實(shí)時(shí)、更安全、更注重隱私的大模型應(yīng)用環(huán)境奠定了基礎(chǔ)。

第二是思考決策能力的提升。

思考是多模態(tài)智能體的核心,只有具備了思考能力,智能體才能夠依據(jù)感知和記憶結(jié)果做決策判斷和自主行為,成為真正的助手。但現(xiàn)有多模態(tài)思考模型存在著明顯局限,比如只能基于單張圖片進(jìn)行思考和決策、無(wú)法對(duì)多個(gè)關(guān)聯(lián)圖片之間進(jìn)行理解處理等。

為了解決這一問(wèn)題,聯(lián)匯科技全新發(fā)布了第二代思考大模型OmChat V2,一個(gè)基于多模態(tài)模型原生預(yù)訓(xùn)練的生成大模型,不僅提供8B、40B、60B多個(gè)版本,適配不同需求。更能非常好地支持視頻、圖文混合、文字等多種復(fù)雜輸入,完美適配智能體決策過(guò)程中所需要的復(fù)雜場(chǎng)景。

OmChat V2支持高達(dá)512K、50萬(wàn)的上下文長(zhǎng)度,折合視頻長(zhǎng)度30分鐘,僅次于Google Gemin-1.5,并遠(yuǎn)超GPT-4o及微軟LLaVa-1.5。

OmChat V2在Mantis-Eval、Q-Bench、MileBench Real、MVBench等測(cè)試中平均性能均在行業(yè)前列。

更簡(jiǎn)單、直接的說(shuō)法是,OmChat V2不僅能夠看準(zhǔn)時(shí)序關(guān)系,更能夠看懂多圖關(guān)系。

△時(shí)序關(guān)系判斷

△多圖關(guān)系理解

為了大模型與智能體技術(shù)能夠真正的普惠落地,聯(lián)匯科技還率先完成了與多款國(guó)產(chǎn)GPU的適配與性能驗(yàn)證,通過(guò)高效稀疏激活、動(dòng)態(tài)專家方法,提升推理效率20倍,OmOS大模型運(yùn)行平臺(tái)也是首個(gè)支持多地域大模型分布式推理平臺(tái),異構(gòu)九頭蛇推理能夠提升算力利用率3倍。

就此,聯(lián)匯科技正式解鎖海量行業(yè)應(yīng)用場(chǎng)景。

△自動(dòng)化體育解說(shuō)

△影視劇內(nèi)容解構(gòu)

△工業(yè)智能助手

OmAgent框架全面開源!

聯(lián)匯科技在多模態(tài)智能體技術(shù)上已經(jīng)取得了多項(xiàng)突破性成果,對(duì)于是否開源的問(wèn)題,趙天成博士始終從更宏觀、更長(zhǎng)遠(yuǎn)的角度看待。

他表示:我們選擇將OmAgent框架全面開源,是因?yàn)橄胍膭?lì)更多企業(yè)、開發(fā)者參與,通過(guò)知識(shí)共享和技術(shù)創(chuàng)新構(gòu)建一個(gè)更加開放、更加豐富的智能體生態(tài),進(jìn)而能夠帶動(dòng)整個(gè)行業(yè)更好的發(fā)展。

OmAgent框架不僅包含了感知、記憶、決策等綜合模塊,并整合融入OmDet、OmChat等多個(gè)不同類型的大模型能力,極大方便企業(yè)與開發(fā)者的應(yīng)用開發(fā),推動(dòng)智能體技術(shù)向更深層次、更廣領(lǐng)域的賦能。

通過(guò)OmAgent,能夠快速、準(zhǔn)確解決各類場(chǎng)景下的復(fù)雜問(wèn)題。比如,從影視劇中總找出某個(gè)問(wèn)題的答案,盡管影片沒有直接呈現(xiàn)答案,但是OmAgent依然可以通過(guò)對(duì)全片的整體理解,掌握劇情并根據(jù)原片內(nèi)容進(jìn)行思考、作答。

Step 01

Step 02

Step 03

Step 04

目前,OmAgent框架已全面開源。

在WAIC,聯(lián)匯科技對(duì)OmAgent做了完整的現(xiàn)場(chǎng)互動(dòng)演示。

為了讓智能體更快地融入日常工作與生活,聯(lián)匯正式發(fā)布了Om多模態(tài)智能體全新產(chǎn)品系列——空間運(yùn)營(yíng)智能體、知識(shí)服務(wù)智能體,為行業(yè)用戶打造“超級(jí)助手”。

空間運(yùn)營(yíng)智能體是通過(guò)攝像頭、拾音器等物聯(lián)設(shè)備以及接入的各類數(shù)據(jù)源對(duì)空間物理環(huán)境全面感知,深度融入大模型的思考能力,準(zhǔn)確處理、分析多模態(tài)數(shù)據(jù)信息,洞察運(yùn)營(yíng)中的關(guān)鍵問(wèn)題、潛在機(jī)會(huì),基于智能體角色設(shè)定的目標(biāo)任務(wù),結(jié)合記憶和學(xué)習(xí),實(shí)現(xiàn)面向物理空間的思考、規(guī)劃與決策,成為用戶進(jìn)行空間管理的得力助手。

應(yīng)用范圍覆蓋線下零售、營(yíng)業(yè)廳、機(jī)房、產(chǎn)業(yè)園區(qū)、文旅景區(qū)、城市街區(qū)等各類單體空間、連鎖環(huán)境,實(shí)現(xiàn)對(duì)空間的精細(xì)化運(yùn)營(yíng)與管理。

相較于空間運(yùn)營(yíng)智能體對(duì)現(xiàn)實(shí)物理世界的運(yùn)營(yíng)管理,知識(shí)服務(wù)智能體更強(qiáng)調(diào)對(duì)數(shù)字世界的管理和對(duì)數(shù)字資產(chǎn)的價(jià)值挖掘。

它可以作為專為行業(yè)定制的人工智能助手,廣泛應(yīng)用于辦公、生產(chǎn)、運(yùn)維、營(yíng)銷、培訓(xùn)、客服等場(chǎng)景,將企業(yè)、組織和個(gè)人在特定領(lǐng)域內(nèi)積累的經(jīng)驗(yàn)、技術(shù)、業(yè)務(wù)流程等轉(zhuǎn)化為結(jié)構(gòu)化的行業(yè)專用知識(shí),通過(guò)知識(shí)管理、知識(shí)檢索、知識(shí)問(wèn)答與知識(shí)生成等核心能力,提升用戶決策質(zhì)量、優(yōu)化操作流程,最終將無(wú)形的知識(shí)資產(chǎn)轉(zhuǎn)化為有形的生產(chǎn)力。

2024無(wú)疑將是智能體元年,智能體也正在成為大模型落地的最佳途徑。

關(guān)于未來(lái),趙天成博士透露了他的預(yù)判——

智能體的未來(lái)不是單打獨(dú)斗,而是大模型的組合拳,尤其是當(dāng)多種類大模型協(xié)同作戰(zhàn)時(shí),它們能釋放出遠(yuǎn)超單一大語(yǔ)言模型的潛力。

智能體將打破傳統(tǒng)聊天機(jī)器人的界限,它們的應(yīng)用形態(tài)將經(jīng)歷一場(chǎng)革新,變得更加多樣化和深入人類活動(dòng)的各個(gè)方面。

隨著邊緣AI的興起,大模型將不再局限于大型服務(wù)器,它們將走向邊緣,被嵌入到眾多小型設(shè)備中,實(shí)現(xiàn)真正的無(wú)處不在。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

熱門排行

信息推薦