文 | 智能相對論
作者 | 陳泊丞
很久以前，在一個遙遠的國度里，國王決定建造一座宏偉的宮殿，以展示國家的繁榮和權力。他邀請了全國最著名的建筑師來設計這座宮殿，這個人以其卓越的才能和智慧聞名。
然而，這位建筑師設計的宮殿雖然精美絕倫，卻因為過于復雜和精細，以至于在實際施工過程中遇到了重重困難，許多技藝高超的工匠也感到力不從心。
這時，國王手下有三位普通的石匠，他們雖然沒有顯赫的名聲，技藝也稱不上頂尖，但三人經常一起工作，彼此間有著極好的默契和互補的技能。面對宮殿建設的難題，他們沒有退縮，而是聚在一起討論和思考解決方案。通過無數次的嘗試和調整，他們發(fā)明了幾種新的工具和施工方法，簡化了復雜的建筑過程，使原本難以實施的設計變得可行。
最終，這三位平平無奇的石匠通過配合，不僅幫助解決了工程上的難題，還加快了宮殿的建設進度，確保了工程質量，讓國王和所有人大為驚訝。他們的故事很快傳遍了整個國度，并成了一段佳話——“眾人智慧勝過一人天才”。
而這句佳話所反映出來的道理，恰恰正是目前AI行業(yè)大火的MoE混合專家模型的設計思路。目前，隨著MoE模型大火，AI大模型的發(fā)展不再是追求“一人天才”，而是走向了“眾人智慧”。
主流廠商越來越看重MoE模型，在新架構上他們又看到了什么樣的未來？“眾人智慧勝過一人天才”的佳話是否能在MoE模型上得以實現？
有多少大模型廠商在押注“眾人智慧”？
目前，在海外，OpenAI的GPT-4、谷歌的Gemini、Mistral AI的Mistral、xAI的Grok-1等主流大模型都采用了MoE架構。
而在國內，昆侖萬維推出的天工3.0、浪潮信息發(fā)布的源2.0-M32、通義千問團隊發(fā)布的Qwen1.5-MoE-A2.7B、MiniMax全量發(fā)布的abab6、幻方量化旗下的DeepSeek發(fā)布的DeepSeek-MoE 16B等等也都屬于MoE模型。
越來越多的廠商開始涉足MoE模型的開發(fā)和應用。比起“眾人智慧”，MoE模型的具體工作原理更接近中國的一句古語“術業(yè)有專攻”，通過把任務分門別類，然后分給多個特定的“專家”進行解決。
它的工作流程大致如此，首先數據會被分割為多個區(qū)塊（token），然后通過門控網絡技術（Gating Network）再把每組數據分配到特定的專家模型（Experts）進行處理，也就是讓專業(yè)的人處理專業(yè)的事，最終匯總所有專家的處理結果，根據關聯(lián)性加權輸出答案。
當然，這只是一個大致的思路，關于門控網絡的位置、模型、專家數量、以及MoE與Transformer架構的具體結合方案，各家方案都不盡相同，也逐漸成為各家競爭的方向——誰的算法更優(yōu)，便能在這個流程上拉開MoE模型之間的差距。
像浪潮信息就提出了基于注意力機制的門控網絡（Attention Router），這種算法結構的亮點在于可以通過局部過濾增強的注意力機制（LFA, Localized Filtering-based Attention），率先學習相鄰詞之間的關聯(lián)性，然后再計算全局關聯(lián)性的方法，能夠更好地學習到自然語言的局部和全局的語言特征，對于自然語言的關聯(lián)語義理解更準確，從而更好地匹配專家模型，保證了專家之間協(xié)同處理數據的水平，促使模型精度得以提升。
基于注意力機制的門控網絡（Attention Router)
拋開目前各家廠商在算法結構上的創(chuàng)新與優(yōu)化不談，MoE模型這種工作思路本身所帶來的性能提升就非常顯著——通過細粒度的數據分割和專家匹配，從而實現了更高的專家專業(yè)化和知識覆蓋。
這使得MoE模型在處理處理復雜任務時能夠更準確地捕捉和利用相關知識，提高了模型的性能和適用范圍。因此，「智能相對論」嘗試了去體驗天工3.0加持的AI搜索，就發(fā)現對于用戶較為籠統(tǒng)的問題，AI居然可以快速的完成拆解，并給出多個項目參數的詳細對比，屬實是強大。
天工AI搜索提問“對比一下小米su7和特斯拉model3”所得出的結果
由此我們可以看到，AI在對比兩款車型的過程中，巧妙地將這一問題拆解成了續(xù)航里程、動力性能、外觀設計、內飾設計、智能化與自動駕駛、市場表現與用戶口碑、價格等多個項目，分別處理得出較為完整且專業(yè)的答案。
這種“眾人智慧”的結果，更是“術業(yè)有專攻”的優(yōu)勢——MoE模型之所以受到越來越多廠商的關注，首要的關鍵就在于其所帶來的全新解決問題的思路促使模型的性能得到了較為顯著的提高。特別是伴隨著行業(yè)復雜問題的涌現，這一優(yōu)勢將使得MoE模型得到更廣泛的應用。
各大廠商爭先開源MoE模型的背后
在MoE模型被廣泛應用的同時，也有部分廠商爭先開源了自家的MoE模型。前不久，昆侖萬維宣布開源2千億參數的Skywork-MoE。而在此之前，浪潮信息的源2.0-M32、DeepSeek的DeepSeek-MoE 16B等，也都紛紛開源。
開源的意義在于讓MoE模型更好的普及。那么，對于市場而言，為什么要選擇MoE模型？
拋開性能來說，MoE模型更突出的一點優(yōu)勢則在于算力效率的提升。
DeepSeek-MoE 16B在保持與7B參數規(guī)模模型相當的性能的同時，只需要大約40%的計算量。而37億參數的源2.0-M32在取得與700億參數LLaMA3相當性能水平的同時，所消耗的算力也僅為LLaMA3的1/19。
也就意味著，同樣的智能水平，MoE模型可以用更少的計算量和內存需求來實現。這得益于MoE模型在應用中并非要完全激活所有專家網絡，而只需要激活部分專家網絡就可以解決相關問題，很好避免了過去“殺雞用牛刀”的尷尬局面。
舉個例子，盡管DeepSeek-MoE 16B的總參數量為16.4B，但每次推理只激活約2.8B的參數。與此同時，它的部署成本較低，可以在單卡40G GPU上進行部署，這使得它在實際應用中更加輕量化、靈活且經濟。
在當前算力資源越來越緊張的局面下，MoE模型的出現和應用可以說為行業(yè)提供了一個較為現實且理想的解決方案。
更值得一提的是，MoE模型還可以輕松擴展到成百上千個專家，使得模型容量極大增加，同時也允許在大型分布式系統(tǒng)上進行并行計算。由于各個專家只負責一部分數據處理，因此在保持模型性能的同時，又能顯著降低了單個節(jié)點的內存和計算需求。
如此一來，AI能力的普惠便有了非常可行的路徑。這樣的特性再加上廠商開源，將促使更多中小企業(yè)不需要重復投入大模型研發(fā)以及花費過多算力資源的情況下便能接入AI大模型，獲取相關的AI能力，促進技術普及和行業(yè)創(chuàng)新。
當然，在這個過程中，MoE模型廠商們在為市場提供開源技術的同時，也有機會吸引更多企業(yè)轉化成為付費用戶，進而走通商業(yè)化路徑。畢竟，MoE模型的優(yōu)勢擺在眼前，接下來或許將有更多的企業(yè)斗都會嘗試新的架構來拓展AI能力，越早開源越能吸引更多市場主體接觸并參與其中。
開源本身是對行業(yè)趨勢的一種認知判斷和提前布局，由此來說MoE模型具有成為未來AI能力普惠的關鍵。
寫在最后
MoE大模型作為當前人工智能領域的技術熱點，其獨特的架構和卓越的性能為人工智能的發(fā)展帶來了新的機遇。不管是應用還是開源，隨著技術的不斷進步和應用場景的不斷拓展，MoE大模型有望在更多領域發(fā)揮巨大的潛力。
如同開篇的寓言故事，人們或許會在開始追求驚才艷艷的“一人天才”，但是在實踐過程中也會逐漸發(fā)現懂得配合和互補的“眾人智慧”才是建造落地的關鍵，就如同現在AI領域的MoE大模型大火。
*本文圖片均來源于網絡
此內容為【智能相對論】原創(chuàng)，
僅代表個人觀點，未經授權，任何人不得以任何方式使用，包括轉載、摘編、復制或建立鏡像。
部分圖片來自網絡，且未核實版權歸屬，不作為商業(yè)用途，如有侵犯，請作者與我們聯(lián)系。
•AI產業(yè)新媒體;
•澎湃新聞科技榜單月度top5;
•文章長期“霸占”鈦媒體熱門文章排行榜TOP10;
•著有《人工智能 十萬個為什么》
•【重點關注領域】智能家電（含白電、黑電、智能手機、無人機等AIoT設備）、智能駕駛、AI+醫(yī)療、機器人、物聯(lián)網、AI+金融、AI+教育、AR/VR、云計算、開發(fā)者以及背后的芯片、算法等。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
