芯東西（公眾號：aichip001）
作者 | ZeR0
編輯 | 漠影
芯東西12月6日圣何塞報道，北京時間12月7日凌晨，芯片巨頭AMD的年終AI盛會Advancing AI活動正式舉行。在AI芯片賽道愈戰(zhàn)愈勇的AMD今天會放出怎樣的大招，著實令人期待，為此芯東西早早來到會場，翹首等待被粉絲們親切稱作“蘇媽”的AMD CEO蘇姿豐發(fā)表主題演講。
今天加州的陽光依然燦爛，當(dāng)?shù)貢r間10點一到，大會正式開場，蘇媽健步如飛地走上臺，笑容滿面地分享對人工智能（AI）計算的觀察思考，將AI評價為“過去50年來最具變革性的技術(shù)”，稱生成式AI是“最剛需的數(shù)據(jù)中心工作負(fù)載”。
會上，AMD宣布推出旗艦數(shù)據(jù)中心AI芯片AMD Instinct MI300X GPU ，并在多項硬件規(guī)格及大模型訓(xùn)推測試上與英偉達正面交鋒。
AI峰值性能、內(nèi)存密度、內(nèi)存帶寬，這些關(guān)鍵硬件規(guī)格通通秒掉英偉達旗艦AI芯片H100 GPU！也就是說，相比英偉達H100，MI300X能跑更大參數(shù)規(guī)模的大模型。
這是一場AMD全面展示其AI戰(zhàn)略雄心的盛會，除了MI300X外，AMD還宣布推出結(jié)合最新AMD CDNA 3架構(gòu)和“Zen 4”CPU的MI300A加速處理單元（APU） ，以及讓筆記本電腦能夠更輕松添加AI功能的Ryzen 8040系列移動處理器 。
此外，AMD劇透了Ryzen AI路線圖，代號為“Strix Point ”的下一代Ryzen AI CPU將在2024年出貨，采用XDNA 2架構(gòu)。XDNA 2架構(gòu)的生成式AI NPU性能將提高到上一代的3倍以上。
軟件方面，AMD發(fā)布了最新版本的ROCm 6 開放軟件堆棧，該堆棧針對生成式AI（尤其是大語言模型）進行了優(yōu)化。相較MI250搭ROCm 5，MI300X與ROCm 6雙強組合在Llama 2上生成文本的總體延遲性能提高了約8倍 。
與Ryzen 8040系列處理器同時登場的Ryzen AI 1.0軟件棧 ，使開發(fā)者能夠輕松部署使用預(yù)訓(xùn)練模型為Windows應(yīng)用程序添加AI功能。
一、MI300X：內(nèi)存容量帶寬超H100，更快暢跑千億參數(shù)大模型
蘇姿豐說，一年前，AMD預(yù)估全球數(shù)據(jù)中心AI芯片/GPU的TAM將從2023年的300億美元增長到2027年的1500億美元，未來4年CAGR增速將超過50%。但顯然需求增長得更快，現(xiàn)在AMD將其預(yù)估修正為數(shù)據(jù)中心加速器未來四年每年增長70%以上，到2027年將超過4000億美元。
她分享道，AMD的AI戰(zhàn)略圍繞三大重點：1）提供高性能、高能效的GPU、CPU和用于AI訓(xùn)練及推理的自適應(yīng)計算解決方案的廣泛組合；2）擴展開放的、經(jīng)驗證的、對開發(fā)人員友好的軟件平臺；3）擴大深度協(xié)同創(chuàng)新的AI生態(tài)系統(tǒng)。
為了解決GPU硬件可用性問題，AMD推出Instinct MI300X加速器。
蘇姿豐稱MI300X加速器是AMD迄今制造過的最先進的產(chǎn)品、“業(yè)界最先進的AI加速器”，擁有1530億顆晶體管、192GB HBM3內(nèi)存容量、5.3TB/s峰值內(nèi)存帶寬、896GB/s Infinity Fabric互連帶寬，能支撐大模型訓(xùn)練和推理。
大模型拼算力，關(guān)鍵就是看內(nèi)存容量和帶寬，所以相比英偉達H100的96GB內(nèi)存、3.2TB/s帶寬，MI300X在硬件配置上很有吸引力。
MI300X把4個SoC Die都用來放GPU，8個HBM3升級到24GB，形成了一個由8顆CDNA 3架構(gòu)Accelerator Complex Die（XCD）、4個I/O Die（IOD）、8個HBM內(nèi)存堆棧組成的共有12顆5nm Chiplet的集成系統(tǒng)。Chiplet的好處是提高良率和降低成本，因此MI300X可能會在定價上比H100/H200更具性價比。
通過這種“拼芯片樂高”的方式，MI300X實現(xiàn)了計算核數(shù)、帶寬及內(nèi)容容量的顯著增加。其采用的CDNA 3架構(gòu)對性能和能效進行了優(yōu)化，結(jié)合了一個新的計算引擎，支持稀疏性和TF32、FP8等新數(shù)據(jù)格式，為關(guān)鍵數(shù)據(jù)類型（如FP16/BF16）提供的性能達到上一代的3.4倍。
相比上一代MI250X，MI300X增加了近40%的計算單元、1.5倍的內(nèi)存容量、1.7倍的峰值理論內(nèi)存帶寬，并支持FP8和稀疏性等新數(shù)值格式。
微軟CTO凱文·斯科特來到現(xiàn)場介紹微軟與AMD的合作進展。MI300X芯片將為針對AI工作負(fù)載進行優(yōu)化的全新Azure ND MI300x v5虛擬機系列提供動力。
多個GPU互連性能需要線性提高，因此可擴展性至關(guān)重要。蘇姿豐說，MI300X平臺是世界上最強大的生成式AI系統(tǒng)。
AMD Instinct MI300X平臺是一個內(nèi)置8個MI300X的OCP標(biāo)準(zhǔn)整機形態(tài)，BF16/FP16峰值算力可達到10.4PFLOPS，總共可提供1.5TB的HBM3內(nèi)存容量，這兩個規(guī)格都高于英偉達H100 HGX。
在跑不同Kernel的Flash Attention 2、Llama 2 70B大模型時，MI300X均表示出優(yōu)于H100的性能。
8卡AMD Instinct MI300X平臺在BLOOM 176B大語言模型上跑推理的吞吐量達到英偉達H100 HGX的1.6倍。
在訓(xùn)練擁有300億參數(shù)的MPT模型時，MI300X平臺與H100 HGX的吞吐量持平。
同等性能的單個系統(tǒng)跑大語言模型時，無論是訓(xùn)練還是推理，MI300X平臺的性能都超過H100 HGX。
Oracle云基礎(chǔ)設(shè)施計劃將基于MI300X的裸機實例添加到該公司為AI的高性能加速計算實例中，基于MI300X的實例計劃通過超高速RDMA網(wǎng)絡(luò)支持OCI超級集群。其即將到來的生成式AI服務(wù)中也將包含MI300X。
惠普、戴爾、聯(lián)想、超微、技嘉、鴻佰、英業(yè)達、云達、緯創(chuàng)、緯穎等都是MI300X芯片的OEM和解決方案合作伙伴。
二、MI300A：APU四大優(yōu)勢加持，高性能計算能效比超GH200
AMD Instinct MI300A APU是世界上第一個用于HPC和AI的數(shù)據(jù)中心APU，采用3D封裝和第4代AMD Infinity架構(gòu)。
該加速器結(jié)合了6個CDNA 3架構(gòu)Accelerator Complex Die（XCD）、3個CPU Complex Die（CCD，共24個x86“Zen 4”核心）、4個I/O Die（IOD）、8個HBM內(nèi)存堆棧、128GB新一代HBM3內(nèi)存。
MI300A同樣遵循Chiplet設(shè)計思路，并實現(xiàn)了CPU與GPU共享統(tǒng)一內(nèi)存。
與MI250X相比，MI300A在FP32 HPC和AI工作負(fù)載上提供了約1.9倍的每瓦性能；和英偉達H100 SXM相比，MI300A的內(nèi)存容量、峰值內(nèi)存帶寬、FP64精度HPC矩陣及向量峰值性能均更高。
AMD正在設(shè)定能效創(chuàng)新的步伐，其30×25目標(biāo)旨在從2020~2025為AI訓(xùn)練及HPC服務(wù)器處理器和加速器提高30倍的能效。
總體來看，APU有四大優(yōu)勢：1）統(tǒng)一內(nèi)存；2）共享AMD Infinity Cache技術(shù)；3）動態(tài)功率共享；4）易于編程。這使得APU能為客戶提供高性能計算、快速的AI訓(xùn)練和高能效。
通過將統(tǒng)一內(nèi)存、內(nèi)存帶寬、GPU性能多重優(yōu)勢組合，MI300A在OpenFOAM高性能計算MotorBike測試中，得分是H100的4倍。
在PeakHPC每瓦性能測試中，MI300A的成績是英偉達GH200的2倍。
在跑多種高性能計算任務(wù)時，相比H100，AMD MI300A均略勝一籌。
美國勞倫斯利弗莫爾國家實驗室打造的超級計算機EI Capitan便采用了MI300A，預(yù)計將成為世界上第一臺2ExaFLOPS超級計算機。
惠普、Eviden、技嘉、超微等是MI300A加速器的OEM和解決方案合作伙伴。
三、ROCm 6軟件：針對生成式AI優(yōu)化，讓Llama 2推理延遲暴降
軟件是顯著提高現(xiàn)有硬件可用性能的關(guān)鍵。
近年來，AMD持續(xù)降低用戶的遷移成本和開發(fā)門檻，來不斷補強其從云到端的軟件護城河。
其中與AMD Instinct、Radeon GPU搭配使用的ROCm 6開放軟件平臺對新數(shù)據(jù)類型、先進圖形和核心進行了優(yōu)化。
ROCm 6增加了對生成式AI的幾個新增關(guān)鍵功能的支持，包括Flash Attention、HIP Graph、vLLM等。
與上一代軟硬件組合相比，使用MI300X和ROCm 6跑Llama 2 70B文本生成，AI推理延遲速度提高了約8倍。
單張GPU跑Llama 2 13B推理任務(wù)時，MI300X的性能是H100的1.2倍。
Meta宣布與AMD擴大合作伙伴關(guān)系，將MI300X與ROCm 6結(jié)合使用，為AI推理工作負(fù)載提供動力，并認(rèn)可AMD對Llama 2系列語言模型做的ROCm 6優(yōu)化。
AMD正通過收購AI軟件創(chuàng)企Nod.ai和Mipsology，利用廣泛的開源AI軟件模型、算法、框架、編譯器，擴展開源戰(zhàn)略，推進基于編譯器的優(yōu)化，加快客戶互動等組合策略，來加強軟件能力、簡化開發(fā)，持續(xù)改善開發(fā)者體驗。
AMD還繼續(xù)通過戰(zhàn)略生態(tài)系統(tǒng)伙伴關(guān)系投資軟件能力，數(shù)據(jù)湖供應(yīng)商databricks、AI創(chuàng)企Essential AI、為企業(yè)客戶提供大語言模型的Lamini的聯(lián)合創(chuàng)始人均來到現(xiàn)場進行分享，談?wù)撍麄內(nèi)绾卫肕I300X芯片和ROCm 6軟件堆棧為企業(yè)客戶提供差異化的AI解決方案。
從3.0版本開始，OpenAI標(biāo)準(zhǔn)Triton 3.0將添加對AMD GPU芯片開箱即用的支持。
四、Ryzen 8040：為AI PC提供動力，跑生成式AI性能大漲60%
AMD的AI布局已覆蓋云邊端，除了Instinct加速器外，還有面向數(shù)據(jù)中心和邊緣推理的Alveo加速器、數(shù)據(jù)中心x86處理器EPYC、用于AI+傳感器嵌入式推理的Versal AI Edge、為消費級PC市場打造的Ryzen移動處理器。
面向個人AI處理任務(wù)，AMD在NPU中為移動AI處理能效設(shè)計了專用AI引擎，在CPU添加了AVX-512 VNNI指令集來加速AI工作負(fù)載，Radeon顯卡也內(nèi)置有為并行處理AI工作負(fù)載優(yōu)化的引擎。
AMD Ryzen 8040系列移動處理器為尋求具有可信性能和運行先進AI體驗?zāi)芰Φ墓P記本電腦創(chuàng)意專業(yè)人士、游戲玩家和主流用戶而設(shè)計，采用“Zen 4”CPU和RDNA 3架構(gòu)GPU。
這款最新處理器支持LPDDR5內(nèi)存，跑Llama 2大語言模型、視覺模型等生成式AI任務(wù)的性能是上一代7040處理器的1.4倍。
與英特爾酷睿i9 13900H相比，Ryzen 8040系列在多線程處理、游戲、內(nèi)容創(chuàng)作等任務(wù)的性能均更加出色。
Ryzen 9 8945HS處理器基于“Zen 4”設(shè)計，擁有多達8個核心，可提供16個線程的處理能力。
宏碁、華碩、戴爾、惠普、聯(lián)想、雷蛇等OEM廠商預(yù)計將從2024年第一季度開始供應(yīng)Ryzen 8040系列。
Ryzen 8040系列移動處理器已經(jīng)準(zhǔn)備好利用Windows 11生態(tài)系統(tǒng)的全方位優(yōu)化性能，包括全面支持Windows 11安全功能。
AMD還廣泛提供Ryzen AI軟件，供用戶在其AI PC上輕松構(gòu)建和部署機器學(xué)習(xí)模型。
今天AMD Ryzen AI提供有超過100種AI驅(qū)動的體驗。1.0版本的Ryzen AI軟件支持開源ONNX運行時推理引擎，并在Hugging Face上提供一個預(yù)優(yōu)化的模型市場，使用戶幾分鐘內(nèi)就能啟動和運行AI模型。
帶有Ryzen AI的筆記本電腦可將AI模型卸載到NPU，從而釋放CPU以降低功耗，同時延長電池壽命。
Ryzen AI軟件現(xiàn)已廣泛可用。開發(fā)者可以利用它來構(gòu)建和部署受過PyTorch、TensorFlow等框架訓(xùn)練的AI模型，并在由Ryzen AI提供支持的特定筆記本電腦上運行它們。
開發(fā)者可在AMD Ryzen AI計算資源上快速部署生成式AI。該軟件獲得了對Whisper等自動語音識別模型和OPT、Llama 2等大模型的早期訪問支持，以便解鎖語音轉(zhuǎn)寫、文檔摘要等功能。
AMD最近還宣布了Pervasive AI開發(fā)者挑戰(zhàn)賽，有生成式AI、機器人AI、PC AI三個賽道可選擇。其中PC AI是讓開發(fā)者借助Ryzen AI，使用視覺、語音或領(lǐng)域優(yōu)化的大語言模型為PC構(gòu)建應(yīng)用程序。每個賽道的最高獎金為10000美元，二等獎和三等獎也會獲得相應(yīng)獎勵。免費硬件申請將于2024年1月31日截止。
結(jié)語：挺進AI芯片市場，AMD蓄勢待發(fā)
長久以來，英偉達一直是AI芯片游戲規(guī)則的制定者。AMD Instinct MI300系列加速器的推出，意味著AMD成為高性能數(shù)據(jù)中心AI芯片的核心玩家之一，并且是英偉達有力的競爭對手。
AMD初步證明了其在AI硬件研發(fā)上的實力，而其勁敵英偉達能橫掃AI計算市場的真正王牌是形成強大集群的先進互連技術(shù)和持續(xù)優(yōu)化的軟件。在今日的發(fā)布中，AMD亦展現(xiàn)出其通過軟件來升級AI能力的投資布局。
被英偉達主導(dǎo)已久的AI芯片戰(zhàn)場，終于出現(xiàn)了令人期待的火藥味。在11月舉行的第三財季電話會議上，AMD CEO蘇姿豐告訴投資者，公司預(yù)計明年MI300系列的收入將達到20億美元。許多業(yè)內(nèi)人士也非常期待看到以一己之力打破英特爾與英偉達壟斷的“屠龍勇士”AMD，能夠改變AI芯片市場局勢，書寫新的“AMD yes”故事。
畢竟對于迫切需要更多AI算力的下游客戶來說，更多的AI芯片選擇，總歸不是壞事。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
