特斯拉自研芯片架構(gòu)難度有多大？

自研芯片最終的目標(biāo)是追求可擴展性

目前，特斯拉正著眼于從頭開始構(gòu)建相關(guān)系統(tǒng)，不過，它不僅僅是在研發(fā)自己的人工智能芯片，它還在研發(fā)一臺超級計算機。

在去年的AI Day上，特斯拉就已發(fā)布Dojo超級計算機，但當(dāng)時其羽翼未豐，尚只有第一個芯片及訓(xùn)練塊，公司仍在推動構(gòu)建完整的Dojo Exapod。

而特斯拉也表示，理論上，Dojo ExaPod將是世界上最快的AI訓(xùn)練超級計算機。

從本次研討會上Talpes的展示來看，每個Dojo ExaPod集成120個訓(xùn)練模塊，內(nèi)置3000個D1芯片，擁有超過100萬個訓(xùn)練節(jié)點，算力達到1．1EFLOP＊（每秒千萬億次浮點運算）。

預(yù)計這臺定制的超級計算機將提高特斯拉使用視頻數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的能力，并對特斯拉自動駕駛功能至關(guān)重要。

想完成一系列構(gòu)建需要自研芯片

使得Dojo完成訓(xùn)練AI算法的重任，就是特斯拉自研神經(jīng)網(wǎng)絡(luò)訓(xùn)練芯片D1芯片。

但在去年特斯拉AIDay上推出的Dojo超級計算機，是基于特斯拉自研的D1芯片。

特斯拉D1芯片具備以下特點：

①2D Mesh架構(gòu)；

②具備向量及矩陣計算加速單元的眾核架構(gòu)；

③存算一體架構(gòu)（近存計算）。

相比于業(yè)內(nèi)其他芯片，同成本下性能提升4倍，同能耗下性能提高1．3倍，占用空間節(jié)省5倍。

每個DojoExaPod集成120個訓(xùn)練模塊，內(nèi)置3000個D1芯片，擁有超過100萬個訓(xùn)練節(jié)點，算力達到1．1EFLOP＊（每秒千萬億次浮點運算）。

Dojo AI系統(tǒng)全自研自研專用指令集

所謂Dojo，是特斯拉自研的超級計算機，可利用海量視頻數(shù)據(jù)，完成［無人監(jiān)管］的標(biāo)注和訓(xùn)練。

本質(zhì)上，Dojo由一個完全定制的架構(gòu)構(gòu)建，涵蓋了計算、網(wǎng)絡(luò)、輸入／輸出（I／O）芯片到指令集架構(gòu)（ISA）、電源傳輸、包裝和冷卻。

通常，初創(chuàng)公司都希望為每個系統(tǒng)構(gòu)建一個或幾個芯片的AI芯片。

顯然，特斯拉專注于更大的規(guī)模。

更令人興奮的是，它不僅使用商業(yè)上可用的系統(tǒng)，而且還在構(gòu)建自己的芯片和系統(tǒng)。

特斯拉Dojo AI系統(tǒng)開發(fā)過程與車載系統(tǒng)類似，特斯拉自己雇傭了研究人員為其研發(fā)相關(guān)的芯片和系統(tǒng)。

Dojo AI系統(tǒng)采用分布式架構(gòu)

特斯拉Dojo AI系統(tǒng)采用分布式架構(gòu)，每個Dojo節(jié)點都有自己的CPU、內(nèi)存和通信接口。

而每個節(jié)點都有1．25MB的SRAM，然后每個節(jié)點都連接到一個2D網(wǎng)格。

Dojo接口處理器位于2D網(wǎng)格的邊緣，它的每個訓(xùn)練塊有11GB的SRAM和160GB的共享DRAM。

Dojo核心有一個整數(shù)單元，它從RISC－V架構(gòu)中借用了一些指令，并且有一大堆特斯拉自己創(chuàng)建的附加指令。

Dojo指令集支持64位標(biāo)量指令和64 BSIMD指令，它包括處理從本地內(nèi)存到遠程內(nèi)存?zhèn)鬏敂?shù)據(jù)的原語，并支持信號量和屏障約束。

這是使內(nèi)存操作符合指令不僅在D1內(nèi)核中運行，而且在D1內(nèi)核的集合中運行。

每個Dojo節(jié)點都有一個內(nèi)核，是一臺具有CPU專用內(nèi)存和I／O接口的成熟計算機。

D1是一個超標(biāo)量內(nèi)核

D1意味著它在其內(nèi)核中支持指令級并行性，就像當(dāng)今大多數(shù)芯片一樣，它甚至具有多線程設(shè)計來驅(qū)動更多指令通過該內(nèi)核。

D1處理器架構(gòu)：每個D1處理器由18x20的D1核心構(gòu)成。每個D1處理器中有354個D1核心可用。

出于良率和處理器核心穩(wěn)定考慮，D1處理器由臺積電制造，采用7nm制造工藝，擁有500億個晶體管，芯片面積為645mm?。

這個尺寸小于英偉達的A100（826mm?）和AMDArcturus（750mm?）。

但是每個核心都是一個完整的帶矩陣計算能力的CPU，其計算靈活性是遠超眾核架構(gòu)的GPU的，這也會帶來極高的成本。

·D1核心結(jié)構(gòu)：從18x20陣列中每個D1核心的結(jié)構(gòu)上看，每個D1核心是帶有向量計算／矩陣計算能力的處理。

具有完整的取指、譯碼、執(zhí)行部件。處理器運行在2GHz，具有4個8x8x4矩陣乘法計算單元。

·D1處理器指令集：以RISC－V架構(gòu)ISA為基礎(chǔ)進行擴展。

D1核心具備FP32和FP16這兩個標(biāo)準(zhǔn)的計算格式，同時還具備更適合Inference的BFP16格式。

為了達到混合精度計算提升性能的目的，D1還采用了用于較低精度和更高吞吐量的8位CFP8格式。

·D1訓(xùn)練塊架構(gòu)：每個D1訓(xùn)練模塊由5x5的D1芯片陣列排布而成，以二維Mesh結(jié)構(gòu)互連。

片上跨內(nèi)核SRAM達到驚人的11GB，這也算是一個非常典型的近存計算架構(gòu)了。當(dāng)然耗電量也達到了15kW的驚人指標(biāo)。

每個訓(xùn)練模塊外部邊緣的40個I／O芯片達到了36TB／s的聚合帶寬，或者10TB／s的橫跨帶寬。

車企對芯片從未像如今這么高漲

自動駕駛汽車的制造商開始意識到，在復(fù)雜的世界中教汽車自動駕駛這種情況總是在變化，這將需要更多的超級計算。

一是因為全球持續(xù)了兩年的“芯片荒”讓主機廠對供應(yīng)鏈安全的重視達到了前所未有的高度；

二是因為智能化是新能源競爭的必要條件，軟件定義汽車時代已經(jīng)來臨。

作為第一個從Mobileye封閉商業(yè)模式中跳出來的車企，特斯拉最早2016年初就啟動了自動駕駛芯片研發(fā)項目，并于2019年正式在量產(chǎn)車上批量搭載。

在特斯拉的帶動下，頭部新勢力如蔚來、小鵬、理想紛紛跟進。

2021年相繼宣布了各自的自動駕駛芯片自研計劃，理想在三個月前甚至專門為此在綿陽成立了［理想智動］。

進入今年，自動駕駛芯片［凌芯01］也進入集成驗證階段，將在明年二季度進行實車測試。

結(jié)尾：

特斯拉在芯片和超算開發(fā)方面取得成就后，或?qū)⒓罡嗟能嚻蠹尤氲叫酒统阊邪l(fā)上來，大力發(fā)展自主創(chuàng)新能力，提升企業(yè)競爭力。