從軟件角度看AI硬件Groq由一群軟件工程師于2016年創(chuàng)立，他們希望從軟件方面解決AI問題。當(dāng)他們在未對AI體系結(jié)構(gòu)看起來有任何先入之見的情況下解決問題時(shí)，他們能夠創(chuàng)建可以映射到不同AI模型的體系結(jié)構(gòu)。

該公司專注于數(shù)據(jù)中心和自動(dòng)駕駛汽車的推理市場，其第一款產(chǎn)品是PCIe插件卡，Groq為此為其設(shè)計(jì)了ASIC和AI加速器并開發(fā)了軟件堆棧。

這種硬件的一部分就是他們所謂的TSP或張量流處理器。上個(gè)月，Groq宣布他們的TSP架構(gòu)每秒能夠?qū)崿F(xiàn)1千萬億次運(yùn)算。

AI半導(dǎo)體設(shè)備的獨(dú)特硅架構(gòu)

據(jù)首席運(yùn)營官阿德里安·門德斯(Adrian Mendes)稱，除了其軟件基礎(chǔ)以外，Groq的不同還在于其硅架構(gòu)。Groq的AI半導(dǎo)體設(shè)備的核心芯片設(shè)計(jì)與多核GPU或FPGA中通常使用的流水線工藝非常不同。

它從一開始就被開發(fā)出來的方式是從編譯器開始的，因此設(shè)計(jì)人員可以看到不同的機(jī)器學(xué)習(xí)(ML)模型是什么樣的，并可以對它們進(jìn)行優(yōu)化。從那里，他們可以在高度靈活的體系結(jié)構(gòu)上開發(fā)硬件。

Groq聲稱這種硅架構(gòu)具有三個(gè)明顯的優(yōu)勢：

AI模型的靈活性

通過基于軟件的優(yōu)化對即將到來的AI模型進(jìn)行前瞻性驗(yàn)證

有關(guān)編譯需求的更多信息

憑借高度靈活的AI架構(gòu)，設(shè)計(jì)人員無需將其映射到ResNet-50或長期短期記憶(LSTM)等神經(jīng)網(wǎng)絡(luò)。相反，他們可以采用足夠通用的這種體系結(jié)構(gòu)，并具有可擴(kuò)展性以適應(yīng)研究團(tuán)體創(chuàng)建的新模型。隨后，可以針對這些模型優(yōu)化具有PetaOp功能的體系結(jié)構(gòu)，而無需在硬件上進(jìn)行任何更改。

換句話說，它是可以容納我們還未見過的AI模型的硬件，并且可以在軟件堆棧中完成優(yōu)化。除了靈活性以外，AI芯片還為不同的AI模型提供了高推斷吞吐量和極低的延遲。

第三個(gè)重要特征是芯片可以確定性地減少周期數(shù)。正如Mendes所解釋的，這意味著當(dāng)機(jī)器學(xué)習(xí)工程師采用一個(gè)程序并將其推入編譯器時(shí)，他或她將立即知道該程序?qū)⑦\(yùn)行多長時(shí)間。

因此，工程師可以了解他們的功耗，是否要針對延遲或吞吐量進(jìn)行優(yōu)化，以及如何更改這些不同參數(shù)中的每個(gè)參數(shù)的設(shè)計(jì)。而且他們可以在編譯所需的時(shí)間(不是很長)內(nèi)完成此操作。

現(xiàn)在將其與工程師必須運(yùn)行硬件一千次并查看延遲的方法進(jìn)行比較?？偨Y(jié)了芯片確定性的好處。