基于市場和技術分析，異構智能認為當下的AI芯片架構在本質上不會有大的變化。

出于對產品的自信，在接受采訪時，異構智能中國區(qū)副總裁謝強直接拎著板卡走了過來。“2019年了，我們覺得就不要再講故事展示PPT了，而是直接Show them the products。”

圖 | 異構智能中國區(qū)副總裁 謝強

在這一波人工智能浪潮中，有許多公司順勢崛起，但其中也有很多公司隨產業(yè)趨于平靜逐漸沉寂乃至消亡，這里面有公司因講了太多故事而立不住聊，有的則是因為沒有尋到AI技術的發(fā)展走勢。后者的AI芯片廠商尤為普遍，因產品設計尚無統(tǒng)一范式。

起起伏伏之后，發(fā)展至今，應用端對AI芯片的需求已經(jīng)存在，這讓依然留存下來的公司得以展現(xiàn)實力，也為彼此分出高下提供了機會。異構智能深諳這一點，因此成立不久之后，它就迅速推出了帶有濃重“個人”色彩且獨具一格的芯片產品——三維張量處理器。

順應人工智能浪潮發(fā)展，深耕推理市場

所謂三維張量處理器，本質上是一款推理芯片，即針對AI細分應用的一款芯片。

而不得不說，在專做推理芯片的公司中，異構智能是為數(shù)不多的初創(chuàng)公司中的一家，且它異常堅定這一方向。

“在創(chuàng)業(yè)之初選定發(fā)展方向時，我們首先就去分析了一下這波人工智能浪潮發(fā)展的特點：有算法，但是算力不足。究其根本，在算力提升上，前有英偉達，后有谷歌，訓練市場其實已經(jīng)發(fā)展成熟，但是推理市場這一塊卻是尚未發(fā)掘的寶地。”

有數(shù)據(jù)統(tǒng)計顯示，到2021年，訓練市場規(guī)模將增長到82億美元，而推理市場規(guī)模將達到118億美元。其中云端推理市場，只有谷歌、亞馬遜等少數(shù)巨頭在開始做嘗試。這對初創(chuàng)公司來說，推理市場無疑是一片藍海。

謝強指出，訓練對芯片及芯片周邊的計算、編程環(huán)境等要求都比較苛刻，這對初入者來說，門檻比較高，且英偉達、谷歌已經(jīng)在訓練市場占據(jù)了90%以上的市場份額，同時訓練對算力和功耗并不敏感，因此價格高也不是致命缺陷，所以創(chuàng)業(yè)公司幾乎很難撬動這部分市場。但是推理市場就不存在這樣的問題，因為直接服務于客戶，推理市場有著更多機會和發(fā)展空間，這給初創(chuàng)企業(yè)提供了更好的生存條件。

“所以當時我們的想法就是躲開紅海，提前布局新興市場，同時競爭也不是那么激烈，可以為我們的成長和發(fā)展留有時間。”

一次流片成功，全面覆蓋云—邊緣—端

因現(xiàn)在幾家大廠在布局云—邊緣側推理市場，異構智能想要與之角逐依然是一件具有挑戰(zhàn)的事情。

2018年9月英偉達推出了自己的推理預測芯片；11月，亞馬遜也很快在自己的re:Invent大會上發(fā)布了一款專用推理芯片AWS Inferentia，以用于自己的服務器推理任務處理。時隔兩年，在谷歌的張量處理器之后，大廠開始出現(xiàn)了更為集中地布局。

重壓之下，2018年10月，異構智能也拿到了自己在格羅方德代工生產的第一批芯片（NovuTensor）樣本，并于九天后完成芯片實測，三周后完成Benchmark測試。

結果顯示，運行ResNet-18 等各種測試，無論是吞吐量、延遲還是性能功耗比，NovuTensor均優(yōu)于Nvidia Xavier芯片，而后者正是英偉達未來收入的重要增長點。

謝強補充說，“2018年ASIC流片成功率是26%，我們去年芯片是一次性流片成功，很多大公司都做不到這一點。”

不得不說，一次性流片成功，且性能超出預期，異構智能儼然已經(jīng)成功擠入第一梯隊。

基于此，異構智能的全業(yè)務服務和產品銷售也正式啟動，其中包括從芯片到模組再到超級計算機產品的板卡系列，同時它也在基于應用場景的計算需求做全棧解決方案。

“所謂全棧，大家有一個公認的定義，就是能夠從數(shù)據(jù)、算法和算力全方位去做解決方案?；谖覀兊男酒悩嬛悄苣軌蜃龅秸嬲饬x上的全?！，F(xiàn)在，我們的板卡既可以應用在數(shù)據(jù)中心里，如阿里云、騰訊云等，也可以放在邊緣側，因為功耗非常低，只有5w。”

“我們最核心的競爭力就是用極低的功耗獲得非常高的性能，這就是人工智能推理芯片領域中大家普遍追求的目標。”謝強強調說。

圖 | 異構智能產品在圖像高清化方面的應用示例

目前，根據(jù)用戶市場需求，異構智能的產品主要分為兩類，一類是板卡，可插在云服務器、中間服務器或者邊緣服務器之上，另一類就是模組，“在與新加坡國家電信下面的公司NCS合作中，我們就為它專門設計了一個小模組，放在攝像頭里，這樣它的攝像頭就有英偉達云計算中心的超級計算能力。”

同時，為了讓用戶將在Tensor、Caffe訓練好的各種模型遷移到芯片上，異構智能也搭建了非常完整的生態(tài)。

專注三維張量處理器，用IP樹立壁壘

因為推理市場是一個完全新興的市場，各家的切入點幾乎都有所不同，這就難免讓人好奇異構智能為什么選擇三維張量技術。

謝強莞爾，“是這一波人工智能技術的發(fā)展特點決定的，而只有真正懂它的人才能做好芯片。”

如謝強所言，想要準確抓住技術的發(fā)展特點并精準進入，這對技術團隊的經(jīng)驗和實力有著非常大的考驗。異構智能成立之初也考慮到了這一問題，因此它十分看重團隊的重要性，也形成了自己的第一競爭力。

“在這款性能強勁的產品背后，我們有著一支強大的技術團隊，他們中很多人是從惠普實驗室出來的，其中有3D視覺的科學家，有獲得過數(shù)學獎的數(shù)學家，更有芯片設計專家，還有我們在人工智能領域相當精通的領導者，吳韌博士。”

因在芯片和數(shù)據(jù)領域有著深厚造詣，他們認定在這一輪人工智能浪潮中，深度學習算法能夠脫穎而出，芯片的設計自然也離不開它。

謝強解釋說，“算法的本質是數(shù)學，因此在我們看來，這一波人工智能浪潮最大的特點就是卷積神經(jīng)網(wǎng)絡。所謂卷積神經(jīng)網(wǎng)絡，它就是就是1幀‘圖像’與一個Filter進行每一個像素點的（3*3、5*5、7*7）乘加運算，因此多層的卷積神經(jīng)網(wǎng)絡就是一個三維的向量；同時現(xiàn)在這一波人工智能應用需要處理的視覺和聽覺信號其實都是三維信號，從這個角度去看，我們認為這種運算的本質可以界定為三維張量算法。”

于是2016年，在開始做AI芯片這件事時，異構智能技術團隊就開始直接從三維張量計算下手，并在研發(fā)中形成了自己的專利。

據(jù)謝強介紹，異構智能于2017年中申請專利，后在2018年9月，其原生張量計算處理器（Native Tensor Processor）獲得美國專利（US Patent No. 10,073,816, Native Tensor Processor and Partitioning of Tensor Contractions）。從提交到批準，耗時僅 14 個月，而這打破了業(yè)內申請專利的“三年”時限，也在某種程度上預示著其技術的新穎性。

“自主研發(fā)的重要性大家都知道，但是很少有初創(chuàng)公司能夠做到，特別是在芯片設計領域。從三維張量技術角度出發(fā)，我們的產品完全融入了自己的IP，這也讓NovuTensor的競爭力會加分不少。”

事實確實如此，在基于自研IP的基礎上，異構智能已經(jīng)完全樹立了自己的技術壁壘。

最后

在這一波人工智能浪潮之下，有許多應用需求涌現(xiàn)，也有很多新興技術出現(xiàn)，但異構智能認為在呼吁創(chuàng)新的同時，還是要以商用需求為起點。

謝強表示，“AI推理芯片的硬件架構設計，主要受機器學習方法發(fā)展的影響，我們認為深度學習在近幾年內都是最有效的方法，因此我們的IP還能用很多年。”無疑，這是異構智能的自信之處。

最后，記得關注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！