人工智能（AI）技術在行業(yè)應用中，大多依賴海量的訓練數(shù)據和大規(guī)模服務器的算力支持，存儲暴漲、數(shù)據堰塞、隱私泄露、能耗高企等問題也隨之而來。隨著近5年來摩爾定律的逐步放緩，IT硬件的發(fā)展愈發(fā)難以滿足當前人工智能模型動輒萬億級規(guī)模的存儲和算力需求。因此，當前對人工智能設備和應用的快速響應、隱私保護以及節(jié)能減排的需求越發(fā)凸顯。如何將人工智能模型及其計算載體前端化、輕量化，成為亟待解決的問題。 
　　輕量化人工智能（Tiny AI）的興起正在改變這一點。 
　　Tiny AI讓AI更普惠、更主流 
　　剖析智能化應用，我們可以看到，人工智能使能架構是由芯片（硬件）、AI操作系統(tǒng)（深度學習框架平臺）和算法三個部分組成。而Tiny AI恰是以一系列輕量化技術為驅動提高芯片、平臺和算法的效率，在更緊密的物理空間上實現(xiàn)低功耗的人工智能訓練和應用部署，不需要依賴與云端交互就能實現(xiàn)智能化操作。 
　　輕量化人工智能所帶來的突破是顯而易見的?！堵槭±砉た萍荚u論》在2020年將“Tiny AI”列為“全球十大突破性技術”，其在評選理由中寫到：“輕量化智能使現(xiàn)有的服務比如語音助手、手機拍照等變得更好更快，不必每次都需要連接云端才能運行深度學習模型；此外，輕量化人工智能也將使新的應用成為可能，比如基于移動端的醫(yī)學檢測分析、對反應時間要求更快的自動駕駛汽車；最后，本地化的人工智能更利于隱私保護，用戶的數(shù)據不再需要離開設備就能實現(xiàn)服務功能的進化?！?nbsp;
　　更重要的是，Tiny AI將人工智能推向更主流，它大大降低了AI系統(tǒng)的部署難度和成本，把AI從一場高門檻的科技巨頭競賽變成普惠民生的智能生態(tài)。 
　　在人工智能領域的角逐中，以“輕量化”為賽點的下半場已經來臨。 
　　Tiny AI的外“減”內“加” 
　　Tiny AI對外表現(xiàn)是在做減法，降低能耗、降低對硬件平臺性能指標的要求、降低與云端的通訊需求等，而實質上，輕量化的內核卻是在做加法。產業(yè)需求決定了要完成的AI任務越來越復雜，輕量化人工智能必須通過加速運算效率、提高計算密度才能實現(xiàn)極致的效率。 
　　在精度接近無損的前提下，將AI模型及其計算載體微型化，是一個極具挑戰(zhàn)性的任務，需要對神經網絡輕量化設計、計算加速以及設計新的計算架構實現(xiàn)模型的硬件化。 
　　這需要從軟件和硬件兩方面來著手。軟件方面，要進行模型和算法創(chuàng)新，通過輕量化模型設計、矩陣分解、稀疏表示、量化計算來實現(xiàn)模型的微型化和計算加速。而在硬件方面，則須通過流水線設計、存儲模式設計等手段進行硬件架構的創(chuàng)新。 
　　雖然執(zhí)行神經網絡計算的是硬件，但神經網絡結構和AI平臺決定著計算量的大小和運算方式。所以，極致的輕量化必須是軟件和硬件的協(xié)同輕量化：基于復雜的AI應用場景，將芯片、平臺和算法充分結合以聯(lián)合加速。 
　　首先，AI芯片作為人工智能的硬件載體，必須達到更高的性能、更高的效率、更低的功耗和更小的體積，足夠平價高效的計算平臺才能滿足產業(yè)需求承載復雜的AI任務，并且使推理和運算從云端遷移到終端成為可能。 
　　其次，輕量化的AI平臺需要以更低的功耗來訓練和運行人工智能算法，最大化的發(fā)掘硬件的能力。 
　　最后，應用輕量化技術的神經網絡模型以小規(guī)模、少運算量并保持良好的精度。 
　　AI三層使能架構決定了追求單一算法、平臺或者芯片輕量化并不能最大化實現(xiàn)極致效率，而需要針對應用場景中復雜的AI計算系統(tǒng)全面去考慮，將三者進行協(xié)同輕量化。 
　　自動化所：Tiny AI“先行者” 
　　2014年，在卷積神經網絡大規(guī)模邁向應用之初，中國科學院自動化研究所（以下簡稱自動化所）就在國際AI頂會發(fā)表了多篇神經網絡模型輕量化領域的重要論文，成為國際上最早開始AI輕量化研究的機構之一，相關成果引起包括英偉達公司創(chuàng)始人兼CEO黃仁勛等在內的諸多專家的廣泛關注。 
　　自動化所很早就開始了軟硬協(xié)同輕量化的技術研究，走在國際的前列。自動化所設計開發(fā)的輕量化AI平臺QEngine及輕量化算法已經在數(shù)十萬終端上部署。2019年，在國際神經信息處理系統(tǒng)大會（NeurIPS）上舉行的MicroNet Challenge競賽中，自動化所與ARM、IBM、高通、Xilinx等國際一流芯片公司同場競技，設計的輕量化神經網絡架構獲得了圖像類雙冠軍。 
　　2020年，自動化所自主研發(fā)的世界首款極低比特量化神經處理芯片（QNPU）成功流片，解決了芯片計算領域備受關注的“內存墻”難題，在芯片成本、功耗、計算結構、邊緣計算等方面實現(xiàn)革命性變革。該芯片的面世，也標志著自動化所成為了全球為數(shù)不多的擁有“AI芯片—平臺—算法”全棧輕量化AI技術機構之一。 
　　面向行業(yè)應用的Tiny AI 
　　未來，以AI驅動的小型化設備會越來越多地出現(xiàn)在我們身邊。同時，由AI芯片、平臺和算法組成的Tiny AI智能終端將始終圍繞應用場景而生。 
　　對此，自動化所率先做了一些嘗試。 
　　MCU單片機以低價低功耗的優(yōu)勢，在各種終端上有著大規(guī)模的應用。但是單片機的計算性能極低，一直不被看好是可以實現(xiàn)人工智能的硬件。自動化所在幾元錢的STM32單片機上成功的部署了四十層網絡的人臉檢測模型，運行功耗僅800毫瓦，做了開創(chuàng)性的嘗試——其背后就是基于Tiny AI技術。 
　　在教育行業(yè)，自動化所的“輕量化指尖點讀解決方案”顛覆了教育終端的人機互動模式，并成功突破硬件性能瓶頸，賦予低端硬件平臺高端AI算力。 
　　在消費電子行業(yè)，自動化所設計的輕量化的算法及輕量化神經網絡計算架構可有效實現(xiàn)暗光增強、超分辨率等，為手機終端、安防終端提供了影像增強效果。 
　　在電力行業(yè)，我國的輸電線路覆蓋廣，野外自然環(huán)境復雜，檢修維護作業(yè)危險系數(shù)高難度大。自動化所基于Tiny AI研制的自主巡檢無人機、缺陷識別分析便攜終端、通道可視化智能感知攝像頭等，具備多種智能識別、檢測和分析功能，可有效保障輸配電線路的安全和電力系統(tǒng)穩(wěn)定。 
　?。ㄗ髡呦抵袊茖W院自動化研究所南京人工智能芯片創(chuàng)新研究院副院長冷聰）