突破視覺感知性能瓶頸！清華“天眸芯”登Nature，實現10000幀/秒的高速率
在開放世界中，智能系統不僅要處理龐大的數據量，還需要應對各種長尾問題，如自動駕駛中面臨的突發危險、出入隧道的劇烈光線變化、夜間強閃光干擾等。在這類任務上，傳統視覺感知芯片由于受到功耗墻和帶寬墻的限制，往往面臨失真、失效或高延遲的問題，嚴重影響系統的穩定性和安全性。
為了克服這些挑戰，近日，清華大學精密儀器系類腦計算研究團隊研制出世界首款類腦互補視覺芯片“天眸芯”，基于該研究成果的論文5月30日作為封面文章發表于國際學術期刊《自然》。
研發背景
眾所周知，芯片作為人工智能的“心臟”，其重要性不言而喻。而視覺感知作為信息獲取的重要途徑，在無人駕駛、人工智能等系統中扮演著至關重要的角色。然而，傳統的視覺感知技術往往存在識別速度慢、精度不高等問題，難以滿足日益增長的應用需求。因此，開發一種新型的、高效的視覺感知芯片成為了科技界亟待解決的問題。
正是在這樣的背景下，清華大學施路平教授團隊提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式。這種新范式通過模擬人腦視覺系統的工作原理，實現了對圖像信息的快速、準確處理。同時，團隊還成功研制出了世界首款基于這種新范式的類腦互補視覺芯片“天眸芯”。
這一突破也向世界展示了中國在芯片領域的強大實力和創新能力。面對美西方的技術打壓和封鎖，中國科研人員并沒有退縮和放棄，而是迎難而上、攻堅克難，不斷取得新的突破和進展。這種精神值得我們每一個人學習和傳承。
值得一提的是，“天眸芯”芯片的研制過程并非一帆風順。在研發過程中，團隊成員們克服了諸多技術難題和挑戰，付出了大量的心血和汗水。正是他們的辛勤付出和不懈努力，才使得這一成果得以成功問世。
首款類腦互補視覺芯片問世
研究團隊聚焦類腦視覺感知芯片技術，提出一種基于視覺原語的互補雙通路類腦視覺感知新范式——借鑒人類視覺系統的基本原理，將開放世界的視覺信息拆解為基于視覺原語的信息表示，并通過有機組合這些原語，模仿人視覺系統的特征，形成兩條優勢互補、信息完備的視覺感知通路。
在此基礎上，團隊研制出世界首款類腦互補視覺芯片“天眸芯”，在極低的帶寬（降低90%）和功耗代價下，實現每秒10000幀的高速、10bit的高精度、130dB的高動態范圍的視覺信息采集，不僅突破傳統視覺感知范式的性能瓶頸，而且能夠高效應對各種極端場景，確保系統的穩定性和安全性。
基于“天眸芯”，團隊還自主研發高性能軟件和算法，并在開放環境車載平臺上進行性能驗證。在多種極端場景下，該系統實現低延遲、高性能的實時感知推理，展現其在智能無人系統領域的巨大應用潛力。
清華大學表示，結合團隊在類腦計算芯片天機芯、類腦軟件工具鏈和類腦機器人等方面已應用落地的技術積累，天眸芯的加入將進一步完善類腦智能生態，有力地推動人工通用智能的發展。
人類視覺系統開啟全新范式
隨著AI加速發展，無人駕駛、具身智能等“無人系統”在現實中的應用更加廣泛，并引領著新一輪科技產業革命。在這些智能系統中，視覺感知作為獲取信息的核心途徑，發揮著至關重要的作用。
就以自動駕駛舉例，在真實的開放世界中，系統不僅需要處理龐大的數據，還需要應對各種極端事件。比如，惡劣天氣環境、駕駛中突發的危險，夜間強閃光干擾等各種長尾問題，為AI系統帶來了極大的挑戰。這時，如果采用傳統的視覺感知芯片，會受到「功耗墻」和「帶寬墻」的限制，無法同時應對以上駕駛中出現的邊緣情況。
更進一步說，傳統視覺芯片在面對這些場景時，往往會出現失真、失效或高延遲的問題，嚴重影響了系統的穩定性和安全性。為了克服這些挑戰，清華團隊聚焦類腦視覺感知芯片技術，提出了一種全新的范式——基于視覺原語的互補雙通路類腦視覺感知范式。
具體講，新范式包括了“基于視覺原語的表征”，以及“兩條互補視覺通路”（CVP）。在這一范式中，借鑒人視覺系統中的視覺原語的概念，它將開放世界的視覺信息拆解為「視覺原語」。這些視覺原語各自描述了視覺信息的一種基本要素。然后通過有機組合這些原語，借鑒人視覺系統的特征，形成兩條優勢互補、信息完備的視覺感知通路，如下圖所示。
其中，視覺原語包括但不僅限于顏色、數據精度、靈敏度、空間分辨率、速度、絕對強度、空間差（SD）和時間差（TD）。CVP包括兩條不同的通路：認知導向通路（COP）和行動導向通路（AOP）。與HVS中的腹側通路（Ventral stream）和背側通路（Dorsal stream）相類似。“認知導向通路”使用顏色、強度、高空間分辨率和高精度等視覺原語，來實現精確認知，最大限度地減少空間混疊和量化誤差。
相比之下，“行動導向通路”使用SD、TD、速度等視覺原語，來實現魯棒、高稀疏的快速反應，從而解決數據冗余和延遲問題。這兩種方法在構建正常情況，以及邊緣情況的表征時相互補充，從而實現了高動態范圍，并緩解了語義錯位和分布外物體檢測問題。
