人工神經(jīng)網(wǎng)絡學習活動的高能耗是廣泛使用人工智能(AI)的最大障礙之一，特別是在移動應用中?？梢詮挠嘘P(guān)人腦的知識中找到解決該問題的一種方法。

盡管它具有超級計算機的計算能力，但僅需20瓦，僅相當于超級計算機的能量的百萬分之一。

原因之一是大腦神經(jīng)元之間的信息有效傳遞。神經(jīng)元向其他神經(jīng)元發(fā)送短的電脈沖(尖峰)，但為了節(jié)省能量，僅在絕對必要的時候才會發(fā)生。

基于事件的信息處理

由TU Graz的兩位計算機科學家Wolfgang Maass和Robert Legenstein領(lǐng)導的工作組在開發(fā)新的機器學習算法e-prop(e-propagation)時采用了這一原理。

也是歐洲燈塔項目“人腦計劃”的一部分的理論計算機科學研究所的研究人員，使用模型中的尖峰信號在人工神經(jīng)網(wǎng)絡中的神經(jīng)元之間進行通信。

尖峰僅在網(wǎng)絡中的信息處理需要它們時才變?yōu)榛顒訝顟B(tài)。對于這種不太活躍的網(wǎng)絡，學習是一個特殊的挑戰(zhàn)，因為需要更長的觀察時間才能確定哪些神經(jīng)元連接可以改善網(wǎng)絡性能。

先前的方法學習成功率太低或需要巨大的存儲空間。現(xiàn)在，E-prop通過從大腦復制的分散方法解決了這個問題，其中每個神經(jīng)元在所謂的e-trace(合格跟蹤)中記錄何時使用其連接。該方法與最佳和最詳盡的其他已知學習方法一樣強大。詳細信息現(xiàn)已發(fā)表在科學雜志《自然通訊》上。

在線而不是離線

使用當前使用的許多機器學習技術(shù)，所有網(wǎng)絡活動都集中存儲和脫機存儲，以便跟蹤每幾個步驟在計算過程中如何使用連接。

但是，這需要在內(nèi)存和處理器之間進行恒定的數(shù)據(jù)傳輸，這是當前AI實現(xiàn)過多能耗的主要原因之一。另一方面，e-prop可以完全在線運行，即使在實際操作中也不需要單獨的內(nèi)存，從而使學習更加節(jié)能。

神經(jīng)形態(tài)硬件的驅(qū)動力

Maass和Legenstein希望e-prop將推動新一代移動學習計算系統(tǒng)的開發(fā)，該系統(tǒng)不再需要進行編程，而是根據(jù)人腦模型進行學習，從而適應不斷變化的需求。

目標是不再讓這些計算系統(tǒng)專門通過云來學習大量能源，而是將大部分學習能力有效地集成到移動硬件組件中，從而節(jié)省能源。

已經(jīng)采取了將e-prop引入應用程序的第一步。例如，TU Graz團隊正在與曼徹斯特大學的高級處理器技術(shù)研究小組(APT)合作開展人腦項目，以將e-prop集成到在那里開發(fā)的神經(jīng)形態(tài)SpiNNaker系統(tǒng)中。同時，格拉茨大學(TU Graz)正在與半導體制造商英特爾的研究人員合作，將算法集成到英特爾神經(jīng)形態(tài)芯片Loihi的下一個版本中。

這項研究工作扎根于格拉茨TU的五個專業(yè)領(lǐng)域中的兩個，即“人類與生物技術(shù)”和“信息，通信與計算”專業(yè)領(lǐng)域。