<dfn id="lphtj"><th id="lphtj"></th></dfn>

      <em id="lphtj"><nobr id="lphtj"><nobr id="lphtj"></nobr></nobr></em>

      <sub id="lphtj"><listing id="lphtj"></listing></sub>

            當前位置:首頁 > 新聞中心 > 媒體掃描

          媒體掃描

          【中國科學報】一種具有生物合理性的類腦脈沖神經網絡訓練方法

        1. 發表日期:2022-06-07 【 【打印】【關閉】
        2.   近日,中國科學院自動化研究所類腦智能研究中心研究員曾毅團隊提出并實現了一種具有生物合理性的類腦脈沖神經網絡訓練方法,該方法能夠在提高脈沖神經網絡的性能的同時,明顯降低網絡的延遲以及能源消耗。相關研究成果發表于《細胞》出版社旗下期刊《模式》(Patterns)。

            作為更接近人腦信息處理結構與機制的第三代神經網絡,脈沖神經網絡(SNN)利用離散的脈沖序列傳遞信息,與人工神經網絡相比具有更好的生物合理性和更加豐富的時空信息處理能力,因此被認為是實現下一代人工智能的重要途經。然而如何更高效魯棒地訓練SNN以使其獲得更高效的學習及處理信息的能力一直是研究人員關注的問題。代理梯度的提出為SNN的訓練提供便利的同時也帶來一定問題。大多數研究者往往簡單地認為SNN是循環神經網絡(RNN)的替代品,直接使用梯度和BPTT算法訓練,卻忽略了脈沖神經元的特性。因此,直接將反向傳播算法應用于脈沖神經網絡訓練既不能發揮反向傳播的優勢,又損失了使用脈沖神經元進行智能信息處理的意義。

          曾毅團隊正在開會討論 研究團隊供圖

            為了使得脈沖神經網絡更加高效的訓練,曾毅團隊提出了一種更具生物合理性的,用于訓練深層脈沖神經網絡的時間-空間反向傳播算法。該算法通過在空間維度重新思考神經元膜電位和脈沖的關系,實現了對于梯度在空間維度反向傳播的合理的調節,避免了不發生脈沖的神經元對權重更新的不必要影響,從而提取更加重要的特征。

            該算法還通過對梯度在時間維度的具有生物合理性的調節,克服了傳統脈沖神經元單個脈沖周期內的時間依賴問題,有助于誤差能夠跨多個脈沖傳遞,增強了基于反向傳播算法訓練的SNN的時序依賴性。此外,該算法在提升脈沖神經網絡在視覺圖像分類、語音識別等多個任務上的性能的同時,大大降低了網絡的延遲以及能耗。

            該研究是曾毅團隊長期推進的科學探索項目“類腦認知智能引擎Brain-inspired Cognitive Intelligence Engine (BrainCog)”的階段性成果,“我們為打造揭示智能的計算本質、面向人類水平的、基于脈沖神經網絡的人工智能引擎已花費了8年時間,而后續的科學愿景以及未來在該領域至少持續幾十年的科學探索更令人激動不已?!痹阏f。

            曾毅認為,該研究在構建同時具有生物合理性和計算高效性的人工智能模型上取得了進展,也使類腦脈沖神經網絡邁向實用化向前了一步?!暗匾氖?,我們已經為進一步完善和構建邁向人類認知智能水平的類腦人工智能理論體系與計算基礎設施做出了更好的準備?!?/font>

            相關論文信息:

            https://doi.org/10.1016/j.patter.2022.100522

            報道原文:https://news.sciencenet.cn/htmlnews/2022/6/480455.shtm

            

          多人强伦H

              <dfn id="lphtj"><th id="lphtj"></th></dfn>

              <em id="lphtj"><nobr id="lphtj"><nobr id="lphtj"></nobr></nobr></em>

              <sub id="lphtj"><listing id="lphtj"></listing></sub>