作者：任福繼（電子科技大學(xué)特聘講席教授）；李太豪（之江實(shí)驗(yàn)室高級(jí)研究專家）

　　　腦科學(xué)被視為理解宇宙、自然與人類關(guān)系的“終極疆域”，人類從未停止對(duì)人腦的探索，以及對(duì)其運(yùn)行機(jī)制的模仿。人腦以極強(qiáng)的可塑性、通用性、自適應(yīng)性、自組織性以及低能耗、高效率等，為人工智能技術(shù)的發(fā)展提供了啟發(fā)和示范。類腦智能這一新興學(xué)科得以誕生，被認(rèn)為是后摩爾時(shí)代最具發(fā)展?jié)摿Φ念嵏残灶I(lǐng)域之一。日前，中國(guó)科學(xué)技術(shù)協(xié)會(huì)完成了《直面人類未來(lái)——2021年度人類社會(huì)發(fā)展十大科學(xué)問(wèn)題解讀》一書(shū)的編輯出版，本期，我們邀請(qǐng)其中的兩位作者，介紹有關(guān)類腦智能的研究。

　　　1.全球關(guān)注類腦智能研究

　　類腦智能研究具有重大意義，借鑒人腦的信息處理方式，有助于打破馮·諾依曼體系結(jié)構(gòu)束縛，有望引領(lǐng)人工智能從機(jī)器智能走向機(jī)增強(qiáng)智能，從專用智能走向通用智能。因此，目前世界各主要發(fā)達(dá)國(guó)家和地區(qū)都在積極推動(dòng)類腦智能的發(fā)展。該領(lǐng)域全球重大項(xiàng)目密度逐年提升，如歐盟的“人類腦計(jì)劃”、美國(guó)的“推進(jìn)創(chuàng)新神經(jīng)技術(shù)腦研究計(jì)劃”以及我國(guó)的科技創(chuàng)新2030——“腦科學(xué)與類腦研究重大項(xiàng)目”等，而且有谷歌、微軟等國(guó)際商業(yè)機(jī)器公司等高科技公司的大力度投入。

　　類腦智能又被稱為神經(jīng)形態(tài)計(jì)算，旨在模擬人類大腦的形態(tài)結(jié)構(gòu)及信息處理機(jī)制。一方面，突出生物學(xué)基礎(chǔ)和硬件導(dǎo)向，以神經(jīng)形態(tài)硬件仿真為核心，開(kāi)發(fā)類腦芯片，模擬神經(jīng)電路結(jié)構(gòu)和脈沖神經(jīng)網(wǎng)絡(luò)，并利用神經(jīng)脈沖計(jì)算原理形成新型物理模式；另一方面，突出感知模式、認(rèn)知機(jī)理、學(xué)習(xí)能力、記憶存儲(chǔ)等功能實(shí)現(xiàn)，在腦智能機(jī)制研究的基礎(chǔ)上，借助機(jī)器強(qiáng)大的整合、搜索、計(jì)算等能力，實(shí)現(xiàn)功能類腦和性能超腦的運(yùn)行模式。

　　自然選擇并不必然意味著智能發(fā)展，其中蘊(yùn)含著對(duì)于生存的妥協(xié)和生物體依附關(guān)系的輔助。因此，人類大腦作為自然進(jìn)化的產(chǎn)物，仍然存在諸多弊端和局限，并非其所有的運(yùn)行機(jī)制都是科學(xué)的和值得被模仿的，其信息處理的方式亦然。諸如記憶容量有限、學(xué)習(xí)過(guò)程緩慢、計(jì)算能力個(gè)體差異明顯等，這就需要梳理明確機(jī)腦究竟在哪些方面應(yīng)該借鑒人腦之所長(zhǎng)，在哪些方面恰恰應(yīng)該發(fā)揮機(jī)腦與人腦相互協(xié)同之作用。

　　在信息處理方面，人腦有幾個(gè)顯著優(yōu)勢(shì)：一是能夠很好地處理非結(jié)構(gòu)化信息，能夠多模態(tài)感知并行處理數(shù)據(jù)，動(dòng)態(tài)過(guò)濾和捕捉關(guān)鍵內(nèi)容，并進(jìn)行跨媒體融合和自主決策；二是小樣本學(xué)習(xí)和泛化能力強(qiáng)，在知識(shí)和資源相對(duì)不足的條件下，主體具有強(qiáng)有力的自適應(yīng)能力，具有強(qiáng)容錯(cuò)性；三是存算一體化，大腦的生物神經(jīng)元同時(shí)具備運(yùn)算和存儲(chǔ)能力，具有一體化運(yùn)行和超低能耗的特點(diǎn)；四是大腦建模不僅可以通過(guò)計(jì)算來(lái)實(shí)現(xiàn)，還具有稀疏性、學(xué)習(xí)性、選擇性和方向性等生物特性，蘊(yùn)含巨大的信息處理潛能。

　　從信息的獲取、處理與存儲(chǔ)等角度，以及綜合考慮人腦在信息處理方面的顯著優(yōu)勢(shì)，類腦智能可以劃分為類腦感知、類腦記憶和類腦學(xué)習(xí)等。要最終形成“人造超級(jí)大腦”，還有很長(zhǎng)的路要走，目前的類腦研究尚處于初級(jí)階段，僅是對(duì)大腦的高度抽象和簡(jiǎn)化。

　　未來(lái)研究路徑應(yīng)該對(duì)大腦如何進(jìn)行信息加工加以揭示，闡明復(fù)雜行為之下的內(nèi)在機(jī)制實(shí)現(xiàn)形式，特別是了解神經(jīng)信息如何產(chǎn)生感知覺(jué)、學(xué)習(xí)、記憶、決策等認(rèn)知功能，并思考如何通過(guò)機(jī)腦實(shí)現(xiàn)智能，建立新型的計(jì)算結(jié)構(gòu)與智能形態(tài)，使其在信息處理機(jī)制上“類腦”，在信息處理性能上“超腦”，在認(rèn)知行為和智能水平上“類人”。

　　　2.類腦感知模擬視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)和嗅味覺(jué)

　　根據(jù)人類感知世界的方式，類腦感知可以分為視覺(jué)智能、聽(tīng)覺(jué)智能、觸覺(jué)智能和嗅味覺(jué)智能。當(dāng)前的視覺(jué)智能、聽(tīng)覺(jué)智能處于信息技術(shù)領(lǐng)域?qū)W術(shù)研究與實(shí)際應(yīng)用的最前沿。相比之下，觸覺(jué)智能和嗅味覺(jué)智能處于材料硬件、規(guī)模化芯片硬件和類腦芯片結(jié)構(gòu)創(chuàng)新的研究階段。

　　在基礎(chǔ)研究層面，類腦視覺(jué)智能已經(jīng)發(fā)展為目前以深度學(xué)習(xí)為代表的視覺(jué)方法。1982年，大衛(wèi)·馬爾的《視覺(jué)》一書(shū)問(wèn)世，使得視覺(jué)計(jì)算理論成為跨界計(jì)算機(jī)科學(xué)與認(rèn)知神經(jīng)科學(xué)的橋梁?，F(xiàn)在，不同的類腦神經(jīng)網(wǎng)絡(luò)框架與其他領(lǐng)域的模型，如自然語(yǔ)言處理領(lǐng)域的轉(zhuǎn)換器已經(jīng)取得最先進(jìn)的性能。在產(chǎn)業(yè)發(fā)展層面，視覺(jué)智能從上游的光源、鏡頭、相機(jī)，到視覺(jué)系統(tǒng)中游的中間算法，再到下游的設(shè)備制造和終端應(yīng)用等已經(jīng)取得全面的發(fā)展。

　　聽(tīng)覺(jué)智能作為另外一個(gè)發(fā)展較為成熟的領(lǐng)域，其主要研究?jī)?nèi)容以自然語(yǔ)言處理為核心，以語(yǔ)音和文本為載體，對(duì)抽象的信息進(jìn)行表達(dá)。在應(yīng)用層面，語(yǔ)音信號(hào)處理技術(shù)已廣泛應(yīng)用于虛擬主播、在線通話、智能音箱等。在產(chǎn)業(yè)界，自然語(yǔ)言處理技術(shù)已經(jīng)被用于機(jī)器翻譯、聊天機(jī)器人、輿情分析和市場(chǎng)預(yù)測(cè)等各個(gè)領(lǐng)域。

　　觸覺(jué)智能是相對(duì)發(fā)展較為緩慢的一類感知技術(shù)。為了實(shí)現(xiàn)機(jī)器人準(zhǔn)確地感知世界，需要全方位的視覺(jué)智能與觸覺(jué)智能。2021年諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)得主、美國(guó)加利福尼亞大學(xué)舊金山分校的戴維·朱利葉斯和斯克利普斯研究所的阿德姆·帕塔普蒂安分別獨(dú)立發(fā)現(xiàn)了溫度與觸覺(jué)的受體，該發(fā)現(xiàn)揭示了人體皮膚感知溫度、壓力及疼痛的分子機(jī)制，即揭示了外部的溫度和機(jī)械刺激是如何轉(zhuǎn)化為內(nèi)部的神經(jīng)信號(hào)的。以該類發(fā)現(xiàn)為啟發(fā)，機(jī)器的觸覺(jué)智能以新材料為切入點(diǎn)，感知環(huán)境的溫度、壓力與濕度等各種信號(hào)，通過(guò)神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)方法自適應(yīng)地學(xué)習(xí)模型參數(shù)，使得機(jī)器具備感知觸覺(jué)的能力。

　　嗅味覺(jué)智能的研究難點(diǎn)也在感知材料層面，而不是后續(xù)的深度學(xué)習(xí)算法與認(rèn)知訓(xùn)練層面。人工智能對(duì)味覺(jué)與嗅覺(jué)的識(shí)別，進(jìn)展遠(yuǎn)遠(yuǎn)落后于對(duì)視覺(jué)和聽(tīng)覺(jué)的識(shí)別。原因之一是視覺(jué)與聽(tīng)覺(jué)的數(shù)據(jù)獲取相對(duì)容易且標(biāo)注較為簡(jiǎn)單。而相比之下，嗅覺(jué)與味覺(jué)的標(biāo)注非常稀疏，且大部分物品并不會(huì)被輕易標(biāo)注，因?yàn)槿祟惒粫?huì)自己去嘗試陌生物品的味道。在基礎(chǔ)理論層面，人類對(duì)味覺(jué)和嗅覺(jué)的機(jī)理研究并不透徹，目前的認(rèn)知僅停留在味道與物質(zhì)分子有關(guān)，而對(duì)分子之間的聯(lián)合作用不存在類似視覺(jué)的系統(tǒng)認(rèn)知。因基礎(chǔ)理論認(rèn)知的缺失、感知材料的發(fā)展限制，嗅味覺(jué)智能尚未在工業(yè)界廣泛應(yīng)用。在學(xué)術(shù)研究層面，IBM研究院于2019年研發(fā)的“電子舌頭”能在1分鐘內(nèi)識(shí)別多種液體，可以用于監(jiān)測(cè)食品安全、工廠質(zhì)檢、疾病診斷、環(huán)保檢測(cè)等領(lǐng)域。2020年，英特爾與康奈爾大學(xué)在《自然-機(jī)器智能》上聯(lián)合發(fā)表論文，宣布其利用英特爾神經(jīng)擬態(tài)芯片Loihi可以識(shí)別10種有害氣體。

　　人腦對(duì)大量的信息會(huì)基于注意力機(jī)制進(jìn)行篩選，并將資源重點(diǎn)用于面向任務(wù)的關(guān)鍵信息處理。類腦注意力智能已經(jīng)被應(yīng)用于深度學(xué)習(xí)的各個(gè)領(lǐng)域，如視頻圖像處理、語(yǔ)音識(shí)別和自然語(yǔ)言處理等。當(dāng)前注意力機(jī)制發(fā)展最為成熟的領(lǐng)域是自然語(yǔ)言處理，它通過(guò)編碼-解碼器來(lái)實(shí)現(xiàn)對(duì)詞語(yǔ)的注意權(quán)重。

　　　3.類腦記憶已用于問(wèn)答系統(tǒng)、機(jī)器翻譯

　　生物大腦在進(jìn)行信息處理時(shí)，能夠?qū)⑿畔⒂涀∫欢螘r(shí)間，即大腦具有記憶功能。該功能是生物大腦的重要功能，是大腦進(jìn)行學(xué)習(xí)、認(rèn)知的基礎(chǔ)。根據(jù)記憶時(shí)間的長(zhǎng)短，可將記憶分為短時(shí)記憶和長(zhǎng)時(shí)記憶。短時(shí)記憶是對(duì)當(dāng)前環(huán)境的即時(shí)反應(yīng)，將當(dāng)前環(huán)境數(shù)據(jù)存儲(chǔ)于生物大腦中，從微觀角度來(lái)看，短時(shí)記憶是刺激神經(jīng)元后的持續(xù)性變化。長(zhǎng)期記憶是對(duì)歷史信息的高層次概括，從微觀角度來(lái)看，是神經(jīng)元之間的突觸連接和強(qiáng)度發(fā)生了變化。具有記憶單元的智能體有很好的自適應(yīng)能力，可以從歷史經(jīng)驗(yàn)中學(xué)習(xí)，從而更好地發(fā)揮作用。

　　受到腦科學(xué)的啟發(fā)，研究人員將記憶模塊應(yīng)用于機(jī)器學(xué)習(xí)模型中。長(zhǎng)短期記憶網(wǎng)絡(luò)就是一種代表性方法。它通過(guò)對(duì)神經(jīng)記憶單元進(jìn)行結(jié)構(gòu)化設(shè)計(jì)，通過(guò)門(mén)控模型控制信息的更新。其中，遺忘門(mén)控制信息中的哪些部分會(huì)被丟棄，輸入門(mén)控制神經(jīng)元要更新的信息，輸出門(mén)控制神經(jīng)元要輸出的信息，一個(gè)細(xì)胞狀態(tài)中存儲(chǔ)著由遺忘門(mén)和輸入門(mén)共同確定的可記憶的信息。長(zhǎng)短期記憶網(wǎng)絡(luò)方法將信息表示成固定長(zhǎng)度的向量化編碼，當(dāng)外部信息量變大時(shí)，這種定長(zhǎng)的編碼方法可能會(huì)丟失信息的細(xì)節(jié)。這導(dǎo)致了長(zhǎng)短期記憶網(wǎng)絡(luò)的記憶能力有限，并不能精確地記住過(guò)去的事實(shí)。此時(shí)的大部分模型都缺乏可以讀取和寫(xiě)入外部知識(shí)的組件。

　　在此基礎(chǔ)上，研究人員開(kāi)始研究非定長(zhǎng)的記憶單元存儲(chǔ)信息。Facebook 團(tuán)隊(duì)提出的記憶網(wǎng)絡(luò)就是其中一種。該團(tuán)隊(duì)在記憶網(wǎng)絡(luò)中引入了一個(gè)獨(dú)立的存儲(chǔ)器。我們可以通過(guò)類比方式來(lái)理解這種網(wǎng)絡(luò)：網(wǎng)絡(luò)結(jié)構(gòu)可看作計(jì)算機(jī)中的中央處理器，而獨(dú)立存儲(chǔ)器可看作隨機(jī)存儲(chǔ)器。一個(gè)記憶網(wǎng)絡(luò)由一個(gè)記憶數(shù)組和四個(gè)組件（輸入組件、泛化組件、輸出組件、回答組件）組成。輸入組件負(fù)責(zé)將輸入數(shù)據(jù)轉(zhuǎn)化為網(wǎng)絡(luò)內(nèi)在的向量；泛化組件用來(lái)更新記憶數(shù)組；輸出組件結(jié)合輸入，從記憶數(shù)組中抽取合適的記憶；回答組件負(fù)責(zé)將輸出組件的輸出轉(zhuǎn)化為需要的形式。

　　記憶網(wǎng)絡(luò)雖然解決了定長(zhǎng)記憶方法的局限性，但這種方法并不是一種端到端的方法。端到端的記憶神經(jīng)網(wǎng)絡(luò)隨之出現(xiàn)了。鍵值記憶網(wǎng)絡(luò)的提出解決了端到端的神經(jīng)網(wǎng)絡(luò)記憶規(guī)模不足的問(wèn)題。以上方法通過(guò)非定長(zhǎng)記憶編碼的方式改善定長(zhǎng)記憶方法的缺陷，但隨著記憶的增長(zhǎng)，這種方法可能會(huì)造成信息的冗余。因此，學(xué)者又引入了注意力機(jī)制來(lái)對(duì)信息進(jìn)行動(dòng)態(tài)融合，提取記憶中的重要信息。目前，相關(guān)工作已經(jīng)在問(wèn)答系統(tǒng)、機(jī)器翻譯等任務(wù)中取得了良好表現(xiàn)。

　　盡管目前的神經(jīng)網(wǎng)絡(luò)計(jì)算模型對(duì)記憶的借鑒已經(jīng)在應(yīng)用層面取得了良好的效果，但這些方法仍然是從功能角度去模擬大腦，其進(jìn)一步的發(fā)展還需要對(duì)人腦記憶機(jī)制和原理進(jìn)行深入的探索。

　　在類腦記憶方面，現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)并不具備生物機(jī)理作為理論支撐。例如，在生物大腦中，記憶遵循著赫布學(xué)習(xí)律與脈沖時(shí)序依賴的突觸可塑性等法則。類腦記憶未來(lái)的發(fā)展方向應(yīng)該借鑒生物大腦的研究，根據(jù)生物大腦的記憶環(huán)路結(jié)構(gòu)及相關(guān)理論構(gòu)建多尺度的記憶框架，實(shí)現(xiàn)自主記憶。由于不同種類的記憶類型在神經(jīng)機(jī)制和神經(jīng)環(huán)路上差異明顯，因此類腦記憶應(yīng)重點(diǎn)解決對(duì)生物大腦的長(zhǎng)時(shí)記憶、短時(shí)記憶、工作記憶等不同種類記憶方法的建模，探索不同記憶的腦機(jī)制。除此之外，類腦記憶還應(yīng)解決如何對(duì)記憶進(jìn)行表示、如何構(gòu)建層次化記憶、如何對(duì)記憶進(jìn)行去冗余處理、如何快速激活記憶單元等關(guān)鍵問(wèn)題。

　　　4.類腦學(xué)習(xí)需要融合更多神經(jīng)生物學(xué)理論

　　生物大腦的學(xué)習(xí)智能來(lái)源是其有著超大規(guī)模和復(fù)雜互聯(lián)的神經(jīng)網(wǎng)絡(luò)，通過(guò)模擬生物神經(jīng)網(wǎng)絡(luò)從而實(shí)現(xiàn)類腦學(xué)習(xí)是類腦智能的發(fā)展思路之一。近年來(lái)蓬勃發(fā)展的深度神經(jīng)網(wǎng)絡(luò)利用生物大腦在進(jìn)行信息處理時(shí)的層次化信息，在諸多領(lǐng)域取得了重大突破。

　　卷積神經(jīng)網(wǎng)絡(luò)就是一個(gè)很好的例子。它通過(guò)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的改造，使其某些神經(jīng)元共享相同參數(shù)，可以提取輸入數(shù)據(jù)某種不變的特征。但其仍是淺層的初步嘗試，對(duì)腦信息處理機(jī)制的深度借鑒還有很長(zhǎng)的距離。

　　神經(jīng)學(xué)研究顯示，大腦新皮質(zhì)的功能實(shí)現(xiàn)依賴于其區(qū)域連接組成的層次結(jié)構(gòu)。該理論是皮質(zhì)學(xué)習(xí)算法的理論基礎(chǔ)，認(rèn)為人腦的智能與新皮質(zhì)緊密相關(guān)。皮質(zhì)學(xué)習(xí)算法中的核心部分是分層時(shí)間記憶算法，該算法模擬了大腦新皮質(zhì)結(jié)構(gòu)和功能運(yùn)作。雖然該模型目前已經(jīng)在數(shù)據(jù)處理領(lǐng)域得到了廣泛的應(yīng)用，但只是對(duì)大腦皮層對(duì)應(yīng)的功能進(jìn)行粗略建模，與大腦的真實(shí)結(jié)構(gòu)差距甚遠(yuǎn)。

　　20世紀(jì)90年代，神經(jīng)生物學(xué)家發(fā)現(xiàn)，在神經(jīng)元細(xì)胞體或軸突附近存在一系列的短脈沖，而且不同的信息在尖脈沖數(shù)量和脈沖輸出的時(shí)間上存在差異。這些研究成果促使了脈沖神經(jīng)網(wǎng)絡(luò)的產(chǎn)生。脈沖神經(jīng)網(wǎng)絡(luò)被稱為第三代神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)更加接近生物大腦的真實(shí)結(jié)構(gòu)，是對(duì)真實(shí)的生物神經(jīng)元進(jìn)行建模。脈沖神經(jīng)網(wǎng)絡(luò)目前在模式識(shí)別、腦電信號(hào)處理、智能感知和控制方面有著良好效果，但在圖像或語(yǔ)音處理的效果方面仍然是個(gè)未知數(shù)。除此之外，脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的理論發(fā)展尚需完善。

　　對(duì)于人類來(lái)說(shuō)，學(xué)習(xí)新的知識(shí)并不需要很多標(biāo)記數(shù)據(jù)。這是由于人類在學(xué)習(xí)新任務(wù)時(shí)，會(huì)有其他的先驗(yàn)知識(shí)可以用于聯(lián)想或者類比學(xué)習(xí)，人類只需要通過(guò)少量樣本就能快速學(xué)習(xí)，這就是機(jī)器學(xué)習(xí)和人類學(xué)習(xí)之間存在的差距?？刹豢梢越梃b人類學(xué)習(xí)的過(guò)程，從而通過(guò)其他任務(wù)的學(xué)習(xí)促進(jìn)當(dāng)前任務(wù)的學(xué)習(xí)？

　　元學(xué)習(xí)就是基于此思想發(fā)展而來(lái)的，它試圖讓機(jī)器學(xué)習(xí)更加接近人類思維。元學(xué)習(xí)又被稱為學(xué)會(huì)學(xué)習(xí)，是利用以往的經(jīng)驗(yàn)來(lái)指導(dǎo)新任務(wù)的學(xué)習(xí)，使人工神經(jīng)網(wǎng)絡(luò)具備學(xué)習(xí)的能力。元學(xué)習(xí)盡管取得了一些成績(jī)，但還有自適應(yīng)性、進(jìn)化性、可解釋性等一系列問(wèn)題有待研究，其系統(tǒng)理論知識(shí)尚需進(jìn)一步完善。

　　在類腦學(xué)習(xí)方面，雖然現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)模擬了生物大腦信息處理的部分原理，但這只是初步的探索，并沒(méi)有從更深層次去融合神經(jīng)生物學(xué)的相關(guān)理論。目前，在微觀層面，神經(jīng)生物學(xué)在神經(jīng)元和突觸的類型、數(shù)目及其工作原理等方面都取得了不少進(jìn)展，發(fā)現(xiàn)它們?cè)诓煌哪X區(qū)中差異很大，且能根據(jù)實(shí)現(xiàn)功能的不同動(dòng)態(tài)變化調(diào)整，可以通過(guò)深度融合生物大腦的學(xué)習(xí)機(jī)制來(lái)提升現(xiàn)有模型。