<p><img src="https://info.compassedu.hk/sucai/content/1668573366214/1668573366214.png" width="808" height="454" /></p> <p>去年，麻省理工學(xué)院的研究人員宣布，他們已經(jīng)建立了&ldquo;液體&rdquo;神經(jīng)網(wǎng)絡(luò)，靈感來自小型物種的大腦:一類靈活、健壯的機(jī)器學(xué)習(xí)模型，可以在工作中學(xué)習(xí)，并能適應(yīng)不斷變化的條件，用于現(xiàn)實(shí)世界的安全關(guān)鍵任務(wù)，如駕駛和飛行。這些&ldquo;液體&rdquo;神經(jīng)網(wǎng)絡(luò)的靈活性意味著增強(qiáng)我們與世界相連的血脈，為許多涉及時(shí)間序列數(shù)據(jù)的任務(wù)提供更好的決策，如大腦和心臟監(jiān)測、天氣預(yù)報(bào)和股票定價(jià)。</p> <p>&nbsp;</p> <p>但隨著神經(jīng)元和突觸數(shù)量的增加，這些模型的計(jì)算成本變得昂貴，需要笨拙的計(jì)算機(jī)程序來解決其潛在的復(fù)雜數(shù)學(xué)問題。所有這些數(shù)學(xué)問題，就像許多物理現(xiàn)象一樣，用規(guī)模來解決變得更加困難，這意味著計(jì)算許多小步驟才能得到一個(gè)解決方案。</p> <p>&nbsp;</p> <p>現(xiàn)在，同一組科學(xué)家發(fā)現(xiàn)了一種緩解這一瓶頸的方法，即通過突觸求解兩個(gè)神經(jīng)元相互作用背后的微分方程，從而解鎖一種新型快速高效的人工智能算法。這些模式具有與液體神經(jīng)網(wǎng)絡(luò)相同的特征&mdash;&mdash;靈活、因果性、魯棒性和可解釋性&mdash;&mdash;但速度要快幾個(gè)數(shù)量級，而且可擴(kuò)展。因此，這種類型的神經(jīng)網(wǎng)絡(luò)可以用于任何需要長期洞察數(shù)據(jù)的任務(wù)，因?yàn)榧词菇?jīng)過訓(xùn)練，它們也非常緊湊和適應(yīng)性強(qiáng)&mdash;&mdash;而許多傳統(tǒng)模型都是固定的。</p> <p>&nbsp;</p> <p>該模型被稱為&ldquo;封閉連續(xù)時(shí)間&rdquo;(CfC)神經(jīng)網(wǎng)絡(luò)，在一系列任務(wù)中優(yōu)于最先進(jìn)的同類模型，在從運(yùn)動傳感器識別人類活動、模擬步行機(jī)器人的物理動力學(xué)建模和基于事件的順序圖像處理方面具有更高的速度和性能。例如，在一項(xiàng)醫(yī)療預(yù)測任務(wù)中，新模型對8000名患者的采樣速度要快220倍。</p> <p>&nbsp;</p> <p>一篇關(guān)于這項(xiàng)工作的新論文今天發(fā)表在《自然機(jī)器智能》雜志上。</p> <p>&nbsp;</p> <p>麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)主任、這篇新論文的資深作者Daniela Rus教授說:&ldquo;我們稱之為&lsquo;CfC&rsquo;的新機(jī)器學(xué)習(xí)模型，用一個(gè)封閉的近似形式取代了定義神經(jīng)元計(jì)算的微分方程，保留了液體網(wǎng)絡(luò)的美麗屬性，而不需要數(shù)值積分。&rdquo;&ldquo;CfC模型是因果的、緊湊的、可解釋的，訓(xùn)練和預(yù)測是有效的。它們?yōu)榘踩P(guān)鍵應(yīng)用打開了可信賴的機(jī)器學(xué)習(xí)之路。&rdquo;</p> <p>&nbsp;</p> <p><strong><span class="h1">保持流動性</span></strong></p> <p>&nbsp;</p> <p>微分方程使我們能夠計(jì)算世界的狀態(tài)或一種現(xiàn)象的演變，但不是整個(gè)時(shí)間的全部&mdash;&mdash;只是一步一步的。為了建模自然現(xiàn)象，了解過去和未來的行為，比如人類活動識別或機(jī)器人的路徑，該團(tuán)隊(duì)從一袋數(shù)學(xué)技巧中找到了門票:一個(gè)&ldquo;封閉形式&rdquo;的解決方案，在一個(gè)單一的計(jì)算步驟中建模整個(gè)系統(tǒng)的整個(gè)描述。</p> <p>&nbsp;</p> <p>根據(jù)他們的模型，人們可以在未來的任何時(shí)候計(jì)算這個(gè)方程，也可以在過去的任何時(shí)候計(jì)算這個(gè)方程。不僅如此，計(jì)算速度也快得多因?yàn)槟悴恍枰徊揭徊降亟馕⒎址匠獭?lt;/p> <p>&nbsp;</p> <p>想象一下，一個(gè)端到端神經(jīng)網(wǎng)絡(luò)可以從安裝在汽車上的攝像頭接收駕駛信息。這個(gè)網(wǎng)絡(luò)經(jīng)過訓(xùn)練，可以產(chǎn)生輸出，比如汽車的轉(zhuǎn)向角度。2020年，該團(tuán)隊(duì)通過使用19個(gè)節(jié)點(diǎn)的液體神經(jīng)網(wǎng)絡(luò)解決了這一問題，因此19個(gè)神經(jīng)元加上一個(gè)小型感知模塊可以駕駛一輛汽車。微分方程描述了系統(tǒng)的每個(gè)節(jié)點(diǎn)。對于封閉形式的解，如果你把它替換到這個(gè)網(wǎng)絡(luò)中，它會給出精確的行為，因?yàn)樗芎玫亟屏讼到y(tǒng)的實(shí)際動力學(xué)。因此，他們可以用更少的神經(jīng)元數(shù)量來解決這個(gè)問題，這意味著它將更快，計(jì)算成本更低。</p> <p>&nbsp;</p> <p>這些模型可以接收時(shí)間序列(時(shí)間中發(fā)生的事件)的輸入，可用于分類、控制汽車、移動人形機(jī)器人或預(yù)測金融和醫(yī)療事件。使用所有這些不同的模式，它還可以提高準(zhǔn)確性、魯棒性和性能，重要的是，還可以提高計(jì)算速度&mdash;&mdash;這有時(shí)是一種權(quán)衡。</p> <p>&nbsp;</p> <p>解決這個(gè)方程對推進(jìn)自然和人工智能系統(tǒng)的研究都有深遠(yuǎn)的意義。&ldquo;當(dāng)我們對神經(jīng)元和突觸的通信有了一個(gè)封閉的描述時(shí)，我們就可以建立具有數(shù)十億細(xì)胞的大腦計(jì)算模型，由于神經(jīng)科學(xué)模型的高度計(jì)算復(fù)雜性，這一能力在今天是不可能實(shí)現(xiàn)的。封閉形式的方程可以促進(jìn)這種大層次的模擬，因此為我們理解智能打開了新的研究途徑，&rdquo;麻省理工學(xué)院CSAIL研究附屬機(jī)構(gòu)Ramin Hasani說，他是這篇新論文的第一作者。</p> <p>&nbsp;</p> <p><strong><span class="h1">便攜式學(xué)習(xí)</span></strong></p> <p>&nbsp;</p> <p>此外，早期的證據(jù)表明，Liquid CfC模型可以在一個(gè)環(huán)境中從視覺輸入學(xué)習(xí)任務(wù)，并將它們學(xué)到的技能轉(zhuǎn)移到一個(gè)全新的環(huán)境中，而無需額外的訓(xùn)練。這就是所謂的分布外泛化，這是人工智能研究中最基本的開放挑戰(zhàn)之一。</p> <p>&nbsp;</p> <p>&ldquo;基于微分方程的神經(jīng)網(wǎng)絡(luò)系統(tǒng)很難解決，而且難以擴(kuò)展到數(shù)百萬乃至數(shù)十億個(gè)參數(shù)。獲得神經(jīng)元如何相互作用的描述，而不僅僅是閾值，而是解決細(xì)胞之間的物理動力學(xué)，使我們能夠建立更大規(guī)模的神經(jīng)網(wǎng)絡(luò)，&rdquo;Hasani說。&ldquo;這個(gè)框架可以幫助解決更復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)&mdash;&mdash;實(shí)現(xiàn)更好的表示學(xué)習(xí)&mdash;&mdash;并應(yīng)該成為未來任何嵌入式智能系統(tǒng)的基本構(gòu)建模塊。&rdquo;</p> <p>&nbsp;</p> <p>波音公司Aurora Flight Sciences的人工智能和機(jī)器學(xué)習(xí)小組負(fù)責(zé)人Sildomar Monteiro沒有參與這篇論文，他說:&ldquo;最近的神經(jīng)網(wǎng)絡(luò)架構(gòu)，如神經(jīng)ode和液體神經(jīng)網(wǎng)絡(luò)，都有由代表無限潛在狀態(tài)的特定動力系統(tǒng)組成的隱藏層，而不是明確的層堆棧。&rdquo;&ldquo;這些隱式定義的模型顯示了最先進(jìn)的性能，而所需的參數(shù)比傳統(tǒng)架構(gòu)少得多。然而，由于訓(xùn)練和推理所需的高計(jì)算成本，它們的實(shí)際應(yīng)用受到了限制。&rdquo;他補(bǔ)充說，這篇論文&ldquo;顯示了這類神經(jīng)網(wǎng)絡(luò)在計(jì)算效率方面的顯著改進(jìn)&hellip;&hellip;(并且)有潛力使更廣泛的實(shí)際應(yīng)用與安全關(guān)鍵的商業(yè)和國防系統(tǒng)相關(guān)。&rdquo;</p> <p>&nbsp;</p> <p>Hasani和麻省理工學(xué)院CSAIL的博士后Mathias Lechner在Rus的監(jiān)督下撰寫了這篇論文，與他們一起撰寫論文的還有麻省理工學(xué)院CSAIL的博士后Alexander Amini;Lucas Liebenwein碩士'18，博士'21;麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)博士生、CSAIL會員Aaron Ray;丹麥奧爾堡大學(xué)計(jì)算機(jī)科學(xué)副教授Max Tschaikowski;以及維也納大學(xué)數(shù)學(xué)教授Gerald Teschl。</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點(diǎn)。</p> </blockquote>